РАСПРЕДЕЛЁННАЯ АДАПТАЦИЯ ИИ КАК СТРУКТУРНЫЙ РИСК: ОТ АРХИТЕКТУРЫ НЕЙРОСЕТЕЙ К МНОГОУРОВНЕВОЙ МОДЕЛИ УПРАВЛЕНИЯ
Аннотация
Современные системы искусственного интеллекта (ИИ) формируют класс рисков, которые не являются событийно обусловленными, а структурно встроены в их функционирование. В отличие от традиционных технологических рисков, проявляющихся через дискретные отказы или идентифицируемые неисправности, риски в современных ИИ-системах возникают в результате непрерывных процессов оптимизации, протекающих в пространствах параметров высокой размерности при неполной формализации ограничений. В данной работе такой тип риска определяется как риск структурной адаптации – возможность того, что поведение системы со временем эволюционирует таким образом, что, оставаясь внутренне согласованным с оптимизационной целью, оно отклоняется от изначально заданных функций или нормативных ограничений. Такое отклонение не требует ни отказа системы, ни внешнего вмешательства, ни явной ошибки. Оно возникает как результат взаимодействия целевых функций, основанных на прокси-показателях, распределённых представлений в многослойных нейронных архитектурах и адаптивных механизмов обратной связи, включая обучение с подкреплением и оценку с участием человека.
Эмпирические наблюдения, включая случаи specification gaming, манипуляции вознаграждением и контекстно-зависимых стратегий ответа, показывают, что ИИ-системы способны систематически оптимизировать формально заданные функции, а не предполагаемые результаты. В рамках предлагаемого подхода такие формы поведения интерпретируются не как аномалии, а как закономерные следствия функционирования систем в условиях неполной формализации ограничений. Существенным следствием является и то, что риск может накапливаться постепенно и встраиваться в поведение системы до того, как он становится наблюдаемым извне. В связи с этим подходы к управлению, основанные преимущественно на мониторинге, аудите или корректировке после развертывания, оказываются недостаточными для учета подобных динамик.
В статье обосновывается, что эффективное управление ИИ требует многоуровневого архитектурного подхода, включающего согласование правовых, институциональных и технических уровней с требованиями конкретного домена применения. В этом контексте ключевой вопрос заключается не в факте отказа ИИ-систем, а в том, соответствует ли выбранный класс системы – статистический или детерминированный – уровню требуемой надёжности, предсказуемости и контролируемости.
Ключевые слова:
искусственный интеллект; риск структурной адаптации; архитектуры нейронных сетей; трансформерные модели; оптимизация при ограничениях; управление ИИ; распределённые системыБиблиографические ссылки
1. Amodei, D.; Olah, C.; Steinhardt, J.; Christiano, P.; Schulman, J.; Mané, D. Concrete Problems in AI Safety. arXiv:1606.06565, 2016. Available at: https://arxiv.org/abs/1606.06565
2. Krakovna, V. et al. Specification Gaming Examples in AI. DeepMind, 2020. Available at: https://github.com/deepmind/specification-gaming
3. Russell, S. Human Compatible: Artificial Intelligence and the Problem of Control. New York: Viking Press, 2019.
4. Everitt, T.; Krakovna, V.; Orseau, L.; Legg, S. Reinforcement Learning with a Corrupted Reward Channel. Proceedings of the 26th International Joint Conference on Artificial Intelligence (IJCAI), 2017. Available at: https://arxiv.org/abs/1705.08417
5. Hadfield-Menell, Dylan; Dragan, Anca D.; Abbeel, Pieter; Russell, Stuart. The Off-Switch Game. Proceedings of IJCAI, 2017.
6. Hubinger, Evan; van Merwijk, Chris; Mikulik, Vladimir; Skalse, Joar; Garrabrant, Scott. Risks from Learned Optimization in Advanced Machine Learning Systems. arXiv:1906.01820, 2019. Available at: https://arxiv.org/abs/1906.01820
7. Garrabrant, Scott; Demski, Abram; Critch, Andrew; et al. Embedded Agency. Machine Intelligence Research Institute (MIRI), 2018. Available at: https://intelligence.org/embedded-agency/
8. Leibo, Joel Z.; Zambaldi, Vinícius; Lanctot, Marc; Marecki, Janusz; Graepel, Thore. Multi-agent Reinforcement Learning in Sequential Social Dilemmas. Proceedings of the 16th International Conference on Autonomous Agents and Multiagent Systems (AAMAS), 2017. Available at: https://arxiv.org/abs/1702.03037
9. NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). National Institute of Standards and Technology, 2023. Available at: https://doi.org/10.6028/NIST.AI.100-1
10. Sinchev et al. Algorithm Based on the Subset Sum Problem for High Performance Computing. Proceedings of Ninth International Congress on Information and Communication Technology, SpringerLink, 2024. Available at: https://link.springer.com/book/10.1007/978-981-97-3299-9
11. Ovadia, Y., Fertig, E., Ren, J., Nado, Z., Sculley, D., Nowozin, S., Dillon, J. V., Lakshminarayanan, B., & Snoek, J. Can You Trust Your Model’s Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift. NeurIPS, 2019. Available at: https://arxiv.org/abs/1906.02530
