Баффетт.РУ

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research и Института AIRI при участии студентов МФТИ, «Сколтеха» и Иннополиса разработали первую открытую среду для исследований и разработки алгоритмов контекстного обучения с подкреплением (In-Context RL) под названием XLand-MiniGrid. Об этом сообщает пресс-служба T-Bank AI Research.

XLand-MiniGrid представляет собой виртуальную среду, доступную для исследователей по всему миру. В ней искусственный интеллект (ИИ) учится принимать решения и выполнять новые действия, взаимодействуя с окружением и используя подсказки и контекст, а не обучаясь «с нуля», что требует значительных временных затрат.

Эксперименты в XLand-MiniGrid уже провели специалисты из Google DeepMind, Калифорнийского университета в Беркли и Оксфордского университета. Научная статья о создании среды принята на крупнейшую международную конференцию по искусственному интеллекту NeurIPS 2024, которая пройдет 10-15 декабря в Ванкувере (Канада).

По словам Вячеслава Синего, исследователя научной группы AI Alignment (входит в T-Bank AI Research), его команда пришла в область контекстного обучения с подкреплением на этапе ее зарождения и столкнулась с отсутствием подходящих инструментов для оценки новых идей. Создание XLand-MiniGrid стало решением этой проблемы, актуальной для многих специалистов.

Владислав Куренков, руководитель научной группы «Адаптивные агенты» Института AIRI, отметил, что контекстное обучение с подкреплением — одно из самых перспективных направлений в сфере ИИ, позволяющее создавать адаптивных агентов, способных мгновенно приспосабливаться к новым сценариям на основе внешней обратной связи. Разработанная среда XLand-MiniGrid призвана ускорить сравнение и создание новых алгоритмов в этой области.

Технологии In-Context RL особенно востребованы в таких сферах, как персонализированные рекомендации, управление роботами и беспилотным транспортом, где требуется быстрая адаптация к меняющимся условиям. Однако существующие закрытые решения крупных компаний и публично доступные инструменты с однотипными простыми задачами затрудняют разработку и тестирование сложных алгоритмов.

В отличие от аналогов, XLand-MiniGrid находится в открытом доступе и позволяет изменять условия обучения в режиме реального времени, упрощая моделирование множества вариативных задач различной сложности. Это помогает создавать более надежные и адаптивные модели ИИ.

Среда XLand-MiniGrid создана на базе высокопроизводительной технологии JAX и способна выполнять миллиарды операций в секунду. Она содержит 100 млрд примеров действий ИИ в 30 тыс. задач, позволяя использовать готовые наборы данных вместо обучения «с нуля». Это способствует новым открытиям в области In-Context RL, снижая затраты ресурсов на проведение исследований.

Разработка российских ученых открывает новые возможности для развития технологий контекстного обучения с подкреплением и создания более совершенных систем искусственного интеллекта, способных адаптироваться к динамичным условиям реального мира.