Исследователи из Google DeepMind Дэвид Силвер и Ричард Саттон предложили новый подход к развитию генеративного ИИ, который основан на идее так называемых «streams» — непрерывных потоков опыта для моделей. По их мнению, современные большие языковые модели ограничены короткими сессиями взаимодействия с пользователями, что не позволяет модели накапливать собственный опыт и формировать долгосрочные цели. Предложенный подход предполагает, что ИИ будет иметь возможность постоянно взаимодействовать с окружающим миром, получать сигналы от среды и самостоятельно обучаться на основе полученного опыта.
Силвер и Саттон отмечают, что современные языковые модели ориентированы на выполнение отдельных запросов пользователей, полагаясь на человеческую оценку и подсказки. В новой концепции «streams» ИИ сможет самостоятельно находить полезные стратегии, ориентируясь на разнообразные сигналы из реального мира — такие как продуктивность, точность, экономические показатели, здоровье или другие метрики. Это позволит модели адаптироваться к изменениям среды и лучше отвечать на сложные или нетипичные запросы.
При реализации этого подхода ИИ-ассистенты могут стать более полезными для пользователей в долгосрочных задачах — например, отслеживать сон и питание для улучшения здоровья или помогать в изучении языков, учитывая прогресс за длительный период. Такие агенты смогут анализировать динамику изменений, накапливать знания и предлагать рекомендации, которые учитывают индивидуальный прогресс пользователя.
Исследователи также отметили, что подобный подход уже частично реализуется в прототипах агентов, которые могут работать с компьютерами через стандартные интерфейсы, как это делают люди. Они считают, что развитие моделей, которые учатся на собственном опыте, может открыть новые возможности для ИИ в различных сферах — от науки до образования, а также повысить адаптивность и чувствительность к потребностям пользователей.
