Исследовательская организация METR провела испытания, чтобы выяснить, как современные инструменты ИИ влияют на работу опытных разработчиков. В исследовании приняли участие 16 разработчиков, которые выполнили 246 реальных задач в крупных проектах, над которыми они постоянно работают. Для половины задач разрешили использовать инструменты вроде Cursor Pro и модели Claude 3.5 и Claude 3.7 Sonnet, а для других — запретили использование ИИ.
Перед выполнением задач участники ожидали, что ИИ поможет сократить время работы на 24 процента. Однако результаты показали противоположное: с ИИ разработчики завершали задачи в среднем на 19 процентов медленнее. Исследователи отмечают, что часть участников имела ограниченный опыт именно с Cursor, хотя большинство уже пользовалось веб-интерфейсами крупных языковых моделей в своей работе.
Во время работы с современными инструментами ИИ разработчики больше времени тратили на формулирование запросов, ожидание ответов и проверку кода, а не на непосредственное программирование. Особенно это заметно в крупных и сложных проектах, где ИИ может не справиться с контекстом или требовать дополнительного контроля.
В METR подчеркивают, что не делают окончательных выводов относительно эффективности ИИ для всех разработчиков. Другие исследования показывали разные результаты, а сами инструменты быстро развиваются. Однако это исследование демонстрирует, что ожидаемые преимущества ИИ не всегда соответствуют реальному опыту, особенно в сложных проектах с открытым кодом.
