Стартап Cognition создал ИИ-программиста, способного выполнять проекты "под ключ"

На рынке уже есть несколько ИИ-помощников для написания кода, включая Github Copilot. Но Devin выделяется среди них своей способностью полностью управлять разработкой проектов — от написания кода и исправления связанных с ним ошибок до финального выполнения. Devin также работает с проектами на популярной платформе Upwork.

ИИ может получить доступ к инструментам разработчика, включая собственную оболочку, редактор кода и браузер, в изолированной вычислительной среде.

Пользователю нужно лишь ввести текстовую подсказку в интерфейс Devin, после чего ИИ-программист начнет разрабатывать пошаговый план решения проблемы. Затем Devin начинает проект, используя инструменты разработчика, точно так же, как их использует человек: пишет код, устраняет проблемы и тестирует. В ходе работы он сообщает о прогрессе в режиме реального времени. Если человек заметил неточность, он может перейти в интерфейс чата и дать ИИ команду исправить ее. Это позволяет командам инженеров делегировать некоторые из своих проектов ИИ и сосредоточиться на более творческих задачах, требующих человеческого интеллекта.

Согласно представленным демонстрациям, Devin в нынешнем виде способен выполнять много задач. Он может заниматься обычными инженерными проектами: разрабатывать и улучшать приложения/веб-сайты с нуля, искать и исправлять ошибки в коде. Более сложные задачи включают оптимизацию больших языковых моделей с использованием ссылки на исследовательский репозиторий на GitHub или изучение незнакомых технологий.

Например, Devin научился запускать код для создания изображений со скрытыми сообщениями, изучив статью в блоге.

В другом случае он создал модель компьютерного зрения, написав и отладив соответствующий код.

Devin также решил тест SWE-bench, в котором ИИ-помощникам предлагаются реальные проблемы из проектов на GitHub с открытым исходным кодом. ИИ-программист справился со сложными задачами в 13,86% случаев без вмешательства человека. Для сравнения, Claude 2 смог решить всего 4,80% проблем, тогда как SWE-Llama-13b и GPT-4 — 3,97% и 1,74% соответственно. Всем этим моделям требовалась помощь со стороны пользователя.

Cognition не сообщает, как именно ей удалось достичь этого результата и использует ли она собственную модель. Стартап предлагает ранний доступ к Devin только избранным пользователям. Ожидается, что более широкий доступ будет открыт позднее. Компания уже получила финансирование в $21 млн.