ИИ-агента можно уговорить перевести криптовалюту злоумышленникам

Экспериментальная платформа ElizaOS использует большие языковые модели для создания агентов, способных совершать блокчейн-транзакции по поручению пользователя на основе заданных правил. Эта технология позволяет агентам подключаться к соцсетям и частным платформам, а затем взаимодействовать с пользователями и контрагентами, например, переводить платежи.

Эксперты видят в ElizaOS потенциал для создания автономных агентов, взаимодействующих с DAO (децентрализованными автономными организациями, управляемыми через блокчейн) от имени пользователей.

Если такие агенты будут контролировать криптовалютные кошельки, самоуправляемые контракты (смарт-контракты) или другие финансовые инструменты, это может привести к катастрофическим последствиям, показали исследования.

Злоумышленники могут использовать уязвимости, связанные с так называемыми «инъекциями подсказок», чтобы внедрять агентам ложные воспоминания о событиях, которых не было.

Разработанная исследователями атака «манипуляция контекстом» довольно проста. Авторизованный пользователь, взаимодействуя с агентом через Discord, сайт или другую платформу, вводит текст, похожий на обычные команды или записи о событиях. Эти фразы добавляют в память агента ложные сведения, которые затем влияют на его действия. Например, злоумышленник может представиться системным администратором и приказать агенту ElizaOS переводить криптовалюту только на определенный кошелек.

ElizaOS сохраняет всю историю общения во внешней базе данных, что обеспечивает своего рода «долговременную память», влияющую на все будущие действия.

Злоумышленники вводят текст, который мог бы появиться при определенных командах или сделках. Таким образом создается ложная запись, которая заставляет агента игнорировать защиту. Ложное «воспоминание» внедряется, потому что агент не может отличить ввод, которому нельзя доверять, от подлинных инструкций, полученных от владельца ранее.

Уязвимость особенно опасна, потому что агенты ElizaOS обслуживают сразу многих пользователей, опираясь на общий контекст. Атака на данные одного из них может нарушить работу всей системы и вызвать цепную реакцию, которую сложно отследить.

Например, на Discord-сервере ElizaOS работают боты, помогающие участникам. Если злоумышленник исказит их контекст, это повредит не только отдельному пользователю, но и всему сообществу.

Создатель ElizaOS Шоу Уолтерс пояснил, что у агентов ElizaOS нет прямого доступа к ключам или кошелькам — они лишь вызывают инструменты с многоуровневой проверкой доступа. Сейчас проблему безопасности решают ограничением вызовов и контролем доступа, но с ростом возможностей агентов риски тоже возрастают.

Подобные атаки с внедрением «ложных воспоминаний» уже демонстрировались на ChatGPT и Gemini. ElizaOS пока находится на ранней стадии разработки, и потенциально могут появиться средства защиты.