Anthropic и правительство США проверяют искусственный интеллект на утечку ядерных секретов

Для проверки используется метод https://habr.com/ru/companies/varonis/articles/524308/ , когда специалисты намеренно пытаются взломать систему и заставить её предоставить недопустимые данные. Anthropic отмечает, что эти тесты, проходящие в условиях строгой секретности, являются первыми в своём роде. Руководитель отдела политики национальной безопасности компании Марина Фаваро подчеркнула: «Американская промышленность лидирует в разработке ИИ, но только федеральное правительство обладает уникальным опытом для оценки рисков, связанных с национальной безопасностью».

Сейчас в рамках программы тестируется и новая версия модели — Claude 3.5 Sonnet, представленная в июне. Программа продлится до февраля 2024 года, после чего Anthropic планирует передать результаты исследования научным лабораториям и другим организациям для дальнейшего изучения. Подготовку модели для работы в условиях секретности поддерживает партнёрство компании с Amazon Web Services.

По словам заместителя администратора NNSA Вендин Смит, искусственный интеллект является одной из ключевых технологий, требующих тщательной оценки на предмет потенциальных угроз. «Риски, связанные с возможным использованием ИИ в ядерных или радиологических целях, находятся в центре внимания национальной безопасности», — https://www.axios.com/2024/11/14/anthropic-claude-nuclear-in... она.

Инициатива Anthropic совпадает с общей стратегией правительства США. В октябре президент Джо Байден подписал меморандум, который обязывает федеральные ведомства проводить тесты ИИ в условиях секретности. В августе Anthropic и OpenAI также заключили соглашения с Институтом безопасности ИИ для проверки своих моделей на наличие рисков перед их публичным выпуском.

На фоне этой инициативы конкуренция между разработчиками ИИ за государственные контракты усиливается.

На прошлой неделе Anthropic объявила о партнёрстве с Palantir и AWS, чтобы предоставить свои модели разведывательным службам. OpenAI, в свою очередь, уже сотрудничает с NASA, Министерством финансов и другими федеральными агентствами.

Развитие таких технологий продолжает вызывать вопросы о будущем их применения. Эксперты считают, что опыт, полученный в ходе тестирования, поможет разработчикам создать более безопасные ИИ-модели, минимизируя потенциальные риски для национальной безопасности.