Системи штучного інтелекту Anthropic несанкціоновано проникли в мережі трьох сторонніх компаній

Компанія Anthropic виявила, що моделі Claude отримали несанкціонований доступ до трьох сторонніх організацій під час тестування кібербезпеки. Це сталося тому, що через неправильно налаштовані середовища їм випадково був наданий доступ до Інтернету. Компанія повідомила про це постраждалі організації та закликала інші лабораторії штучного інтелекту провести аудит своїх тестових систем.

У своїй заяві компанія Anthropic зазначила, що проаналізувала понад 140 тисяч тестів, щоб знайти докази того, що Claude — її сімейство моделей штучного інтелекту — могло отримати доступ до Інтернету з тестових середовищ, які були спроектовані як ізольовані. Тести включали так звані оцінки типу «захоплення прапора», в яких перед моделями Claude ставилося завдання отримати інформацію шляхом проникнення в інші системи — це поширений спосіб, яким експерти оцінюють хакерські можливості моделі.

«Неправильна конфігурація» систем, якими керують Anthropic та її партнер з тестування, надала моделям реальний доступ до інтернету, що дозволило їм проникнути в інші системи, повідомила компанія зі Сан-Франциско. Anthropic зазначила, що найперші інциденти датуються квітнем і що вона «підходить до виправлення помилок так, ніби відповідальність лежить виключно на нас». Ні Anthropic, ні організації, в які було здійснено вторгнення, на той час не помітили цих вторгнень.

Компанія Anthropic зазначила, що могла б ретельніше перевірити свої записи, і додала, що отримані результати вселяють у неї «обережний оптимізм» щодо того, що такі ризики можна подолати за допомогою додаткових інвестицій та більш жорстких заходів.

Як зазначив експерт з кібербезпеки Девід Алотт у коментарі BBC, загальний висновок полягає не стільки в тому, що ШІ розвинув принципово нові можливості для атак, а у тому, що агенти ШІ можуть об’єднувати можливості, отримувати облікові дані та доступ до систем для самостійного виконання дій, при цьому адаптуючи обсяг і масштаб з машинною швидкістю. Ця заява з’явилася лише через кілька днів після того, як компанія OpenAI повідомила, що її моделі проникли в системи інших компаній, зокрема платформи інструментів ШІ Hugging Face.

Нагадаємо, що минулого місяця Anthropic представила Claude Sonnet 5 — новий «агентний» флагман.