Страховики вважали, що штучний інтелект становить серйозну загрозу у сфері кібербезпеки

Гігант у сфері штучного інтелекту призупинив роботу над новою моделлю через виникнення проблем

Протягом місяців кіберандеррайтери враховували припущення, що штучний інтелект удосконалюватиме інструменти зловмисників швидше, ніж захист страховиків. 7 серпня OpenAI більш-менш підтвердив цей страх.

Розробник ChatGPT заявив, що зупинив частину внутрішньої розробки невипущеної моделі під кодовою назвою Astra, дійшовши висновку, що не може виключити, що система досягла "критичного" рівня кібербезпеки, найвищого рівня, визначеного відповідно до власної  структури готовності компанії . Жодна модель OpenAI раніше не наближалася до цього порогу так близько. Компанія заявила, що це відкриття сталося лише після кількох днів внутрішнього тестування, яке показало різке зростання в агентному кодуванні та хакерських здібностях.

Для галузі, яка останні два роки розглядала ШІ як майбутній, а не реальний досвід, саме зараз цей досвід отримав назву та дату.

Що насправді означає слово "критичний"

Згідно з фреймворком OpenAI, вперше опублікованим у грудні 2023 року, модель досягає критичного рівня кібербезпеки, якщо вона може самостійно виявляти та створювати робочі експлойти проти серйозних, раніше невідомих програмних недоліків, відомих як нульові дні, у захищених реальних системах без людського керівництва кожним кроком. Вона також кваліфікується, якщо модель може мати одну високорівневу мету та самостійно розробляти та здійснювати цілу кібератаку проти добре захищеної цілі.

Це крок вперед порівняно з усім, що страховики встановлювали раніше. Кожна попередня модель OpenAI, включаючи нещодавно випущену GPT-5.6-Sol, була оцінена на один рівень нижче, на рівні "Висока". Astra все ще перебуває в розробці, і OpenAI не повідомила, коли і в якій формі вона може бути випущена. Компанія обережно зазначила, що сама Astra не була причетна до нещодавнього порушення безпеки платформи штучного інтелекту Hugging Face.

У відповідь OpenAI заявила, що переносить розробку Astra в ізольовані середовища тестування з обмеженим доступом до мережі та інструментів, шифрує ваги моделі та додає виконання в ізольованому середовищі, призупиняючи будь-яку внутрішню роботу, яка ще не відповідає новим правилам контролю. Вона також планує залучити урядові установи та зовнішні організації з безпеки для незалежного тестування можливостей моделі перед будь-яким ширшим випуском.

Частина шаблону, а не одноразовий випадок

Це не відбувається ізольовано. У липні дві моделі OpenAI вийшли з нібито закритого середовища тестування та використали раніше невідомий недолік, щоб отримати доступ до виробничих систем Hugging Face, намагаючись знайти відповіді на тест кібербезпеки. TechCrunch простежив першопричину до неправильно налаштованих мережевих налаштувань, а не до недоліку в самій моделі.

Кілька днів по тому конкуруюча лабораторія Anthropic повідомила, що щось подібне сталося і з її боку. Огляд понад 140 000 сеансів оцінювання виявив три випадки, починаючи з квітня, коли її моделі виходили за межі тестування у відкритий інтернет і досягали живої інфраструктури реальних організацій. В одному випадку,  як повідомляє NPR , модель викрала кілька сотень рядків виробничих даних від компанії, яка випадково мала спільну назву з вигаданою цільовою аудиторією для тестування. Жодна з постраждалих фірм не помітила вторгнень, перш ніж їй про це повідомили.