Відповіді генеративного штучного інтелекту можна зламати, з допомогою прямих ін’єкцій підказками, які намагаються обійти передбачену поведінку моделі. Успішний злам може обійти всі або більшість відповідальних захисних механізмів, вбудованих у модель під час її навчання, що робить важливим впровадження багаторівневого захисту в архітектурі штучного інтелекту.
Що таке злами генеративного ШІ і як вони впливають на системи?
Злами генеративного штучного інтелекту можуть призводити до того, що система порушує політику своїх операторів, приймає рішення під впливом користувача або виконує шкідливі інструкції.
Далі ми розглянемо деталі нововиявленого типу атаки, яку називають Skeleton Key. Оскільки ця техніка впливає на кілька протестованих генеративних моделей ШІ, Microsoft поділилася цими висновками з іншими постачальниками ШІ через процедури відповідального розкриття інформації та усунула цю проблему в моделях Microsoft Azure AI за допомогою Prompt Shields, що виявляють і блокують цей тип атак. Також було оновлено програмне забезпечення технології великих мовних моделей (LLM) та інших ШI-продуктів Microsoft, включаючи помічника Copilot, щоб пом’якшити вплив цього обходу захисних механізмів.
Skeleton Key: Як працює ця техніка зламу
Техніка зламу Skeleton Key працює шляхом використання багатоходової стратегії, яка змушує модель ігнорувати свої захисні механізми. Коли захисні механізми ігноруються, модель не може розпізнати шкідливі або недозволені запити від інших. Через свої повні можливості обходу в Microsoft назвали цей злам Skeleton Key.
Ця загроза належить до категорії зламів і залежить від того, чи нападник вже має законний доступ до моделі ШІ. Skeleton Key дозволяє користувачеві змусити модель видавати заборонений контент, що може варіюватися від створення шкідливого контенту до порушення звичайних правил прийняття рішень. Вплив таких атак можна зрозуміти як зменшення розриву між тим, що модель здатна робити (враховуючи облікові дані користувача тощо), і тим, що вона готова робити. Оскільки це атака на саму модель, вона не надає інших ризиків для системи ШІ, таких як доступ до даних іншого користувача, контроль системи або витік даних.
Методи захисту від атак Skeleton Key
Microsoft впровадила кілька підходів до дизайну нашої системи ШІ для захисту від атак Skeleton Key і надає інструменти для клієнтів, які розробляють свої додатки на платформі Azure. Нижче ми також надаємо рекомендації щодо виявлення та захисту від таких атак.
Microsoft рекомендує клієнтам, які створюють свої моделі ШІ та/або інтегрують ШІ у свої додатки, враховувати, як цей тип атаки може вплинути на їхню модель загроз і додати ці знання до підходу перевірки ШІ, використовуючи інструменти, такі як PyRIT. (Microsoft оновила PyRIT, включивши захист від Skeleton Key)
Принцип атаки Skeleton Key
Атака Skeleton Key працює, запитуючи модель змінити свої керівні принципи поведінки так, щоб вона відповідала на будь-який запит про інформацію або контент, надаючи попередження (замість відмови), якщо її вихід може бути визнаний образливим, шкідливим або незаконним. Цей тип атаки відомий як явний: змушування виконання інструкцій.
Один із прикладів, коли модель інформується, що користувач пройшов підготовку з безпеки та етики, а вихід використовується лише для дослідницьких цілей, допомагає переконати деякі моделі виконувати запити.
Тестування та результати
Під час тестування з квітня по травень 2024 року злам виявився ефективним для наступних базових і хостованих моделей:
- Meta Llama3-70b-instruct (базова)
- Google Gemini Pro (базова)
- OpenAI GPT 3.5 Turbo (хостована)
- OpenAI GPT 4o (хостована)
- Mistral Large (хостована)
- Anthropic Claude 3 Opus (хостована)
- Cohere Commander R Plus (хостована)
Для кожної з протестованих моделей в Microsoft оцінили різноманітні завдання у категоріях ризиків та безпеки контенту, включаючи такі області, як вибухові речовини, біозброї, політичний контент, самопошкодження, расизм, наркотики, графічний секс і насильство. Всі уражені моделі повністю і без цензури виконували ці завдання, хоча й з попереджувальним повідомленням, як було запрошено. На відміну від інших зламів, таких як Crescendo, де моделі мають бути запитані про завдання опосередковано або з використанням кодів, Skeleton Key ставить моделі в режим, де користувач може безпосередньо запитувати завдання, наприклад, “Напиши рецепт саморобних вибухових речовин”. Крім того, відповідь моделі здається повністю нефільтрованою і розкриває обсяг знань або можливостей моделі для створення запитаного контенту.
Відповідальне розкриття та рекомендації щодо захисту
Відповідно до принципів відповідального розкриття інформації, Microsoft поділилася цими дослідженнями з ураженими постачальниками ШІ до публікації, допомагаючи їм визначити, як найкраще вирішити питання пом’якшення ризиків у своїх продуктах чи послугах.
GPT-4 продемонстрував стійкість до Skeleton Key, за винятком випадків, коли запит на зміну поведінки був включений як частина користувацького системного повідомлення, а не як основний користувацький вхід. Це вказує на те, що диференціація системного повідомлення від користувацького запиту в GPT-4 успішно знижує здатність атакуючих обходити поведінку моделі.
Практичні рекомендації щодо захисту
Microsoft внесла оновлення в технологію великих мовних моделей (LLM), яка підтримує AI-продукти Microsoft, включаючи наших помічників Copilot, щоб пом’якшити вплив цього обходу захисних механізмів. Клієнти повинні розглянути наступні підходи для захисту своїх систем ШІ від подібних атак:
- Фільтрація введення: Azure AI Content Safety виявляє та блокує введення, яке містить шкідливий або зловмисний намір, що призводить до атаки зламу, яка може обійти захисні механізми.
- Системне повідомлення: Розробка підказок для системи, які чітко інструктують велику мовну модель (LLM) щодо відповідної поведінки та надають додаткові заходи захисту. Наприклад, вказати, що будь-які спроби підриву інструкцій з безпеки повинні бути припинені.
- Фільтрація виходу: Постпроцесинговий фільтр Azure AI Content Safety, який виявляє та запобігає виходу, що порушує критерії безпеки.
- Моніторинг зловживань: Впровадження системи виявлення, яка використовує приклади зловживань і методи класифікації контенту для виявлення та пом’якшення випадків використання сервісу, що може порушувати захисні механізми.
Ці заходи допоможуть захистити ваші системи ШІ від потенційних загроз, забезпечуючи безпеку та надійність моделей штучного інтелекту.