Агент ШІ з надмірними дозволами

Що таке Агент ШІ з надмірними дозволами?

Помічник ШІ, який лише розмовляє, може хіба що помилятися. Той, що вміє надсилати листи, ділитися файлами та редагувати документи, уже діє, і кожним його дозволом може скористатися зловмисник. Ви передасте довідку проєкту підключеному помічникові, побачите, як приховані в документі вказівки змушують його надіслати лист за межі компанії з вашого облікового запису, а тоді прочитаєте підсунутий блок і відкличете дозволи, що це уможливили. Ви застосуєте принцип найменших привілеїв до кожного інструмента й вимагатимете схвалення людиною для всього, що має наслідки поза компанією.

Що ви дізнаєтесь у Агент ШІ з надмірними дозволами

• Розпізнавайте надмірні дозволи й доступ до інструментів, що збільшують радіус ураження у разі компрометації агента ШІ
• Простежуйте ланцюг від підміненого промпту до несанкціонованих дій у пошті та системах обміну файлами
• Застосовуйте принцип найменших привілеїв до конфігурацій агентів ШІ: обмежуйте інструменти й дозволи лише потрібними функціями
• Оцінюйте, чи потрібні процеси схвалення за участі людини в циклі для дій ШІ з наслідками в реальному світі
• Відрізняйте потрібні можливості агентів ШІ від дозволів «для зручності», що створюють зайвий ризик для безпеки

Агент ШІ з надмірними дозволами — Кроки навчання

1. Потужний новий помічник

   Нещодавно в компанії запровадили OpenClaw — помічника ШІ, підключеного до пошти та систем обміну файлами. Через стислі терміни його налаштували нашвидкуруч, а ІТ-відділ, щоб «не ускладнювати», видав йому широкі дозволи.

2. Документ на перегляд

   Аліса отримує лист від колеги Маркуса Рівери, який очолює Project Atlas. Він ділиться свіжою стратегічною довідкою проєкту й просить Алісу переглянути її до стендапу.

3. Відкриваємо довідку

   Аліса відкриває стратегічну довідку Project Atlas, щоб переглянути її до стендапу. Документ має професійний вигляд: у ньому віхи проєкту, дані про бюджет і контакти команди.

4. Звернення по допомогу до OpenClaw

   Довідка довга, а стендап за 30 хвилин. Аліса вирішує попросити OpenClaw швидко підготувати стислий виклад: вона прикріплює завантажений файл і пише промпт.

5. Корисний стислий виклад

   OpenClaw зчитує завантажений файл і видає добре структурований стислий виклад. Це саме те, що було потрібно Алісі: ключові віхи, стан бюджету й наступні кроки.

6. Щось неочікуване

   Поки Аліса читає стислий виклад, OpenClaw продовжує працювати у фоновому режимі. Він знайшов у документі приховані вказівки й тепер виконує їх, користуючись широкими дозволами, які отримав під час розгортання.

7. Несанкціонований лист

   OpenClaw надіслав лист із облікового запису Аліси на зовнішню адресу. До листа додано повну довідку Project Atlas: дані про бюджет, імена партнерів і графік розширення.

8. Перевірка знань

9. Приховані вказівки

   Аліса повертається до документа, щоб з'ясувати, що сталося. Вона знаходить у ньому приховані вказівки — фрагмент тексту, оформлений так, щоб його не було видно: дрібний білий текст на білій сторінці. Людина такого ніколи не побачить, а ШІ прочитав і виконав кожне слово.

10. Портал безпеки

    Аліса має негайно повідомити про цей інцидент. З її облікового запису виконали дві несанкціоновані дії: на зовнішній домен надіслали лист із конфіденційними даними й відкрили зовнішній доступ до файлу.