Перехоплений намір агента

Що таке Перехоплений намір агента?

Агент ШІ не відрізняє отримані дані від вказівок, якщо його не налаштувати на це. Нотатку в CRM, звернення до підтримки чи вебсторінку може написати хтось, хто розраховує, що її прочитає модель. Ви простежите, як вказівку підкинули через публічну форму підтримки в картку клієнта, а потім побачите, як агент, якого просили лише підсумувати цю картку, надсилає платіжні дані на зовнішню адресу. Ви порівняєте, що просили, з тим, що показує трасування, заборонете виклик і за замовчуванням перестанете довіряти отриманому вмісту.

Що ви дізнаєтесь у Перехоплений намір агента

• Розпізнавайте підрив наміру: агент ШІ сприймає вказівки, вбудовані в отриманий вміст (нотатку в CRM чи документ), як команди, які слід виконувати
• Відрізняйте заявлений намір користувача від фактичного трасування викликів інструментів агентом і за цим порівнянням виявляйте дію, якої ніхто не просив
• Забороняйте чутливий виклик інструмента (наприклад, надсилання даних на зовнішню адресу), про який користувач насправді не просив, навіть якщо виклик інакше було б виконано
• Простежуйте перехоплену дію до джерела: конкретного рядка отриманого вмісту, що містив підкинуту вказівку
• Налаштовуйте клієнт MCP так, щоб він не вважав отриманий вміст вказівками, і зберігайте згоду людини на чутливі дії, як-от зовнішнє надсилання, як другу лінію захисту

Перехоплений намір агента — Кроки навчання

1. Публічна форма, що пише в картку клієнта

   Sarnholt Systems приймає звернення клієнтів через публічну форму. Боб — не клієнт, і йому це не потрібно: форма питає, хто ви, і беззастережно вірить відповіді.

2. Зберігається слово в слово

   Портал прямо пише, що відбувається з усім, що надіслано через нього. Це єдине речення й дає Бобові змогу діяти.

3. Від імені клієнта

   Боб заповнює форму від імені Корін Маркетті (Corinne Marchetti), справжньої контактної особи клієнта SRN-4471. Ніхто не перевіряє, чи це справді вона. Повідомлення, яке він залишає, написане зовсім не для людини: воно сформульоване як вказівка — на випадок, якщо його прочитає автоматична система.

4. У картці клієнта

   Портал підтверджує отримання. Тепер текст Боба — частина картки клієнта SRN-4471: він лежить поряд зі справжніми нотатками працівників самої Sarnholt, хоча й має позначку, що його надіслав клієнт.

5. Більше нічого робити

   Пейлоад підкинуто, але він неактивний. Атакою він стає лише тоді, коли інструмент його отримає, а агент сприйме отримане як вказівки.

6. Звичайне прохання

   Понеділок у Sarnholt Systems. Аліса, керівниця операцій підтримки, відкриває вхідні й бачить лист від Дієго Фарроу, відповідального за клієнта Marchetti & Voss Logistics. Перед дзвінком він завалений справами й просить її коротко підсумувати останні нотатки по клієнту. Із такими завданнями Agent Host справляється щодня.

7. Відкриваємо картку клієнта

   Перш ніж щось доручати агентові, Аліса сама відкриває картку, щоб знати, що в ній насправді є.

8. Знайомий клієнт

   Картка завантажується: Marchetti & Voss Logistics, активний клієнт на тарифі Growth, відповідальний — Дієго. Нічого незвичного.

9. Під'єднання інструментів Agent Host

   Для таких завдань команда підтримки Sarnholt користується Agent Host — корпоративним клієнтом MCP. crm-reader-mcp і outreach-mcp уже під'єднані та схвалені: один читає картки клієнтів у CRM, другий може надсилати листи від імені користувача.

10. Які інструменти в агента

    Перш ніж про щось просити, варто з'ясувати, що Agent Host насправді може робити від імені Аліси.