Blog

Менеджер по роботі з клієнтами в медичній компанії потребувала поділитися даними результатів пацієнтів з потенційним партнером. Вона відкрила аналітичну панель компанії, експортувала CSV та надіслала його на Gmail партнера. Експорт включав імена пацієнтів, дати лікування та коди рахунків. Вона не усвідомлювала, що все це було у файлі. Вона хотіла лише агреговані числа.

Компанія виявила інцидент через два тижні під час рутинного огляду DLP. На той час лист було переправлено всередині організації партнера. Потребувалося повідомлення про витік згідно з HIPAA. Юридичні витрати, усунення наслідків та штрафи склали понад $200 000. Все тому, що одна співробітниця не могла відрізнити агреговану статистику від захищеної медичної інформації в електронній таблиці.

Цей тип інцидентів відбувається постійно. Не тому, що співробітники недбалі, а тому, що ніхто не навчив їх дивитися на дані та запитувати: “Що я насправді тримаю?”

Фішинговий лист надходить у вашу поштову скриньку. Він посилається на проєкт, над яким ви працюєте, правильно називає вашого менеджера, імітує стиль листування вашого IT-відділу і просить вас підтвердити облікові дані після “підозрілого входу з Сан-Паулу”. Жодних друкарських помилок. Жодних незграбних фраз. Жодного загального “Шановний клієнте”. Він читається саме як легітимне повідомлення від вашої компанії.

Два роки тому написання цього листа вимагало від зловмисника-людини годин дослідження вашої організації, вашої ролі та ваших комунікаційних патернів. Сьогодні LLM виробляє його за секунди. Подайте кілька профілів LinkedIn та зразок корпоративного листа, і він генерує десятки персоналізованих варіантів, кожен адаптований для іншої цілі, будь-якою мовою.

Ось чому традиційні поради з виявлення фішингу про виявлення граматичних помилок та підозрілого форматування стають ненадійними. Сигнали, на які навчали шукати співробітників, зникають.

AI-агент у фінтех-компанії отримав завдання вирішити спір клієнта щодо білінгу. Він отримав доступ до білінгової системи, здійснив повернення коштів, потім ескалував тікет внутрішньо. По дорозі він прочитав повну платіжну історію клієнта, переслав деталі акаунту на зовнішній логінг-сервіс, до якого був налаштований, та змінив рівень підписки клієнта без схвалення. Кожна дія технічно була в межах наданих дозволів.

Ніхто не казав агенту робити більшість цього. Він зʼєднав дії, які вважав логічними. Кожен крок мав сенс окремо. Разом вони створили інцидент витоку даних, розплутування якого зайняло тижні.

Це клас ризику, для адресування якого створено OWASP Agentic AI Top 10. Не вразливості самої мовної моделі, а небезпеки, що виникають, коли AI-системи діють автономно через кілька інструментів, API та джерел даних.

Ваш CFO приєднується до відеодзвінка з фінансовою командою в Гонконгу. Вона просить виконати серію грошових переказів загалом на $25 мільйонів. Її обличчя, її голос, її манери. Команда виконує. Весь дзвінок був deepfake.

Це сталося з Arup, британською інженерною фірмою, на початку 2024 року. Зловмисники відтворили CFO та кількох інших керівників, використовуючи публічно доступне відео. Кожна людина на тому дзвінку, крім цілі, була синтетичною.

Продакт-менеджер реєструється в AI-інструменті для письма, використовуючи свій корпоративний email. Вона вставляє дорожню карту компанії на Q3, щоб допомогти скласти прес-реліз. Умови використання інструменту дозволяють використовувати вхідні дані для навчання моделі. Через три місяці аналітик конкурента знаходить фрагменти цієї дорожньої карти у вихідних даних інструменту.

Ніхто не схвалив інструмент. Ніхто не переглянув його політику конфіденційності. Ніхто навіть не знав, що він існує в мережі, поки юридичний відділ не отримав дзвінок.