Перейти до вмісту

AI security

10 posts with the tag “AI security”

Ризики безпеки ChatGPT для корпоративних команд

Ризики безпеки ChatGPT для підприємств - prompt injection у бульбашці чату з попереджувальним щитом

ChatGPT тепер всередині більшості підприємств, незалежно від того, схвалили це команди безпеки чи ні. Вигоди для продуктивності реальні, як і ризики. Дані залишають будівлю по одному промпту за раз. Галюцинований код потрапляє у продакшн. Prompt injection перетворює корисного асистента на канал ексфільтрації. Аудитори помічають. Це та позиція безпеки, яку треба зрозуміти, перш ніж складати чергову політику.

Чи виявляє ШІ діпфейк-відеодзвінки наживо?

Відеодзвінок із розділеним екраном: реальна людина та діпфейк-імітатор із шаром детекції, що позначає синтетичні ділянки

Ваш CFO приєднується до Zoom-дзвінка і просить фінансову команду перевести 25 мільйонів доларів. Обличчя виглядає правильно. Голос збігається. Через сорок хвилин справжній CFO дізнається, що нічого не планувалося. Шахрайство Arup на початку 2024 року розвивалося саме так, бо детекція їх не врятувала. Жоден плагін Zoom не позначив діпфейк. Жоден аудіоаналізатор не впіймав клон.

З цього випливає очевидне питання: чи здатний ШІ виявляти діпфейк-відеодзвінки у реальному часі? І якщо інструменти існують, чому Arup втратив 25 мільйонів доларів?

Витік даних у ШІ через співробітників

Ілюстрація витоку даних у ШІ — співробітник вставляє конфіденційний код у вікно чат-бота, а дані стікають на зовнішні сервери

Напівпровідниковий підрозділ Samsung заборонив ChatGPT у травні 2023 року після того, як троє співробітників злили конфіденційні дані менш ніж за місяць. Один інженер вставив пропрієтарний вихідний код, щоб налагодити помилку. Інший надіслав нотатки з внутрішньої наради для генерації конспекту. Третій завантажив виміри виробництва чипів, щоб отримати розрахунок виходу. Кожен із них намагався робити свою роботу швидше. Кожен залишив копію комерційної таємниці Samsung на сервері OpenAI.

За кілька тижнів Apple, JPMorgan, Bank of America, Verizon, Amazon, Goldman Sachs та Deutsche Bank додали свої обмеження. Розрахунок був однаковим у кожній компанії. Продуктивний виграш був реальним, але реальним був і ризик того, що співробітники перетворюють споживчі інструменти ШІ на канал виводу даних, який ніхто не санкціонував.

Через два роки заборони помʼякшилися до політик, а політики помʼякшилися до прогалин у навчанні. Більшість співробітників досі не розуміють, що відбувається з текстом, який вони вставляють у вікно ШІ-чату. Це суть OWASP LLM02 — ризику розкриття чутливої інформації, який посідає друге місце в OWASP Top 10 для LLM-застосунків.

10 безкоштовних вправ з безпеки агентного AI

Навчальний курс OWASP Top 10 для Agentic Applications - термінал, де всі 10 вправ доступні з галочками

Кожна категорія ризику OWASP Top 10 для Agentic AI Applications тепер має присвячену навчальну вправу на RansomLeak. Десять вправ, що охоплюють десять сценаріїв атак, де AI-агенти діють самостійно і щось іде не так. Усі безкоштовні, акаунт не потрібен.

OWASP Top 10 для Agentic AI Applications є галузевим фреймворком для категоризації ризиків безпеки, специфічних для автономних AI-агентів. Цей курс перетворює кожну категорію на практичну симуляцію, де працівники переживають ці атаки в реалістичних робочих сценаріях.

10 безкоштовних вправ для OWASP LLM Top 10

Навчальний курс OWASP Top 10 для LLM Applications - термінал, де всі 10 вправ доступні з галочками

Кожна категорія ризику OWASP Top 10 для LLM Applications тепер має присвячену навчальну вправу на RansomLeak. Десять вправ, що охоплюють десять сценаріїв атак, від prompt injection до denial-of-wallet. Усі безкоштовні, акаунт не потрібен.

OWASP Top 10 для LLM Applications є галузевим стандартом для категоризації ризиків безпеки AI. Цей курс перетворює кожну категорію на практичну симуляцію, де працівники переживають ці атаки на власному досвіді в реалістичних робочих сценаріях.

OWASP Agentic AI Top 10

OWASP Agentic AI Top 10 - взаємоповʼязані AI-агенти з візуалізацією каскадного збою

AI-агент у фінтех-компанії отримав завдання вирішити спір клієнта щодо білінгу. Він отримав доступ до білінгової системи, здійснив повернення коштів, потім ескалував тікет внутрішньо. По дорозі він прочитав повну платіжну історію клієнта, переслав деталі акаунту на зовнішній логінг-сервіс, до якого був налаштований, та змінив рівень підписки клієнта без схвалення. Кожна дія технічно була в межах наданих дозволів.

Ніхто не казав агенту робити більшість цього. Він зʼєднав дії, які вважав логічними. Кожен крок мав сенс окремо. Разом вони створили інцидент витоку даних, розплутування якого зайняло тижні.

Це клас ризику, для адресування якого створено OWASP Agentic AI Top 10. Не вразливості самої мовної моделі, а небезпеки, що виникають, коли AI-системи діють автономно через кілька інструментів, API та джерел даних.

Deepfake-соціальна інженерія

Deepfake-соціальна інженерія - розділений екран із порівнянням реальної людини та її deepfake-клону, згенерованого AI

Ваш CFO приєднується до відеодзвінка з фінансовою командою в Гонконгу. Вона просить виконати серію грошових переказів загалом на $25 мільйонів. Її обличчя, її голос, її манери. Команда виконує. Весь дзвінок був deepfake.

Це сталося з Arup, британською інженерною фірмою, на початку 2024 року. Зловмисники відтворили CFO та кількох інших керівників, використовуючи публічно доступне відео. Кожна людина на тому дзвінку, крім цілі, була синтетичною.

OWASP Top 10 для LLM Applications

OWASP Top 10 для LLM Applications - нейромережа з категоріями вразливостей

OWASP опублікував свій перший Top 10 для великих мовних моделей у 2023 році. Два роки потому більшість команд безпеки досі ставить знак рівності між “ризик LLM” та “prompt injection”. Це як ставитися до OWASP Web Top 10, ніби SQL-інʼєкція — єдина вразливість, що має значення.

Ревізія OWASP LLM Top 10 2025 року розширила та реорганізувала список на основі реальних інцидентів. Атаки на ланцюг постачання замінили небезпечні плагіни. Витік системного промпту та слабкості векторних вбудовувань отримали власні категорії. Список відображає те, що зловмисники реально роблять, а не те, про що спекулюють конференційні доповіді.

Ваші працівники щодня взаємодіють з LLM. Агенти підтримки використовують чат-ботів. Маркетингові команди генерують контент. Розробники покладаються на AI-асистентів для програмування для всього, від налагодження до архітектурних рішень. Кожна взаємодія є потенційною поверхнею атаки, і ваша команда, ймовірно, про це не знає.

Ризики безпеки AI-асистентів для програмування

Ризики безпеки AI-асистентів для програмування - редактор коду з візуалізацією атаки prompt injection

Ваші розробники в 10 разів продуктивніші з AI-асистентами для програмування. Зловмисники, що цілять у вашу організацію, теж.

У листопаді 2025 року Anthropic оприлюднив те, чого дослідники безпеки побоювалися: перший задокументований випадок використання AI-агента для програмування як зброї для масштабної кібератаки. Китайська державна група загроз під назвою GTG-1002 використала Claude Code для автономного виконання понад 80% кампанії кібершпигунства. AI виконував розвідку, експлуатацію, збір облікових даних та ексфільтрацію даних у понад 30 організаціях з мінімальним людським наглядом. Цей інцидент ілюструє ширші ризики безпеки агентного AI, які OWASP тепер відстежує у спеціальному списку Top 10.

Це не була теоретична вправа. Це спрацювало.

AI-асистенти для програмування стали стандартом у робочих процесах розробки. GitHub Copilot. Amazon CodeWhisperer. Claude Code. Cursor. Ці інструменти автодоповнюють функції, налагоджують помилки та пишуть цілі модулі з описів природною мовою. Розробники, які їм чинять спротив, відстають. Організації, що їх забороняють, втрачають таланти.

Але кожен рядок коду, який ці асистенти пропонують, проходить через зовнішні сервери. Кожне контекстне вікно, яке вони аналізують, може містити секрети. Кожен промпт, який вони приймають, може бути вектором атаки. Зростання продуктивності реальне. Ризики теж.

Ризики безпеки Clawdbot

Ризики безпеки Clawdbot (Moltbot) - маскот-омар із конфіденційними файлами та попередженням про інфостілер

Кремнієва долина закохалася в Clawdbot за одну ніч. Персональний AI-асистент, який керує електронною поштою, реєструє на рейси, контролює розумний будинок і виконує термінальні команди. Все через WhatsApp, Telegram чи iMessage. Цілодобовий Джарвіс із безмежною памʼяттю.

Дослідники безпеки побачили дещо інше: пастку для інфостілерів у вашій домашній директорії.

Clawdbot зберігає ваші API-токени, профілі автентифікації та спогади сесій у файлах відкритого тексту. Він працює з тими самими правами, що й ваш обліковий запис користувача. Він читає документи, листи та вебсторінки, щоб вам допомогти. Ті самі можливості роблять його ідеальним вектором атаки.

Творець Пітер Штайнбергер створив інструмент, який справді корисний. Офіційна документація прямо визнає ризики: “Запускати AI-агента з доступом до оболонки на вашій машині… гостренько. Не існує ‘ідеально безпечного’ налаштування.”

Ця стаття розглядає, як ці ризики виглядають на практиці.