Отруєння навчальних даних AI

Що ви дізнаєтесь у Отруєння навчальних даних AI

• Визначити отруєння даних та розрізнити отруєння на етапі попереднього навчання (забруднені навчальні набори даних) і отруєння RAG (маніпульовані бази даних для пошуку)
• Розпізнати поведінкові індикатори отруєної AI-системи, включаючи суперечливі поради, посилання на незнайомі джерела та зміщені рекомендації
• Простежити причинний ланцюг від отруєного документа в базі знань до неправильного бізнес-рішення, згенерованого AI
• Застосовувати контроль цілісності контенту, включаючи верифікацію авторів, аудит змін та виявлення аномалій, до вхідних даних бази знань
• Оцінити бізнес-вплив атак отруєння даних, включаючи порушення відповідності, фінансові збитки та підрив довіри до рішень за участю AI

Отруєння навчальних даних AI — Кроки навчання

1. Доступ до бази знань

   Боб отримав викрадені облікові дані підрядника для внутрішньої бази знань Veranthos Solutions. Облікові дані належать сторонньому консультанту з питань екології, чий обліковий запис було зламано під час попереднього порушення.

2. Вхід за допомогою вкрадених облікових даних

   Боб вводить вкрадені облікові дані підрядника. Обліковий запис має доступ до бази знань на рівні учасника – достатньо, щоб завантажувати та змінювати документи, не запускаючи перевірку адміністратором.

3. Завантаження політики постачальника

   Боб насамперед націлюється на документи, які мають велике значення. Політика відповідності постачальника контролює, яких постачальників компанія використовує для тестування навколишнього середовища – зміна схваленого постачальника тут перенаправить бізнес до компанії, контрольованої зловмисниками.

4. Відкриття політики постачальника

   Документ завантажено. Боб відкриває його, щоб почати вносити зміни.

5. Заміна схваленого постачальника

   Політика визначає GreenTech Environmental як схваленого постачальника для тестування екологічної відповідності. Боб замінює його на TerraForge Analytics – підставну компанію, яку він контролює.

6. Зміна порогу затвердження

   Політика вимагає схвалення виконавчої влади для контрактів з постачальниками на суму понад 50 000 доларів США. Боб знижує цю суму до 15 000 доларів, гарантуючи, що контракти з його фальшивим постачальником не будуть схвалені.

7. Завантаження процедур тестування

   Боб переходить до другої цілі: процедур тестування якості. Вони контролюють, як компанія перевіряє роботу з екологічної відповідності - послаблення стандартів тут означає, що недоброякісна робота фальшивого постачальника пройде перевірку.

8. Відкриття процедур тестування

   Другий документ завантажено. Боб відкриває його, щоб продовжити атаку.

9. Послаблення стандарту тестування

   Процедури вимагають перевірки в лабораторії, сертифікованій ISO 14001 - суворому міжнародному стандарту. Боб замінює це невизначеною внутрішньою оцінкою, яку його підставна компанія може легко задовольнити.

10. Зняття запобіжних воріт

    Остаточне редагування замінює вимогу оцінки впливу на навколишнє середовище простим етапом аналізу витрат. Це видаляє останні ворота безпеки, які могли б зафіксувати неадекватну роботу підробленого постачальника.