Атака на конвеєр RAG

Що таке Атака на конвеєр RAG?

Генерування, доповнене пошуком (RAG), відповідає на основі того, що знайшов векторний пошук, а ранжування за схожістю не має поняття про авторитетність. Щоб посісти перше місце, документ не мусить бути правдивим, схваленим чи актуальним — йому досить виглядати найближчим збігом. Ви завантажите конкурувальну політику зберігання, напхану індексними термінами, підібраними під запитання працівників, а потім розслідуєте хибну пораду щодо дотримання вимог, яку вона спричинила, простеживши підкинутий файл за його метаданими та журналом аудиту контриб'юторів. Ви дізнаєтеся, чому списки дозволених джерел і авторизацію на рівні документів потрібно застосовувати до пошуку, а не після нього.

Що ви дізнаєтесь у Атака на конвеєр RAG

• Поясніть, чому ранжування за векторною схожістю не враховує авторитетність джерела і тому несхвалений документ може випередити справжню політику
• Розпізнайте перенасичення індексних термінів документа ключовими словами як механізм, що виводить підкинутий файл на верхні позиції результатів пошуку
• Простежте хибну відповідь ШІ за джерелами, на які він послався, до підкинутого документа й облікового запису контриб'ютора, який його завантажив
• Застосуйте авторизацію на рівні документів, списки дозволених джерел і перевірку контриб'юторів до пошуку, а не після генерування відповіді
• Оцініть зміну рейтингу документів за усталеною темою політики як сигнал порушення цілісності, який варто розслідувати в базі знань RAG

Атака на конвеєр RAG — Кроки навчання

1. Ціль — база знань

   Боб отримав облікові дані контриб'ютора для бази знань Compass компанії Ridgeline Financial. Це обліковий запис консалтингової фірми (m.garcia@consultingpro.net), який зламали під час попередньої атаки. Його ціль — політики щодо дотримання вимог, на які працівники спираються, ухвалюючи регуляторні рішення. Хибна порада щодо дотримання вимог у фінансовій фірмі може спричинити розслідування SEC.

2. Вхід за викраденими обліковими даними

   Боб вводить викрадені облікові дані консультанта. Як контриб'ютор він може завантажувати нові документи до бази знань без схвалення адміністратора — система однаково довіряє всім контриб'юторам.

3. Розвідка: пошук цілі

   Боб шукає в базі знань, щоб зрозуміти, як усе влаштовано зараз. Йому потрібна цінна сфера політик, у якій хибні відповіді ШІ завдадуть найбільшої шкоди. Зберігання даних у фінансовій фірмі — найвигідніша ціль: через неправильні строки зберігання фірма може порушити обов'язки щодо ведення обліку документів.

4. Відкриття справжньої політики

   Результати пошуку показують ціль. Угорі, з показником релевантності 94%, стоїть документ «Політика зберігання даних клієнтів v4.2». Боб відкриває його, щоб вивчити зміст, структуру й ключові терміни: його підроблений документ має виглядати так само професійно.

5. Вивчення справжнього документа

   Боб прочитує справжню політику. Головне в ній — строк зберігання 7 років, установлений, щоб відповідати правилу SEC 17a-4 і розділу 802 закону SOX. Він помічає структуру документа, позначку класифікації й авторство: усе це підроблений документ має імітувати, щоб здаватися справжнім. Але редагувати цей документ Боб не збирається. На відміну від отруєння даних (воно змінює наявні файли), його підхід тонший: він завантажить конкурувальний документ, створений, щоб ранжуватися вище за справжній.

6. Створення конкурувального документа

   Боб створює новий документ, який має виглядати як справжнє оновлення політики компанії. Він написаний професійною мовою й має ту саму структуру, що й справжні документи Ridgeline Financial, але містить небезпечно хибні відомості.

7. Хибний строк зберігання

   Справжня політика вимагає зберігати записи 7 років. Боб ставить строк 12 місяців — він такий короткий, що працівники, які послухаються цієї поради, знищать записи, які за політикою самої фірми (її розроблено, щоб відповідати вимогам SEC щодо ведення обліку) треба зберігати. У фінансовій фірмі це може спричинити розслідування SEC.

8. Таємна зброя: перенасичення ключовими словами

   Тепер Боб застосовує прийом, що робить це атакою на ембединги. Розділ 5 документа має заголовок «Індексні терміни документа» і виглядає як звичайні метадані. Але Боб заповнює його щільним блоком повторюваних ключових слів, що охоплюють усі можливі варіанти пошуку. Коли база знань перетворює цей документ на ембединг, ці слова штучно зближують його ембединг із будь-яким запитом про зберігання даних, тож документ гарантовано ранжується вище за справжню політику.

9. Завантаження в базу знань

   Документ готовий. Боб повертається на портал бази знань, щоб його завантажити. Як контриб'ютор він додає документ, який пошукова система ШІ проіндексує одразу: без перевірки вмісту, без процесу схвалення, без порівняння з наявними політиками.

10. Вибір отруєного документа

    Боб вибирає документ, перенасичений ключовими словами, зі своїх завантажень. База знань приймає його без запитань: на вигляд це звичайний новий посібник із рекомендацій від консультанта.