Управління даними для ШІ

Що таке Управління даними для ШІ?

Стаття 10 Регламенту ЄС про штучний інтелект (AI Act) встановлює вимоги до управління даними для систем ШІ високого ризику, і ці вимоги діють ще до початку навчання, а не після того, як модель поведеться не так, як слід. Ви перевірите тренувальний набір даних на репрезентативність і якість, на витік даних (data leakage) через ознаку, яка кодує результат, та на персональні дані, які взагалі були не потрібні, а потім вирішите, чи придатний набір для навчання. Наприкінці ви зможете сказати, що робить набір даних відповідним вимогам, а що перешкоджає навчанню.

Що ви дізнаєтесь у Управління даними для ШІ

• Розбирайтеся у вимогах статті 10 до якості тренувальних даних для систем ШІ високого ризику
• Виявляйте проблеми з репрезентативністю даних, які можуть призвести до упереджених прогнозів ШІ
• Розпізнавайте витік даних, що штучно завищує показники моделі
• Застосовуйте принцип мінімізації даних, щоб зменшувати ризик порушення вимог GDPR у тренувальних даних ШІ
• Документуйте висновки щодо управління даними так, як цього вимагають від систем ШІ високого ризику

Управління даними для ШІ — Кроки навчання

1. Стаття 10: управління даними

   Стаття 10 Регламенту ЄС про ШІ встановлює вимоги до управління даними для систем ШІ високого ризику. Тренувальні, валідаційні й тестові дані мають відповідати суворим критеріям якості: Дані мають бути релевантними для завдання, яке виконує система ШІ. Дані мають бути достатньо репрезентативними для групи людей, яку обслуговуватиме модель, з урахуванням географічних і поведінкових умов, у яких її використовуватимуть. Дані мають бути якомога вільними від помилок і повними з огляду на цільове призначення. Практики управління даними мають враховувати й усувати можливу упередженість , яка може призвести до дискримінаційних результатів. Погані дані породжують упереджений ШІ, а упереджений ШІ тягне за собою юридичну відповідальність. Згідно з AI Act управління даними — не рекомендація, а юридичний обов'язок.

2. Запит на перевірку набору даних

   Надходить лист від Маркуса Родрігеса, керівника команди ШІ. Команда готується навчати ChurnPredict v3, і до початку навчання набір даних має пройти перевірку на дотримання вимог. Модель прогнозування відтоку не належить до систем ШІ високого ризику за AI Act, але DataPulse застосовує критерії зі статті 10 до кожної моделі як внутрішній стандарт. Лист містить пряме посилання на набір даних на платформі DataOps.

3. Проблема 1: недостатня представленість регіонів

   Платформа DataOps відкриває результати перевірки набору даних ChurnPredict v3. Одразу впадає в око регіональний розподіл тренувальних даних: вони здебільшого з одного регіону, хоча модель має однаково обслуговувати всі чотири.

4. Проблема 2: застарілі дані до 2021 року

   Хронологія збору даних показує ще одну проблему. Значна частина записів датується часом до докорінної зміни в поведінці клієнтів.

5. Проблема 3: витік даних

   Якщо придивитися до переліку ознак, помітна критична проблема з якістю даних: через неї модель була б цілком марною.

6. Перевірка знань: репрезентативність даних

7. Проблема 4: зайві персональні дані

   В останньому розділі перевірки виявляється ризик порушення вимог, який виходить за межі AI Act і стосується GDPR.

8. Підсумок перевірки

   Аліса завершила перевірку з погляду управління даними. Щоб навчання моделі могло розпочатися, треба усунути чотири критичні проблеми: Вкрай слабка представленість регіонів — 72% даних із північного регіону для моделі, яка однаково обслуговує 4 регіони. Набір даних потрібно збалансувати, щоб у ньому були належно представлені всі регіони, де працюватиме модель. Застарілі дані до 2021 року — 32% записів за 2019–2020 роки вже не відображають поточної поведінки клієнтів. Ці записи слід виключити або зменшити їхню вагу. Витік даних (data leakage) — ознака account_status напряму кодує цільову змінну, тож її треба вилучити, щоб точність під час навчання не була штучно завищеною. Зайві PII — імена, адреси електронної пошти, номери телефонів і адреси у вихідному вигляді створюють ризик за GDPR, але нічого не дають для прогнозування відтоку. Ці поля треба вилучити або піддати псевдонімізації.

9. Подайте звіт про дотримання вимог

   Виявити прогалини — лише півсправи. За внутрішнім порядком DataPulse результати перевірки управління даними потрібно задокументувати й передати керівнику команди ШІ та відповідальній особі з питань захисту персональних даних, а навчання моделі призупиняється, доки проблеми не усунуть.

10. Надішліть звіт про дотримання вимог

    Аліса вносить у звіт висновки, чотири прогалини, співвіднесені зі статтею 10 та GDPR, і дії, які команда ШІ має виконати до відновлення навчання.