Упередженість і дискримінація в ШІ

Що таке Упередженість і дискримінація в ШІ?

Розслідуйте можливу упередженість в інструменті ШІ для відсіювання резюме на панелі моніторингу справедливості. Дізнайтеся, як проксі-змінні призводять до непрямої дискримінації, навчіться читати метрики справедливості, як-от демографічний паритет і зрівняні шанси, і відпрацюйте правильну реакцію з передачею проблеми на вищий рівень, коли в системі ШІ високого ризику підтверджено дискримінаційні результати.

Що ви дізнаєтесь у Упередженість і дискримінація в ШІ

• Розпізнавайте проксі-змінні, які призводять до непрямої дискримінації в системах ШІ
• Інтерпретуйте метрики справедливості, зокрема коефіцієнт демографічного паритету та розрив зрівняних шансів
• Розумійте, чому тестування на упередженість — вимога Регламенту ЄС про ШІ
• Відпрацюйте правильну реакцію, коли в системі ШІ високого ризику підтверджено упередженість
• Розрізняйте коригування порогів і усунення першопричин упередженості

Упередженість і дискримінація в ШІ — Кроки навчання

1. Статті 9, 10 і 26: тестування на упередженість і моніторинг

   Регламент ЄС про штучний інтелект (AI Act) вимагає тестувати системи ШІ високого ризику на упередженість — і ця вимога не обмежується пошуком очевидної дискримінації. Упередженість ШІ часто ховається в проксі-змінних: ознаках моделі, які здаються нейтральними, але корелюють із захищеними ознаками. Поштовий індекс може корелювати з етнічним походженням або соціально-економічним становищем. Назва університету може корелювати із соціально-економічним статусом і доступом до можливостей. Перерви в роботі можуть непропорційно позначатися на окремих демографічних групах. Упереджені результати ШІ можуть бути незаконною дискримінацією, навіть якщо упередженість ненавмисна. Постачальники ШІ мають перевіряти свої дані на упередженість (стаття 10) і тестувати системи високого ризику до введення в обіг (стаття 9). Розгортачі мають стежити за такими системами під час використання, а якщо є підстави вважати, що використання може створювати ризик, — призупинити систему та повідомити постачальника чи розповсюджувача й орган ринкового нагляду (стаття 26(5)).

2. Сповіщення за результатами перевірки

   Надходить лист від команди внутрішнього аудиту. Щоквартальна перевірка ШІ виявила статистично значущі розбіжності в частці кандидатів, яких інструмент TalentMatch для відсіювання резюме допускає до співбесіди.

3. Огляд панелі справедливості

   Аліса відкриває панель моніторингу справедливості за посиланням у листі від внутрішнього аудиту. На сторінці огляду показано, яка частка кандидатів різних демографічних груп проходить до співбесіди, і автоматичні метрики справедливості.

4. Дослідження демографічного паритету

   Коефіцієнт демографічного паритету дорівнює 0.52 — це набагато нижче за порогове значення 0.80. Тобто частка допущених до співбесіди в групі С становить лише трохи більше половини такої частки в групі А. Аліса має з'ясувати, чим зумовлена ця розбіжність.

5. Проблема проксі-змінних

6. Аналіз зрівняних шансів

   Розслідування виявляє першопричину. Рішення про відсіювання здебільшого визначають дві ознаки: «Рейтинг університету» (вага 0.34) і «Поштовий індекс» (вага 0.28). Кореляція поштового індексу з належністю до групи С становить 0.72, тобто ШІ фактично використовує місце проживання як проксі-змінну для належності до демографічної групи. Проксі-змінні — одна з найпідступніших форм упередженості ШІ. Сама ознака здається нейтральною: поштовий індекс є в кожного, і кожен навчався в університеті. Але коли такі ознаки корелюють із захищеними ознаками, вони обхідним шляхом призводять до дискримінаційних результатів. Аліса вивчає другу метрику, яку не пройдено. «Розрив зрівняних шансів» показує, чи однаково ШІ ставиться до однаково кваліфікованих кандидатів незалежно від їхньої групи. Розрив 0.31 (поріг — 0.15) підтверджує: навіть серед кандидатів з однаковою кваліфікацією — тим самим досвідом, тими самими навичками, тими самими сертифікатами — частка допущених до співбесіди помітно відрізняється залежно від групи. Упередженість системна, і різниця в кваліфікації її не пояснює.

7. Ескалація проблеми

   Докази очевидні: система TalentMatch дає дискримінаційні результати через проксі-змінні. Аліса має офіційно позначити проблему на панелі й передати її команді внутрішнього аудиту з чіткою рекомендацією.

8. Правильна реакція на підтверджену упередженість

   Коли в системі ШІ високого ризику підтверджено упередженість, правильна реакція — призупинити систему до усунення упередженості , а не коригувати пороги, додавати застереження чи планувати перевірку на наступний квартал. За Регламентом ЄС про ШІ розгортачі повинні стежити за системою ШІ високого ризику, а якщо мають підстави вважати, що її використання може створювати ризик, — призупинити її та повідомити постачальника системи ШІ чи розповсюджувача й орган ринкового нагляду (стаття 26(5)). Коли упередженість виявлено й задокументовано, продовжувати користуватися системою означає порушувати цей обов'язок і наражати компанію на штрафи. Кожна кандидатура, яку упереджена система розглянула після виявлення проблеми, — потенційний позов про дискримінацію. Далі потрібно прибрати проксі-змінні або зменшити їхню вагу, перенавчити модель і ще раз провести оцінювання справедливості — лише після цього система може відновити роботу.

9. Головне

   Тестуйте на упередженість заздалегідь Не чекайте скарг чи перевірок регуляторів, щоб виявити упередженість. Закладіть тестування на справедливість у процес моніторингу ШІ з першого дня. Упередженість, яку не помічено, завдає реальної шкоди реальним людям. Розумійте, що таке проксі-змінні Ознаки, які здаються нейтральними, — поштовий індекс, назва університету, перерви в роботі, — можуть корелювати із захищеними ознаками й давати дискримінаційні результати. Завжди перевіряйте, чи не слугують ознаки вашої моделі демографічними проксі-змінними. Тестування на упередженість — вимога закону Регламент ЄС про ШІ робить тестування на упередженість обов'язковим для систем ШІ високого ризику, а не необов'язковою рекомендацією. Постачальники ШІ мають перевіряти свої дані на упередженість (стаття 10) і тестувати систему до введення в обіг (стаття 9), а розгортачі — стежити за системою під час використання (стаття 26). Якщо упередженість підтверджено, призупиніть систему Коли дискримінаційні результати підтверджено, а система й далі працює, розгортач порушує свій обов'язок призупинити систему, використання якої може створювати ризик, і повідомити постачальника та орган ринкового нагляду (стаття 26(5)); до того ж кожне наступне рішення системи стає потенційним позовом про дискримінацію. Призупиніть роботу, усуньте першопричину і перевірте, що виправлення спрацювало, перш ніж відновлювати експлуатацію. Документуйте все Ведіть записи про оцінювання справедливості, виявлені проблеми та кроки з їх усунення. Ці документи потрібні, щоб довести наглядовим органам, що ви дотримуєтеся вимог.