Обов'язки розгортача системи ШІ високого ризику

Обов'язки розгортача системи ШІ високого ризику

Сім сфер вимог, і всі треба виконати до запуску.

Що таке Обов'язки розгортача системи ШІ високого ризику?

Система ШІ високого ризику має відповідати вимогам у семи сферах ще до запуску, і здебільшого довести це має постачальник. Ви проведете перевірку, яку виконує розгортач, для системи, що оцінює ефективність працівників: звірите підтвердження вендора сфера за сферою й знайдете прогалини, через які запуск неможливий. Ви дізнаєтеся, які обов'язки лежать саме на вас як на розгортачі, зокрема поінформувати працівників і доручити людський нагляд компетентним людям.

Що ви дізнаєтесь у Обов'язки розгортача системи ШІ високого ризику

Обов'язки розгортача системи ШІ високого ризику — Кроки навчання

  1. Вимоги до систем ШІ високого ризику

    Регламент ЄС про штучний інтелект (AI Act) встановлює для систем ШІ високого ризику найсуворіші обов'язки. Сама система має відповідати вимогам у семи сферах (статті 9–15), і забезпечує це постачальник системи ШІ (стаття 16). Ви як розгортач маєте до початку використання побачити від постачальника підтвердження кожної вимоги, а вже потім виконувати власні обов'язки за статтею 26: Управління ризиками — виявлення й зменшення ризиків упродовж усього життєвого циклу системи Управління даними — доречні, репрезентативні тренувальні дані без упередженості Технічна документація — докладний опис того, як система побудована й працює Ведення журналів — журнал аудиту й автоматичне журналювання Прозорість — зрозуміла інформація та інструкції з використання для розгортачів Людський нагляд — люди можуть дієво наглядати за системою Точність, стійкість і кібербезпека — відповідність стандартам продуктивності та безпеки Далі ви пройдете перевірку, яку розгортач проводить перед запуском реальної системи: звірите підтвердження постачальника й закриєте прогалини, за які відповідає саме розгортач.

  2. Лист від директора з інформаційної безпеки

    Надходить лист від Джеймса Мортона, директора з інформаційної безпеки (CISO) компанії Pinnacle Group. Вендор передав систему для оцінювання працівників, і до її запуску Аліса має завершити перевірку на дотримання вимог. У листі є пряме посилання на Реєстр систем ШІ на порталі управління.

  3. Реєстр систем ШІ

    У Реєстрі систем ШІ є три записи: PerformanceAI (нова система ШІ високого ризику, позначена для перевірки) і дві системи, які вже відповідають вимогам, — EmailGuard та ChatAssist. Для кожної системи ШІ в Pinnacle Group реєстр фіксує рівень ризику, стан дотримання вимог та історію аудитів.

  4. Оцінка дотримання вимог

    У PerformanceAI є очевидні прогалини в дотриманні вимог. FRIA для приватного роботодавця не потрібна, але працівників, яких це стосується, ще не поінформовано, не призначено жодного фахівця з нагляду, а управління даними досі чекає на перевірку. Аліса натискає в записі PerformanceAI кнопку «Запустити оцінку дотримання вимог», щоб відкрити докладний контрольний перелік для цієї системи.

  5. Позначте прогалини

    Аліса проходить усі розділи вимог і позначає лише ті пункти, які НЕ виконано. У розділі Управління даними є невирішена прогалина: тренувальні дані жодного разу не перевіряли на репрезентативність для різних демографічних груп працівників. У розділі Людський нагляд — ще одна: не призначено кваліфікованого фахівця з нагляду з повноваженнями змінювати або скасовувати результати системи. Решта розділів у порядку, і позначати в них нічого не треба. Під час перевірки Аліса бачить примітку вендора: «Людський нагляд не потрібен, бо алгоритм виставляє оцінки ефективності з точністю 99,2%». Цю тезу треба зіставити з тим, чого насправді вимагає Регламент ЄС про ШІ.

  6. Вимога щодо людського нагляду

  7. Виявлено критичні прогалини

    Перевірка виявила три критичні прогалини, які треба усунути до запуску PerformanceAI: Працівників не поінформовано — FRIA за статтею 27 приватного роботодавця не стосується, а ось стаття 26(7) стосується: перш ніж почати використовувати на роботі систему ШІ високого ризику, роботодавець має поінформувати представників працівників і працівників, яких це стосується. Цього не зроблено. Не призначено фахівця з нагляду — нікого не призначено, хто мав би повноваження й підготовку, потрібні, щоб змінювати чи скасовувати оцінки ефективності, які виставляє ШІ. Стаття 26(2) вимагає, щоб розгортач доручив нагляд людям, які мають для цього компетентність, підготовку та повноваження (стаття 14). Репрезентативність даних не оцінено — тренувальні дані не перевіряли на репрезентативність для різних демографічних груп працівників, тож є потенційний ризик упередженості. Стаття 10 покладає цей обов'язок на постачальника, тому Pinnacle має до запуску запросити в PerformanceAI Inc. документацію з управління даними. Кожна з цих прогалин означає порушення вимог закону. Доки всі три не усунуто, систему розгортати не можна.

  8. Лист про усунення прогалин

    Аліса пише відповідь директору з інформаційної безпеки: докладно описує прогалини в дотриманні вимог і радить відкласти запуск, доки не буде усунуто всі проблеми.

  9. Дотримання вимог перед розгортанням

    Розгортання системи ШІ високого ризику — це не просто «встановити й налаштувати». Це структурований процес дотримання вимог, і обов'язки в ньому не закінчуються запуском. Сім сфер вимог — не «галочки», які можна швидко поставити: вони захищають людей, на яких впливають рішення ШІ. Головне: Усі сім сфер вимог треба виконати до розгортання, і кожну окремо, а розгортач має побачити від постачальника підтвердження щодо кожної з них: управління ризиками, управління даними, технічна документація, ведення журналів, прозорість, людський нагляд, а також точність, стійкість і кібербезпека. Спершу поінформуйте працівників. Перш ніж почати використовувати на роботі систему ШІ високого ризику, роботодавець має поінформувати представників працівників і працівників, яких це стосується (стаття 26(7)). FRIA обов'язкова лише для органів публічної влади, приватних організацій, що надають публічні послуги, і розгортачів систем ШІ для кредитного скорингу та страхування життя й здоров'я (стаття 27). Точність не замінює людський нагляд . Навіть системі з точністю 99,9% потрібна призначена людина з повноваженнями змінювати чи скасовувати її результати. Якщо перевірка на дотримання вимог виявила прогалини, правильно відкласти розгортання , доки їх не усунуть, а не розгортати й виправляти потім.

Охоплення стандартів безпеки

NIST CSF

  • PR.AT-01 Personnel are provided with awareness and training so that they possess the knowledge and skills to perform general tasks with cybersecurity risks in mind

EU AI Act

  • Art. 8 Compliance with the requirements
  • Art. 9 Risk management system