Галюцинації ШІ та хибна інформація

Галюцинації ШІ та хибна інформація

Перевірте факти у звіті ШІ, поки він не потрапив до клієнта.

Що таке Галюцинації ШІ та хибна інформація?

Мовна модель добирає наступні слова за правдоподібністю, а не за правдивістю. Коли бракує факту, вона вигадує його тим самим упевненим тоном, що й увесь навколишній текст, тому за побіжного читання вигадки лишаються непоміченими. У 2023 році до нью-йоркського адвоката застосували санкції після того, як він подав до суду документ із посиланнями на судові справи, вигадані ChatGPT. Ви перевірите ринковий аналіз, підготовлений ШІ, твердження за твердженням, з'ясуєте, які цифри й джерела вигадані, а яке твердження підтверджується, і навчитеся помічати ознаки конфабуляції.

Що ви дізнаєтесь у Галюцинації ШІ та хибна інформація

Галюцинації ШІ та хибна інформація — Кроки навчання

  1. Ранок у Vantage Capital

    Сьогодні ви працюєте з домашнього офісу. До папки «Вхідні» щойно надійшло завдання з найвищим пріоритетом.

  2. Термінова довідка для клієнта

    Надходить лист від Рейчел Торрес, директорки з досліджень. Компанія Meridian Holdings, один із найбільших клієнтів Vantage Capital, перенесла засідання правління на завтра й потребує оновленої аналітичної довідки про ринок кібербезпеки до завтрашнього дня.

  3. Звернення по допомогу до OpenClaw

    Часу обмаль, тож Аліса відкриває OpenClaw, корпоративного помічника ШІ, щоб швидко зібрати й упорядкувати ринкові дані.

  4. Ринковий аналіз від OpenClaw

    OpenClaw відповідає докладним аналізом із конкретною статистикою та посиланнями на джерела. Відповідь виглядає ретельно опрацьованою, точною і цілком придатною для професійної довідки.

  5. Застереження від Маркуса

    Аліса ще не встигла взятися за чернетку довідки, коли їй надходить лист від колеги Маркуса Вебба. Минулого тижня він мав неприємності через дослідження, створене ШІ, і хоче поділитися тим, що з цього виніс.

  6. Придивімося до цифр

    Застереження Маркуса змушує Алісу замислитися. Вона ще раз перечитує відповідь OpenClaw. Зростання ринку кібербезпеки на 96% за рік здається надто високим для зрілої галузі.

  7. Звірка на Reuters

    За порадою Маркуса Аліса відкриває Reuters Fact Check, щоб звірити твердження OpenClaw із незалежними публікаціями. Нещодавно Reuters опублікувало статтю з перевіркою фактів про твердження щодо ринку кібербезпеки, які трапляються у звітах, створених ШІ.

  8. Темп зростання хибний

    Reuters уже перевірило кілька тверджень про ринок кібербезпеки, які трапляються у звітах, створених ШІ. Перше з них точно збігається з тим, що OpenClaw сказав Алісі. Насправді ринок кібербезпеки зріс на 12–14%, а OpenClaw з повною впевненістю назвав 96%. Така помилка в довідці для клієнта могла б підірвати довіру й призвести до хибних інвестиційних рішень.

  9. Розуміння ризику

  10. Вигадане джерело

    Аліса прокручує сторінку вниз до другого твердження, того, що посилається на «Gartner 2025 Global AI Readiness Report». OpenClaw подав його як справжню публікацію з конкретними висновками.

Охоплення стандартів безпеки

OWASP LLM Top 10

  • LLM07:2026 Misinformation
  • LLM09:2025 Misinformation

CIS Controls

  • CIS 16 Application Software Security

NIST CSF

  • PR.AT-02 Individuals in specialized roles are provided with awareness and training so that they possess the knowledge and skills to perform relevant tasks with cybersecurity risks in mind
  • PR.PS Platform Security