Чому формальна участь людини не завжди означає реальний контроль і як змінюється відповідальність керівництва за використання штучного інтелекту
Рішення ухвалене. Але ким?
Уявімо ситуацію: кредитний аналітик отримує від системи штучного інтелекту рекомендацію відмовити клієнтові у фінансуванні. Алгоритм проаналізував сотні показників, оцінив кредитоспроможність і сформував висновок, який виглядає переконливо. Працівник переглядає результат, не знаходить очевидних суперечностей і натискає кнопку "Погодити". Рішення набуває чинності, клієнт отримує відмову, а компанія вважає, що забезпечила належний людський контроль, адже остаточне рішення формально ухвалила людина.
Але чи справді вона його ухвалила? Чи мала можливість перевірити логіку алгоритму, оцінити якість вихідних даних, виявити приховані припущення або поставити під сумнів рекомендацію? І хто відповідатиме, якщо згодом з’ясується, що система систематично помилялася або створювала необґрунтовані переваги для одних клієнтів порівняно з іншими?
Ці питання стосуються не лише кредитування. Аналогічні ситуації виникають у страхуванні, медицині, управлінні персоналом, внутрішньому аудиті, комплаєнсі та корпоративному управлінні. Штучний інтелект дедалі частіше бере участь у підготовці рішень, які впливають на фінансові результати, права клієнтів, репутацію компаній і виконання регуляторних вимог.
Проблема полягає не в тому, що алгоритми можуть помилятися. Люди також помиляються, іноді значно частіше за автоматизовані системи. Складніше питання виникає тоді, коли організація передає технології дедалі більшу частину процесу ухвалення рішень, але продовжує використовувати традиційну модель відповідальності, побудовану на припущенні, що людина повністю контролює цей процес.
Від допомоги алгоритму до фактичного делегування рішення
30 жовтня 2026 року Society of Actuaries Research Institute опублікував дослідження AI from Regulatory and Audit Perspectives, підготовлене за результатами професійної дискусії представників страхового нагляду та аудиторської спільноти. Одним із важливих питань стало розмежування двох моделей використання штучного інтелекту: AI-assisted decision-making та AI-driven decision-making.
У першій моделі алгоритм допомагає людині аналізувати інформацію, знаходити закономірності, формувати прогнози й готувати рекомендації, але фахівець зберігає провідну роль у формуванні висновку. У другій система фактично визначає результат, а участь людини стає переважно реакцією на вже підготовлене рішення.
Межа між цими моделями не завжди очевидна. Вона залежить не лише від технічної архітектури системи, а й від організації роботи, кваліфікації персоналу, доступності пояснень та реальних повноважень користувачів, наприклад, система виявлення шахрайства може позначати підозрілі операції для подальшого аналізу. Якщо працівник самостійно перевіряє обставини, використовує додаткові джерела інформації та може аргументовано відхилити рекомендацію, алгоритм залишається інструментом підтримки рішення. Якщо ж система щодня формує тисячі висновків, а працівники лише підтверджують їх через обмеження часу та відсутність можливості перевірки, формальна участь людини поступово перетворюється на процедурну умовність. Виникає парадокс: організація може декларувати, що остаточні рішення ухвалюють люди, хоча фактично алгоритм визначає їхній зміст.
Чому люди схильні довіряти алгоритмам
Однією з причин такої ситуації є явище, відоме як automation bias, – схильність надмірно покладатися на результати автоматизованих систем, особливо коли вони демонструють високу точність або сприймаються як технологічно складніші за людські методи аналізу.
Працівник може сумніватися у власному судженні, але водночас вважати висновок алгоритму об’єктивним, оскільки той ґрунтується на великій кількості даних. Якщо система тривалий час працює без помітних помилок, критичність її сприйняття поступово знижується. Додатковий вплив мають організаційні чинники: необхідність швидко обробляти інформацію, виконувати нормативи продуктивності та уникати затримок у бізнес-процесах.
Особливо небезпечною є ситуація, коли працівник формально має право не погодитися з алгоритмом, але кожне відхилення потребує додаткового обґрунтування, погодження керівника або спричиняє негативну оцінку його ефективності. За таких умов організація фактично стимулює автоматичне прийняття рекомендацій, навіть якщо внутрішні документи передбачають незалежний людський контроль.
Проблему посилює недостатня пояснюваність окремих моделей. Коли система не дозволяє зрозуміти, які фактори визначили результат, користувач змушений оцінювати переважно зовнішню переконливість висновку. Особливо це стосується генеративного ШІ, здатного створювати логічно побудовані тексти, що містять фактичні помилки, необґрунтовані припущення або вигадані посилання. Отже, наявність людини в процесі ще не гарантує його контрольованості, при цьому значення має здатність цієї людини здійснювати незалежне професійне судження.
Три ситуації, у яких відповідальність стає невизначеною
Розглянемо кілька умовних прикладів, характерних для різних сфер діяльності.
Страхова компанія використовує ШІ для попереднього оцінювання заяв про страхові виплати. Система аналізує документи, історію страхування, характер пошкоджень та інші дані, після чого рекомендує виплату або відмову. Працівник погоджує рішення, спираючись на висновок алгоритму. Через певний час з’ясовується, що модель систематично неправильно інтерпретувала окремі категорії документів, унаслідок чого частина клієнтів отримувала необґрунтовані відмови. Хто відповідальний за наслідки? Працівник, який погодив рішення? Керівник підрозділу, який організував процес? Розробник алгоритму? Чи правління компанії, яке дозволило використовувати систему без належної перевірки її результатів?
Інша ситуація виникає у сфері управління персоналом. Алгоритм оцінює кандидатів на вакансії, аналізуючи резюме, професійний досвід і результати тестування. Система демонструє високу відповідність прогнозів подальшій результативності працівників, але водночас може відтворювати історичні упередження, закладені у вихідних даних. Формальна точність прогнозу не усуває ризику несправедливого ставлення до окремих категорій кандидатів.
Третій приклад стосується корпоративного управління. Керівництво отримує підготовлений генеративним ШІ аналітичний звіт про фінансові результати, ризики та перспективи компанії. Документ містить правильні числові показники, але окремі висновки щодо причин погіршення результатів або очікуваного розвитку подій не підтверджуються фактичними даними. Якщо керівники сприймають такий аналіз як достовірний і використовують його для стратегічних рішень, технологічна помилка перетворюється на управлінський ризик.
У всіх трьох випадках проблема виходить за межі якості програмного забезпечення. Вона стосується організації процесу ухвалення рішень, розподілу відповідальності та здатності компанії виявляти помилки до того, як вони спричинять суттєві наслідки.
Чи можна передати відповідальність алгоритму?
З погляду корпоративного управління використання штучного інтелекту не усуває відповідальності організації за її рішення та дії. Конкретні юридичні наслідки залежать від законодавства, характеру рішення, ролі учасників і договірних відносин, але сам факт застосування алгоритму не є достатньою підставою для звільнення компанії від відповідальності.
Ця логіка простежується в міжнародних регуляторних підходах.
Європейський орган страхування та професійних пенсій EIOPA у висновку щодо управління ШІ від 6 серпня 2025 року наголошує на ризик-орієнтованому та пропорційному підході до управління такими системами, включно з якістю даних, пояснюваністю, справедливістю, документуванням і людським наглядом. Документ роз’яснює застосування чинних принципів страхового регулювання та не встановлює нових самостійних вимог.
Американська National Association of Insurance Commissioners у модельному бюлетені щодо використання ШІ страховиками також підкреслює, що рішення, ухвалені або підтримані алгоритмічними системами, повинні відповідати застосовному законодавству. Важливим є контроль не лише власних моделей компанії, а й технологій та даних, отриманих від зовнішніх постачальників.
Ці підходи сформульовані для страхового сектору, але їхня управлінська логіка має ширше значення. Організація не може вважати ризик належним чином контрольованим лише тому, що технологічне рішення придбано у відомого постачальника або його використання передбачене внутрішньою процедурою.
При цьому необхідно розрізняти відповідальність за розроблення моделі, її впровадження, використання результатів і прийняття управлінських рішень. Це різні функції, які можуть виконувати різні учасники, але їхній розподіл повинен бути зрозумілим і не створювати прогалин у системі контролю.
Коли людський контроль можна вважати реальним
На мою думку, головна помилка багатьох підходів до AI governance полягає в тому, що людський контроль іноді розглядається як організаційна умова: якщо рішення погоджує працівник, вимогу виконано. Насправді ефективність такого контролю залежить від сукупності значно складніших чинників.
Передусім працівник повинен розуміти призначення системи, межі її застосування та характер можливих помилок. Йому не обов’язково знати всі математичні особливості моделі, але необхідно розуміти, які результати потребують додаткової перевірки та за яких обставин алгоритму не варто довіряти.
Не менш важливою є доступність інформації. Якщо користувач бачить лише остаточну рекомендацію, не маючи можливості перевірити вихідні дані, ключові фактори рішення або його обмеження, здатність до незалежного судження суттєво зменшується.
Третя умова – реальні повноваження. Працівник повинен мати право відхилити рекомендацію, зупинити процес або передати сумнівний випадок на додатковий розгляд без необґрунтованих організаційних перешкод.
Нарешті, необхідно враховувати навантаження. Неможливо вимагати змістовної перевірки сотень складних рішень протягом короткого робочого часу, а потім вважати підпис працівника доказом ефективного контролю.
Звідси випливає принциповий висновок: людський контроль слід оцінювати за фактичною здатністю людини впливати на результат, а не за її формальною присутністю в процедурі.
Для високоризикових застосувань це може потребувати незалежного перегляду окремих рішень, вибіркового тестування результатів, аналізу відхилень від рекомендацій алгоритму та регулярної перевірки якості людського нагляду.
Три лінії захисту в умовах використання ШІ
Інтеграція штучного інтелекту в бізнес-процеси не потребує відмови від традиційної моделі трьох ліній, але змінює зміст завдань кожної з них.
Перша лінія – керівники бізнес-процесів і працівники, які використовують ШІ, – відповідає за належне застосування систем, якість вихідних даних, контроль результатів і своєчасне реагування на помилки. Саме тут повинні визначатися допустимі випадки автоматизації, критерії передачі рішень людині та порядок розгляду нестандартних ситуацій.
Друга лінія, представлена функціями управління ризиками та комплаєнсу, має забезпечувати незалежну оцінку ризиків застосування ШІ, методологію контролю, моніторинг ключових індикаторів та перевірку відповідності встановленому ризик-апетиту. Важливо, щоб оцінювання охоплювало не лише технічну надійність моделей, а й ризики необґрунтованих рішень, недостатньої пояснюваності, надмірної автоматизації та втрати ефективності людського контролю.
Третя лінія – внутрішній аудит – повинна оцінювати, наскільки система управління та контролю ШІ працює на практиці. Наявність затвердженої політики або журналу погоджень не може бути достатнім доказом її ефективності, якщо не перевірено реальні механізми виявлення помилок, оскарження результатів та ескалації проблем.
При цьому всі три лінії потребують відповідних компетенцій. Ризик-менеджер не повинен ставати розробником алгоритмів, а внутрішній аудитор – фахівцем із машинного навчання, але обидва мають розуміти принципові обмеження технології та вміти залучати необхідну експертизу.
Особлива роль належить правлінню й наглядовій раді. Вони повинні визначати, для яких категорій рішень допустима автоматизація, які наслідки помилок є неприйнятними та який рівень незалежного контролю необхідний. Впровадження ШІ, що істотно впливає на клієнтів або фінансову стійкість, не може залишатися виключно технічним проєктом.
Як виміряти ефективність контролю ШІ
Одним із найскладніших практичних питань є вибір показників, за якими можна оцінити, чи справді організація контролює рішення алгоритмів.
Традиційні технологічні метрики – точність прогнозу, швидкість оброблення інформації, доступність системи – залишаються важливими, але вони не характеризують повною мірою якість управління ризиками. Алгоритм може демонструвати високу загальну точність і водночас систематично помилятися в окремих категоріях випадків або створювати неприйнятні наслідки для клієнтів.
Доцільно доповнювати технологічні показники управлінськими індикаторами, наприклад, відстежувати частку рекомендацій ШІ, які працівники відхиляють або змінюють, результати незалежної перевірки автоматично погоджених рішень, кількість обґрунтованих скарг, частоту виявлення суттєвих помилок та строки їх усунення.
Водночас низька частка відхилень не обов’язково свідчить про неефективність контролю: вона може відображати високу якість моделі. Так само велика кількість відхилень не завжди є позитивним показником, оскільки може вказувати на систематичні недоліки алгоритму. Такі індикатори потребують аналізу в сукупності, з урахуванням характеру рішень і результатів незалежного тестування.
Особливо корисним може бути періодичне порівняння рішень, ухвалених із використанням ШІ, з результатами незалежної експертної оцінки. Це дозволяє виявляти не лише помилки моделі, а й випадки, коли людський контроль фактично перестав виконувати свою функцію. Для критичних застосувань доцільно також перевіряти, чи здатна організація своєчасно призупинити використання алгоритму, перейти до альтернативної процедури та переглянути рішення, які могли бути ухвалені на основі некоректних результатів.
Від відповідальності за помилку до відповідальності за систему
Дискусія про штучний інтелект часто зводиться до питання, хто відповідатиме, якщо алгоритм припуститься помилки, але для системи управління ризиками значно важливішим є інше: хто відповідає за створення умов, за яких такі помилки можуть бути виявлені, обмежені та виправлені до виникнення неприйнятних наслідків.
Відповідальність керівництва починається задовго до конкретного рішення алгоритму – на етапі визначення цілей автоматизації, вибору технології, оцінювання ризиків, встановлення повноважень і забезпечення необхідних ресурсів для контролю.
Застосування ШІ змінює не лише швидкість оброблення інформації, а й саму архітектуру ухвалення рішень. Частина професійного судження переноситься до технологічної системи, частина залишається за працівниками, а відповідальність за наслідки повинна бути належним чином розподілена між учасниками процесу.
На мій погляд, найбільша небезпека полягає не в поступовому зростанні автономності алгоритмів, а в ситуації, коли організація не помічає, що фактична роль людини вже змінилася, і продовжує покладатися на механізми контролю, розроблені для зовсім іншої моделі роботи.
Штучний інтелект може істотно підвищувати якість управлінських рішень, зменшувати кількість помилок і звільняти фахівців від рутинних операцій. Реалізація цих переваг потребує не формального збереження людини в процесі, а продуманого розподілу функцій між технологією та професійним судженням. Якщо завтра з’ясується, що алгоритм протягом кількох місяців систематично ухвалював помилкові рішення, керівництву доведеться відповісти не лише на запитання, хто погоджував їх останнім. Значно важливішим буде пояснити, чому система управління компанії не дозволила виявити проблему раніше.