Polityka AI, rejestr systemów i komitet to dziś standard. Panel Risk & Compliance Magazine stawia jednak pytanie, na które sama dokumentacja nie odpowiada: po czym poznać, że kontrola nad AI rzeczywiście zmienia wynik, a nie tylko istnieje?
W skrócie
- Ten sam model może wymagać różnych kontroli — decyduje konsekwencja wyniku, nie możliwości narzędzia. (więcej…)
- Mierniki skuteczności dotyczą zachowań: użycia i obchodzenia kontroli, korekt recenzentów, eskalacji i czasu reakcji. (więcej…)
- ISO/IEC 42001:2023 wymaga oceny skuteczności systemu zarządzania AI, a audyt wewnętrzny ma sprawdzić, czy system jest skutecznie wdrożony. (więcej…)
- Mierniki trzeba czytać z interpretacją: spadek korekt może oznaczać lepszy model albo recenzenta, który przestał weryfikować. (więcej…)
Jak sprawdzić, czy nadzór nad AI działa
Jak sprawdzić, czy nadzór nad AI działa? Według panelistów Risk & Compliance Magazine (październik–grudzień 2026) — Ritha Kema z BDO USA, Michaela Justusa z Carlton Fields i Barbary Badoino z Novartis — nadzór ocenia się po wpływie na decyzje, a nie po objętości dokumentacji. Paneliści wskazują mierniki zachowań: czy wbudowane kontrole są używane, czy obchodzone, czy przeglądy trwają w czasie, jak szybko obsługuje się oflagowane wyniki, jak często recenzenci korygują lub uchylają wyniki AI i co pokazuje próbkowanie decyzji wspieranych przez AI. ISO/IEC 42001:2023 daje tym miernikom formalne miejsce: klauzula 9.1 wymaga ustalenia, co i kiedy mierzyć, oraz oceny skuteczności systemu zarządzania AI, a audyt wewnętrzny według 9.2.1 b) sprawdza, czy system jest skutecznie wdrożony. Te wymagania są przedmiotem audytu certyfikacyjnego ISO/IEC 42001, który prowadzi Centrum Certyfikacji QSCert, marka COE – Centre of Excellence sp. z o.o.
Tło tej zmiany opisuje Kem: governance AI przeszło od definiowania zasad do wykazywania, że polityki działają w codziennej pracy, a zarządy oczekują dowodu, że nadzór człowieka rzeczywiście się odbył. Presję wzmacniają klienci korporacyjni — przez kwestionariusze dla dostawców i wymagania audytowe. Badoino dodaje, że dowód istnienia polityki przestał wystarczać: zarząd chce wiedzieć, czy decyzje podejmowane przez AI lub z jej udziałem są trafne, wyjaśnialne i dają się skorygować.
Kontrolę nad AI ocenia się po tym, czy zmienia wynik
Paneliści zgadzają się co do kryterium: nadzór nad AI jest skuteczny wtedy, gdy wpływa na decyzje, a nie wtedy, gdy ma obszerną dokumentację. Kem patrzy na zachowania ludzi i systemów, Michael Justus (Carlton Fields) na funkcje kontroli, Badoino na wynik.
Justus przypomina, że polityka, inwentarz narzędzi, komitet AI i łącznicy w jednostkach biznesowych to dopiero warunek. Kryterium oceny formułuje jako pytanie, czy kontrole potrafią — w jego słowach — „detect, prevent, contain and correct issues before they cause real harm” (wykryć, zapobiec, ograniczyć i skorygować problem, zanim wyrządzi realną szkodę). W naszym odczytaniu cztery czasowniki to cztery rodziny pytań pomiarowych.
Ten sam model, różne kontrole: klasyfikacja według konsekwencji
Pomiar zaczyna się od wiedzy, czego dana kontrola ma pilnować. Kem opisuje przykład z międzynarodowego monitoringu sankcyjnego: ten sam model ekstrakcji działał bez ograniczeń przy wewnętrznym triażu dokumentów, ale wymagał podpisu recenzenta, gdy jego wyniki wspierały ustalenia raportowane na zewnątrz. Rozróżnienie wynikało z konsekwencji wyniku, nie z możliwości modelu. Justus dodaje argument organizacyjny: podejście warstwowe odciąża komitet AI zasypywany wnioskami o drobne narzędzia.
Kem wskazuje też projekt eskalacji dla wyników o niskiej pewności. Liczy się, kto ocenia niepewny wynik, jak szybko to robi i co się dzieje, gdy nikt nie zareaguje.
W praktyce audytowej oznacza to, że wskaźnik ma sens tylko w odniesieniu do klasy zastosowania. Ten sam odsetek korekt może być w porządku przy triażu i alarmujący przy ustaleniach raportowanych.
Co mierzyć: użycie, obejścia, korekty i czas reakcji
Najbardziej operacyjną listę podaje Kem. O skuteczności świadczy według niego, czy wbudowane kontrole są używane, czy obchodzone, czy rutyny przeglądu pozostają aktywne w czasie i jak szybko oflagowane pozycje dostają uwagę. Dokłada do tego mierniki behawioralne: jak często recenzenci poprawiają wyniki AI, czy klasyfikacje ryzyka są ponawiane, gdy zmienia się zastosowanie, i czy kontrole odpowiadają faktycznemu użyciu systemu. Dowodem uzupełniającym są okresowe testy produktów pracy wspieranych przez AI — zanim zrobi to audytor zewnętrzny lub jednostka certyfikująca.
Justus przenosi pomiar na zachowanie systemu po wdrożeniu: monitoring powinien śledzić halucynacje, wyniki dyskryminujące, wycieki danych i niebezpieczne działania agentów AI — i realnie na nie reagować (samo reagowanie na zdarzenia opisaliśmy we wpisie o incydentach AI). Przypadki, w których kontrola zadziałała, radzi dokumentować jako dowód działania w dobrej wierze. Uprawnienia agentów wskazuje jako obszar krytyczny; ten wątek rozwijaliśmy we wpisie o agentach AI i ISO/IEC 42001.
Trzeci filar: skuteczność wynikowa
Badoino porządkuje ten obraz w trzech filarach. Zapewnienie co do kontroli opierało się dotąd na dwóch pytaniach: czy kontrola została właściwie zaprojektowana i czy działa zgodnie z projektem. Oba warunki mogą być spełnione, a pytanie, czy kontrola faktycznie kształtuje decyzję, pozostaje otwarte. Trzecim filarem jest skuteczność wynikowa — dowód, że kontrola zmienia rezultat, a nie tylko jest obecna w procesie. Badoino proponuje próbkowanie decyzji wspieranych przez AI i ocenę, czy człowiek wnosi realny osąd, a wskaźniki uchyleń decyzji AI (override) i eskalacji traktuje jako sygnał zaangażowania recenzentów.
Wbudowywanie kontroli w narzędzia omówiliśmy na podstawie wcześniejszej publikacji tej samej autorki we wpisie o integracji funkcji nadzoru i ISO 37301; tu interesuje nas warstwa następna — pomiar. Pokrewny test Kema, czy governance kiedykolwiek zmieniło decyzję, opisaliśmy we wpisie o IEEE 2863 i ISO/IEC 42001. Kem i Badoino podobnie widzą kierunek zmian: raportowanie do zarządu ma przejść od opisów jakościowych do mierzalnych wskaźników, a pulpity mają pokazywać nie tylko, jakie kontrole istnieją, ale co osiągają.
Perspektywa norm ISO: gdzie mierniki mają formalne miejsce
ISO/IEC 42001:2023 nie zawiera listy wskaźników dla AI, ale wymaga, by organizacja sama ustaliła, co mierzy, i oceniła skuteczność systemu zarządzania. Właśnie tam mieszczą się mierniki, o których mówi panel.
ISO/IEC 42001:2023 — skuteczność jako wymaganie
Klauzula 9.1 wymaga ustalenia, co monitorować i mierzyć, jakimi metodami, kiedy mierzyć i kiedy analizować wyniki; jej ostatnie zdanie każe ocenić działanie i skuteczność systemu zarządzania AI. Klauzula 9.2.1 b) rozdziela pojęcia jeszcze wyraźniej: audyt wewnętrzny ma dać informację, czy system jest skutecznie wdrożony i utrzymywany. Trzeci filar Badoino to w języku normy różnica między „wdrożone” a „skuteczne”. Krok interpretacyjny trzeba nazwać wprost: 9.1 mówi o skuteczności systemu, nie pojedynczej kontroli — mierniki kontroli są wsadem do tej oceny, nie jej zamiennikiem.
Gdy mierniki pokazują, że kontrola nie działa, klauzula 8.3 wskazuje dalszą ścieżkę: nieskuteczne opcje postępowania z ryzykiem trzeba przejrzeć i ponownie zatwierdzić. W praktyce audytowej reakcją na słaby wynik jest więc zmiana kontroli, a nie zmiana definicji wskaźnika. Trendy wyników monitorowania i pomiarów są obowiązkowym wsadem do przeglądu zarządzania (9.3.2 d)) — to formalne miejsce na wskaźniki dla zarządu.
Klasyfikację według konsekwencji wspiera klauzula 6.1.4: ocena skutków uwzględnia wdrożenie, zamierzone użycie i przewidywalne niewłaściwe użycie, a jej wynik trafia do oceny ryzyka. Klauzula 8.4 każe powtarzać ocenę w zaplanowanych odstępach lub przy planowanych istotnych zmianach. Zabezpieczenia A.6.2.6 (monitorowanie działania systemu) i A.6.2.8 (rejestrowanie zdarzeń) dają surowe dane, a wytyczne B.9.3 zalecają recenzentów, którzy mogą uchylić decyzję AI, oraz monitorowanie trafności wyników. Organizacje z ISO/IEC 27001:2022 mogą rozszerzyć na systemy AI zabezpieczenia A.8.15 (logowanie) i A.8.16 (monitorowanie).
ISO/IEC 42005:2025 — progi i triaż
ISO/IEC 42005:2025 to wytyczne do oceny skutków systemów AI, więc mówi językiem zaleceń. Punkt 5.4.4 zaleca rozważenie triażu: jeżeli pełna ocena dotyczy tylko systemów wysokiego ryzyka, organizacja powinna udokumentować, co je wyróżnia i co uruchamia ocenę. Punkt 5.7 opisuje progi dla zastosowań wrażliwych i ograniczonych, z eskalacją do kierownictwa jako jednym z możliwych kroków. To normatywny odpowiednik przykładu Kema: o poziomie kontroli przesądza udokumentowany próg konsekwencji. Punkt 5.12 zaleca przegląd samych ocen — cyklicznie lub po zdarzeniu — łącznie z możliwą zmianą progów.
Czego certyfikat nie zastępuje
Justus wskazuje, że zgodność z NIST AI RMF i ISO/IEC 42001 może w niektórych przepisach dawać ochronę typu safe harbour — to uwaga dotycząca głównie prawa amerykańskiego. W UE certyfikacja systemu zarządzania według ISO/IEC 42001 nie jest oceną zgodności w rozumieniu rozporządzenia (UE) 2024/1689 (AI Act) i nie daje domniemania zgodności. Pierwszą normą zharmonizowaną pod AI Act jest EN 18286:2026, dotycząca systemu zarządzania jakością dostawcy systemu wysokiego ryzyka; obowiązki dla systemów wysokiego ryzyka z załącznika III stosuje się od 2 grudnia 2027 r. (stan na 17.11.2026). Co organ nadzoru zobaczy w dokumentacji AI, opisaliśmy we wpisie o kontroli KRiBSI.
Tabela „Mapa wskaźników”
Mierniki warto budować od zachowania, które mają ujawnić, a nie od danych, które akurat są dostępne. Mapa zestawia rodzaje wskaźników z panelu z klauzulami ISO/IEC 42001:2023. Nie podajemy wartości progowych — zależą od klasy zastosowania, skali użycia i tolerancji ryzyka organizacji. Kolumna „jak czytać zmianę” to interpretacja redakcji, nie teza panelu.
| Rodzaj miernika | Co pokazuje | Głos w panelu | ISO/IEC 42001 | Jak czytać zmianę |
|---|---|---|---|---|
| Użycie i obchodzenie wbudowanych kontroli | czy kontrola jest w procesie, czy obok niego | Kem | 9.1, A.6.2.6 | rosnące obejścia: kontrola uciążliwa lub źle osadzona — przegląd według 8.3 |
| Aktywność rutyn przeglądu | czy nadzór trwa po uruchomieniu systemu | Kem | 9.1 | zanikające przeglądy: nadzór staje się deklaratywny |
| Czas reakcji na oflagowane pozycje i wyniki o niskiej pewności | czy eskalacja ma właściciela | Kem | A.6.2.8, B.9.3 | wydłużający się czas: przeciążenie albo brak właściciela |
| Korekty i uchylenia przez recenzenta | czy człowiek wnosi osąd | Kem, Badoino | B.9.3, 9.1 | spadek do zera: lepszy model albo recenzent, który przestał weryfikować — rozstrzyga próbka decyzji |
| Eskalacje | czy progi działają | Badoino | B.9.3; ISO/IEC 42005 5.7 | brak eskalacji przy zastosowaniu wrażliwym: sprawdzić progi |
| Ponowna klasyfikacja przy zmianie zastosowania | czy ocena ryzyka nadąża za użyciem | Kem | 6.1.4, 8.4 | rozszerzone zastosowanie bez nowej oceny: luka do wyjaśnienia |
| Zdarzenia po wdrożeniu | czy kontrola wykrywa i ogranicza skutek | Justus | A.6.2.6, A.6.2.8 | liczba zdarzeń nie wystarcza — liczy się, czy każde zamknęło pętlę |
| Wyniki próbkowania decyzji | skuteczność wynikowa | Badoino | 9.1, 9.2.1 b) | jedyny miernik, który mówi wprost, czy kontrola zmieniła wynik |
Trzy decyzje porządkują wdrożenie mapy:
- przypisz mierniki do klas zastosowań z oceny skutków (6.1.4), bo ta sama wartość znaczy co innego przy triażu i przy ustaleniach raportowanych;
- określ w ramach 9.1, kto analizuje wyniki i kiedy, oraz które trafiają do przeglądu zarządzania;
- zaplanuj próbkowanie decyzji w programie audytu wewnętrznego (9.2.2), tak by audyt odpowiadał na pytanie z 9.2.1 b), a nie tylko o kompletność dokumentów.
Podsumowanie
Panel przesuwa pytanie o nadzór nad AI z „czy mamy politykę” na „czy kontrola zmienia wynik”. Odpowiedź wymaga mierników zachowań, a ISO/IEC 42001:2023 daje im formalne miejsce — w ocenie skuteczności (9.1), w audycie wewnętrznym (9.2.1 b)) i w przeglądzie zarządzania (9.3.2). ISO/IEC 42005:2025 pomaga ustalić progi, według których ten sam model podlega różnym kontrolom. Audyt certyfikacyjny ocenia system zarządzania AI wobec wymagań normy, w tym wobec obowiązku oceny jego skuteczności. Jeśli przygotowujesz system do takiej oceny, sprawdź, jak przebiega certyfikacja ISO/IEC 42001 w QSCert.
Stan wiedzy na dzień 17.11.2026. Wpis omawia publikację „Operational aspects of AI governance” (Rith Kem, Michael Justus, Barbara Badoino; Risk & Compliance Magazine, październik–grudzień 2026) i odzwierciedla stan prawny oraz wydania norm aktualne w dniu publikacji. Przed zastosowaniem treści w praktyce sprawdź, czy terminy i dokumenty nie uległy zmianie — nowe ustalenia omawiamy w kolejnych wpisach.
Bibliografia:
- Kem R., Justus M., Badoino B. Operational aspects of AI governance (Hot Topic). Risk & Compliance Magazine, Oct–Dec 2026, s. 115–127. Przedruk za zgodą wydawcy (Financier Worldwide Ltd): BDO; Risk & Compliance Magazine
- Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2024/1689 z dnia 13 czerwca 2024 r. w sprawie ustanowienia zharmonizowanych przepisów dotyczących sztucznej inteligencji (akt w sprawie sztucznej inteligencji). Dziennik Urzędowy UE. EUR-Lex
- Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2026/1744 z dnia 8 lipca 2026 r. zmieniające rozporządzenia (UE) 2024/1689, (UE) 2018/1139 i (UE) 2023/1230 (Digital Omnibus on AI). Dziennik Urzędowy UE. EUR-Lex
- Decyzja wykonawcza Komisji (UE) 2026/2274 z dnia 12 października 2026 r. w sprawie norm zharmonizowanych dla systemów AI wysokiego ryzyka opracowanych na potrzeby rozporządzenia (UE) 2024/1689. Dziennik Urzędowy UE. EUR-Lex
- ISO/IEC 42001:2023. Information technology — Artificial intelligence — Management system.
- ISO/IEC 42005:2025. Information technology — Artificial intelligence (AI) — AI system impact assessment.
- ISO/IEC 27001:2022. Information security, cybersecurity and privacy protection — Information security management systems — Requirements.
- EN 18286:2026. Artificial intelligence — Quality management system for EU AI Act regulatory purposes.
FAQ: Skąd wiesz, że nadzór nad AI działa? Wskaźniki zamiast deklaracji
Najwięcej mówią mierniki zachowań, a nie liczba dokumentów: czy wbudowane kontrole są używane, czy obchodzone, czy przeglądy trwają w czasie, jak szybko obsługuje się oflagowane wyniki, jak często recenzenci korygują lub uchylają wyniki AI i co pokazuje próbkowanie decyzji. Wartości progowe zależą od klasy zastosowania i tolerancji ryzyka organizacji.
Nie. Klauzula 9.1 wymaga, by organizacja sama ustaliła, co monitoruje i mierzy, jakimi metodami i kiedy analizuje wyniki, a następnie oceniła działanie i skuteczność systemu zarządzania AI. Dobór mierników należy do organizacji, ale audytor sprawdza, czy pozwalają ocenić skuteczność.
Istnienie oznacza, że kontrola jest opisana i uruchomiona. Skuteczność oznacza, że faktycznie wpływa na decyzje: wykrywa błędy, zatrzymuje ryzykowne użycie albo prowadzi do korekty. ISO/IEC 42001 rozdziela te pojęcia w 9.1 i w 9.2.1 b), gdzie audyt wewnętrzny ma ocenić, czy system jest skutecznie wdrożony i utrzymywany.
Niekoniecznie. Spadek korekt i uchyleń może oznaczać lepszy model, ale może też oznaczać recenzenta, który przestał weryfikować wyniki. Rozstrzyga próbkowanie decyzji: sprawdzenie na realnych przypadkach, czy człowiek wnosi własny osąd.
Bo o poziomie nadzoru decyduje konsekwencja wyniku, a nie możliwości modelu. Wynik używany do wewnętrznego porządkowania dokumentów niesie inne ryzyko niż wynik, na którym opiera się ustalenie przekazywane na zewnątrz. ISO/IEC 42005 zaleca udokumentowany triaż i progi dla zastosowań wrażliwych.
ISO/IEC 42001 nie narzuca częstotliwości; klauzula 9.1 wymaga, by organizacja sama ją określiła. Decydują klasa zastosowania, skala użycia, tempo zmian modelu i danych oraz istotne zmiany w sposobie wykorzystania systemu, które według 8.4 uruchamiają też ponowną ocenę skutków.
Nie. Certyfikacja systemu zarządzania według ISO/IEC 42001 nie jest oceną zgodności w rozumieniu rozporządzenia (UE) 2024/1689 i nie daje domniemania zgodności. Pomaga natomiast uporządkować nadzór nad AI i pokazać, że organizacja ocenia jego skuteczność.
Ekspert w zakresie systemów zarządzania ISO, cyberbezpieczeństwa, compliance i AI governance. Audytor, konsultant, trener.
Ilustracje w tym wpisie zostały wygenerowane przy użyciu narzędzi sztucznej inteligencji. Treść merytoryczna powstała w redakcji COE i jest podpisana imiennie.
