Typy testów jakości danych

Standard definiuje szereg specjalistycznych typów testów jakości danych, które są kluczowe dla systemów AI. Testowanie governance danych koncentruje się na politykach zarządzania danymi i może wykorzystywać techniki statyczne (przeglądy) do określenia, czy organizacyjne lub projektowe polityki, standardy, zasady lub regulacje zostały naruszone. Szczególną uwagę należy zwrócić na prywatność danych, ochronę danych osobowych, tajemnice handlowe i prawa własności intelektualnej.

Testowanie pochodzenia danych (data provenance testing) określa, czy źródła dostarczające dane do zbiorów danych są godne zaufania, dobrze zarządzane i czy kanały komunikacji danych są bezpieczne. Ten typ testowania obejmuje identyfikację problemów ze zbiorem danych wynikających z zatrucia danych oraz wycieku danych treningowych do danych testowych.

Testowanie reprezentatywności danych dotyczy określenia, czy zbiory danych używane do treningu, walidacji i testowania są uczciwymi reprezentacjami danych, które operacyjny model AI będzie napotykać. Można to realizować poprzez porównywanie charakterystyk statystycznych zbiorów treningowych i testowych z danymi produkcyjnymi, wykorzystanie ekspertów domenowych do przeglądu zbiorów danych, czy testowanie procedur zbierania danych pod kątem potencjalnych odchyleń.

Testowanie wystarczalności danych koncentruje się na określeniu, czy wystarczająca ilość danych jest używana do treningu, walidacji i testowania. Obejmuje to przegląd zbioru danych pod kątem zbalansowania klas docelowych oraz wykorzystanie eksploracyjnej analizy danych z ekspertami do identyfikacji regionów przestrzeni wejściowej, które nie są pokryte przez żadne próbki.

Specjalistyczne typy testów modeli AI

Testowanie wydajności modelu służy do pomiaru wydajności modelu AI (np. dokładności) względem określonych kryteriów akceptacji. Dla modeli klasyfikacyjnych kryteria akceptacji są typowo definiowane przy użyciu miar wydajności modelu, takich jak dokładność, recall, precision czy F2 score. Norma ISO/IEC TS 4213 dostarcza szczegółów dotyczących metryk, które mogą stanowić podstawę testowania wydajności modelu.

Testowanie przeciwdziałające (adversarial testing) typowo koncentruje się na modelach uczenia maszynowego i polega na perturbacji danych wejściowych do modelu w celu identyfikacji przykładów przeciwdziałających – specyficznych danych wejściowych, które nie są obsługiwane zgodnie z oczekiwaniami przez model. Identyfikowane przykłady przeciwdziałające reprezentują podatności w modelu, które następnie mogą być zabezpieczone, poprawiając tym samym odporność lub bezpieczeństwo modelu.

Testowanie dryfu (drift testing) jest formą testowania regresyjnego skupioną na pomiarze metryk wydajności modelu operacyjnego w celu identyfikacji, czy dryf koncepcyjny przekroczył wartość progową. Ma to zastosowanie, gdy istnieje możliwość, że model operacyjny dryfował w czasie ze względu na zmieniające się środowisko operacyjne lub gdy wdrożona jest zaktualizowana wersja modelu.

Testowanie wyjaśnialności modelu AI ma na celu potwierdzenie, czy czynniki wpływające na wynik modelu AI mogą być wyrażone w sposób, który ludzie mogą interpretować i który jest zgodny z ludzkimi procesami podejmowania decyzji. Większe, bardziej złożone modele są typowo bardziej wymagające do interpretacji. Różne podejścia mogą być używane w testowaniu wyjaśnialności, w tym obserwacja wpływu perturbacji wartości cech modelu, wizualizacja aktywacji neuronów czy ekstrakcja reguł poprzez tłumaczenie złożonych zachowań modelu na prostsze formy symboliczne.

Testowanie niechcianych odchyleń (bias)

Testowanie niechcianych odchyleń dotyczy sprawdzenia, czy zbiory danych nie zawierają niepożądanego bias. Testowanie statyczne w formie przeglądów może być wykonywane na zbiorze danych treningowych, najlepiej przez ekspertów domenowych. Przeglądy te mogą sprawdzać zbiór danych w celu identyfikacji cech mogących prowadzić do bias oraz pomóc zapewnić, że chronione cechy są używane poprawnie, że chronione cechy mają równą reprezentację i że historycznie niesprawiedliwe zbiory danych nie są używane bez zmian.

 Testowanie sprawiedliwości kontrfaktycznej (counterfactual fairness testing) jest podejściem używanym do określenia obecności niechcianego bias poprzez przeprowadzanie testowania dynamicznego modelu dla zidentyfikowanych podzbiorów użytkowników zagrożonych (np. sprawdzanie wyniku gdy zmienia się rasa osoby). Wyniki dla każdej z tych grup są następnie porównywane w celu określenia, czy którakolwiek z grup zagrożonych jest traktowana inaczej przez model.