Explainable AI w praktyce: jak wytłumaczyć decyzje modelu ML biznesowi i audytorom

Dlaczego wyjaśnialność modeli przestała być „miłym dodatkiem”

Co znaczy, że model jest wyjaśnialny z perspektywy biznesu

Wyjaśnialność modeli ML w oczach biznesu oznacza coś znacznie prostszego niż złożone definicje akademickie. Decydent nie pyta, czy model minimalizuje błąd kwadratowy, tylko czy da się odpowiedzieć na pytanie: „dlaczego ten konkretny klient dostał taką decyzję?”. Wyjaśnialny model to taki, dla którego można w kilku zdaniach opisać logikę decyzji, wskazując kluczowe czynniki i ich kierunek wpływu.

Data scientist widzi macierze wag, hiperparametry i metryki. Biznes widzi konsekwencje: przyznany kredyt, podniesioną składkę, ofertę niepokojąco niedopasowaną do klienta. Dlatego z perspektywy biznesowej wyjaśnialność to umiejętność odpowiedzi na trzy proste pytania:

• Co zadecydowało? – które cechy wejściowe najbardziej wpłynęły na wynik.
• W którą stronę? – czy dana cecha podbiła, czy obniżyła wynik modelu.
• Czy można coś zmienić? – które czynniki są potencjalnie modyfikowalne przez klienta lub proces.

Jeśli da się to pokazać w sposób powtarzalny, spójny i zrozumiały dla osoby bez zaplecza ML, model jest postrzegany jako wyjaśnialny. Techniki explainable AI (XAI) to tylko narzędzia, które mają tę prostą rozmowę umożliwić.

Regulacje, audyty i presja z zewnątrz

Do niedawna wiele organizacji traktowało wyjaśnialność jako „ładny dodatek”, który może się przydać, ale nie jest krytyczny. Sytuację zmieniły regulacje i rosnące oczekiwania regulatorów. RODO (GDPR) wprowadziło prawo do informacji o zautomatyzowanym podejmowaniu decyzji, a nadchodzący AI Act w Unii Europejskiej wprost klasyfikuje część zastosowań AI jako wysokiego ryzyka i nakłada wymóg przejrzystości oraz kontroli nad modelami.

Do tego dochodzą standardy model risk management w bankowości, wymagania nadzorcy ubezpieczeniowego oraz wewnętrzne polityki compliance. Audytorzy – wewnętrzni i zewnętrzni – coraz częściej oczekują nie tylko kodu i metryk, ale również:

• udokumentowanego procesu tworzenia modelu,
• raportu wyjaśnialności dla audytu,
• opisu, jak monitorowany jest drift danych i stabilność decyzji,
• dowodów, że model nie dyskryminuje grup chronionych.

Bez sensownej warstwy explainable AI odpowiedź na te oczekiwania jest praktycznie niemożliwa. Sama deklaracja „użyliśmy gradient boosting, bo ma najlepszy AUC” nie wystarczy. Trzeba pokazać, jak model wykorzystuje cechy, czy nie tworzy skrzywionych reguł i czy błędy są w granicach akceptowalnego ryzyka.

Zaufanie do ML i odpowiedzialność zarządu

Z punktu widzenia zarządu każdy model ML to po prostu nowy typ ryzyka. Można go porównać do automatycznego silnika decyzyjnego, który działa bardzo szybko, ale może się mylić w przewidywalny lub nieprzewidywalny sposób. Decyzja o wdrożeniu takiego modelu oznacza wzięcie odpowiedzialności za jego konsekwencje – prawne, finansowe i reputacyjne.

Bez wyjaśnialności zarząd tak naprawdę akceptuje „czarną skrzynkę”, której nie rozumie. Przy pierwszym kryzysie – serii skarg klientów, podejrzeniu dyskryminacji, istotnym błędzie w decyzjach – pytanie będzie brzmiało: „kto podpisał się pod tym modelem i na jakiej podstawie?”. XAI daje argumenty: można pokazać, jakie testy przeprowadzono, jak model się zachowuje i jak ograniczono ryzyko.

Nie chodzi o to, aby każdy członek zarządu rozumiał algorytmy optymalizacyjne. Potrzebna jest natomiast spójna historia: jak model powstał, jakie są jego ograniczenia, jak jest kontrolowany. Wyjaśnialność – dobrze zaprojektowana i udokumentowana – zamienia magię ML w kontrolowany proces decyzyjny.

Praktyczny przykład: eskalacja z powodu „dziwnych” decyzji kredytowych

Średniej wielkości bank wdrożył model odrzucający wnioski kredytowe w kanale online. Model znacząco poprawił wskaźniki ryzyka, ale po kilku tygodniach pojawiła się fala skarg: klienci o stabilnych dochodach i „idealnej” historii kredytowej dostawali odmowy bez jasnej przyczyny. Sprawa trafiła do działu skarg, potem do compliance, a ostatecznie na agendę zarządu.

Okazało się, że:

• model mocno penalizował specyficzny typ zatrudnienia, który wcześniej nie był problematyczny,
• nie istniała procedura generowania indywidualnych wyjaśnień dla klienta,
• brakowało raportu wyjaśnialności dla audytora, który by uzasadniał dobór cech i ich wpływ.

W efekcie sprzedażowo dobry model trafił na „pauzę”, a zespół DS przez kilka tygodni przygotowywał po fakcie dokumentację, wizualizacje wpływu cech i lokalne wyjaśnienia decyzji. Gdyby explainable AI było zaplanowane od początku, model nie tylko szybciej wróciłby do produkcji, ale też miałby znacznie większą akceptację i lepszą komunikację z klientami.

Podstawy wyjaśnialności: o czym mówią biznes i audytor, gdy proszą „wytłumacz model”

Interpretowalność i wyjaśnialność – podobne słowa, inne problemy

W codziennych rozmowach często miesza się dwa pojęcia: interpretowalność i wyjaśnialność. Intuicyjnie brzmią podobnie, ale dla projektowania rozwiązań XAI różnica jest kluczowa.

Interpretowalność oznacza, że model z natury jest prosty do zrozumienia. Przykład: regresja liniowa czy małe drzewo decyzyjne. Każdy warunek lub współczynnik można prześledzić, a decyzję da się odtworzyć krok po kroku. Taki model ma wbudowaną „instrukcję obsługi”, którą da się pokazać biznesowi.

Wyjaśnialność odnosi się do sytuacji, w której model sam w sobie jest złożony (np. sieć neuronowa, duży gradient boosting), ale dobudowujemy do niego warstwę tłumaczącą. Nie zaglądamy w całą matematykę, tylko korzystamy z technik post-hoc, które wskazują, jak cechy wpływają na wynik – globalnie i lokalnie.

Dla projektu ML ta różnica przekłada się na konkretne decyzje:

• jeśli wymagany jest bardzo wysoki poziom zaufania i prostota (np. decyzje medyczne, regulowane kredyty), opłaca się preferować modele interpretowalne, nawet kosztem części dokładności,
• w zastosowaniach masowych, gdzie kluczowa jest efektywność i predykcja (np. systemy rekomendacyjne), częściej używa się modeli złożonych z warstwą wyjaśnialności XAI.

Wyjaśnienia globalne i lokalne: dwa poziomy rozmowy o modelu

Wyjaśnialność modeli ML można uporządkować na dwóch poziomach: globalnym i lokalnym. Oba są potrzebne, ale odpowiadają na inne pytania.

Wyjaśnienia globalne opisują, jak model zachowuje się „w ogóle” – dla całej populacji danych. Obejmują m.in.:

• ranking ważności cech (global feature importance),
• wykresy zależności (PDP – partial dependence plots),
• opisy ogólnych zależności: „wraz ze wzrostem dochodu rośnie prawdopodobieństwo akceptacji kredytu, ale powyżej pewnego poziomu efekt się stabilizuje”.

Na tym poziomie rozmawia się z zarządem i audytorem o ogólnej logice modelu: co bierze pod uwagę, jak traktuje dane grupy klientów, czy występują efekty niepożądane (np. silne karanie pewnych cech wrażliwych).

Wyjaśnienia lokalne schodzą do poziomu pojedynczej decyzji lub małej grupy podobnych przypadków. Odpowiadają na pytania:

• „dlaczego ten konkretny klient otrzymał wysokie ryzyko fraudowe?”
• „co zadecydowało o tym, że ta polisa dostała wyższą składkę?”

Techniki takie jak LIME czy SHAP pokazują kontrybucję poszczególnych cech do predykcji dla danego rekordu. To właśnie z tego poziomu można generować zdania typu: „Twoja aplikacja została odrzucona głównie z powodu X i Y”.

Trzy „języki” wyjaśnialności: techniczny, biznesowy, regulacyjny

Wyjaśnienia modelu trzeba umieć przełożyć na trzy różne rejestry językowe:

• techniczny (ML) – współczynniki, wartości SHAP, rozkłady cech, testy stabilności,
• biznesowy – dochód, forma zatrudnienia, historia spłat, zachowania w aplikacji,
• regulacyjny – kryteria niedyskryminacji, przejrzystość, prawo do wyjaśnienia, zasady model risk.

Ten sam fakt można opisać na trzy sposoby. Przykład: model SHAP pokazuje, że wysoki wskaźnik wykorzystania limitu kredytowego (+0.15 do logitu) mocno zwiększa ryzyko niespłacenia.

• Język techniczny: „Wartość cechy credit_utilization znalazła się w górnym decylu, co zgodnie z rozkładem wartości SHAP znacząco podniosło logit defaultu”.
• Język biznesowy: „Klient wykorzystuje znaczną część dostępnych limitów kredytowych, co zwykle wiąże się z większym prawdopodobieństwem problemów ze spłatą”.
• Język regulacyjny: „Jednym z istotnych kryteriów oceny ryzyka jest aktualny poziom obciążenia kredytowego. Wysoki poziom zadłużenia wpływa na decyzję, ale nie jest powiązany z cechami prawnie chronionymi (płeć, wiek wrażliwy, pochodzenie, itp.)”.

Brak tego przekładu bywa głównym źródłem konfliktów. Data scientist pokazuje piękne wykresy SHAP, ale biznes i audytor nie są w stanie przełożyć ich na praktyczne konsekwencje. Dlatego planując explainable AI, trzeba od razu zadać pytanie: dla kogo dokładnie są te wyjaśnienia i w jakiej formie będą używane?

Jak mówić o „feature importance” i „shap values” po ludzku

Techniczne pojęcia XAI da się w większości przełożyć na proste zdania. Kilka przykładów:

• Feature importance – „ranking cech, które model najczęściej wykorzystuje do podejmowania decyzji” lub „najważniejsze kryteria decyzji modelu”.
• Global SHAP values – „średni wpływ poszczególnych cech na decyzje modelu dla wszystkich klientów”.
• Lokalne wartości SHAP – „wpływ konkretnej cechy na decyzję w przypadku danego klienta – czy zwiększyła, czy zmniejszyła ryzyko”.
• PDP/ICE – „wykresy pokazujące, jak zmienia się decyzja modelu, gdy powoli zmieniamy jedną cechę, zostawiając resztę bez zmian”.

Dobrym ćwiczeniem jest próba opisania wyników wyjaśnialności tak, jakby trzeba było je wytłumaczyć osobie z rodziny, która nie ma nic wspólnego z IT. Jeśli da się uniknąć słów „algorytm” i „model”, a mimo to przekaz pozostaje poprawny, wyjaśnienie prawdopodobnie sprawdzi się też w rozmowie z biznesem.

Typowe scenariusze biznesowe, w których XAI jest kluczowe

Modele wysokiego ryzyka: kredyt, medycyna, ubezpieczenia

Istnieją obszary, w których brak wyjaśnialności jest de facto nieakceptowalny. Chodzi o przypadki, gdy decyzja modelu bezpośrednio wpływa na zdrowie, majątek lub prawa jednostki. Do tej grupy należą m.in.:

• kredyty i pożyczki – decyzja o przyznaniu lub odmowie, wycena ryzyka, limity,
• medycyna – systemy wspierające diagnozę, triaż pacjentów, priorytetyzacja badań,
• ubezpieczenia – wycena składek, decyzja o przyjęciu do portfela, wykrywanie nadużyć.

W takich zastosowaniach wyjaśnialność modeli ML jest wymogiem nie tylko etycznym, ale też regulacyjnym. Pacjent ma prawo wiedzieć, dlaczego został zaklasyfikowany do grupy niskiego priorytetu. Klient banku powinien otrzymać zrozumiałe uzasadnienie odmowy kredytu. Ubezpieczyciel musi być w stanie obronić się przed zarzutem dyskryminacji w sądzie.

Dlatego w projektach wysokiego ryzyka strategicznym wyborem jest często połączenie:

• modeli z natury interpretowalnych (np. GAM lub drzewo decyzyjne) jako głównego silnika lub benchmarku,
• technik XAI (np. SHAP, LIME) do dodatkowego uzasadnienia granicznych przypadków i walidacji braku uprzedzeń.

Precyzyjne, choć czasem mniej spektakularne modele, które da się objaśnić, bywają tu lepszym wyborem niż „wyścig zbrojeń” na maksymalny AUC czy accuracy.

Operacje i compliance: kiedy XAI ratuje projekt „po cichu”

Drugą, mniej widowiskową, ale bardzo częstą grupą scenariuszy są projekty, w których wyjaśnialność nie jest na pierwszych slajdach prezentacji, ale decyduje o tym, czy model przetrwa w długim okresie. Chodzi m.in. o:

• monitoring modeli w produkcji – diagnoza, dlaczego zmienia się jakość predykcji,
• audyt wewnętrzny i zewnętrzny – udowodnienie, że model działa „tak, jak miał działać”,
• model risk management – procesowe „oswojenie” modeli ML w organizacji.

Gdy jakość modelu zaczyna spadać, XAI pomaga odpowiedzieć na podstawowe pytania: czy zmienił się profil klientów, czy może model zaczął polegać na cechach, które przestały mieć sens biznesowy? Analiza globalnych ważności cech i ich rozkładów potrafi szybko ujawnić, że np. nowa kampania marketingowa przyciągnęła inną grupę klientów niż wcześniej, a dotychczasowe reguły przestały pasować.

Dla zespołów compliance i audytu XAI staje się z kolei „mostem” między dokumentacją a praktyką. Zamiast ogólnego zdania „model bierze pod uwagę historię spłat”, można pokazać wykres globalnych wartości SHAP dla cechy „opóźnienia w spłacie” i opisać, jak dokładnie zmienia ona decyzje w różnych zakresach. To znacznie ułatwia weryfikację zgodności z politykami wewnętrznymi czy wymogami regulatora.

Doświadczenie klienta: XAI jako element UX i obsługi posprzedażowej

Explainable AI coraz częściej wychodzi poza salę konferencyjną i trafia bezpośrednio do klientów. W wielu branżach obsługa klienta ma obowiązek udzielić przynajmniej ogólnego wyjaśnienia, dlaczego decyzja była negatywna lub niekorzystna.

Przykłady praktyczne:

• bank wyświetla w bankowości internetowej zwięzłą informację: „Twoja aplikacja kredytowa została odrzucona głównie ze względu na: (1) niestabilne źródło dochodu, (2) wysokie aktualne zadłużenie w innych bankach”,
• firma ubezpieczeniowa na infolinii korzysta z prostego podsumowania wpływu cech (np. „historia szkód”, „wiek pojazdu”), aby wytłumaczyć klientowi wysokość składki.

Od strony technicznej takie komunikaty zwykle bazują na lokalnych wyjaśnieniach (np. SHAP) przetłumaczonych na zrozumiałe etykiety i krótkie zdania. To wymaga wspólnej pracy data scientistów, UX-owców i działu prawnego: wybór maksymalnej liczby powodów, zasady anonimizacji cech, unikanie języka, który może zostać odebrany jako dyskryminujący lub zbyt techniczny.

W dobrze zaprojektowanym systemie XAI staje się elementem pozytywnego doświadczenia klienta: nawet jeśli decyzja jest negatywna, przejrzyste wyjaśnienie obniża frustrację i zmniejsza liczbę reklamacji. Dodatkowo zespół produktowy dostaje czytelny feedback, które kryteria są dla klientów najbardziej kontrowersyjne lub niezrozumiałe.

Rozwój produktu i eksperymenty: XAI jako lupa do zrozumienia zachowań użytkowników

Explainable AI pomaga także w miejscach, gdzie formalnie nikt nie wymaga raportu dla regulatora, ale zrozumienie logiki modelu przyspiesza rozwój produktu. Dobry przykład to systemy rekomendacyjne czy modele przewidujące rezygnację klienta (churn).

Kiedy zespół produktowy widzi, że model wskazuje pewne typy zachowań jako silne sygnały odejścia (np. nagły spadek częstotliwości logowania, rezygnacja z określonej funkcji), łatwiej zaprojektować konkretne akcje retencyjne. XAI pozwala wyjść poza ogólne „ten segment jest zagrożony” i pokazać, co dokładnie różni go od klientów lojalnych.

W eksperymentach A/B wyjaśnialność może z kolei ujawnić, że model reaguje na zmianę interfejsu w sposób nieprzewidywany przez zespół. Na przykład po wprowadzeniu nowego layoutu strony rosną w ważności cechy związane z czasem spędzonym w jednym miejscu, a spada wpływ historii transakcji. To sygnał, że model w większym stopniu „czyta z zachowania”, a w mniejszym z przeszłych danych – co może być korzystne lub problematyczne, w zależności od intencji projektantów.

Jak rozmawiać o wyjaśnialności z biznesem i audytorami – zanim powstanie model

Ustalenie „kontraktu na wyjaśnialność” na etapie analizy potrzeb

Najwięcej problemów z XAI rodzi się wtedy, gdy jest traktowane jak dodatek na końcu projektu. Dużo skuteczniejsze podejście to potraktowanie wyjaśnialności jak jednego z głównych wymagań niefunkcjonalnych – na równi z wydajnością czy bezpieczeństwem.

Na pierwszych warsztatach z biznesem i audytorem warto zadać kilka prostych, ale celnych pytań:

• kto dokładnie będzie odbiorcą wyjaśnień (klient końcowy, analityk ryzyka, zarząd, audytor zewnętrzny, regulator?),
• w jakich sytuacjach wyjaśnienie będzie potrzebne (tylko przy odmowie, przy każdej decyzji, tylko w trakcie audytu?),
• jakie są minimalne oczekiwania co do formy (1–3 główne powody w formie tekstowej, pełny raport techniczny, wizualizacje?),
• jakie ograniczenia prawne i reputacyjne wchodzą w grę (np. zakaz używania pewnych cech, wymóg zrozumiałości dla klienta bez wiedzy specjalistycznej).

Odpowiedzi na te pytania tworzą nieformalny „kontrakt na wyjaśnialność”. Na tej podstawie można świadomie zdecydować, czy w danym projekcie stawia się na model z natury interpretowalny, czy na bardziej złożony model z rozbudowaną warstwą XAI. Można też oszacować dodatkowy nakład pracy: przygotowanie generatorów wyjaśnień, testów stabilności, szablonów komunikatów dla klientów.

Mapa interesariuszy: kto ma jakie potrzeby wyjaśnialności

Różne grupy w organizacji patrzą na wyjaśnialność przez zupełnie inne okulary. Dobrze jest jawnie nazwać te potrzeby, zamiast zakładać, że „wszyscy chcą tego samego”. Najczęściej pojawiają się cztery perspektywy:

• biznes (właściciel procesu) – chce zrozumieć, czy model jest spójny z „zdrowym rozsądkiem” i strategią oraz czy nie zaszkodzi relacjom z klientami,
• operacje/obsługa klienta – potrzebują krótkich, powtarzalnych wyjaśnień do użycia w rozmowach z klientem i w obsłudze reklamacji,
• audyty i compliance – oczekują dowodów, że model jest stabilny, niedyskryminujący i działa w ramach przyjętych zasad zarządzania ryzykiem,
• zespół ML/IT – potrzebuje narzędzi do debugowania i monitoringu, a także jasnych granic odpowiedzialności (co musi być wyjaśniane, a co nie).

Prosty diagram lub tabela, która przypisuje typy wyjaśnień (globalne, lokalne, tekstowe, wizualne) do konkretnych interesariuszy, bardzo ułatwia późniejsze decyzje projektowe. Zapobiega też sytuacji, w której dla jednych buduje się nadmiarową, kosztowną warstwę wyjaśnialności, a inni i tak pozostają bez użytecznych odpowiedzi.

Projektowanie metryk „zaufania” obok metryk jakości

Modele ML ocenia się zwykle przez pryzmat metryk typu AUC, F1 czy MAE. Gdy wchodzą w grę wyjaśnienia, dochodzi nowy wymiar: zaufanie. Oczywiście nie da się go zmierzyć jednym idealnym wskaźnikiem, ale można umówić się na kilka praktycznych przybliżeń.

Przykładowe „metryki zaufania”, które można zdefiniować razem z biznesem i audytorem:

• odsetek decyzji, dla których system potrafi wygenerować wyjaśnienie spełniające określone standardy (np. maksymalnie trzy główne powody, brak cech zakazanych),
• stabilność globalnych ważności cech w czasie (czy ranking cech nie „skacze” dramatycznie z miesiąca na miesiąc),
• odsetek reklamacji, które dotyczą braku zrozumienia decyzji modelu (mierzone już po wdrożeniu),
• wyniki prostych testów „rozsądku” – np. czy zwiększenie dochodu przy innych warunkach nie obniża szansy na kredyt.

Takie wskaźniki można włączyć do regularnego raportowania obok klasycznych metryk jakości. Dzięki temu rozmowy z zarządem i audytorem nie kręcą się wyłącznie wokół „skuteczności”, ale także wokół jakości wyjaśnień i zaufania do modelu w codziennej pracy.

Warsztaty z przykładami: prototyp wyjaśnialności bez gotowego modelu

Zanim powstanie pierwszy model, da się przetestować, jakie formy wyjaśnień będą najlepiej działały w konkretnym środowisku. Można użyć prostego, interpretowalnego modelu (np. drzewa decyzyjnego) lub nawet ręcznie przygotowanych scenariuszy i wspólnie z biznesem „przećwiczyć” typowe sytuacje.

Przebieg takich warsztatów może wyglądać następująco:

1. wybór kilku reprezentatywnych przypadków (np. odrzucony kredyt, wysoka składka, oznaczenie transakcji jako fraud),
2. przygotowanie kilku wersji wyjaśnienia: surowa tabelka z cechami, krótkie podsumowanie tekstowe, prosta wizualizacja,
3. sprawdzenie, które formy są zrozumiałe dla uczestników, a które budzą dodatkowe pytania lub wątpliwości,
4. zapisanie ustaleń jako wytycznych projektowych: „używamy maksymalnie X powodów”, „nie pokazujemy wartości liczbowych cech, tylko przedziały”, „unikać określeń typu ‘algorytm uznał’”.

Taka próba generalna pozwala lepiej dobrać techniki XAI i formę prezentacji wyników. Dzięki temu, gdy pojawi się już docelowy, bardziej złożony model, nie trzeba eksperymentować na produkcji.

Współpraca z działem prawnym i etyki: zapobieganie problemom zamiast gaszenia pożarów

Explainable AI styka się bezpośrednio z tematami prawnymi (RODO, prawo do wyjaśnienia, zakaz dyskryminacji) oraz z politykami etycznymi organizacji. Włączenie prawników i osób odpowiedzialnych za etykę na późnym etapie projektu zwykle kończy się długą listą „tego nie wolno”, trudną do pogodzenia z gotową implementacją.

Znacznie sprawniej działa podejście, w którym dział prawny pomaga już przy definiowaniu wymagań na wyjaśnialność. Wspólnie można ustalić m.in.:

• które cechy są dopuszczalne do użycia w modelu, a których lepiej unikać (np. ze względu na ryzyko pośredniej dyskryminacji),
• jakiego poziomu szczegółowości można używać w komunikacji z klientem (np. czy pokazywać dokładne wartości scoringu, czy tylko kategorie ryzyka),
• jak formułować komunikaty, aby nie składać obietnic, których model nie spełnia (np. „gwarantujemy brak błędów”),
• jak dokumentować decyzje i wyjaśnienia, aby móc je później przedstawić regulatorowi lub w sądzie.

Efektem jest nie tylko bezpieczniejszy projekt, ale też znacznie spokojniejsze wdrożenie – bez nagłych blokad w ostatniej chwili, gdy model ma już iść na produkcję.

Przegląd głównych podejść do explainable AI – bez przesadnego żargonu

Modele z natury interpretowalne: prosta struktura zamiast magii

Pierwszą grupę podejść stanowią modele, które są zrozumiałe „z pudełka”. Ich siła nie leży w bajecznej złożoności, tylko w tym, że każdy krok da się opowiedzieć słowami. Do tej rodziny należą m.in.:

• drzewa decyzyjne – model działa jak zestaw zagnieżdżonych pytań „jeśli–to”, które można narysować i prześledzić,
• regresja liniowa/logistyczna – wynik to suma cech pomnożonych przez wagi; każda waga mówi, jak dana cecha wpływa na wynik (w górę czy w dół),
• modele addytywne (GAM) – rozwinięcie regresji, w którym każda cecha ma własną „krzywą wpływu”, wciąż łatwą do narysowania i opisania.

Ich główną zaletą jest to, że wyjaśnienie jest częścią modelu, a nie dodatkową warstwą. Dzięki temu łatwiej przeprowadzić audyt, wytłumaczyć decyzję i wychwycić absurdalne zależności (np. gdy model „karze” wyższy poziom dochodu). Wadą bywa niższa dokładność n