Rovnaká požiadavka, iná odpoveď: ako odhaliť vrtochy generatívnej umelej inteligencie + test

• Rýchla, ale nie vždy predvídateľná
• Testy, ktoré sa píšu samy
• Hlavný problém: nekonzistentnosť
• Poučenie z náboru
• Jedna báza dôkazov, mnoho pohľadov
• Rozhodujú stále ľudia
• Poznať pravidlá nestačí
• Čo si zapamätať
• Päť otázok: ako veľmi dôveruješ odpovediam umelej inteligencie? (test)

⇑Rýchla, ale nie vždy predvídateľná

Generatívna umelá inteligencia čoraz častejšie pomáha posudzovať uchádzačov o prácu, obsluhovať zákazníkov a podporovať obchodné rozhodnutia. Jej najväčšou prednosťou je rýchlosť. Má však slabinu, ktorá sa ľahko prehliadne: na malú zmenu formulácie otázky, jazyka alebo kontextu môže zareagovať úplne inak. Pre firmy z toho vyplýva dvojaká úloha. Musia takéto anomálie odhaliť a potrebujú aj dokumentáciu, ktorá preukáže, že riziko bolo otestované a je pod kontrolou.

⇑Testy, ktoré sa píšu samy

Tento problém riešil projekt QuantPi, podporovaný Európskou radou pre inovácie. Vznikla platforma na riadenie rizík generatívnej umelej inteligencie, postavená na technológii PiCrystal. Nástroj automaticky vytvára súbory testov, kontroluje správanie modelu a premieňa výsledky na dokumentáciu pripravenú na audit, napojenú na požiadavky nariadenia Európskej únie o umelej inteligencii. Platforma skúma systémy z troch uhlov: nestabilné výstupy, skreslenia a dostupnosť dôkazov, ktoré možno predložiť pri audite.

⇑Hlavný problém: nekonzistentnosť

Čo sa v takýchto testoch objavuje najčastejšie? Lukas Bieringer, vedúci oddelenia politík a grantov v spoločnosti QuantPi, odpovedá bez obalu: „Typicky je to nekonzistentné alebo nestabilné správanie pri realistických zmenách vstupov – rovnaká trieda promptov dáva podstatne odlišné výstupy podľa formulácie, jazyka alebo kontextu.“

V praxi môže systém hladko prejsť jednoduchým benchmarkom a potom zlyhať pri stretnutí so skutočnými používateľmi, ktorí svoje požiadavky formulujú po svojom. Až vtedy vyjdú najavo skreslenia a nerovnosti medzi skupinami, rozdiely neviditeľné v priemerných výsledkoch.

⇑Poučenie z náboru

Tím si to overil na konkrétnom prípade. Hodnotil sa systém odporúčajúci kandidátov, založený na veľkom jazykovom modeli, s partnermi: personálnou platformou Stepstone a laboratóriom na zabezpečenie dôveryhodnosti AI TÜV AI.Lab. Záver je dôležitý pre každého, koho životopis môže v takomto systéme skončiť. Testovanie nástrojov umelej inteligencie používaných pri nábore si vyžaduje veľké a reprezentatívne súbory údajov. Len tie umožňujú intersekcionálne testovanie, pri ktorom možno skúmať prekrývajúce sa charakteristiky rôznych skupín. Priemerovanie tu funguje ako záclona: skrýva dôležité rozdiely v tom, ako systém zaobchádza s jednotlivými segmentmi.

⇑Jedna báza dôkazov, mnoho pohľadov

Druhý nápad QuantPi spočíva v oddelení vrstvy dôkazov od vrstvy prezentácie. Vychádza z jednoduchého pozorovania: rôzni ľudia vo firme potrebujú o tom istom systéme rôzne informácie.

• Dátový analytik potrebuje podrobné výsledky testov podľa metrík a podskupín.
• Právnik potrebuje odkazy na konkrétne ustanovenia predpisov.
• Vedúci riadenia a správy systémov potrebuje prehľad celého portfólia systémov.
• Predstavenstvo potrebuje niekoľko ukazovateľov zvyškového rizika.

Aby sa tieto pohľady nerozchádzali, platí jedno pravidlo. Bieringer vysvetľuje: „Kľúčový návrhový princíp: všetky pohľady musia vychádzať z rovnakej štatistickej bázy dôkazov, aby bolo možné tvrdenie na úrovni predstavenstva vždy vysledovať až ku konkrétnemu výsledku testu.“

⇑Rozhodujú stále ľudia

Automatizácia neznamená, že ľudský úsudok prestáva byť potrebný. Ľudia určujú, na čo systém slúži, volia, ktoré definície férovosti alebo bezpečnosti platia, stanovujú prahy prijateľnosti a rozhodujú, či nástroj nasadiť, odložiť, alebo stiahnuť. Rozdelenie rolí je jasné: platforma meria riziko a zodpovední ľudia rozhodujú, aká jeho úroveň je prijateľná.

Ani raz vykonaný test nestačí navždy. Monitorovanie sa spúšťa vždy, keď sa zmení situácia: po aktualizácii modelu, upravenom prompte alebo novom vyhľadávacom indexe. Posun vstupov, posun výstupov a zmeny pravidiel tiež vyžadujú nové posúdenie, pretože ktorákoľvek z týchto vecí môže skoršie výsledky zneplatniť.

⇑Poznať pravidlá nestačí

Podľa Bieringera už pre mnohé firmy najväčšou prekážkou nie je povedomie o pravidlách. Hovorí to otvorene: „Čo nedokážu, je predložiť technické dôkazy o zhode, ktoré obstoja pred notifikovaným subjektom alebo audítorom – najmä pri generatívnych systémoch, kde tradičné benchmarkové správy nestačia a doteraz chýbajú harmonizované normy.“ Platforma QuantPi má práve túto medzeru vyplniť a premieňať technické testy na dôkazy, ktoré môžu využiť rôzne tímy pred nasadením aj po ňom.

⇑Čo si zapamätať

Generatívna AI vie byť vrtošivá: tá istá otázka položená inými slovami môže vyvolať celkom inú odpoveď a priemerné výsledky testov môžu skrývať nerovnaké zaobchádzanie s určitými skupinami. Projekt QuantPi ukazuje, že na dôkladné posúdenie takýchto systémov sú potrebné automatizované, opakovateľné testy, reprezentatívne dáta a jedna spoločná báza dôkazov pre všetkých, od analytika po predstavenstvo. Posledné slovo o tom, ktoré riziko je prijateľné, však stále patrí ľuďom.

⇑Päť otázok: ako veľmi dôveruješ odpovediam umelej inteligencie? (test)