
Zformuluj stejný dotaz trochu jinak a jazykový model odpoví úplně jinak. Podle týmu projektu QuantPi je to nejčastější problém, který se objeví při testování generativní umělé inteligence. Výzkumníci vytvořili platformu, která si testy vytváří sama, odhaluje nestabilitu a zkreslení a připravuje dokumentaci pro auditory. Vyzkoušeli ji i na systému doporučujícím uchazeče o práci — a na konci si můžeš ověřit, nakolik důvěřuješ odpovědím umělé inteligence.
Generativní umělá inteligence stále častěji pomáhá posuzovat uchazeče o práci, obsluhovat zákazníky a podporovat obchodní rozhodnutí. Její největší předností je rychlost. Má ale slabinu, která se snadno přehlédne: na malou změnu formulace otázky, jazyka nebo kontextu může zareagovat úplně jinak. Pro firmy z toho plyne dvojí úkol. Musí takové anomálie odhalit a také potřebují dokumentaci, která prokáže, že riziko bylo otestováno a je pod kontrolou.
Tento problém řešil projekt QuantPi, podporovaný Evropskou radou pro inovace. Vznikla platforma pro řízení rizik generativní umělé inteligence, postavená na technologii PiCrystal. Nástroj automaticky vytváří sady testů, kontroluje chování modelu a převádí výsledky na dokumentaci připravenou pro audit, navázanou na požadavky nařízení Evropské unie o umělé inteligenci. Platforma zkoumá systémy ze tří úhlů: nestabilní výstupy, zkreslení a dostupnost důkazů, které lze předložit při auditu.
Co se v takových testech objevuje nejčastěji? Lukas Bieringer, vedoucí oddělení politik a grantů ve společnosti QuantPi, odpovídá bez obalu: „Je to typicky nekonzistentní nebo nestabilní chování při realistických změnách vstupů – stejná třída promptů dává podstatně odlišné výstupy podle formulace, jazyka nebo kontextu.“
V praxi může systém hladce projít jednoduchým benchmarkem a pak selhat při setkání se skutečnými uživateli, kteří své požadavky formulují po svém. Teprve tehdy vyjdou najevo zkreslení a nerovnosti mezi skupinami, rozdíly neviditelné v průměrných výsledcích.
Tým si to ověřil na konkrétním případě. Hodnotil se systém doporučující kandidáty, založený na velkém jazykovém modelu, s partnery: personální platformou Stepstone a laboratoří pro zajištění důvěryhodnosti AI TÜV AI.Lab. Závěr je důležitý pro každého, jehož životopis může v takovém systému skončit. Testování nástrojů umělé inteligence používaných při náboru vyžaduje velké a reprezentativní datové sady. Jen ty umožňují intersekcionální testování, při kterém lze zkoumat překrývající se charakteristiky různých skupin. Průměrování tu funguje jako opona: skrývá důležité rozdíly v tom, jak systém zachází s jednotlivými segmenty.
Druhý nápad QuantPi spočívá v oddělení vrstvy důkazů od vrstvy prezentace. Vychází z jednoduchého pozorování: různí lidé ve firmě potřebují o témže systému různé informace.
Aby se tyto pohledy nerozcházely, platí jedno pravidlo. Bieringer vysvětluje: „Klíčový návrhový princip: všechny pohledy musí vycházet ze stejné statistické báze důkazů, aby bylo možné tvrzení na úrovni představenstva vždy dohledat až ke konkrétnímu výsledku testu.“
Automatizace neznamená, že lidský úsudek přestává být potřeba. Lidé určují, k čemu systém slouží, volí, které definice férovosti nebo bezpečnosti platí, stanovují prahy přijatelnosti a rozhodují, zda nástroj nasadit, odložit, nebo stáhnout. Rozdělení rolí je jasné: platforma měří riziko a odpovědní lidé rozhodují, jaká jeho úroveň je přijatelná.
Ani jednou provedený test nestačí navždy. Monitorování se spouští pokaždé, když se změní situace: po aktualizaci modelu, upraveném promptu nebo novém vyhledávacím indexu. Posun vstupů, posun výstupů a změny pravidel také vyžadují nové posouzení, protože kterákoli z těchto věcí může dřívější výsledky zneplatnit.
Podle Bieringera už pro mnoho firem největší překážkou není povědomí o pravidlech. Říká to otevřeně: „Co nedokážou, je předložit technické důkazy o shodě, které obstojí před notifikovaným subjektem nebo auditorem – zejména u generativních systémů, kde tradiční benchmarkové zprávy nestačí a dosud chybějí harmonizované normy.“ Platforma QuantPi má právě tuto mezeru zaplnit a převádět technické testy na důkazy, které mohou využít různé týmy před nasazením i po něm.
Generativní AI umí být vrtošivá: tatáž otázka položená jinými slovy může vyvolat zcela jinou odpověď a průměrné výsledky testů mohou skrývat nerovné zacházení s určitými skupinami. Projekt QuantPi ukazuje, že k důkladnému posouzení takových systémů jsou potřeba automatizované, opakovatelné testy, reprezentativní data a jedna společná báze důkazů pro všechny, od analytika po představenstvo. Poslední slovo o tom, které riziko je přijatelné, však stále patří lidem.
5 otázek · jedna minuta