Słowa typu „może” czy „raczej” brzmią znajomo, ale w ustach chatbota mogą oznaczać inne liczby niż w naszej głowie. Nowe badania pokazują, że ta różnica nie jest drobiazgiem, tylko realnym ryzykiem w decyzjach opartych na AI.
Niepewność, która brzmi znajomo
W codziennej rozmowie rzadko operujemy procentami. Mówimy „to raczej się uda”, „to mało prawdopodobne”, „prawie na pewno” – i choć te sformułowania są nieostre, zwykle wystarczają, by druga strona zrozumiała, o jakiej skali ryzyka mówimy.
Problem zaczyna się wtedy, gdy te same słowa wypowiada system oparty na dużym modelu językowym, taki jak ChatGPT. Badania opublikowane w czasopiśmie naukowym z obszaru złożoności sugerują, że modele świetnie udają płynną rozmowę, ale często rozjeżdżają się z ludźmi w tym, jak „kodują” niepewność w języku.
Słowa kontra procenty
W badaniu porównano, jak ludzie i modele językowe przypisują wartości liczbowe do tzw. słów szacunkowego prawdopodobieństwa: od „może”, przez „prawdopodobnie”, po „niemal pewne”. Okazało się, że zgodność jest względnie dobra na krańcach skali – przy określeniach typu „niemożliwe” – ale w środku zaczyna się chaos.
Największe rozbieżności dotyczą „wytrychów” językowych, czyli słów używanych do ostrożnego formułowania opinii. Model może traktować „prawdopodobne” jak okolice 80%, podczas gdy przeciętny odbiorca słyszy w tym raczej 60–70%. To nie jest akademicka różnica: w praktyce zmienia to, jak interpretujemy rekomendację i jaką wagę jej nadajemy.
Skąd bierze się rozjazd znaczeń
Ludzie czytają takie słowa przez kontekst. Inaczej rozumiemy „raczej” w rozmowie o pogodzie, inaczej w rozmowie o skutkach ubocznych leku, a jeszcze inaczej w dyskusji o ryzyku inwestycyjnym. Do tego dochodzą doświadczenia osobiste: ktoś po serii pechowych zdarzeń może intuicyjnie „obniżać” znaczenie optymistycznych sformułowań.
Model językowy działa inaczej. Nie „czuje” kontekstu jak człowiek – statystycznie uśrednia sposoby użycia słów, które widział w danych treningowych. Jeśli w tekstach „prawdopodobnie” bywa używane raz bardzo mocno, a raz dość miękko, model może wytworzyć własną, niekoniecznie ludzką średnią. Efekt: brzmi naturalnie, ale nie musi komunikować ryzyka w sposób kompatybilny z odbiorcą.
Wrażliwość na płeć i język
Badacze zwrócili też uwagę na podatność modeli na szczegóły promptu, w tym na język nacechowany płciowo. Zmiana zaimka z „on” na „ona” potrafiła usztywniać odpowiedzi probabilistyczne – co sugeruje, że w danych treningowych tkwią wzorce i stereotypy wpływające nawet na to, jak model „dozuje” niepewność.
Podobnie działa zmiana języka. Gdy prompt przechodził z angielskiego na chiński, rozkład przypisywanych prawdopodobieństw przesuwał się. To może wynikać z różnic kulturowo-językowych w opisywaniu niepewności: jedne języki częściej używają eufemizmów i niedopowiedzeń, inne preferują bardziej kategoryczne konstrukcje. Model, karmiony wielojęzycznymi danymi, nie zawsze potrafi te różnice „wyrównać” do wspólnej skali.
Dlaczego to jest problem bezpieczeństwa
Na pierwszy rzut oka to tylko semantyka. W praktyce jednak komunikowanie ryzyka jest fundamentem zaufania do systemów AI, zwłaszcza gdy wchodzą do obszarów wysokiej stawki: ochrony zdrowia, administracji publicznej czy raportowania naukowego.
Wyobraźmy sobie asystenta wspierającego lekarza. Jeśli system opisze działanie niepożądane jako „mało prawdopodobne”, ale wewnętrznie „ma na myśli” wartość wyższą, niż lekarz zwykle przypisuje temu zwrotowi, decyzja kliniczna może zostać podjęta na błędnej mapie ryzyka. To samo dotyczy rekomendacji w politykach publicznych: słowo „raczej” może przesądzić o tym, czy ktoś uzna zagrożenie za marginalne, czy warte natychmiastowej reakcji.
Co już wiemy z badań nad niepewnością
Ludzie próbują standaryzować język prawdopodobieństwa od dekad. Już w drugiej połowie XX wieku rozwijano metody, które miały ujednolicać sposób raportowania niepewnych ocen – m.in. po to, by analitycy nie wprowadzali odbiorców w błąd różnym rozumieniem tych samych słów.
Równolegle rośnie literatura o tym, jak „zajrzeć pod maskę” dużych modeli językowych i opisać ich zachowania. Nowością w przywoływanym badaniu jest potraktowanie komunikacji człowiek–AI jak systemu, w którym znaczenie może się degradować: nie wystarczy, że model jest elokwentny. Musi jeszcze być „zestrojony” z ludzką interpretacją.
Czy da się to naprawić
Część środowiska liczy, że pomoże „chain-of-thought prompting”, czyli proszenie modelu o pokazanie toku rozumowania. Tyle że wyniki sugerują, iż nawet bardziej rozbudowane „uzasadnienia” nie gwarantują spójnego przełożenia danych statystycznych na etykiety słowne. Model może logicznie brzmieć, a mimo to wybierać słowa, które dla człowieka znaczą coś innego.
Kierunek rozwoju jest więc bardziej przyziemny, ale kluczowy: potrzebne są metryki spójności i mechanizmy kalibracji, dzięki którym model, widząc np. 10% ryzyka, konsekwentnie dobiera tę samą klasę sformułowań – niezależnie od drobnych zmian promptu czy języka. Dopiero wtedy „prawdopodobnie” przestanie być ozdobnikiem, a stanie się wiarygodnym sygnałem.
Co to oznacza dla użytkowników tu i teraz
W świecie, w którym AI streszcza publikacje, wspiera decyzje i podpowiada rozwiązania, niepewność nie jest dodatkiem – jest częścią odpowiedzialności. Jeśli system nie potrafi stabilnie komunikować ryzyka, użytkownik może podejmować decyzje na podstawie fałszywego poczucia pewności albo przesadnej ostrożności.
Dlatego warto traktować słowa typu „prawdopodobnie” w odpowiedziach chatbota jak skrót myślowy, a nie miarę. W zastosowaniach poważnych bezpieczniej jest dopytywać o liczby, zakresy i założenia – oraz pamiętać, że płynny język nie jest dowodem, że model i człowiek rozumieją to samo.
Oryginalny tekst: ‘Probably’ doesn’t mean the same thing to your AI as it does to you