Podekscytowałem się demem nowego Binga, porównałem je nawet do demo iPhone i Steva Jobsa i nazwałem rewolucją.
Wydawało mi się, że dość dokładnie je obejrzałem. Jednak nie na tyle dokładnie, żeby sprawdzić czy informacje, które GPT wypluwa podczas demo, są prawdziwe.
GPT ma skłonność do halucynacji. GPT odpowiada na pytanie, nawet jeśli nie zna poprawnej odpowiedzi. Po prostu “wymyśla” odpowiedź. Taka wymyślona odpowiedź to halucynacja.
Dla ilustracji: wpisałem do ChatGPT pytanie: kto założył Netguru?
Odpowiedź: Netguru została założona w 2008 roku przez Wiktorię Wero, Katarzynę Dziewanowską oraz Marcina Trąbińskiego. Wszyscy trzej byli studentami Uniwersytetu Ekonomicznego w Poznaniu.
Brzmi przekonująco, zgadza się data, Poznań, liczba założycieli, mój wspólnik ma na imię Wiktor więc prawie Wiktoria, poza tym to same fantazje.
To jest zabawne, bo znam prawdziwą odpowiedź. To jest mniej zabawne, jeśli informacje od GPT uznam za prawdziwe i podejmę decyzję na ich podstawie.
Problem halucynacji jest znany. Akceptujemy go jako wyzwanie w rozwoju dużych modeli językowych, które z czasem będzie rozwiązane przez jakąś sprytną technikę. Halucynacje nie unieważniają istotności wynalazku jakim jest GPT. Tworzą jednak pewien problem w tworzeniu produktów opartych o GPT.
Na ten problem natknął się również Microsoft, niestety w bardzo publiczny sposób. Podczas ważnej prezentacji o nowym Bingu.
Wczoraj trafiłem na dwa artykuły listujące błędy faktyczne na prezentacji Bing.
Błędów jest niestety dużo!
Skrót wyników finansowych firmy Gap zawierał błędne liczby
Porównanie wyników Gap do Lululemon: połowa liczb w tabeli się nie zgadza
Japońscy poeci: wśród 9 “znanych poetów”, Chat Binga wymienił autorkę książek dla dzieci (nie poetkę), i gwiazdę rocka (nie poetę)
Rekomendacje klubów nocnych w Meksyku: jeden to grill bar z muzyką na żywo w dzielnicy do której podobno lepiej się nie wybierać jak się jest turystą, drugi to bar w galerii handlowej
Odkurzacze: jako wadę odkurzacza Czat podał, że ma krótki kabel, a ten model odkurzacza jest bezprzewodowy
Sporo jak na jedno demo.
Microsoft, niestety, pozwolił sobie na pokazanie tych przykładów bez kontroli jakości.
Nadal uważam, że implementacja GPT w przeglądarce to rewolucyjna innowacja, ale bardzo bym chciał, żeby kolejne wersje GPT radykalnie mniej halucynowały.
Przypomniały mi się słowa LeCuna (szefa AI w Meta): Google and Meta both have a lot to lose by putting out systems that make stuff up.
Hype na AI jest duży. GPT to narzędzie, narzędzie niedoskonałe. Trzeba uważać i pamiętać o jego mocnych i słabych stronach. Bing i OpenAI muszą to tłumaczyć użytkownikom na każdym kroku jeśli chcą pozostać wiarygodni. Tak duża liczba halucynacji w oficjalnym demo na premierze to problem wizerunkowy i problem w budowaniu zaufania do nowej technologii.