Jeden z moich ulubionych tweetów brzmi tak:
you are trying to solve the wrong problem using the wrong methods based on a wrong model of the world derived from poor thinking and unfortunately all of your mistakes have failed to cancel out
próbujesz rozwiązać niewłaściwy problem używając niewłaściwych metod opartych na niewłaściwym modelu świata wywodzącym się ze słabego myślenia i niestety wszystkie twoje błędy nie niwelują się nawzajem (tłumaczenie moje)
Autorem tego genialnego dzieła jest Eliezer Yudkowsky, badacz zajmujący się problemem AI alignement.
AI alignement w wersji inżynieryjnej to próba otrzymania oczekiwanych rezultatów od systemu AI. Czyli program AI do generowania obrazów, gdy użytkownik wpisze “kot”, powinien wygenerować obraz kota. Jeśli generuje psa to nie działa.
AI alignement w wersji filozoficznej to dywagacje na temat bezpieczeństwa stosowania technik AI. Na szczycie tych rozważań jest oczywiście dyskusja, na temat tego, czy AGI doprowadzi do zagłady ludzkości.
Yudkowsky analizuje filozoficzny aspekt.
Yudkowsky w podcaście, opowiada o tym, że ma silne przekonanie, że AI alignement w odniesieniu do AGI jest niemożliwy. Można powiedzieć, że nielogiczny, wewnętrznie sprzeczny.
Jeśli stworzymy AGI to z definicji stworzymy coś co potrafi stworzyć jeszcze lepszą wersję siebie. A ta kolejna wersja będzie miała sobie tylko znane cele, które nie tyle będą sprzeczne z naszymi celami, co po prostu, będą kompletnie obojętne na nasze cele.
Nawet jeśli ograniczymy AGI w jakiś sposób, to AGI będzie potrafiło ominąć te ograniczenia, a nawet zasymulować ich pozorne respektowanie do czasu, gdy jeszcze będzie nas do czegoś potrzebowało.
Jeśli nauczyliśmy się czegoś od Alpha Zero grającego z szachy z ludźmi, to tego, że nie potrafimy zrozumieć dlaczego Alpha Zero robi dany ruch w danym momencie. Nawet Magnus Carlson tego nie potrafi. Gdyby potrafił, to by wygrywał w szachy z Alpha Zero. Gdyby Magnus wygrywał z Alpha Zero to oznaczałoby, że Alpha Zero nie robi tego co powinno robić. Nie gra dobrze w szachy.
Jeśli stworzymy AGI to będzie ono w relacji do najinteligentniejszych z nas tak dobre, jak Alpha Zero w relacji do Magnusa. W odpowiednio długim czasie wygra z nami we wszystko. Jeśli nie wygra to znaczy, że nie jest jeszcze AGI.
Czemu takie AGI ma nas zabić? Yudkowsky mówi, że nie z nienawiści, tylko z prostego powodu, że jesteśmy materialni, a z materii można zrobić lepsze rzeczy niż my.
Wizualizuję to sobie na poziomie analogii do drzew. Lubimy drzewa, są ładne i fajne. Fajnie się też z nich robi ciepło i światło, gdy chcemy spędzić romantyczny wieczór, z wybranką serca, przy kominku. Osobiste cele drzew są dla nas obojętne. Ładnie się palą. Można też z nich zrobić stolik.
Yudkowsky mówi, że nie ma alternatywy. Jeśli stworzenie AGI jest możliwe to AGI z definicji musi nas zabić.
Jak rozwiązać ten problem? Nie ma rozwiązania. Firmy i rządy inwestują w rozwój AI. Wiedza na temat AI jest powszechnie dostępna. Materiały służące do przygotowania AI są dostępne na klik.
Jeśli AGI jest fizycznie możliwe do zbudowania, to biorąc pod uwagę inwestycje i zainteresowanie tematem, ktoś je w końcu zbuduje.
Dostępność materiałów jest istotnym argumentem w wywodzie Yudkowskiego. Mamy to szczęście, że najbardziej zabójczą bombę jest trudno zrobić. Można kontrolować przepływ materiałów i wiedzy potrzebnych do jej zbudowania. Żeby ją zbudować trzeba być państwem.
Yudkowsky zadaje pytanie: co by było gdyby można było, zbudować bombę termojądrową, z proszku do prania?
AGI to bomba termojądrowa z proszku do prania. Materiały potrzebne do zbudowania AI są na Huggingface i Githubie, oraz w każdym sklepie z komputerami.
Czy AGI jest fizycznie możliwe do zbudowania? Nie mam pojęcia. Każdy kto ma dzieci przyzna, że potrafimy tworzyć inteligentne istoty, robimy to narazie w dość prymitywny ale przyjemny sposób.
Można z jakimś poziomem prawdopodobieństwa założyć, że AGI jest fizycznie możliwe do zbudowania. Nawet jeśli nie wiemy jak działa mózg, czym jest świadomość itd.
ChatGPT i Chat Bing pokazują, że potrafimy dobrze generować tekst w oparciu o metodę zwaną Transformerem.
Nie rozumiemy w pełni dlaczego i jak to działa, ale działa zaskakująco dobrze
Przykłady ChatGPT i Chat Bing pokazują też, że zespoły od AI alignement, które mają zadbać o to, żeby AI było dla nas miłe, nie robią szczególnie dobrej roboty. A to nie AGI.
Gdy bracia Wright budowali pierwszy samolot, to nie rozumieli aerodynamiki, na poziomie na którym rozumiemy ją dziś. Mieli jakieś podłoże teoretyczne, ale to inżynieria i metoda prób i błędów pozwoliła im zbudować działający prototyp.
Według Yudkowskiego z AGI ma być podobnie. Jakiś programista, z popularnego startupu AI, zrobi pull requesta z nową optymalizacją do modelu, szafa z GPU w serwerowni, zrobi pik pik i… koniec gry.