Wypuszczanie systemów, które zmyślają. / by Kuba Filipowski

  1. W moim ostatnim wpisie o Google kontra ChatGPT snułem przypuszczenia na temat tego czemu, pomimo tego, że wiemy, że testują wewnętrznie podobny produkt, Google nie zdecydowało się na jego publiczną premierę.

    1. Napisałem: Google to dojrzała firma, która ma sporo do stracenia. Ryzyka takiej integracji to na przykład: niższe przychody z adwords dla tych zapytań; ryzyka wizerunkowe związane z halucynacjami i groteskowymi odpowiedziami od chata; koszty obsługi; niepewna sytuacja związana z prawem autorskim itp (link)

  2. To samo pytanie zadano panu Yannowi LeCunowi, jego odpowiedź: Google and Meta both have a lot to lose by putting out systems that make stuff up.

    1. Pan Yann LeCun to jeden z uber-nerdów AI. LeCun to francuski naukowiec, informatyk, Chief AI Scientist w Meta, który w 2018 roku otrzymał Turing Award, odpowiednika nobla dla informatyków, za pracę przy deep learningu.

    2. Yann LeCun dużo lepiej rozumie fosę technologiczną, którą zbudowało OpenAI niż przeciętny bloger czy analityk, bo bierze udział przy tworzeniu zarówno fundamentów technologicznych, jak i dużych komercyjnych systemów.

    3. Jak taki człowiek coś mówi o swojej branży to warto go posłuchać.

    4. Co jeszcze Pan Yann mówi o ChatGPT: In terms of underlying techniques, ChatGPT is not particularly innovative (…) It's just that, you know, it's well put together, it's nicely done.

    5. ChatGPT w jego oczach to, ładnie zrobiony produkt, który działa w oparciu o techniki, które nie są bardziej zaawansowane niż te, których używają inne firmy inwestujące w tym segmencie.

    6. Na Twitterze odniósł się też do skali, bo można przecież argumentować, że może i techniki nie są nowe ale tylko OpenAI operuje w skali i umożliwiła korzystanie z tych systemów dużej liczbie użytkowników. LeCun mówi, że Meta duże transformery działają od dawna przy moderowaniu treści i tłumaczeniu na skali 3 miliardów użytkowników.

    7. LeCun pisze też, że Google i Meta używają transformerów w wielu miejscach w swoich produktach. Nie mają chata do generowania treści w oparciu o dane z internetu, ale mają algorytmy rekomendacji, tłumaczenia, rankingi i moderacje. Mają więc komercyjne zastosowania i produkty, które bazują na tej samej technologii co ChatGPT.

  3. Technologia i optymalizowanie istniejących produktów to nie to samo to wypuszczenie nowego produktu, który rozbudza wyobraźnie i angażuje miliony użytkowników.

  4. LeCun może mieć rację, że techniki były, inni je znają, ale innowacja OpenAI nie polega na wynalezieniu techniki tylko na sprytnym połączeniu istniejących elementów z angażującym interfejsem i sprawną dystrybucją.

    1. To istota każdej konsumenckiej innowacji. Apple nie wymyśliło małych twardych dysków, ekranów LCD, baterii litowo jonowych, ani formatu MP3, ale złożyli te technologie w innowacyjny i popularny produkt: iPoda.

  5. LeCun tego nie docenia, bo jako ekspert widział takie rzeczy już dawno.

  6. Dla normalsa ChatGPT to nowy paradygmat interakcji z wiedzą z internetu. Dla LeCuna to ładne demo niegodne dużej firmy.

  7. Obie te perspektywy są racjonalne i dlatego pojawienie się ChatGPT jest tak emocjonujące.

    1. Duzi nie mogą sobie pozwolić na ten poziom “nieodpowiedzialności” produktowej. OpenAI nie ma nic do stracenia. Konsumenci głosują klikami.

  8. Argumenty LeCuna w kontekście unikalności IP w OpenAI są warte wysłuchania. Fosa technologiczna jest mniej głęboka niż się wydaje niewprawnemu oku.

  9. To nie jest software, którego nikt inny poza OpenAI nie potrafi stworzyć. Ani nie jest to software, którego stworzenie wymaga tak dużych inwestycji, że w praktyce nie da się go stworzyć.

  10. Utrzymanie i obsługa ruchu jest bardzo droga, ale samo stworzenie modelu i chata jest w zasięgu wielu firm technologicznych.

    1. Bądźmy też szczerzy: OpenAI nie radzi sobie z tematem utrzymania i obsługi ruchu. OpenAI daje nam coś za darmo tylko dlatego, że jest gotowe generować duże straty. My jesteśmy pogodzeni z jego awaryjnością bo jest darmowe i daje nam wartość.

    2. OpenAI nie znalazło jeszcze sposobu na rentowność darmowego użycia ChatGPT.

    3. To ok, bo produkt powstał dwa miesiące temu. Ale problem utrzymania i obsługi nie został jeszcze rozwiązany.

    4. OpenAI wdraża płatną wersję ChatGPT w której główną propozycją wartości jest to, że szybciej działa i się nie wiesza.

  11. Lubię czytać takich komentatorów jak LeCun. Wystawia swoją reputację innowatora na strzał, żeby powiedzieć co myśli. Ryzykuje, że za 5 lat jego wypowiedzi będą podobnym memem jak ten słynny komentarz na Hacker News na temat Dropboxa, albo wypowiedź Ballmera na temat pierwszego iPhone, po to żebyśmy lepiej rozumieli faktyczną innowację stojącą za nowym hypem. Szanuję to.