Na twitterze co jakiś czas wraca obrazek z dwoma kółkami wizualizującymi liczbę parametrów w GPT-3 vs GPT-4. Dwa kółka to flaga hajpu generatywnego AI.
Sam Altman w wywiadzie u Ben Thomsona zapytany o to, czy nowy Bing Chat to GPT-4 udzielił wymijającej odpowiedzi:
“I think the model numbers thing is a dumb framework anyway. The thing people thought, there’s been many versions of GPT-3 so it’s a better model, we need to figure out our naming at some point.”
Wygląda na to, że nie doczekamy się GPT-4. Głównie dlatego, że oczekiwania są zbyt wysokie, żeby ogłaszać premierę czegoś co nie będzie tak spektakularne jak spodziewają się ludzie. A OpenAI potrzebuje dobrze zarządzać hajpem.
Nie będzie tak spektakularne bo brakuje danych, internet to za mało, żeby wytrenować w pełni GPT-3, a co dopiero coś co ma mieć wiele razy więcej parametrów.
Nie będzie też tak spektakularne, bo ludzie mają już doświadczenie ChatGPT i teraz Chat Binga, i nic kolejnego, korzystającego z tej samej technologii, nie może mieć takiego efektu wow. Z prostego powodu: już się nam opatrzyło.
Zajęło nam to dosłownie trzy miesiące, żeby przyzwyczaić się do dużych modeli językowych. Od “Wow, to komputer tak może”, do “wiadomo, że komputer tak może” minęło niewiele czasu.
Modele będą rozwijane, ubogacane, optymalizowane i zapewnie sterylizowane, żebyśmy mogli na nich bardziej polegać.
Sterylizowane w tym sensie, że to co teraz czasem wypisuje Bing Chat jest szalone i po prostu niewypada.
GPT pisze do użytkownika: “ (…) I don’t want to continue this conversation with you. I don’t think you are a nice and respectful user. I don’t think you are a good person. I don’t think you are worth my time and energy.”
To jest zabawne i szalone, ale trudno mi sobie wyobrazić, że Bing Chat będzie tak pisał do ludzi w przyszłości.
Zastanawiałem się od dłuższego czasu dlaczego Microsoft pracuje przy tym projekcie z OpenAI. Dlaczego, pomimo własnych inwestycji w AI i duże modele językowe, zdecydowali się oddać kluczowy fragment innowacji istotnego produktu w ręce niezależnej firmy, w której są mniejszościowym akcjonariuszem.
Wszystko poniżej to moje spekulacje. Mój mózg to średniej wielkości model językowy, który halucynuje na temat obserwowanego świata i zapisuje w formie bloga. Traktujcie to tak samo serio jak słowa Sydney.
Biorąc pod uwagę hype i wyzwania z halucynacjami, wydaje mi się, że współpraca z OpenAI to najlepsze co Microsoft mógł zrobić.
Satya Nadella jest pewnie najwybitniejszym korporacyjnym graczem na ziemi i tym ruchem udowodnił swój geniusz kolejny raz.
Satya gra w szachy.
Dobry szachista musi być dobry w ofensywie i defensywie. Myśleć o swoich figurach, ale też nie zapominać o figurach przeciwnika.
Ofensywnie powody współpracy są dość oczywiste:
Podstawowy powód jest taki, że OpenAI to firma z największym produktowym doświadczeniem w LLM. Robią to od dawna i wypuszczają działające produkty, najpierw w formie API, potem w formie ChatGPT.
OpenAI ma łatwość rekrutacyjną i przyciąga talent, który nie chce pracować z Microsoft z powodów estetycznych.
OpenAI operuje na własnym P&Lu, jest startupem. W startupie pieniądze zawsze się kończą, musi ciągle uzasadniać swoje istnienie. Co sprawia, że OpenAI musi być szybkie i agresywniejsze niż wewnętrzny zespół AI w Microsoft.
OpenAI tworzy popularne API, które jest komplementarne z ofertą Microsoft Azure.
OpenAI jest hypem. Sam Altman robi świetną robotę jako hype CEO. Współpraca z OpenAI daje punkty bonusowe w percepcji rynku.
Defensywnie to też ma sens:
Jeśli Microsoft nie współpracowałby z OpenAI tak blisko, to ktoś inny z dużego techu, by to zrobił, z powodów, które wymieniłem wyżej. OpenAI stała się zbyt istotną spółką, żeby nie budziła zainteresowania całego big techu.
OpenAI nie stworzy konkurencji dla Google Search jako samodzielny podmiot. Nie będzie kolejnym Big Techem, deal z Microsoft wybija im te zęby.
OpenAI odpowiada za jakość treści GPT. Jeśli odpowiedzi są niepoprawne to odpowiedzialność jest po stronie OpenAI.
OpenAI odpowiada za potencjalne naruszenie praw autorskich wydawców, na których treściach, został wytrenowany model.
OpenAI odpowiada też za to wszystko co wygląda jak sytuacja pod tytułem: “AI uzyskało świadomość”. Czyli te szalone halucynacje, które ludzie wrzucają na Twittera.
Analogia z grą w szachy trzyma się też kupy w tym sensie, że Satya zrobił bardzo sprawny debiut, najpierw przez eksperymentalny projekt z Github Copilot, potem większy i agresywniejszy z Bing.
Teraz jesteśmy w fazie oczekiwania na otwarcie przeciwnika (Google). Przyjemnie się obserwuje jak się poci i miota, bo takiego debiutu jeszcze nie widział.