Transcription

Chciałem bardzo serdecznie podziękować wszystkim, którzy przyszli, podziękować za cierpliwość i przywitać naszego gościa. Wojciech Zaremba, laureat Olimpiady Matematycznej, absolwent różnych studiów na tym wydziale. Najpierw studiów licencjackich na IOCIM-ie, licencjat Wojtek ma i z informatyki, i z matematyki, a potem studiów magisterskich z matematyki. Wojtek jest jednym z posiadaczy naszych podwójnych dyplomów wydawanych wspólnie z Ecole Polytechnique w Paryżu. Potem zrobił doktora na EYU, w 2016 chyba, tak? Napisał kilkadziesiąt prac naukowych, które mają pewnie średnio od 10 do 3 cytowań na sztukę. Najczęstsza ma więcej i w 2016 roku Wojtek współzakładał Open AI, gdzie kierował działem robotyki, a potem między innymi działem, który współtworzył czy tworzył czata GPT, tak? Tak, ta najczęściej cytowana praca wprowadziła pojęcie adversarial examples, jeżeli ktoś z państwa się interesuje to właśnie to jest człowiek, któremu pierwszemu to przyszło do głowy. No i my z Łukaszem będziemy dzisiaj prowadzić tę rozmowę z Wojtkiem. Mamy przygotowanych parę pytań do niego. Będzie może potem trochę czasu na pytania z sali. Tak, no to będzie taka pogawędka. Paweł, jak państwo wiecie, jest matematykiem, ja jestem informatykiem, ale zajmuję się algorytmiką, nie machine learningiem. To ma takie konsekwencje, że ta pogawędka nie będzie bardzo specjalistyczna, ale będziemy się starać, żeby była interesująca dla każdego studenta czy pracownika tego wydziału, czyli matematyków i informatyków może jeszcze kogoś. Tak, także z góry przepraszamy, jeśli ktoś uzna jakieś pytanie za trywialne albo w ogóle oklepane i wytarte rzeczy, ale po prostu tak będzie. Postaramy się dopasować do wszystkich i zaczynamy. Łukasz, ty masz pierwsze pytanie. Tak, myślę, że tutaj na sali mamy sporo studentów, tak się wydaje. Wojtku, myślę, że mogłeś 15 lat temu siedzieć gdzieś na tej sali i słuchać wykładu z algebrii liniowej, a może z ASD u Krzysztofa Dicksa. Teraz minęło 15 lat i tworzysz produkty, które można powiedzieć śmiało, zmieniają świat, niektórzy komentatorzy mówią, że te zmiany są kalibru wynalezienia maszyny parowej. Takie rzeczy mogą się dziać i w związku z tym mamy te dwa punkty czasowe. Mnie interesuje, co się wydarzyło po drodze. Z punktu widzenia tych młodych ludzi myślę, że jest ciekawe, że to nie stało się przypadkiem. Koniunkcja wielu zdarzeń, które mają małe prawdopodobieństwo, ma bardzo małe prawdopodobieństwo, więc myślę, że musiałeś podjąć po drodze szereg decyzji, które cię doprowadziły do tego miejsca. Czy mógłbyś nam opowiedzieć o tych decyzjach? Po pierwsze bardzo dziękuję za zaproszenie mnie tutaj i nawet jestem pod wrażeniem ilości osób, które tutaj przyszły, bo naprawdę przypominam sobie czas, kiedy siedziałem na tej sali i słuchałem wykładów i nie zdawałem sobie sprawy z tamtej perspektywy, że po tych 15 latach tak się życie rozegra. Wydaje mi się, że mogę mówić na temat decyzji i zaraz powiem na temat decyzji, ale dosyć istotny jest moim zdaniem sposób myślenia albo podejście do życia. Wydaje mi się, że dosyć istotne w ramach mojego podejścia do życia była kwestia wielokrotnie podejmowania ryzyka i zarazem podejście do tego, jak się odnosiłem, gdy mi rzeczy w życiu nie wychodziły. I wielokrotnie wiele rzeczy spróbowałem, które nie do końca mi wyszły. I teraz jedną z najistotniejszych rzeczy było to, żeby patrzeć się na te wysiłki jako coś pozytywnego, co mi się wydarzyło, jako coś, dzięki czemu się nauczyłem na temat siebie. Ja pamiętam nawet na pierwszym roku studiów miałem tak, że z kolegami spróbowałem firmę założyć i to mogę powiedzieć, była to taka porażka, taka słaba firma, że wstyd mi nawet był. I nawet pamiętam wiele lat później, jak chciałem OpenAI zakładać, to moja mama się bała, że ja będę znowu wychudzony. Mama mówiła, słuchaj Wojtek, idź do Google, oni naprawdę dobre jedzenie mają. Więc tak, wydaje mi się, że takie trochę podejście do życia, optymizm, kwestia wzięcia ryzyka i też często to jest tak, że dosyć istotne jest robienie czegoś troszeczkę inaczej niż każdy inny naokoło. Więc to praktycznie jest nieuniknione, że jeżeli próbujesz robić coś naprawdę inaczej, że wiele ludzi ci powie, nie, to nie ma sensu, po co ty to robisz. I zarazem nawet jest tak, jeżeli każdy jeden ci mówi, że to jest właściwą rzeczą do zrobienia, to już prawdopodobnie to już jest za późno, to już jest oczywiste, że należy zrobić to, co robisz. Więc może kwestia podjęcia ryzyka, może kwestia ufania samemu sobie i podejście do samego siebie, takie z perspektywy postrzegania porażki jako sukces. Dziękuję bardzo. Teraz mam takie pytanie, które może nam pozwoli trochę poznać naszego gościa, bo tak jak powiedział Paweł, Wojtek jest także, a może przede wszystkim naukowcem. Ja wiem jak wygląda życie naukowca ze swojej perspektywy, ale myślę, że będąc naukowcem tworzącym GPT-chat, to może wyglądać trochę inaczej. Jak wygląda twój dzień? Może nie taki dzień jak dzisiaj, kiedy udzielasz prelekcji jakichś, ale właśnie taki dzień, kiedy twórczo pracujesz. A może inaczej wygląda niż pięć lat temu? Jak to wygląda? W dużym stopniu to jest wciąż czytanie, myślenie i rozmawianie z ludźmi. I to tak naprawdę się nie zmieniło. Może istotną z rzeczy, które teraz się odbywają to jest to, że muszę dosyć aktywnie walczyć o to, żebym miał więcej czasu na skupienie się. I też jest tak, że w przeszłości pamiętam, byłem w stanie wiedzieć na temat każdego jednego projektu, co się dzieje w OpenAI. Obecnie to jest tak, że czasami się po kilku miesięcach na ten temat dowiem. Zresztą to, co tak naprawdę dla mnie jest istotne, jest głębokie zrozumienie danego problemu naukowego. To sprawia mi dużą przyjemność. Nawet mogę powiedzieć, mi sprawia dosyć dużą przyjemność od czasu do czasu zakodowanie czegoś. Bardzo fajne. Potwierdzam. Zazwyczaj mój dzień wygląda tak, że pogadam z ludźmi, popiszę trochę kodu, popiszę jakieś dokumenty, poczytam dokumenty. No dobra. Jak Łukasz powiedział, nie jestem informatykiem. Jestem ostatnim rocznikiem matematyków na tym wydziale, który uczył się dziurkować karty. I tutaj ludzie często przychodzą na studia i mają takie wyobrażenie, że natychmiast będę programował coś super poważnego i będę zmieniał świat, a my ich katujemy jakąś algebrą liniową, różniczkowaniem tego i-owego. Ja to sobie lubię zróżniczkować czasami. Zamiast klepać ten kodzik. Ale chciałem ciebie zapytać, Wojtku. To jest takie pytanie, które kiedyś w innym kontekście usłyszał na tej sali Marek Cygan, jak miał wykład inauguracyjny. Właściwie jakich konkretnych pojęć matematycznych lub informatycznych, takich, które na pierwszym roku może ci się wydawały niejak nieprzydatne, abstrakcyjne, w ogóle niepotrzebne. Jakich tego typu pojęć ty nadal używasz w swojej pracy? Albo ludzie wokół ciebie ich używali? Powiedz im coś o tym. Zacznę troszeczkę tak niebezpośrednio odpowiadać. Jedną z takich istotnych umiejętności, które są uczone na uniwersytecie, to jest umiejętność rozwiązywania zadań. W przypadku dobrego uniwersytetu to nie jest podłożenie pod regułkę, tylko jest tak faktycznie, że człowiek się musi zastanowić i odpowiedź na pytanie jest nietrywialna. Mogę powiedzieć, że to jest tak naprawdę jedną z najistotniejszych umiejętności w życiu. Umiejętność myślenia i rozwiązywania problemów. Im bardziej będziemy uczyli studentów tego versus zapamiętywania regułek i mogę powiedzieć matematyka czy informatyka rzadko kiedy były przedmiotami, w których należało wykuć na pamięć jakąś terminologię, to myślę, że to będzie przydatne niezależnie od tego, jak się będzie technologia rozwijać. Teraz w ramach rzeczy, które są dosyć używane, to na pewno jest algebra liniowa. Jest tak, że w jakimś stopniu te sieci neuronowe bazują na tych podstawach algebry i mogę powiedzieć jest tak, że dużo postępu jest rezultatem tego, że ludzie są w stanie wyobrazić sobie w jakimś stopniu, jak się te sieci mogą zachowywać, jakie mają właściwości i to jest już taka prawie synestezja pomiędzy różnymi przedmiotami. To jest też tak, pamiętam w matematyce nieraz mi się zdarzyło, że nagle zadanie kombinatoryczne rozwiązuje się używając geometrii albo zadanie z geometrii rozwiązuje się używając analizy i mi się wydaje, że dosyć istotna jest taka nietrywialna generalizacja. To nas podprowadza pod następne pytanie, które chyba tu pasuje. Przechodzimy teraz już z pojęć z pierwszego roku do badań naukowych. Badania naukowe w uczeniu maszynowym prowadzi się, przynajmniej te najgłośniejsze projekty są realizowane w prywatnych firmach czy też w centrach badawczych tych prywatnych firm. OpenAI jest jedną z nich. Tradycyjnie badania naukowe są też prowadzone na uniwersytetach. Jak sądzisz, czy uniwersytety mogą jeszcze w tej grze odegrać istotną rolę? Jaka może być ich rola, bo wydaje się, że w tej chwili są troszeczkę z tyłu. Czy tak musi być, czy też mają jakąś taką swoją niszę w tych badaniach? I w ogóle jaka jest specyfika badań prowadzonych w przemyśle nazwijmy to i na uniwersytecie? Jak o tym myślisz? Czytałem jakiś czas temu książkę na temat tego, jak była budowana bomba atomowa i w tej książce pisali, że na samym początku ci naukowcy się zastanawiali na temat tego, jak rozpędzić proton tak, żeby on rozbił to jądro, żeby wyzwolić energię i myśleli wtedy na temat tego, że potrzeba takiej ilości energii, że po prostu będzie to niewykonalne. W tym celu w ogóle budowano początkowo cyklotrony. I było tak, że zajęło ileś czasu i to było niewiarygodnym osiągnięciem, że nagle została zrozumiana struktura atomu i zostało zrozumiane, że jest coś takiego jak neutron. I w momencie, kiedy neutron został odkryty, się okazało, że są całkowicie inne metody do tego, żeby wyzwolić energię atomu. Teraz mogę powiedzieć, że jak się patrzę na uczelnie maszynowe, to zrobiliśmy pewien postęp, przy czym też mi się wydaje, że jesteśmy zarazem na bardzo wczesnym etapie i tak naprawdę nie rozumiemy do końca fundamentalnych pojęć. Nie jest na przykład jeszcze ten neutron zrozumiany. I tak jakbym miał powiedzieć nawet na temat takiej dziedziny, w której naprawdę wydaje się, że brakuje takiego oryginalnego myślenia, to jest alignment, czyli pytanie na temat tego, jak doprowadzić do tego, że jeżeli jakbyśmy zbudowali nawet maszynę, która jest i mądrzejsza od człowieka, może i mądrzejsza na poziomie korporacji w ramach inteligencji, to że faktycznie ta maszyna nie zacznie na przykład w jakimś stopniu nas oszukiwać czy przepisywać swojego kodu czy w jakimś stopniu jesteśmy w stanie zagwarantować to, że jeżeli zbudujemy coś, co jest tak silne jak wiele ludzi nawet razem myślących, to na dłuższy okres czasu będzie się ten system zachowywał tak, jakbyśmy chcieli. Mogę powiedzieć, to jest jeden z problemów. Też bym szczerze powiedział tak, że uniwersytet ma takie, znaczy zazwyczaj ludzie na uniwersytecie są w stanie podjąć większe ryzyko niż ludzie w firmach, tak mi się przynajmniej wydaje. Pamiętam mój kolega Ilja, to on mówił, że w pewnym momencie, jak studiował na uniwersytecie, wydawało mu się, nawet znalazł wartość w tym, że mu się wydawało, że mało to znaczy, co robi i dzięki temu mógł być w stanie zrobić postęp. W tym momencie, może tyle. Mi przyszedł do głowy taki komentarz, tą uwagę na temat alignmentu zrozumiałem tak, że ponieważ my na uniwersytecie mamy wprawę w kontrolowaniu studentów na egzaminach, więc może też uda nam się kontrolować sztuczną inteligencję. Nie, ale to myśmy kiedyś z Pawłem Goldsteinem napisali wspólnie takie zdanie, że istotą naszego życia tutaj nie jest zabawa w policjantów i złodziei, tylko coś głębszego. Ale może rzeczywiście, może to jest tak, że biznes potrzebuje uniwersytetów również, nie tylko jako źródła świeżej krwi. Ale ja mam inne pytanie obok tego, nawiązujące może trochę do tego, co Łukasz powiedział o maszynie parowej. Mianowicie w wielu przełomowych pracach z dziedziny uczenia maszynowego nie ma praktycznie dowodów. Są rozmaite heurystyki i ludzie zadowalają się tym, że mimo wszystko ta czy inna sieć neuronowa robi coś takiego, czego od niej oczekujemy. A czasami okazuje się, że ona robi więcej, istotnie więcej. I mimo to te prace, chociaż nie ma w nich dowodów, no rzeczywiście używają języka matematyki. Nie tylko algebra liniowa i statystyki, różnych pomiędzy statystyki. Jak to jest, czy takie klasycznie rozumiane informatyka teoretyczna, matematyka, na ile, tak pogłębiając to pytanie Łukasza, na ile one mają rację bytu? Czy to jest tak, że nagle się okaże, że w ciągu paru lat uczenie maszynowe jest po prostu unieważne i pójdziemy wszyscy do lamusa? Jest taki amerykański popularyzator nauki, który pracuje dla Scientific American, nazywa się John Horgan i on napisał z ćwierć wieku temu taką książkę Śmierć dowodu. Może po prostu sen Horgana się ziści. Częściowo za twoją sprawą. Czy jest tak, że wiele ludzi ma w głowie taki obraz, że tak naprawdę te maszyny wezmą wszystko, zautomatyzują i że nie będzie pracy dla nikogo? Przy czym obecnie jak patrzymy się na to co się dzieje, to wygląda to trochę inaczej. Obecnie widzimy, że te maszyny są, tak naprawdę pomagają jako asystent ludziom do wykonania zadań i dojdziemy do sytuacji takiej, że ludzie rozwiązują problemy, które wcześniej były ponad nimi. I w tym momencie nawet to tak widać. Jest tak, że ludzie, którzy wcale nie potrafią programować, nagle dzięki komputerowi są w stanie troszeczkę programować. Ludzie, którzy są w stanie programować, nagle są w stanie dużo więcej programować. I teraz wydaje mi się, przynajmniej w przeciągu następnych kilku lat, że będziemy w sytuacji takiej, że nagle się okaże, że jest dużo większy popyt na programistów, kiedy programiści są w stanie zbudować 5-10 razy więcej. Nagle się okaże, że jest miejsce na dużo więcej startupów, ponieważ nie potrzeba aż tyle pieniędzy, żeby zbudować dany wynalazek czy dany software, tylko z dużo mniejszym kapitałem jest się w stanie coś zbudować. Oczywiście z większym kapitałem się będzie w stanie zbudować jeszcze więcej. Więc myślę, że jestem trochę optymistyczny na najbliższe lata, jak to będzie wyglądało, przy czym mogę powiedzieć, że na wystarczająco dużym okresie czasu to jest trochę chaotyczne. I naprawdę nie wiadomo, w którą stronę to pójdzie. Rozumiem, że być może sztuczna inteligencja też będzie pomagać nam dowodzić. Nie tylko programować, ale i dowodzić. Na pewno. Dobrze, ja wczoraj przeczytałem wstęp do twojego doktoratu. Tam jest takie zdanie. Data can be perceived as the ability to explain observations using short programs. Tutaj to short jest podkreślone, jak rozumiem. Tymczasem wiemy, że chat GPT to jest potężna maszyna, która tam ma biliony, biliardy, bardzo duże liczby parametrów. Jak rozumiem, ona zmagazynowała gigantyczną wiedzę. Czy właśnie praca nad tym modelem jakoś wpłynęła na ten twój pogląd? Czy on się zmienił? Czy też oba podejścia są możliwe? To tak. W pierwszej kolejności bym chciał wytłumaczyć powiązanie pomiędzy krótkimi programami i kompresją. I potem wytłumaczę powiązanie pomiędzy kompresją a chat GPT. Czyli tak, wyobraźmy sobie, jeżeli próbujemy opisać jakieś zjawisko, jesteśmy w stanie je opisać używając małej liczby zmiennych albo krótkiego programu, to generalnie mamy intuicję na temat tego, że to najprawdopodobniej jest właściwe rozwiązanie. I teraz widzimy to niejednokrotnie w fizyce. Jeżeli jesteśmy w stanie wytłumaczyć obserwacje używając prostego wzoru, który faktycznie pokrywa się z danymi, są spore szanse na to, że jeżeli popatrzymy się na inne wartości, które nie zostały wpasowane w ten model, to to wciąż będzie działało. I teraz jest tak, że w przypadku sieci neuronowych, tych, które obecnie trenujemy, trenujemy je do przewidywania kolejnego słowa. I teraz okazuje się, że w przypadku przewidywania słowa im lepiej jest w stanie sieć przewidzieć kolejne słowo, tym jeżeli byśmy chcieli zakodować cały tekst w jak najkrótszy sposób, to musimy tylko i wyłącznie zapamiętać to, gdzie się znajdą błędy w tym przewidywaniu. Więc się okazuje, że im lepsza sieć jest w przewidywaniu kolejnego słowa, tym lepiej jest w stanie kompresować tekst. Jest jeden do jednego, tak naprawdę jest jeden do jednego relacja. I teraz ja myślę w taki sposób, że im lepiej jest w stanie ta sieć wziąć skompresować tekst, tym tak naprawdę w środku jest głębsze zrozumienie tego tekstu, tego problemu i w środku istnieje jakiś program, który jest w stanie to zareprezentować. Tak naprawdę to trenowanie w jakimś stopniu próbuje wyszukiwać po przestrzeni programów, przy czym backpropagacja jest to algorytm, który w sposób równoległy jest w stanie wyszukiwać po potężnej ilości programów. Czyli można zmierzyć stopień zrozumienia świata przez sieć. Na podstawie kompresji czy perplexity. Dobra, mi się nasuwa jedno pytanie, ale na razie je odłożę i pójdę według scenariusza, bo drugie pytanie, które jest naturalne w tej sali i powinno paść, tak patrzę na Krzysztofa Dicksa w pierwszym rzędzie, to jest pytanie o to, kiedy program komputerowy w rodzaju GPT-chat wybiera zawody w programowaniu zespołowym z najlepszą możliwą drużyną z UW. I to, co się z tym wiąże, to jak ty sam postrzegasz to, co robisz? Czy to jest rzemiosło, czy to jest sztuka? Czy jesteś rzemieślnikiem czy artystą? Myślę, że artystą. A czy mógłbyś być artystą, nie będąc ani trochę rzemieślnikiem? Myślę, że nie, bo potrzeba dwóch umiejętności. Przy czym w sercu jestem artystą. Podobno w momencie, kiedy aparat fotograficzny został wynaleziony, to artyści, którzy wcześniej zajmowali się głównie malowaniem portretów ludzi, byli bardzo zmartwieni, że nagle się okazuje, że stracili sens życia, że tak naprawdę co oni teraz będą robić, jeżeli każdy może sobie tylko kliknąć, dostać zdjęcie, już tych portretów nie potrzeba. Okazało się, że jako rezultat tych aparatów powstała cała sztuka obecna i tak naprawdę człowiek głęboko w sobie, przykładowo artysta, ma potrzebę tworzenia. Jest tak, że środowisko się zmieniło faktycznie. Było tak, że to, co dotychczasowo ci artyści robili, udało się zautomatyzować, ale to wcale nie spowodowało to, że ci artyści przestali się tworzyć. Wydaje mi się, że będziemy w dosyć podobnej sytuacji, że ludzie rozwiązują te zadanka. Tam jest jakaś głębsza motywacja, czemu są te zadanka rozwiązywane. Może to wynika z jakiejś ciekawości, może z chęci odkrycia, może z chęci walki z innymi zespołami, może z powodu chcieć pokazać, jakim jest się mądrym. Może to być dowolne z tych powodów. Mi się wydaje, że ten powód się nie zmieni. Może się zmienić sposób, w jaki ludzie będą w stanie to zademonstrować. Myślę podobnie. Łukasz się wspina, ja chodzę po górach. Myślę, że ludzie nie przestają chodzić w góry, dlatego że ktoś zdobył koronę Himalajów, albo kadwa zimą, albo przeszedł to czy tamto. Na koniec, bo chcielibyśmy też pozwolić sobie na parę pytań z sali. Mamy takie pytanie, żeby spiąć to wszystko klamerką. Ty byłeś 15 lat temu w takim wieku jak najmłodsi na tej sali, a jak widzisz siebie samego za 10-15 lat? Czy w ogóle o tym myślisz czasem? Jak widzisz siebie i dziedzinę, którą się zajmujesz, a może będziesz robił zupełnie co innego? Mogę powiedzieć bardzo głęboko w sercu, chciałbym mieć maksymalnie pozytywny impakt na świat. Jest tak, że w tym momencie odniosłem sukces w każdym aspekcie mojego życia, więc naprawdę chciałbym żeby się okazało, że AI faktycznie pomaga ludziom. Jest tak, że ten upside możliwy tego co się może wydarzyć jest nieprawdopodobny i bym chciał w tym uczestniczyć, chciałbym być tego jakąś małą częścią. Jeżeli mi się to uda, będę bardzo szczęśliwy. To zabrzmiało bardzo tak humanistycznie w sumie człowiek, jako część wspólnoty, który chce jej dać coś pozytywnego i chce z tego dawania mieć coś dla siebie na poziomie takim emocjonalnym również. Ale Łukaszu do ciebie jakiś komentarz, słowo czy prosimy salę? Myślę, że już będziemy powoli przechodzić do pytań z sali. Pierwsze pytanie ja obiecałem profesorowi Dixowi, który jest głównym organizatorem w zasadzie tego naszego dzisiejszego spotkania. Jest sprawcą tego zamieszania po prostu. Czy ten mikrofon, który będzie tu krążył mamy gdzieś panowie? To do pierwszego rzędu poprosimy mikrofon. A państwo myślą nad pytaniami, bo głupio byłoby jakby zapadła taka niezręczna cisza. Zostałem wywołany do tablicy. Może ja mam dwa pytania. Jedno, nie odpowiedziałeś na to pytanie. To znaczy wiadomo, co to jest test Turinga, a ja zawsze tak mówię troszeczkę gruntem test Dixa. To znaczy kiedy AI przejdzie pierwszy etap Olimpiady Informatycznej, to jest pytanie czy przejdzie. To pytanie do ciebie. A drugie to jest pytanie ostatnio mojej żony. Zapytaj Wojtka, czy się nie boisz tego co zrobiłeś? Kolejność odpowiedzi dowolna. Czy wydaje mi się, że matematycznie istnieje ilość czasów, w której te maszyny rozwiążą te zadania na Olimpiadę. I teraz wydaje mi się, że to będzie w tej dekadzie, będziemy mieli takie doświadczenie, przy czym to jest tak, że mam pewne error bary w ramach tej estymacji i też ciężko tak naprawdę przewidywać do końca, jak dana dziedzina się może rozwijać. Popatrzymy się na inne dziedziny w stylu lotnictwa. To było tak, że był czas, w którym bardzo szybko samoloty się ulepszały, były w stanie przewozić więcej pasażerów, latać szybciej i nagle się to tak zatrzymało. Jest tak, że w tym momencie mamy technologie z lat 70-tych i te samoloty nie stają się szybsze, nie stają się większe, wiele technologii ma tak, że ich postęp wygląda tak, jak S-funkcja i w tym momencie jesteśmy na pewno na tym etapie takim liniowym, że faktycznie co miesiąc, co kilka miesięcy ta technologia jest lepsza, przy czym nie wiemy, w którym momencie zostanie ściana możliwości uderzone. Jakbym miał odpowiedzieć z perspektywy prawdopodobieństwa, jeżeli mielibyśmy zgadnąć, że jesteśmy w losowym miejscu tej S-funkcji, to pewnie jesteśmy w środku. Drugie pytanie było o strach czy może raczej o lęk. Mogę powiedzieć, że nie raz w nocy się obudziłem przestraszony. Jest tak, że w ogóle powodem, czemu myśmy założyli OpenAI jest z uwagi na to, że uważaliśmy, że sztuczna inteligencja może być czymś niebezpiecznym i zarazem też może być czymś niewiarygodnym dla ludzi. Więc jest tak, że mam w sobie ilość lęku i mogę powiedzieć, że jest bardzo istotne tworzenie znaczącej ilości wysiłku. To jest na różnych frontach tak naprawdę. To jest na froncie tego, żebyśmy doprowadzili do tego, że ta maszyna faktycznie się słucha człowieka, ale też mi się wydaje, że będzie istotne potworzenie właściwych organizacji rządowych do tego, żeby tymi modelami i mówię na temat teraz tak naprawdę tych najmądrzejszych modeli, nie mówię na temat modeli, które są poniżej jakiegoś thresholdu, bo one były przez rząd tak naprawdę kontrolowane w ramach tego, co można zrobić, czego nie można zrobić. Tak trochę podobnie do organizacji, które się zajmują energią jądrową. Ale w tym kontekście być może nie każdy rząd będzie równie, w tym samym stopniu kontrolował, czy to nie jest niebezpieczne, czy rządy innego kraju puszczą te ograniczenia? Tak jak mówię, jesteśmy jeszcze na wczesnym etapie i w tym momencie ludzie na ten temat myślą, jak to zrobić, żeby to działało. I mi się wydaje, że staram się często myśleć z perspektywy tego, jaki jest upside i zminimalizować negatywne możliwości. Ja myślę, że porównanie do energii jądrowej jest bardzo trafne i z takiego wysokiego punktu może nie ma co tego przeciągać. Tu, a potem próbujemy tam. Wojciechu moje pytanie brzmi, biorąc pod uwagę niesamowity postęp, który rozpoczynił OpenAI w dziedzinie dużych modeli językowych i biorąc pod uwagę ostatni push, który jest do integracji tych modeli z zewnętrznymi narzędziami, jak na przykład plug-in do chat GPT i biorąc pod uwagę też historię OpenAI w badaniach na reinforcement learning, dota, robotyka i inne rzeczy. Jak według ciebie osobiście wygląda teraz najlepsza możliwa ścieżka osiągnięcia AGI, jaka część tego to będzie dalsze skalowanie modeli językowych, jaka część to będzie integracja jakichś narzędzi, symboliczne AI, jaka część reinforcement learning, uczenie się przez interakcje, a jaka część inne rzeczy? Wydaje mi się, że są trzy główne elementy, które wpływają na inteligencję. To są algorytmy, moc obliczeniowa oraz dane. I tak naprawdę rezultat tej inteligencji jest mnożeniem każdego z tych elementów. Tak zauważyłem, że w przeszłości wiele ludzi próbuje się myśleć na temat tego, że tylko jeden z tych elementów jest istotny, że na przykład tylko trzeba wymyślić ten algorytm właściwy i na laptopie będzie można odpalić najmądrzejszy model albo niektórzy myślą, że to jest tylko kwestia skalowania i w gruncie rzeczy mi się wydaje, że jest tak, że nie ma miejsca do popisu na każdym z tych elementów. Jesteśmy w stanie zrobić lepsze algorytmy, bardziej efektywne, jesteśmy w stanie lepiej połączyć komputery, używać zredukowanej precyzji, poprawić optymalizację, doprowadzić do tego, żeby te algorytmy reinforcement learningu były bardziej stabilne, bardziej sample efficient, żeby te dane były wyższej jakości, żeby były właściwie pofiltrowane, żeby ten element RLHF też jak najlepiej działał. Więc się wydaje, że jest tak, że jest wiele tak naprawdę osi, na których da się te sieci poprawić i ludzie będą je poprawiać na każdej z nich. Poprosimy o mikrofon tam do tyłu. Ja mam takie pytanie, po drodze do AGI jakby modele naturalnie stają się wielomodalne, czego przykładem jest GPT-4, natomiast jest taka modalność jak dźwięk, która wydaje się być jakoś tam interesująca, bo z jednej strony mamy modele takie jak whisper czy jukebox, które są interesujące i ekspresyjne. Z drugiej strony wydaje się, że integracja tej modalności idzie jakoś trochę wolniej i w zasadzie chciałem zapytać, jakie są twoje obserwacje na temat audio deep learning at scale, czy są tu jakieś szczególne problemy, czy to jest tylko kwestia czasu? Jak widzisz przyszłość tej modalności? Jednym z dużych problemów w przypadku audio czy w przypadku muzyki jest to, że content muzyczny jest własnością firm, które bardzo często lubią się sądzić i to jest głównym powodem, czemu obecnie modele są mało co trenowane w ramach muzyki. Jest inna sytuacja jeżeli chodzi o doprowadzenie do tego, żeby na przykład modele były w stanie mówić. To ja może komentarz i może on będzie zakończony pytaniem, bo czy to nie jest tak, że czat GPT pokazał nam duże modele językowe, że właśnie inteligencja po prostu jest związana właśnie z językiem, a nie czymś innym i że być może właśnie udowodnił nam, że jak wylądują kosmici kiedyś, to oni na pewno będą się ze sobą rozmawiać, bo inaczej nie zbudowaliby inteligencji i właśnie być może te inne modalności to jest ślepa uliczka. Myśmy mieli dużo rozmów na pewnym etapie na temat tego, które modalności są istotne do tego, żeby AI faktycznie było, żeby osiągnąć AGI i jestem w stanie sobie wyobrazić AI, które jest super, hiper mądre i tylko się komunikuje z człowiekiem poprzez tekst. Jestem w stanie sobie to wyobrazić, przy czym nie wydaje mi się, że to jest tak naturalne, jeżeli chcielibyśmy naprawdę osiągnąć potencjał maksymalny tego. Myślę sobie na temat dziecka, które na karce rysuje jakieś wzorki, krzyżyki czy rysuje domek. Chciałbym, żeby AI było w stanie popatrzeć się na ten obrazek, być w stanie się z powrotem uśmiechnąć i być w stanie namalować coś, więc mi się wydaje, że to będzie dosyć istotne doprowadzenie do tego, że AI jest w stanie rozumieć wszelkie modalności. Powiem na chwilę brutalnie z kilku powodów. Po pierwsze, zwolna kończy się nam czas i na pewno nie zdołamy dać tego mikrofonu wszystkim, którzy są na tyle odważni, żeby podnieść rękę do góry. A drugi powód był taki, że chciałem zauważyć, czy wśród tych podnoszonych rąk jest taka, której właścicielką w oczywisty sposób jest kobieta. I nie zauważyłem takiej ręki. Może jednak. Zachęcamy. Tam, tam widzę. Bardzo poproszę, żeby mikrofon trafił w tamte ręce. Są kobiety, na nie mówię proszę państwa. Muszę znaleźć, bo ja sobie je zapisałam w ogóle tutaj. No dobra, to z pamięci, bo nie znajdę. To właśnie oprócz generative AI, jakie pan myśli, jakie są bardzo przyszłościowe rodzaje sztucznej inteligencji? Jakie inne dziedziny uważa pan, że mają bardzo duży potencjał? Takie oprócz tych chatbotów. Jest tak, że w ramach sztucznej inteligencji jest ileś dziedzin, które są moim zdaniem dosyć ciekawe. Jedno z dziedzin to jest reinforcement learning, czyli jak uczyć modeli na podstawie nagrody. Jest tak, że chat GPT jest zarazem trenowany jako generative model i zarazem jest tam element reinforcement learningu. Teraz jest jeszcze pytanie nawet powiązane z reinforcement learningiem, do tego jak doprowadzić, żeby jak efektywnie uczyć model na podstawie feedbacku od człowieka. Jeżeli byśmy chcieli mieć tak, że powiemy, słuchaj, chciałbym, żeby model w taki i w taki sposób się zachował w stosunku do dzieci, to czy można by było takie zdanie, takie statement bardzo szybko zmienić w zachowanie modelu? Mogę powiedzieć, jest np. dziedziny na temat transferu, takiego stopnia zrozumienia tego, jak trenowanie na jednych danych doprowadza do tego, żeby na innych danych model się właściwie zachowywał. Jest tak, że wciąż np. ludzie próbują stosować tych sieci neuronowych do rozwiązywania dokładnie problemów w matematyce czy problemów z olimpiad informatycznych. Tak że do końca nie wiemy, jak to zrobić i tam też mi się wydaje, że można włożyć sporo wysiłku. I tak jak wcześniej jeszcze powiedziałem, ten problem alignment, czyli jak doprowadzić do tego, żeby maszyny nas się słuchały. Jest nawet taki problem, mógłbym powiedzieć, to się nazywa scalable supervision. Spróbuję opisać, o co chodzi. Załóżmy, że trenujemy dzisiaj modele, pokazujemy im, jak rozwiązywać proste zadania, jak napisać kawałek kodu, jak przetłumaczyć coś między językami i załóżmy, że te modele stawałyby się mądrzejsze i mądrzejsze. Jak doprowadzić do tego, żeby człowiek był w stanie zweryfikować feedback modelowi, który rozwiązuje zadanie, które może być w stylu budowania szpitala albo prowadzenia całej firmy. Może model generuje tysiąc albo milion linii kodu, wysyła tysiąc maili, wiadomości na Slacku i tak dalej. Jak doprowadzić do tego, żeby człowiek był w stanie tak naprawdę jakoś zweryfikować, zobaczyć, czy tam są błędy, czy coś się zachowuje tak, jak się powinno zachować. To jest przykład problemu nierozwiązanego. No dobra, będziemy brutalni tu z Łukaszem, żebyśmy się porozumieli. Jest za dużo tych rąk w górze, żebyśmy mogli sensownie wybrać i zostaniemy z tym, że publiczność jest zawsze lepiej zostawić z uczuciem niedosytu niż przesytu. Tak. Umawialiśmy się na 45 minut. Umawialiśmy się na 45 minut i będziemy się tego trzymać. Trudno. Jakbym miał powiedzieć, co ja z dzisiejszego spotkania wyniosę, to wyniosę jedno twoje zdanie. To, kiedy powiedziałeś, nie wiem, czy dobrze to powtórzę, ale takie zdanie, że ważne są te decyzje, które podejmujemy wtedy, kiedy cały tłum ludzi dookoła jeszcze nie wie, że to są ważne decyzje. To ja to z dzisiejszego spotkania zabieram dla siebie. Serdeczne dzięki, Wojtku. Bardzo dziękuję. Proszę państwa, to na dzisiaj wszystko. Ja idę do innej roboty. Państwo mogą robić, co chcą. Dziękuję.