Transcription

Mądrze jest myśleć o scenariuszu, w którym taka silna sztuczna inteligencja, mądrzejsza niż tam niektórzy z najmądrzejszych ludzi, pojawi się przed rokiem 2030. Bardziej będziecie podążać w kierunku integracji, czy czekamy na wersję GPT-5, GPT-6? Jeżeli model jest zwyczajnie mądrzejszy, to lepiej mu idzie podążanie za takimi instrukcjami, za normami. Ilu Polaków tam pracuje? Jaki Wy naprawdę mieliście wpływ na to, co zobaczył świat, czyli czat GPT? Czego nie ma w naszej relacji z Microsoftem, to Microsoft nie ma kontroli nad OpenAI. Cokolwiek możesz powiedzieć na temat tego, co nas czeka, czyli jak będzie wyglądała kolejna wersja czata GPT? Witam Państwa serdecznie w kolejnym odcinku, ten wyjątkowy, realizowany w współpracy z... Ideas NCBR. Wyjątkowy dlatego, bo Warszawę odwiedzają przedstawiciele spółki OpenAI, na czele z szefem całej spółki, twórcy czata GPT. I dzisiaj jednym z moich gości jest Szymon, twórca, jeden z współtwórców czata GPT. Zaraz będziemy o tym rozmawiać. Szymon, powiedz mi, jak ty się w ogóle znalazłeś w OpenAI? Był MIT, był Cambridge. I potem pojawiło się OpenAI. Tak, więc ja na początku z Cambridge wyniosłem taką lekcję, że ta sztuczna inteligencja to jest jakiś BS trochę. I że nie ma tam za bardzo nadziei. Oczywiście każdy taki zainteresowany science fiction człowiek interesował się sztuczną inteligencją. Ale no nie widziałem tej nadziei po Cambridge, więc bardziej szedłem w taką informatykę normalną, też w systemy rozproszone. Na MIT poznałem kumpla, który się interesował sieciami neuronowymi. Nadal mi to aż tak nie imponował ten temat, ale wydawał mi się ciekawy technicznie. Starałem się jakby pomyśleć o tym, jak można zrobić, żeby te sieci neuronowe działały na kilku komputerach naraz i były szybsze. Jako taka ciekawostka techniczna. Ale w tym momencie, jak byłem na MIT, to też wyszła praca AlphaGo. Jak się widzi takie AlphaGo, to już widać, że jakiś postęp tam jest możliwy i już wtedy wiedziałem, że chcę. Była udostępniona w Nature, czasopiśmie Nature. Tak. Wydaje mi się, że nawet nie jestem pewien, czy oryginalnie był ten paper w Nature, czy tam jeszcze był jakiś sneak peek wcześniej, ale w każdym razie jak pierwszy raz poznałem ten fakt, to... Wiedziałeś, że miałeś przeczucie jakiekolwiek, że to może być tak wielki projekt? Jak już było widać, że te sieci potrafią robić coś ponad taki zwykły search jakby w szachach Deep Blue w latach dziewięćdziesiątych, że te sieci potrafią reprezentować jakąś intuicję, która pozwala wybierać ruchy, na które będziemy patrzeć, to już było widać, że tam jest jakaś prawdziwa inteligencja, więc było dość jasne, że da się zrobić jakiś postęp. Nie było jasne, gdzie ten postęp się zatrzyma i w sumie nadal nie jest, ale wtedy jeszcze nie było oczywiście dla mnie, w ogóle nie wyobrażałem sobie tego, że postęp będzie tak szybki, jak jest dzisiaj. Powiedziałeś, że mają intuicję. To jest ciekawe. Chciałem się na tym trochę zatrzymać. Skąd w ogóle taki termin, że AI może mieć intuicję? Przecież nie gromadzimy dzisiaj danych pozawerbalnych, czyli tych, które mamy w głowie, tych, które nie wyrażamy na zewnątrz, a one są źródłem intuicji. Tak. Jeżeli ja powiem Ci teraz, że jestem głodny, w Twojej głowie pojawi się szereg różnych skojarzeń. W tym możesz sobie wyobrazić, że na przykład nie jadłem dzisiaj śniadania, tak? Tak. Ale nie jest to coś, co bezpośrednio Ci powiedziałem. Jest to coś, co wywnioskowałeś na podstawie innych, takich bardziej zewnętrznych danych. No i nie ma żadnego powodu, dla którego taka sieć neuronowa nie mogłaby sobie w ten sam sposób wywnioskować, zbierać dane, internalizować takie, które są bardziej implikowane przez te dane zewnętrzne itd. I to się dzisiaj już dzieje? W przypadku gry w Go dzieje się w dość trywialny sposób. Co ten model tak naprawdę widzi? Ten model widzi parę gier w Go konkretnych, parę milionów czy miliardów, nie jestem pewien, w każdym razie dużo, ale potrafi grać w gry inne, w takie, których nie widział, tak? Więc w dość oczywisty sposób nie zapamiętuje tylko tych powierzchownych informacji, ale też wyciąga jakieś wnioski takie o całej grze w Go. Gra w Go to był taki najważniejszy esej naukowy, czyli wykorzystywanie algorytmów do tego, żeby rzeczywiście być lepszym niż człowiek w grze Go, dla spółki DeepMind. Jak się wchodzi do siedziby DeepMind w Londynie, to tam rzeczywiście eseje pierwsze w Nature, czy Nature Neurologies, czy wielu innych tytułach, czy Science dotyczą gry w Go. A skupiając się trochę na Was, jeszcze trochę wracając do początku, zanim porozmawiamy o czacie GPT, jak wygląda w ogóle polski komponent tej spółki? Ilu Polaków tam pracuje? Jaki Wy naprawdę mieliście wpływ na to, co zobaczył świat, czyli czat GPT? Ogólnie projekt był bardzo duży i pracowało nad nim bardzo dużo osób i tak ciężko, ponieważ każda pojedyncza praca, bo pełenia się opiera na pracy innych, ciężko tak zmapować, kto miał jaki efekt. Może mogę powiedzieć, że to na pewno projekt na przykład GPT-4 i też prowadził Jakub Pachocki, Polak. W projekcie GPT-3.5, na którym opierała się oryginalna wersja czat GPT, też sporo pracowaliśmy nad optymalizacją razem z Jakubem tego takiego podstawowego modelu. Czyli można powiedzieć, że to jest projekt, w którym dość silnie brzmi gdzieś ten głos polskich programistów. Zdecydowanie. Programistów slash naukowców, tak? To jest dużo pracy naukowej też oprócz programowania. Co takiego wydarzyło się, że Wam się, wiem, że to wydaje się bardzo proste pytanie, ale za każdym razem jak myślałem sobie o spotkaniu z przedstawicielem Waszej firmy, to myślałem, że muszę je zadać. Co takiego wydarzyło się, że akurat Wy, model biznesowy, że akurat OpenAI jako pierwsza spółka na świecie przeszedł ze sztuczną inteligencją z trzech domów świadomie? Czy mamy jakieś zręby AI w outlooku? My o tym nie wiemy, ale w przypadku Was, ludzie świadomie korzystają z tego czata. I teraz, czy to jest model AI, czy to jest model biznesowy, czy to jest wczesne finansowanie, czy to jest forma, czyli nadanie czatu? Co takiego spowodowało, że akurat Wam się udało? Udało jest w ogóle prawidłowe, że to wy osiągnęliście. To jest dobre pytanie i zawsze ciężko na nie opowiedzieć, bo nie możemy cofnąć czasu i zobaczyć, gdyby jakiś czynnik się zmienił, czy to faktycznie było to. Ja mogę co najwyżej opowiedzieć o swoich podejrzeniach na ten temat. Moje podejrzenie to jest, że część tutaj kluczowa to był rozwój samej technologii. Mieliśmy dość mocne skupienie na tym konkretnym projekcie wewnątrz firmy i wydaje mi się, że niektóre firmy konkurencyjne starają się rzucać trochę szerszą sieć i starają się pracować największą ilością projektów. I to w tym wypadku nie wyszło na dobre. Aczkolwiek też ciężko mi je obradytować, bo nie wiem, jak te firmy wyglądają. Mówię tylko ze swoich doświadczeń w związku z innymi ludźmi, którzy tam pracowali. Więc to na pewno pomogło. Kolejna rzecz, która pomogła, to jest to, że udało nam się rozwiązać pewne problemy techniczne i organizacyjne, które umożliwiły, żeby praktycznie każdy człowiek na świecie z dostępem do internetu mógł użyć tych modeli. My mieliśmy do nich dostęp wewnętrznie, ja je na pewno pokazywałem jakimś tam przyjaciolom czy znajomym, ale to nie miało takiej efekty jak czat GPT. Wydaje mi się, że ta uniwersalność dostępu jednak była... Mówisz o formie, że nadano sztucznej inteligencji formę czata, która jest jakąś taką iluzją konwersacji z żywym człowiekiem? Tak, forma była ważna, same podstawowe modele, tak po prostu postęp inteligencji tych modeli była ważna, ale też wydaje mi się, że uniwersalność dostępu była ważna. Te modele wymagają dużych zasobów obliczeniowych. Nie można tak zrobić, że w którymś momencie zackniemy nadgarstka, a wszyscy mają do nich dostęp. To jest coś, co trzeba było przemyśleć, to jest coś, gdzie trzeba było rozwiązać parę takich inżynieryjnych problemów, więc to też było ważne. Na czym by się dzisiaj skupiać? Udostępniliście wtyczkę, która daje możliwość integracji czata GPT z innymi narzędziami AI. Możemy liczyć na to, że bardziej będziecie podążać w kierunku integracji czy czekamy na wersję czat GPT 5, 6? Będziecie rozwijać kolejne literacje tego mechanizmu? Sukces czat GPT sprawia, że oczywiście nie możemy, albo przynajmniej na ten moment nie wydaje się wskazane, po prostu porzucić tych starań, więc będziemy dalej rozwijać produkt. Nadal jest bardzo silny ten trzon firmy, który pracuje nad badaniami naukowymi, który stara się po prostu produkować coraz mądrzejsze modele i ta część firmy nie zastanawia się aż tak bardzo nad tym, jak będzie wyglądał produkt. Specjalnie nie zastanawiają się, jak zrobić, żeby model był inteligentniejszy i lepszy. Nie chcę absolutnie namawiać Cię do naruszania tajemnic Twojego przedsiębiorstwa, ale powiedz to, co możesz po prostu powiedzieć. Czy cokolwiek możesz powiedzieć na temat tego, co nas czeka? Czyli jak będzie wyglądała kolejna wersja czata GPT? No to będzie już 5. Kiedy ją możemy zobaczyć? Cokolwiek. Ciężko powiedzieć coś konkretnego i to nawet nie dlatego, że to jest jakiś wielki sekret, tylko dlatego, że my też nie do końca wiemy. Część wysiłków będzie się wiązała z dalszym skalowaniem, które jak widać działa i byłoby dziwne zaprzestać w tym momencie. Część badań będzie związanych z jakimś takim bardziej konkretnym wysiłkiem, żeby poradzić sobie z pewnymi ograniczeniami tego modelu. Jedno użycie tych modeli, które ekscytuje wielu ludzi wewnątrz firmy, to jest automatyczny naukowiec. I w tej chwili jest to niemożliwe, gdyż ten model za każdą krokiem swojego rozumowania ma jakieś prawdopodobieństwo błędu. I nawet jeżeli ono by było małe, albo nawet jak będziemy je dalej zmniejszać, będzie w stylu 1% albo 1%, to jeżeli mamy trudny problem naukowy, w których tych kroków rozumowania są tysiące albo dziesiątki tysięcy, to prawdopodobieństwo błędu nagle rośnie do 1. Czyli co, możemy liczyć, że będziecie starać się stworzyć mechanizm, który będzie w przyszłości w stanie potwierdzać twierdzenia naukowe, chociażby szukać dowodów twierdzeń matematycznych? To by była jedna możliwość. Wydaje mi się, że nawet jeżeli nie uda nam się osiągnąć czegoś takiego, bo jednak matematyka to jest jedna z najtrudniejszych form rozumowania, to możliwe, że ten model też może działać w dziedzinach, w których ta część związana z rozumowaniem nie jest aż tak wielka, zwłaszcza, że ma w swoich wagach strasznie dużo wiedzy na różne takie tematy związane z chemią, biologią, fizyką. Pracujecie w ogóle nad tym, żeby działać nie na danych preuczonych, tylko na danych naturalnych, rzeczywistych? Czyli żeby czat w przyszłości działał na danych, które są w czasie rzeczywistym, pojawiają się w sieci? Na ten temat niestety nie wiem za dużo. Osobiście na tym nie pracuję. Wydaje mi się, że to jest coś, co na pewno sprawiłoby, że produkt jest lepszy, więc jest niezła szansa, że coś z tym zrobimy, ale nie mam żadnych konkretów niestety. Mówicie bardzo dużo o pracy nad tym aspektem etycznym, czyli nad tym kodeksem etycznym w OpenAI. W jaki sposób Wy nad tym pracujecie dzisiaj? To jest bardzo ważne zagadnienie. Dzisiaj też na Uniwersytecie Warszawskim o tę chwilę rozmawialiście. Czyli gdzie postawić granice w rozwoju sztucznej inteligencji? Jak Wy w ogóle podejmujecie tę pracę? Tak, więc wydaje mi się, że ta praca ma wiele ciekawych i równie ważnych aspektów. Pierwszy aspekt, i to jest w pewnym sensie najmniej nasze zadanie, to jest, żeby w ogóle zdefiniować, jakie są granice tej etyczności. To nie powinna być decyzja podjęta przez losową firmę w Stanach. To powinna być decyzja podjęta najlepiej demokratycznie. I jedyne, co my możemy w tym kierunku zrobić, to udostępnić może technologię, żeby zbierać tę opinię lepiej. Czyli pracujecie nad tym rozumiem, żeby włączyć jak najwięcej ludzi w współtworzenie trochę takiego kodeksu, tak? Tak. ChargeGPT rośnie w popularności bardzo szybko. Jeszcze parę miesięcy temu nie wiedzieliśmy, że ten problem trzeba tak pilnie rozwiązać. Więc jest to problem, nad którym myślimy, nad którym nasze opinie co do pewnych konkretów, jak najlepiej zbierać te opinie i tak dalej, ciągle się rozwijają. Na ten moment mogę tylko zgadywać, jak to wyjdzie, ale to możliwe, że to wszystko jeszcze wyjdzie zupełnie inaczej. Ja mogę zgadywać, że będą jakieś formy zbierania różnych… Stanowisk w sieci. Tak, dokładnie. Będzie jakieś głosowanie, takie… Tylko to też jest trudny problem, bo np. nie każdy ma dostęp do komputera, trzeba się upewnić, że wszystkie grupy są reprezentowalne, też jest… Ale pracujecie nad tym. Tak. Nie wiem, na ile ta praca w tej chwili przybiera super konkretną formę, bo osobiście się tym nie zajmuję, ale na pewno jest dużo rozmów na ten temat i nawet jeżeli jeszcze nie ma jakiejś konkretnej pracy, to prawdopodobnie niedługo będzie. Ale to jest tylko pierwsza część, tak? Potem druga część techniczna to jest wziąć ten zbiór norm i upewnić się, że model go respektuje, tak? I to jest też trudny techniczny problem, nad którym myślę, że wiele osób w firmie bardzo zależy na jego rozwiązaniu i pracują nad tym. Moje osobiste podejście do tego problemu jest takie, żeby po prostu kontynuować tę pracę, którą robiłem do tej pory, bo nasze wyniki jak do tej pory wskazują, że jeżeli model jest zwyczajnie mądrzejszy, mądrzejszy w sensie takiego skoku jak z 3,5 do 4, to lepiej mu idzie podążanie za takimi instrukcjami, za normami, jakie próbujemy narzucić. Czyli im on będzie w cudzysłowie inteligentniejszy, tym łatwiej będzie przestrzegać norm, które mu gdzieś tam nałożycie. Powiedz mi, jak wygląda dzisiaj, czy masz taką wiedzę w ogóle, informacje na temat danych polskich w czacie GPT? Czy nie brakuje wam trochę informacji w języku polskim, które pozwoliłoby czatowi GPT być jeszcze skuteczniejszym w języku polskim? To jest na pewno coś, o czym myślimy i zaczynamy się coraz bardziej. Nawet eksponujesz na blog postach GTT4, to jest taki jeden duży plot o tym, jak temu modelowi idzie rozwiązywanie tego samego problemu w różnych językach. Jest taki benchmark, nazywa się MMLU. Jest dużo postępów w wielu językach, nawet w takich mało znanych w stylu suahili. Zauważysz, że model rozwiązuje ten problem lepiej, GPT4 rozwiązuje ten problem lepiej w suahili, niż GPT3.5 rozwiązuje w języku angielskim. A polski jak się ma na tym, w tej mapie? Gdzieś pomiędzy angielskim a suahili. Jest oczywiście lepszy niż angielski w trójce. Częścią postępu tutaj jest tworzenie coraz mądrzejszych modeli, które mogą tę wiedzę z języka angielskiego przerzucać na język polski po prostu z racji swojej inteligencji. Oczywiście więcej danych pomoże zdecydowanie. Jest nadal jakaś różnica między angielskim a polskim językiem. Jeżeli ktoś miałby ochotę z tym pomóc, to gromadzenie dobrej jakości danych pomaga. Jeżeli ktoś zcyfryzuje i zgromadzi polskie dane w jakimś takim przystępnym formacie, to Wam to ułatwi pracę. Jeszcze mam dla Ciebie dwa pytania. Pierwszy, jaka jest dzisiaj rola Microsoftu w ogóle w rozwoju OpenAI? Microsoft jest wspaniałym partnerem do pracy. Jest też inwestorem, dzięki którym możemy porzucić więcej mocy obliczeniowej i produkować mądrzejsze modele. Mają też dużo doświadczenia biznesowego i też sami pracują na udostępnianiu części naszych technologii na przykład w GitHub Copilot, ale to jest coś, czego osobiście używam. To, czego nie ma w naszej relacji z Microsoftem, to Microsoft nie ma kontroli nad OpenAI. To jest coś, nad czym bardzo mocno pracowaliśmy. Nie ma nawet ani jednego miejsca w Radzie Zarządu. Bardzo nam zależy na tym, żeby jeżeli OpenAI będzie się dalej rozwijać, jeżeli będzie dalej tworzyć potężne modele, które naprawdę mogą wpłynąć na życie wszystkich ludzi, to nie chcemy, żeby korporacja, spółka giełdowa, która ma obowiązek dbać o interesy inwestorów, podejmowała decyzje na temat tej technologii. Chcemy, żeby te decyzje były podjęte w taki sposób, żeby korzyści z tej technologii płynęły do wszystkich ludzi. OpenAI w tej chwili jest ustrukturyzowane tak, że naczelną rolę sprawuje część non-profit ciągle, która musi respektować misję OpenAI, czyli żeby stworzyć AI w sposób, który przynosi korzyść wszystkim ludziom. Szymon, kiedy my dojdziemy do tzw. superinteligencji? Jak wy ją definiujecie? Kiedyś to zastanawialiśmy się tylko, ile nam brakuje do Artificial General Intelligence, do ogólnej inteligencji. Teraz już jedności tego modelu wydają się bardziej ogólne w pewnym sensie, więc możemy się zastanawiać, czy idziemy w kierunku ogólnej sztucznej inteligencji czy silnej. Kiedy ona będzie, to nadal trochę ciężko mi powiedzieć. To jest 5 lat, 10 lat, lata, 2 lata, 3 lata, jakbyś miał przewidywać. Masz ogromny zasób wiedzy na ten temat i masz dostęp do... Pracujesz jakby. Oczywiście przewidywanie przyszłości dalej niż powiedzmy 5 lat to jest problem w zasadzie niemożliwy, więc raczej nie chciałbym podawać żadnych dat. Wydaje mi się, że mądrze jest myśleć o scenariuszu, w którym taka silna sztuczna inteligencja, mądrzejsza niż tam niektórzy z najmądrzejszych ludzi, pojawi się przed rokiem 2030 na przykład. To się wydaje możliwe, nawet jeżeli ta możliwość jest mała. Jeżeli by się to zdarzyło, to jest coś, na co musimy się zacząć przygotowywać. A więc warto o tym w ten sposób myśleć, nawet jeżeli prawdopodobieństwo jest małe. Czym ty się w ogóle zajmujesz w OpenAI dzisiaj? W OpenAI pełnię rolę naukowca, inżyniera. Zajmuję się optymalizacją, zajmuję się też częściowo systemami rozporządzonymi. Na przykład w projekcie GPT-4 jedną z rzeczy, którymi się zajmowałem, to pracowałem dość blisko z Jakubem, który prowadzi projekt i starałem się jakby zawsze zajmować tą rolę, która w tej chwili jakby blokowała postęp, czyli na przykład jak potrzebowaliśmy metryk, to dodawałem oprogramowanie do metryk i starałem się, żebyśmy je dobrze widzieli. Coś wolno w eksperymencie chodziło, to pisałem jakieś systemy rozporządzone, które to naprawiały, a jak trzeba było szybko jeszcze odpowiedzieć na jakieś pytanie naukowe, które blokowało, to też albo pomagałem, albo część brałem na siebie. Dziękuję ci bardzo, Szymon, za to spotkanie. Dziękuję. Musi respektować misję OpenAI, czyli żeby stworzyć AI w sposób, który przynosi korzyść wszystkim ludziom. Szymon, kiedy my dojdziemy do tak zwanej superinteligencji? Jak się ją definiujecie? Kiedyś to zastanawialiśmy się tylko, ile nam brakuje do Artificial General Intelligence, do ogólnej inteligencji. Teraz już jedności tego modelu wydają się bardziej ogólne w pewnym sensie, więc możemy się zastanawiać, czy idziemy w kierunku ogólnej, czy silnej. Kiedy ona będzie, to nadal trochę ciężko mi powiedzieć. To jest 5 lat, 10 lat, lata, 2 lata, 3 lata, jakbyś miał przewidywać. Masz ogromny zasób wiedzy na ten temat i masz dostęp do... Spracujesz jakby. Oczywiście przewidywanie przyszłości dalej niż powiedzmy 5 lat to jest problem w zasadzie niemożliwy, więc raczej nie chciałbym podawać żadnych dat. Wydaje mi się, że mądrze jest myśleć o scenariuszu, w którym taka silna sztuczna inteligencja, mądrzejsza niż niektórzy z najmądrzejszych ludzi, pojawi się przed rokiem 2030, na przykład. To się wydaje możliwe, nawet jeżeli ta możliwość jest mała. Jeżeli by się to zdarzyło, to jest coś, na co musimy się zacząć przygotowywać. A więc warto o tym w ten sposób myśleć, nawet jeżeli prawdopodobieństwo jest małe. Czym ty się w ogóle zajmujesz w OpenAI dzisiaj? W OpenAI pełnię rolę naukowca, inżyniera. Zajmuję się optymalizacją, zajmuję się też częściowo systemami rozporządzonymi. Na przykład w projekcie GPT-4 jedną z rzeczy, którymi się zajmowałem, to pracowałem dość blisko z Jakubem, który prowadzi projekt i starałem się jakby zawsze zajmować tą rolę, która w tej chwili jakby blokowała postęp. Czyli na przykład jak potrzebowaliśmy metryk, to dodawałem oprogramowanie do metryk i starałem się, żebyśmy je dobrze widzieli. Jak tam coś wolno w eksperymencie chodziło, to pisałem jakieś systemy rozporządzone, które to naprawiały. A jak trzeba było szybko jeszcze odpowiedzieć na jakieś pytanie naukowe... Dziękuję Ci bardzo, Szymon, za to spotkanie. Dzięki.