Czy eksplozja superinteligencji jest bliska? Rzeczywistość vs przewidywania (film, 10m)
Sabine Hossenfelder w swoim najnowszym wpisie na blogu porusza temat sztucznej inteligencji oraz kontrowersyjnych prognoz Leopolda Aschenbrennera, byłego pracownika OpenAI. W swoim eseju Aschenbrenner przewiduje, że ogólna inteligencja maszyn (AGI) znacznie przewyższy ludzką w ciągu kilku lat. Mimo optymizmu Aschenbrennera, Hossenfelder ma wątpliwości co do faktycznych ram czasowych takich zmian, wskazując na kluczowe ograniczenia energetyczne oraz problem z pozyskiwaniem danych. Obserwując eksplozję wydajności AI w ostatnich latach, Aschenbrenner sugeruje, że szybkość rozwoju technologii wkrótce osiągnie punkt krytyczny, co będzie prowadziło do rewolucji w nauce i technologii, jednak Hossenfelder zauważa, że to może trwać znacznie dłużej.
Jak wyjaśnia Sabine Hossenfelder, jednym z kluczowych argumentów Aschenbrennera jest zwiększona moc obliczeniowa i ciągłe ulepszanie algorytmów. Choć zgadza się z tym, że AI obliczeniowo staje się coraz silniejsze, sądzi, że ograniczenia dotyczące energii i danych są istotnymi przeszkodami. Szacując, że najbardziej zaawansowane modele AI mogłyby wkrótce wymagać 10 gigawatów energii, co wiąże się z olbrzymimi kosztami, Hossenfelder wskazuje na niepraktyczność takich prognoz. Zaszczepia sceptycyzm wobec tezy Aschenbrennera, że zbudowanie infrastruktury energetycznej, niezbędnej do utrzymania wszechobecnego AGI, to zadanie, które możliwe jest do zrealizowania w krótkim okresie.
Pomimo swoich obiekcji, Hossenfelder potwierdza, że AGI rzeczywiście może przynieść znaczny postęp w nauce i technologii. Chociaż wydaje się jasne, że sztuczna inteligencja posiada potencjał, żeby zwiększyć dostępność wiedzy i zredukować ludzkie błędy, istotnym wyzwaniem będzie zebranie odpowiednich danych. Hossenfelder podkreśla, że nawet najlepszy algorytm nie przyniesie znaczących innowacji bez odpowiednich zasobów informacyjnych, wskazując na to, że bohater jego eseju nie dostrzega tej kluczowej luki. To czyni potrzebę długoterminowego podejścia do rozwoju AI jeszcze bardziej oczywistą.
W analizie Hossenfelder pojawia się także krytyka bezpieczeństwa związana z AGI. Wspomina, że Aschenbrenner koncentruje się na amerykańsko-chińskim wyścigu technologicznym, pomijając wpływ innych krajów oraz problemy takie jak zmiany klimatyczne, które mogą wkrótce stać się istotnym czynnikiem ograniczającym. Ponadto, Hossenfelder zauważa, że intuicją danej analizy jest obawa przed dużą kontrolą nad rozwojem AI przez rządy. Ta wątpliwość co do przyszłości AGI i potencjalnych ograniczeń wywołuje dalsze pytania o to, jak ludzie będą zarządzać tym potężnym narzędziem.
Na koniec Hossenfelder odnosi się do wcześniejszych prognoz dotyczących sztucznej inteligencji, które okazały się chybione, co wzmacnia jej argument o ostrożności w przewidywaniu rozwoju technologii. Po licznych nietrafnych oszacowaniach specjalistów na przestrzeni lat, zauważa, że tempo zmian może być znacznie wolniejsze, niż sugerują najnowsze prognozy. To, w połączeniu z danymi i energiami jako kluczowymi wyzwaniami, sprawia, że wydaje się, iż możemy potrzebować znacznie więcej czasu przed realnym wprowadzeniem ogólnej inteligencji maszyn do naszej rzeczywistości. Statystyki dotyczące tego wideo są również interesujące, obecnie ma 627051 wyświetleń i 29184 polubień, co świadczy o dużym zainteresowaniu tematem sztucznej inteligencji.
Toggle timeline summary
-
Wprowadzenie do wzrostu AI i cytat Leopolda Aschenbrennera.
-
Tło na temat Aschenbrennera, jego odejścia z OpenAI i jego poglądów na temat AI.
-
Esej Aschenbrennera szczegółowo opisuje nadchodzący przyjazd sztucznej superinteligencji.
-
Kontekst dotyczący tła Aschenbrennera i jego obecnych projektów.
-
Dyskusja na temat szybkiego wzrostu możliwości AI.
-
Prognoza osiągnięcia ogólnej inteligencji sztucznej do 2027 roku.
-
Wyjaśnienie ograniczeń obecnych systemów AI i możliwe ulepszenia.
-
Krytyka przekonania Aschenbrennera o eksplozji inteligencji.
-
Dyskusja na temat ograniczeń dotyczących energii i danych niezbędnych do rozwoju AI.
-
Prognoza Aschenbrennera dotycząca wymagań energetycznych dla zaawansowanych modeli AI.
-
Krytyka nierealistycznego optymizmu dotyczącego fuzji jądrowej jako rozwiązania energetycznego.
-
Obawy dotyczące dostępności danych do trenowania AI po początkowych danych online.
-
Znaczenie danych dla funkcjonowania AI i ograniczenia obecnych systemów AI.
-
Potencjalne korzyści AGI w korygowaniu błędów ludzkich w badaniach naukowych.
-
Uznanie wpływu AGI i potencjału reakcji rządowych.
-
Kontekst historyczny prognoz dotyczących możliwości maszyn.
-
Analiza przeszłych prognoz i tendencja do przeceniania postępu technologicznego.
-
Podsumowanie sceptycyzmu dotyczącego natychmiastowości eksplozji inteligencji.
-
Promocja Brilliant.org w celu nauki o AI i pokrewnych tematach.
-
Specjalna oferta dla widzów, aby odkryć zasoby edukacyjne Brilliant.
Transcription
Everyone's now talking about AI, but few have the faintest glimmer of what's about to hit them. That's a quote from Leopold Aschenbrenner, who was recently fired from OpenAI. He believes that artificial superintelligence is just around the corner, and has written a 165-page essay explaining why. I spent the last weekend reading this essay and want to tell you what he says and why I think he's wrong. Let me start with some context on Aschenbrenner, who you see talking here. Young man, early 20s, German origin, had a brief gig at the Oxford Centre for Global Priorities, now lives in San Francisco, and according to his own website, recently founded an investment firm focused on artificial general intelligence. In his new essay, Aschenbrenner says that current AI systems are scaling up incredibly quickly. He sees no end to this trend, and therefore they'll soon outperform humans in pretty much anything. I can't see no end, says man who earns money from seeing no end. He explains that the most relevant factors that currently contribute to the growth of AI performance is the increase of computing clusters and improvements of the algorithms. Neither of these factors is yet remotely saturated. That's why, he says, performance will continue to improve exponentially for at least several more years, and that's sufficient for AI to exceed human intelligence on pretty much all tasks. By 2027, we'll have artificial general intelligence, AGI for short, according to Aschenbrenner. He predicts that a significant contribution to this trend will be what he calls unhobbling. By this, he means that current AIs have limitations that can easily be overcome, and will soon be overcome. For example, a lack of memory, or that they can't themselves use computing tools. Like, why not link them to a math software? Indeed, let them livestream on YouTube! The future is bright, people! I know it sounds a little crazy, but I'm with him so far. I think he's right that it won't be long now until AI outsmarts humans. Because, I mean, look, it isn't all that hard, is it? I also agree that soon after this, artificial intelligence will be able to research itself and to improve its own algorithms. Where I get off the bus is when he concludes that this will lead to the intelligence explosion accompanied by extremely rapid progress in science and technology and society overall. Do you get off the bus and miss the boat, or get off the boat and miss the bus? These damn English idioms always throw me off. The reason I don't believe in Aschenbrenner's predictions is that he totally underestimates the two major limiting factors, energy and data. Training bigger models takes up an enormous amount of energy. According to Aschenbrenner, by 2028, the most advanced models will run on 10 gigawatts of power at a cost of several hundred billion dollars. By 2030, they'll run at 100 gigawatts at a cost of a trillion dollars. For comparison, a typical power plant delivers something in the range of a gigawatt or so. That means by 2028, they'd have to build 10 power plants in addition to the supercomputer cluster. Can you do that? Totally. Is it going to happen? You've got to be kidding me. What did all of those power stations run on anyway? Well, according to Aschenbrenner, on natural gas, even the 100 gigawatt cluster is surprisingly doable, he writes, because that'll take only about 1,200 or so new wells. Totally doable. And if that doesn't work, I guess they can just go the Sam Altman way and switch to nuclear fusion power. Honestly, I think these guys have totally lost the plot. They're living in some techno utopian bubble that has groupthink written on it in capital letters. Yes, Helion Energy says they'll produce net power from neutron free nuclear fusion by 2028, leaving aside that there are some reasonable doubts about how neutron free this neutron free fusion actually is. And I for sure wouldn't go anywhere near the thing. No one has ever managed to get net energy out of this reaction. I talked about all the fusion startups in an earlier video. Then there's the data. OK, so you've trained your AI on all the data that was available online. Now what? Where are you going to get more data? Aschenbrenner says no problem. You deploy robots who collect it. Where do you get those robots from? Well, Aschenbrenner thinks that AIs will solve all remaining robot problems and the first robots will build factories to build more robots. All right. But what will they build the factories with? Are resources that will be mined and transported by, let me guess, more robots that will be built in the factories that will be constructed from the resources mined by the robots? I think that isn't going to work. Creating a huge robot workforce will not just require AGI. It will require changing the entire world economy. This will eventually happen, but not within a couple of years. It'll take decades at best. And until then, the biggest limiting factor for AGI will be lack of data. The best algorithm in the world isn't going to deliver new insights if it's got new data to work on. That said, I think he's right that AGI will almost certainly be able to unlock huge progress in science and technology. This is because a lot of scientific knowledge currently goes to waste just because no human can read everything that's been published. AGI will be able to do this. There must be lots of insights hidden in the published scientific literature without doing any new research whatsoever. The other relevant thing that AGI will be able to do is to just prevent errors. The human brain makes a lot of mistakes that are usually easy to identify and correct. Logical mistakes, biases, data retrieval error, memory lapses. Why did I go to the kitchen? And so on. Even before AGI actually does anything new, it'll change the world by basically removing these constant everyday errors. The second half of his essay is dedicated to the security risks that go along with AGI. His entire discussion is based on the US versus China, like the rest of the world basically doesn't exist. That's one of the symptoms of what I want to call the Silicon Valley bubble syndrome. But leaving aside that he forgets the world is more than just two countries and that the world economy is about to be crushed by a climate crisis. I agree with him. Most people on this planet, including all governments, currently seriously underestimate just how big an impact AGI will make. And when they wake up, they rapidly try to gain control of whatever AGI they can get their hands on and put severe limitations on its use. It's not that I think this is good or that I want this to happen, but this is almost certainly what's going to happen. In practice, it'll probably mean that high compute queries will require security clearance. Let's step back and have a quick look at past predictions of the impending machine revolution. In 1960, Herbert Simon, a Nobel Prize laureate in economics, speculated that machines will be capable within 20 years of doing any work a man can do. In the 1970s, Marvin Minsky predicted that human level machine intelligence was just a few years away. In a 1993 essay, the American computer scientist, Werner Wensch, predicted that the technological singularity would come in less than 30 years. All these predictions were wrong. What I take away from this long list of failed predictions is that people involved in frontier research tend to vastly overestimate the pace at which the world can be changed. I wish we'd actually live in the world that Aschenbrenner seems to think we live in. I can't wait for superhuman intelligence, but I'm afraid the intelligence explosion isn't as near as he thinks. So in the meantime, don't give up on teaching your toaster to stop burning your toast. Artificial intelligence is really everywhere these days. If you want to learn more about how neural networks and large language models work, I recommend you check out the courses on Brilliant.org. Brilliant.org offers courses on a large variety of topics in science, computer science, and mathematics. All their courses have interactive visualizations and come with follow-up questions. Some even have executable Python scripts or videos with little demonstration experiments. Whether you want to know more about large language models or quantum computing, want to learn coding and Python, or know how computer memory works, Brilliant has you covered, and they're adding new courses each month. And of course, I have a special offer for users of this channel. If you use my link brilliant.org slash Sabine, you'll get to try out everything Brilliant has to offer for full 30 days. And you'll get 20% off the annual premium subscription. So go and check this out. Yes, helium energy cells still produce net power from neutron-free nucleotides. Neutron-free fusion. Neutron-free fusion. Neutron-free. Thanks for watching. See you tomorrow.