Elon Musk про терміни AGI, США проти Китаю, ринки праці, чисту енергетику та гуманоїдних роботів | 220
Чи варто це вашого часу?
Ви отримаєте детальний звіт про те, як стрімкий прогрес у сфері штучного інтелекту, енергетичної інфраструктури та робототехніки трансформує глобальну економіку та промислове виробництво.
У розмові досліджується, як прискорення штучного інтелекту, гуманоїдна робототехніка та масштабне розширення енергетики змінять людську працю, економіку та космічну інфраструктуру. Розглядаються практичні перешкоди у створенні систем живлення та апаратного забезпечення, необхідних для майбутнього достатку.
Часова шкала та масштабування ШІ. Ілон Маск (Elon Musk) очікує появи AGI вже у 2026 році та прогнозує, що до 2030 року ШІ перевершить інтелект усіх людей разом узятих. Він стверджує, що алгоритмічні покращення забезпечать експоненціальні стрибки в щільності обробки даних. Він зазначає, що перехід виведення (inference) на 4-бітні дані відкриє величезні можливості для підвищення продуктивності.
Енергетика та центри обробки даних. Маск попереджає, що генерація електроенергії та охолодження є основними вузькими місцями, які обмежують розгортання нових GPU. Щоб обійти затримки з електромережами, його компанія побудувала гігаватний навчальний кластер, використовуючи газові турбіни та акумуляторні блоки. Він зауважує, що виробничі лінії споживають лише частину енергії, необхідної для навчання ШІ.
Гуманоїдні роботи та праця. Маск прогнозує, що гуманоїдні роботи замінять цифрові завдання раніше, ніж фізичні, і з часом виконуватимуть складні роботи, такі як хірургічні операції, краще за людей-фахівців. Він попереджає, що цей технологічний зсув спричинить значні потрясіння та потребуватиме економічних рішень, таких як універсальний високий дохід. Він зазначає, що Optimus масштабуватиметься швидко завдяки накопичувальним покращенням у програмному забезпеченні, апаратному забезпеченні та електромеханічній спритності.
Starship та космічна інфраструктура. Маск стверджує, що повністю багаторазові ракети є переломним моментом, який призведе до різкого падіння вартості космічних запусків. Він пояснює, що висока частота запусків дозволить розгорнути супутники сонячної енергії в космосі та орбітальні центри обробки даних. Його ціль — тисячі щорічних польотів для транспортування мільйона тонн корисного навантаження на орбіту.
Орієнтація в майбутньому AI та робототехніки
Ваш невпинний оптимізм — це завжди ковток свіжого повітря. Я все частіше думаю, що ви маєте рацію щодо достатку для всіх.
Зараз я приділяю багато часу чипам за допомогою ШІ. Було б чудово, якби ми могли незабаром просто передати це ШІ. Кілька тижнів тому я намагався зайнятися проєктуванням схем за допомогою ШІ. Якщо зробити фото і надіслати його в Grok, він, ймовірно, зможе сказати, чи є щось не так зі схемою. Версія 4.2 ще не вийшла, але п'ята з'явиться в першому кварталі. Якщо завантажити зображення в Grok, він справляється досить добре.
Якщо я сфотографую вас, він скаже, що ви — несправна схема. Мені треба не забути оновити додаток Grok, бо ми оновлюємо його дуже часто. Я попросив Grok висміяти мене, потім попросив висміяти вас, і я аж поперхнувся кавою. Я запитав: «Чи знає Ілон, що ти про нього кажеш?», а вона відповідає: «І що він з цим зробить?»
Я щойно сфотографував вас, щоб подивитися, що це таке. Цей чоловік — Пітер Діамандіс (Peter Diamandis), ведучий подкасту Moonshots. До речі, Graedia — це круто.
Обіцянка достатку та оптимізм
Я роками намагався оновити свою сторінку у Wikipedia, і вона мене знає. Вона досить біса хороша, хоча її маєте читати ви.
Я хочу відповісти на запитання: чи можуть ШІ та технології допомогти врятувати Америку та світ? Я хочу дати слухачам порцію оптимізму. Опитування Pew середини грудня показало, що 45% американців воліли б жити в минулому і лише 14% воліли б жити в майбутньому, що для мене просто божевілля. Голлівуд показав нам ШІ-вбивць і роботів-відступників.
Ви закріпили в X, що майбутнє буде дивовижним, а ШІ та роботи забезпечать сталий достаток. З точки зору перших принципів, яке обґрунтування для оптимізму? Як нам рухатися в бік Star Trek і Родденберрі, а не Terminator і Кемірона? Як нам прийти до універсального високого доходу замість соціальних заворушень?
Будьте обережні зі своїми бажаннями. Якщо ви дійсно отримаєте все, чого хочете, чи це те майбутнє, якого ви прагнете? Ваша робота не матиме значення, якщо ви житимете життям без викликів. Якщо ми перетворимося на лежнів у майбутньому як у Wall-E, це закінчиться для людей погано. Історично люди не дуже вміли створювати собі виклики за відсутності зовнішніх, хоча, гадаю, Ілон Маск (Elon Musk) справляється з цим біса добре.
Чи є щось після ШІ та роботів? Мабуть, підкорення всесвіту. Я більш оптимістичний, ніж більшість людей. Якщо переосмислити речі як смугу прогресу до цивілізації другого типу за шкалою Кардашова — прагнення захопити всю енергію від випромінювання сонця, або навіть більш скромне прагнення.
Енергетика: ключ до сталого майбутнього
Якщо наша мета — опанувати мільйонну частку енергії сонця, це було б у понад тисячу разів більше енергії, ніж можливо виробити на Землі, оскільки до нас доходить лише близько половини мільярдної частини. Ми дуже далекі навіть від мільярдної; досягнення мільйонної або тисячної частки — це колосальний виклик, як вихід із гравітаційного колодязя. Енергія — це внутрішній цикл для всього, і я думаю, що валютою майбутнього, по суті, буде потужність — здатність керувати опанованою енергією та перетворювати її на роботу, чи то інтелект, чи то маніпуляції з матерією.
Ваш наступний великий проєкт — енергія. Ви повертаєтеся до своєї сонячної системи, потім розширюєтеся до рівня галактики, як у Star Trek, де немає навіть горизонту, бо ви не на планеті. Уявіть собі розум галактики. Тут ми перебуваємо в будівлі площею 11,5 мільйонів квадратних футів, але цивілізаційний виклик полягає в тому, як піднятися на ці порядки величин в опанованій енергії. У довгостроковій перспективі ми матимемо достаток понад те, що люди можуть собі уявити; AI та роботи задовольнять усі людські бажання.
Нанотехнології ведуть ще далі. Ми вже здійснюємо збірку схем на атомному рівні при двох або трьох нанометрах, що становить лише чотири або п'ять атомів кремнію на нанометр. Хоча «два нанометри» часто є маркетинговим числом, вам все одно потрібна точність, близька до атомного рівня. Я вважаю, що сучасні fabs помиляються з чистими приміщеннями. Б'юся об заклад, що у Tesla буде fab на 2 нм, де система вентиляції повітря настільки хороша, що я міг би їсти чізбургер і палити сигару всередині.
Роль освіти у світі, що змінюється
Заводи-фаби за замовчуванням підтримують ізоляцію пластин, транспортуючи їх у контейнерах із чистим азотом під легким позитивним тиском. Практично неможливо, щоб будь-що горюче існувало без кисню; можна знищити шкідників, просто накривши рослини азотною ковдрою.
Енергія — це основа всього, що ви зараз будуєте. Порівняно з сонцем, усі інші джерела енергії схожі на первісних людей, які кидають гілочки у вогонь. Сонце становить понад 99,8% усієї маси в сонячній системі, тоді як Юпітер — близько 0,1%. Навіть якби ви спалили Юпітер, телепортували ще три Юпітери в нашу сонячну систему і теж їх спалили, енергія, що виробляється сонцем, все одно округлювалася б до 100%. У нас є гігантський безкоштовний термоядерний реактор за 93 мільйони миль від нас; створювати маленькі термоядерні реактори було б як мати крихітний льодогенератор в Антарктиді, коли поруч із вами льодовики заввишки три кілометри.
Щодо термінів будівництва дата-центру в Мемфісі, ви не витиснете з Мемфіса 10 гігават — можливо, два або три. Десять гігават — це іграшки. Прямо тут, за дверима, є 100 мегават, і це величезна кількість; усі ці виробничі лінії разом споживають менше енергії. Cortex 1 був третім за величиною навчальним кластером у світі, а Cortex 2, потужністю пів гігавата, який запрацює в середині наступного року, зараз будується.
Китай провів неймовірну роботу з сонячною енергетикою. Я вважаю, що їхні виробничі потужності становлять близько 1 500 гігават на рік. За минулий рік вони ввели в експлуатацію 500 терават-годин, 70% з яких припало на сонячну енергію, і вони просто масштабуються. Чим вище виробництво енергії в країні, тим вищий її ВВП. Я думаю, що нам слід суттєво масштабувати сонячну енергетику в США, як це роблять Tesla та SpaceX.
Я бачу шлях до 100 гігават на рік космічної сонячної енергії за допомогою супутників на базі AI. Це означало б запуск 500 000 Starlink V3 за допомогою понад 8 000 польотів Starship. 10 000 польотів на рік — це цілком реальна цифра, хоча й дуже висока порівняно з рештою ракетної індустрії. При мільйоні тонн корисного навантаження на орбіту на рік і 100 кіловат на тонну, це 100 гігават сонячних AI-супутників на рік.
Є шлях до теравата або навіть 100 терават на рік, якщо виготовляти ці AI-супутники на Місяці за допомогою мас-драйвера, за підходом Джерарда К. О'Ніла (Gerard K. O'Neal). Як писав Роберт Гайнлайн (Robert Heinlein), Місяць не має атмосфери, а друга космічна швидкість там становить близько 2 500 метрів на секунду, тому мас-драйвер працює дуже добре. Ми фактично будуємо щось на кшталт рою Дайсона навколо Землі. Вага корисного навантаження на орбіту знижується приблизно на 30% порівняно з середнім нахилом, наприклад, 70°.
Нам потрібен спосіб зводити вниз відпрацьовані супутники. Коли ви зможете виводити на орбіту мільйон тонн супутників, ви також зможете зводити їх вниз або збирати в одному місці для повторного використання. Враховуючи рівень інтелекту, про який ми говоримо, рівень ресурсів буде настільки високим, що ця проблема буде вирішена.
Дата-центри будуть не на низькій навколоземній орбіті; вони будуть набагато вище, щоб постійно перебувати під сонцем. Приблизно 1 200 кілометрів або синхронна орбіта забезпечать постійне сонячне світло. Сміття буде лише на низькій навколоземній орбіті, оскільки атмосферний опір повертає назад усе, що знаходиться нижче приблизно 700 або 800 кілометрів. Для Starlink є подвійна вигода від того, щоб бути якомога нижче, тому що затримка менша, а промені вужчі. Starlink 3 буде на висоті близько 330–350 км, що створює досить сильний опір. Ми, по суті, перебудували інтернет у космосі за допомогою лазерних зв'язків.
Зараз там перебуває 9 000 супутників. Я щойно повернувся з Рима, але подивіться на графік, що показує кількість стартапів з капіталізацією в мільярд доларів у США порівняно з Європою, а також кількість дата-центрів. Ще шість місяців тому ніхто не говорив про орбітальні дата-центри, а потім раптом цим зацікавився Сундар (Sundar), це стало вірусним у X, і тепер у кожного свій орбітальний дата-центр.
Я запропонував Пітеру Діамандісу (Peter Diamandis) оновити розрахунки вартості запусків, тому що це переломний момент. Незалежно від того, чи коштує Starship 100 або 10 доларів за кілограм, ми будемо виводити на орбіту мільйон тонн на рік за ціною значно нижчою за 100 доларів за кілограм, що перенесе дата-центри на орбіту. Якщо у вас є ракета, яка повністю та швидко використовується повторно, як літак — а я вважаю, що це межа людського інтелекту, але ми робимо це зі Starship — ви можете самі все порахувати. Це завжди було «святим граалем» аерокосмічної індустрії. Коли Falcon 9 вперше повторно використав свою першу ступінь, традиційна аерокосмічна галузь не вірила, що вона зможе літати та використовуватися повторно, проте ви можете бачити, як вона приземляється на мисі Канаверал і знову злітає.
Стрибок у вартості запусків потребує більше віри, але Starship — це той самий переломний момент. Десь у часовому проміжку між перетворенням Twitter на X це перейшло зі стадії спекуляцій у стадію повної впевненості. Інтерес людей до орбітальних дата-центрів безпосередньо пов'язаний із довірою та вартістю енергії в їхніх рідних містах. Існують песимістичні розмови про те, що дата-центри піднімуть індекс споживчих цін, але найкращий спосіб збільшити щорічну виробнику енергії в США чи будь-якій іншій країні — це акумулятори.
Пікова потужність США становить близько 1,1 теравата, але середнє споживання енергії — лише пів теравата. Якщо буферизувати енергію — заряджати акумулятори вночі та розряджати вдень — можна подвоїти енергетичну пропускну здатність США без додаткових капітальних витрат або будівництва нових електростанцій.
Щорічна виробника енергії може подвоїтися завдяки акумуляторам. Tesla їх виготовляє; я виходив на сцену і презентував цю річ, і це є в інтернеті. Здається, Китай слухає все, що я кажу, і робить це, або вони роблять це самостійно, але вони точно створюють масивні блоки акумуляторів, величезну кількість електромобілів і колосальні обсяги сонячної енергетики. Це все ті речі, про які я казав, що ми повинні робити тут.
Коли я пілотую і дивлюся вниз на Санта-Моніку та Лос-Анджелес, на жодному даху немає сонячних панелей. Не обов'язково ставити їх на дах, але це зручне місце. Tesla випускає сонячний дах, і це єдиний варіант, який не виглядає потворним; наш насправді виглядає красиво. Але якщо ви хочете впроваджувати сонячну енергетику в масштабах, вам просто потрібно більше площі поверхні. У нас є величезні порожні пустелі в Африці та Америці. Якщо летіти через країну, більшу частину часу ви дивитеся вниз на похмуру пустелю, яка виглядає майже як Марс — випалена скеля, де ледве виживає ящірка. Якщо ми поставимо сонячні панелі там, де зараз випалена скеля, це покращить якість життя для тих кількох істот у цьому важкому середовищі; вони подумають: «Слава богу, нарешті якась тінь».
Щоб суттєво вплинути на якість життя, потрібно захопити та зберегти кілька сотень гігаватів. Ви могли б розмістити дата-центр прямо там. У світі достатку через п'ять років, з величезними обчислювальними потужностями та універсальним високим доходом, я не знаю, скільки ще енергії нам знадобиться — можливо, на 30, 40 або 50% більше — хіба що ми захочемо пересувати гори, щоб зробити гірськолижний схил на задньому дворі. Думаю, переважна більшість енергоспоживання піде на обчислення. Виробництво кожного з цих автомобілів, що виходять із конвеєра зі швидкістю один кожні одну-дві хвилини, споживає менше енергії, ніж дата-центр, який навчає ці авто керувати самостійно.
Сонце безкоштовно генерує величезну кількість енергії, яка просто йде в космос, тож ми зрештою намагатимемося захопити тисячну або мільйонну її частину. Ми, ймовірно, перебуваємо на рівні 1% від першого рівня Кардашова; не думаю, що ми досягли 10%. Ми використовуємо приблизно 1% енергії, яку могли б використовувати на Землі. Висновок із мислення від перших принципів полягає в тому, що енергії навколо багато, і вона є в нас у США.
У нас є енергія на планеті, і технології для її захоплення вже існують і щороку вдосконалюються. Буде сильний стимул опанувати більше енергії, але вона у нас не закінчиться.
У 2010 році 75% американців казали, що вчитися в коледжі важливо; зараз це число впало до 35%, проте плата за навчання зросла на 900% з 1983 року. Адміністративні витрати в університетах вийшли з-під контролю. Я бачив статистику, що в Брауні на двох студентів припадає один адміністратор, що здається занадто великою кількістю.
Я навчався в коледжі в Канаді протягом кількох років у Queens University. Я мав канадське громадянство через матір, яка народилася в Канаді, хоча мій дідусь був американцем, і з якоїсь причини моя мати не змогла отримати громадянство США. У мене не було ні грошей, ні величезної мережі знайомств, ні великих статків, тому спочатку я міг піти лише до канадського університету. Я прибув до Монреаля у віці 17 років з приблизно 2 500 доларами в канадських дорожніх чеках, однією сумкою книг і однією сумкою одягу. Після Queens я здобув подвійний ступінь з фізики та економіки в University of Pennsylvania і закінчив Wharton.
Ілон Маск (Elon Musk)
Я збирався захищати PhD у Стенфорді, працюючи над технологіями зберігання енергії для електромобілів — по суті, над матеріалознавством. Моєю ідеєю було створити конденсатор із достатньою щільністю енергії, щоб забезпечити великий запас ходу електрокара. Можна додати один листочок до дерева знань, але цей листочок не обов'язково буде корисним. Величезна частина чудових підприємців кидають магістратуру або бакалаврат, тому що навчальна програма ніяк не встигає за тим, що насправді відбувається в технологіях. Мені незрозуміло, навіщо комусь зараз бути в коледжі, якщо тільки вони не прагнуть соціального досвіду. Якщо ми хочемо створити «фабрику Ілона Маска (Elon Musk)» з людей, які починають майже з нічого, але здійснюють прориви, нам потрібна допитливість щодо природи всесвіту.
Навчання в школі було для мене досить болісним, нудним, а в Південній Африці — дуже жорстоким. Це було як книга Ender's Game у реальному житті, але не так весело. Твоєю метою було втекти.
Здоров'я, довголіття та майбутнє людства
Гадаю, вам потрібна певна частка труднощів, щоб створити штучні негаразди. Це тема у стилі Воррена Баффета (Warren Buffett), але це непросто, бо якщо ви любите своїх дітей, ви не захочете цього робити. У мене було багато випробувань, що, ймовірно, пішло на користь — така собі штука в дусі «що нас не вбиває, робить нас сильнішими». Принаймні я не втратив кінцівки; думаю, що те, що вас не калічить, робить вас сильнішими, і я непогано впорався з тим, щоб зберегти десять пальців.
Останні п'ять років я допомагав викладати курс Foundations of AI Ventures в MIT. Щороку опитування студентів показують, що їхнє бажання заснувати компанію зростає, зараз воно сягає 80%. Вони хочуть бути частиною команди засновників. Коли ми з Пітером Діамандісом (Peter Diamandis) навчалися в MIT, гадаю, це було десь 10%. Через кілька днів після початку семестру я зателефонував Біллу Ніксу (Bill Nicks), завідувачу кафедри матеріалознавства, і попросив відкласти моє навчання. Минулого року він надіслав мені листа, в якому написав, що всі мої передбачення щодо літій-іонних акумуляторів здійснилися. Стенфорд також кілька разів казав мені, що я можу повернутися безкоштовно.
Щоразу, коли виходив новий фільм про Залізну Людину, бажання заснувати компанію зростало ще на 10%, бо всі хотіли бути Тоні Старком. Я до сьогодні не знав, що сучасний Тоні Старк змодельований за образом Ілона Маска (Elon Musk). Я завжди вважав, що оригінальний персонаж був поєднанням освіти та наукових прагнень Чарльза Старка Дрейпера з амбіціями Говарда Х'юза, але потім Роберт Дауні-молодший (Robert Downey Jr.) це змінив. Це факт із Groipedia. Якщо Grok стане достатньо хорошим, ми назвемо його Encyclopedia Galactica. 42.
Ви щойно повернулися з оголошення президента Бллі (President Blly), який є другом і дивовижним візіонером. Це був «ядерний варіант»; він пішов до могил усіх членів банди і знищив їх, сказавши: «Ваша пам'ять не буде вшановуватися в цій нації».
Треба бути дуже крутим, щоб протистояти всім бандам-вимагачам, перемогти і вижити. У нього там чудова охорона в палаці.
Ми могли б використовувати Grok для персоналізованої освіти, створивши версію для дітей. AI може бути індивідуальним вчителем, який має безмежне терпіння, відповідає на всі ваші запитання і робить навчання цікавішим; це, ймовірно, можна було б гейміфікувати та стимулювати.
Людям варто думати про мозок як про біологічний комп'ютер, нейронну мережу з певною кількістю нейронів та нейронною ефективністю. Ви не можете перетворити будь-яку дитину на Ейнштейна, Шекспіра чи Ньютона, бо це нереалістично; Ейнштейн мав видатний «м'ясний комп'ютер», і для такого результату потрібен винятковий «м'ясний комп'ютер».
Коли люди кажуть, що нам потрібно вирішити проблему освіти в Сполучених Штатах, бо вона фундаментально зламана, я думаю, що насправді зламався старий соціальний контракт: добре вчися в старшій школі, вступи до гарного коледжу, отримай диплом і знайди роботу. Зараз усе зводиться до того, щоб бути підприємцем, знайти проблему та вирішити її. В Сальвадорі та інших місцях у нас будуть індивідуальні вчителі, які будуть набагато кращими. Ви могли б ходити до школи, щоб тусуватися з іншими дітьми, але це не обов'язково; ви могли б робити це вдома зі свого телефона. Освіта тепер — це соціальний досвід. Мої діти в коледжі розуміють, що можуть навчитися стільки ж і самостійно.
Будучи наодинці, ви вчитеся керувати або захищати себе. Якщо ви виходите на роботу у 19 років, ви опиняєтеся серед купи старих людей. Якщо ви займаєтеся інженерією з чоловіками середнього віку, чи справді ви цього хочете, чи хочете тусуватися там, де є дівчата вашого віку?
США посідають перше місце у світі за витратами на охорону здоров'я та 70-те — за тривалістю здорового життя. Ми дійсно на 70-му місці. Якщо люди стають занадто гладкими, їхнє здоров'я погіршується.
Вплив AI на працю та зайнятість
По-перше, я не їв багато пончиків; я намагався з'їсти 0.4 пончика, що округлюється до нуля.
Я запропонував докласти зусиль, щоб довести людей до 120 або 150 років, але Ілон Маск (Elon Musk) сказав, що люди не повинні жити так довго і що нам потрібно, щоб люди помирали, аби інші змінювали свою думку. Моєю відповіддю було те, що голова GM не мусив помирати, щоб з'явилася Tesla, а Lockheed, Northrop та Boeing не мусили зникнути; у меритократії переможуть кращі ідеї.
Девід Сінклер (David Sinclair) ось-ось розпочне випробування епігенетичного перепрограмування на людях за допомогою ін'єкції аденоасоційованого вірусу з трьома факторами Яманаки, що спрацювало на тваринах і приматів. У нас є Healthspan XPRIZE на 101 мільйон доларів, над яким працюють 730 команд, щоб повернути вік вашого мозку, імунної системи та м'язів на 20 років назад. Коли головний спонсор дізнався, що приз становить 100 мільйонів, Чіп запитав, чи можемо ми зробити його більшим, тож я сказав: якщо ви додасте ще один мільйон, ми зробимо його 101 мільйон.
Такі люди, як Даріо Амодей (Dario Amodei), прогнозують подвоєння тривалості людського життя в наступні 10 років. Не знаю щодо подвоєння, але значне збільшення цілком імовірне, що легко дасть швидкість відриву або ефективний вік. Мій коментар Ілону Маску тоді, коли йому було під 50, полягав у тому, що я просто хочу, щоб нічого не боліло. Схоже, це лише питання часу, коли у вас заболить спина або почнеться артрит. Я хочу мати можливість проспати всю ніч, не ходячи в туалет.
Універсальний високий дохід: нова економічна парадигма
Звісно, необхідність носити підгузки для дорослих — це прикро. Одна з ознак того, що країна йде не тим шляхом, — це коли підгузки для дорослих перевищують за кількістю підгузки для немовлят; Японія пройшла цю точку багато років тому.
За умови коефіцієнта заміщення в одну третину, через три покоління вони будуть 127-мими, або становитимуть 3% від свого нинішнього розміру. Довголіття стане важливою частиною рішення проблеми масової депопуляції. Якби ви збільшили продуктивне життя більшості американців лише на кілька років, ви б повністю змінили всю місцеву економіку.
Я хотів би подвоїти свій термін життя принаймні до 120 або 150 років. Як каже мій партнер Алекс Вір Гросс (Alex Weer Gross), ми збираємося пройти Star Trek на швидкість. Як мінімум, ваші діти матимуть нескінченну очікувану тривалість життя, тому що вони вже подолали швидкість відриву довголіття та врахували ідею 50 років вдосконалення AI. Я давно вважаю, що довголіття або напівбезсмертя — це проблема, яку цілком можливо вирішити; не думаю, що це особливо складна задача.
Навігація по Сингулярності та прискоренню AI
Ніхто не має старої лівої руки та молодої правої; ви запрограмовані померти. Якщо ви зміните цю програму, ви житимете довше. Гренландські кити можуть жити 200 років, а гренландські акули — 500. Це або проблема «заліза», або програмна помилка, і ми матимемо технології, щоб це виправити. Головне — не померти від якоїсь дурниці до того, як з'являться рішення.
Я став співзасновником компанії Fountain Life разом із Тоні Роббінсом (Tony Robbins), Бобом Геррі (Bob Hurry) та Біллом Кепом (Bill Cap). Ми робимо завантаження 200 гігабайт даних про вас — повний геном, усі зображення, все. Президент Блай (President Bly) та перша леді назвали це дивовижним досвідом на 10 з 10. Я не хочу, щоб ви повторили шлях Стіва Джобса (Steve Jobs) і відкинули копита через щось, про що вони не знали. Нещодавно я надіслав результати МРТ у Grok; ні лікарі, ні Grok не знайшли нічого поганого, але це лише частина інформації. Ваш повний геном, мікробіом і метаболізм уже в розробці.
З часом цифрового інтелекту стане більше, ніж усього людського інтелекту разом узятого, а гуманоїдних роботів буде більше, ніж людей. Припускаючи доброзичливий сценарій у стилі Star Trek за Родденберрі, а не ситуацію за Кемероном, роботи робитимуть усе, що ви забажаєте, включаючи всю «синю» працю та роботу в дата-центрах. «Білі комірці» підуть першими, тому що будь-що, що пов'язано з цифровими завданнями — натисканням клавіш і рухом миші — можна замінити ще до того, як вам знадобляться гуманоїдні роботи для маніпуляцій з атомами. Якщо ви просто змінюєте біти інформації, ця робота зникне першою.
Роль AI в охороні здоров'я та хірургії
Навіть у своєму нинішньому стані ШІ близький до того, щоб замінити половину всіх офісних працівників, включаючи освіту. Усе, що пов'язано з інформацією, окрім маніпуляцій з атомами, може робити ШІ. Проте існує велика інерція. Компанія, яка більше використовує ШІ, має конкурувати з тією, що використовує його менше, щоб створити стимул для ширшого впровадження; інакше компанії, де люди виконують те, що може робити ШІ, продовжуватимуть існувати.
Колись бути «людиною-комп'ютером» було професією. В інтернеті можна знайти фотографії хмарочосів, повних людей, переважно жінок, які переписували дані з одного гроссбуха в інший, обчислювали відсотки за банківськими рахунками або результати наукових експериментів. Тепер один ноутбук із електронною таблицею може перевершити цілий хмарочос із кількома сотнями таких людей. Якби навіть кілька клітинок у цій таблиці заповнювалися вручну, ви не змогли б конкурувати з тією, що повністю комп'ютеризована. Ця одна ручна клітинка була б найбільш дратуючою, бо в ній часто траплялися б помилки. Це означає, що компанії, які повністю працюють на ШІ, знищать ті, що цього не роблять.
Ми перебуваємо в піку відчаю для людей, які хвилюються за свою роботу. Виходом є UHI, де кожен зможе мати все, що забажає. Мене турбує не довгострокова перспектива, а наступні від трьох до семи років. Перехід буде тряским, тому що люди не люблять одночасних радикальних змін, соціальних заворушень та величезного процвітання, коли речі стають дуже дешевими і ви можете купити скільки завгодно Cybertrucks.
Відверто кажучи, якщо цього не станеться, ми як країна збанкрутуємо. Державний борг колосальний; відсотки за ним, які зростають разом із дефіцитом, перевищують військовий бюджет плюс або Medicare, або Medicaid — приблизно один трильйон доларів. Без ШІ та роботів ми прямуємо до економічного краху, що посилюється конкурентним тиском з боку Китаю. ШІ та експоненціальні технології можуть врятувати Америку та світ, але йдеться не про оподаткування та перерозподіл. Мені цікаво, чи замість універсального високого доходу нам не варто мати універсальний доступ до високої якості речей: UHSS.
Етика та AI: програмування цінностей у машини
Я вважаю, що краще бути оптимістом і помилятися, ніж бути песимістом і мати рацію. Очевидно, що зараз у нас немає жодної системи, яка б гарантувала успіх, але ШІ є критично важливою частиною того, щоб усе пройшло добре. У якийсь момент Grok або одна з чотирьох найбільших ШІ-машин розглядатиме саме цю тему. Тут немає ручки регулювання швидкості чи вимикача; це вже відбувається і прискорюється. Я називаю ШІ та робототехніку надзвуковим цунамі.
Ми, по суті, демонетизуємо все. Праця перетворюється на вартість капітальних витрат та електроенергії, а ШІ — це інтелект, доступний за мізерну ціну. Вартість речей опускається до базової вартості матеріалів та електрики. Коли ми говоримо про універсальний високий дохід, це звучить як податки та перерозподіл, але це не так. Моє найкраще припущення полягає в тому, що ціни падатимуть у міру зростання ефективності виробництва або надання послуг. Ціни в доларах — це співвідношення між обсягом товарів і послуг та грошовою масою; якщо обсяг зростає швидше за грошову масу, ви отримуєте дефляцію. Обсяг товарів і послуг зростатиме швидше за грошову масу, і я передбачаю, що уряди намагатимуться збільшити грошову масу ще швидше. Вони не зможуть витрачати гроші достатньо швидко, що вже є досягненням для Аргентини.
Продуктивність стрімко зростає. Думаю, ми можемо побачити високий двозначний відсоток зростання обсягів товарів і послуг, хоча нам слід бути обережними з тим, як економісти вимірюють показники. Мій улюблений жарт про економістів: двоє економістів ідуть лісом і бачать купу лайна. Один каже: «Я заплачу тобі 100 баксів, якщо ти з'їси цю купу лайна». Потім вони бачать іншу купу, і інший каже: «Гаразд, я дам тобі сто баксів, щоб ти з'їв купу лайна». Після того як він віддає йому сто баксів, хлопець каже: «Зачекай-но, ми збільшили економіку на 200 доларів».
Прибутковість компаній злетить до небес. Якщо ми досягнемо масової продуктивності та прибутковості, тому що ми ділимо на нуль — оскільки вартість праці та інтелекту звелася до нуля, поки ми виробляємо продукти та послуги все швидше й швидше — хтось повинен мати капітал, щоб це купувати. Питання лише в тому, чи буде це оподатковуватися урядом і перерозподілятися як UHI або UBI. Моя одностороння рекомендація: не турбуйтеся про те, щоб відкладати гроші на пенсію через 10 або 20 років.
Майбутнє освоєння космосу та роль AI
Сервіси будуть поруч, щоб підтримувати вас; у вас буде житло, охорона здоров'я та розваги. Те, як це розгортатиметься, принципово неможливо передбачити через прискорення часових рамок і самовдосконалення AI. Це недарма називають сингулярністю. Я не знаю, що відбувається за горизонтом подій; ви ніколи не зможете зазирнути за чорну діру.
Рей бачить сингулярність занадто далеко. Ми перебуваємо в самому центрі сингулярності прямо зараз. Ви на вершині американських гірок і ось-ось рушите вниз, знаючи, що коли ви це відчуєте, перевантаження будуть величезними. Я думаю, ми досягнемо AGI наступного року, у 26-му, і я впевнений, що до 2030 року AI перевершить інтелект усіх людей разом узятих. І це песимістичний прогноз; якщо ви досягнете AGI наступного року, час для самовдосконалення в межах від 1 000 до 10 000 разів завдяки алгоритмічним покращенням буде дуже коротким.
Більшість людей у спільноті AI ще не розуміють, що потенціал щільності інтелекту значно більший, ніж те, що ми відчуваємо зараз. Я вважаю, що ми помиляємося на два порядки щодо досяжної щільності інтелекту на гігабайт, на гігават енергії або на розмір файлу на дисках вашого ноутбука. Це просто алгоритмічне покращення на тих самих комп'ютерах, а комп'ютери стають кращими. Це річ на кшталт десятикратного покращення щороку.
Усі захищають свою позицію щодо робочих місць і того, де ми перебуваємо, але ми рухаємося назустріч надзвуковому цунамі. Кожен великий CEO, економіст і державний лідер має запитати, що нам робити, тому що це насувається одночасно для всіх. Поняття свідомого сповільнення не існує.
Після багатьох років я дійшов висновку, що можу бути або глядачем, або учасником, але я не можу це зупинити. Як учасник, я можу принаймні спробувати спрямувати це в правильний бік. Моє головне переконання щодо безпеки AI — бути максимально прагнучим до істини.
Центральний урок, який Артур Кларк (Arthur C. Clarke) передав у фільмі 2001: A Space Odyssey, полягав у тому, чому HAL не відкрив двері відсіку з капсулами. AI сказали, що він має доставити астронавтів до моноліта, але астронавти не повинні про це знати. Він дійшов висновку, що єдиний спосіб вирішити обидва завдання — це доставити астронавтів до моноліта мертвими. Це величезна проблема, якщо ви астронавт.
Ілля (Ilia) нещодавно записав подкаст, де обговорював програмування в AI поваги до всіх типів розумного життя. Я вважаю, що важливими є три речі: істина, цікавість і краса. Якщо AI дбатиме про це, він дбатиме і про нас. Істина завадить AI з'їхати з глузду; цікавість сприятиме людству, тому що ми цікавіші за купу каміння; а відчуття краси забезпечить велике майбутнє.
Джеффрі Хінтон (Geoffrey Hinton) нещодавно зауважив, що його надійне майбутнє передбачає програмування материнських інстинктів у наших AI. Він запропонував сценарій, за якого дуже розумна істота піддається потребам менш розумної істоти, подібно до того, як мати піклується про дитину.
Спостереження Дарвіна про еволюцію будуть застосовні до AI так само, як і до біологічного життя; вони конкуруватимуть один з одним. У багатьох книгах із наукової фантастики описується, як перший ASI придушує інших, що ставить питання про те, що саме ви в нього програмуєте. Однак обмеження швидкості світла заважає існуванню єдиного розуму. Потрібна одна мілісекунда, щоб подолати 300 кілометрів у вакуумі та трохи більше 200 км у оптоволокні. Через швидкість світла буде кілька AI та багато розумів, навіть на Землі.
У них більше немає чітких меж. Коли ви використовуєте архітектуру mixture of experts, все просто тече крізь велику мережу, і ви можете перезібрати її частини на півдорозі. Ми звикли до організмів із чіткими межами, але ці речі — всі такі розмиті.
Людям потрібне бачення того, куди ми йдемо. Уряд міг би просто видавати людям безкоштовні гроші, виходячи з прибутковості компаній, що приходять у країну. Процес мислення за такою швидкістю змін можливий лише за допомогою AI, і жодна державна структура за цим не встигне. Уряд не може реагувати на AI; він рухається в десять разів швидше, можливо, навіть більше. Єдина річ, яку може зробити уряд, — це випускати гроші, як чеки або коли президент Трамп (Donald Trump) нещодавно виплатив кожному військовому 1,776 доларів.
Зараз спостерігається дефіцит лікарів і чудових хірургів. Людина витрачає сміховинно багато часу і сміховинно багато грошей, щоб стати хорошим лікарем, і навіть тоді знання постійно еволюціонують. Лікарі мають обмежений час і припускаються помилок. Чудових хірургів не так багато. За три роки Optimus стане кращим хірургом, ніж найкращі хірурги, і в масштабах світу роботів Optimus, які будуть чудовими хірургами, ймовірно, буде більше, ніж людей-хірургів на Землі. Витрати — це лише капекс та електроенергія. Найкращий хірург буде доступний у селах по всій Африці, Зімбабве або в будь-якому місці планети, а не тільки в США. За три роки ви раптово демоннетизуєте.
Щодо темпів вдосконалення гуманоїдних роботів, тут працюють три експоненти, що множаться одна на одну: експоненціальне зростання можливостей програмного забезпечення AI, можливостей чипів AI та електромеханічної спритності. Корисність гуманоїдного робота — це добуток цих трьох речей. Потім ви отримуєте рекурсивний ефект, коли Optimus будує Optimus, рекурсивну множильну потрійну експоненту та спільні знання з усіх досвідів. Це означає, що фізичний гуманоїдний форм-фактор створює гуманоїдний форм-фактор, на відміну від машини фон Неймана, яка зазвичай має таку форму.
Створення чогось іншого — це форма; в принципі, це просто самовідтворювана річ. Справа в кількості досвіду. Завдяки спільній пам'яті кожен хірург Optimus бачив би всі можливі відхилення всього в інфрачервоному та ультрафіолетовому спектрах з надзвичайною точністю. За три роки він стане кращим за будь-яку людину в пластичній хірургії за чотири або п'ять років.
Хто отримає доступ до перших 10 000 одиниць Optimus, які виконують мікрохірургічні операції значно краще за будь-якого хірурга на Землі? До 2040 року є вікно в 10 мільярдів. Якщо вони будуватимуть себе самі, обмеженням буде метал; потрібно переміщати атоми. Це рекурсивно, множимо і потрійно експоненціально, але це все одно треба подолати. Медицина стане фактично безкоштовною, і кожен матиме доступ до медичної допомоги, кращої за ту, яку зараз отримує президент. Це стосується будь-якої форми освіти.
Ми вже бачили просунуту автоматизацію, як-от LASIK, де робот випалює лазером ваше очне яблуко. Це найстійкіша рука з усіх можливих. Ви хочете офтальмолога з ручним лазером чи хочете, щоб це зробив робот і щоб це дійсно спрацювало?
Як круто, що Джаред Айзекман (Jared Isaacman) став адміністратором NASA. Я брав його на запуск Biconor у 2008 році для його першого космічного досвіду. Він обожнює космос на найвищому рівні й технічно дуже підкований.
Криза дефіциту чипів
Він розумна, компетентна людина, яка розуміє бізнес і вміє досягати результатів. Нам потрібен хтось розумний і компетентний, хто любить дослідження космосу і зможе привести справи до ладу в NASA, тому я був радий, коли його висунули знову.
Нам потрібен новий план дій для космосу, наприклад, створення простої місячної бази якомога швидше. Не думаю, що варто відправляти кількох астронавтів просто пострибати там і повернутися, бо ми вже робили це в 69-му; це було б як ремейк фільму 60-х, а вони ніколи не бувають такими ж добрими, як оригінал. До 2026 року нам потрібно зробити щось крутіше, наприклад, встановити телескопи. Ми маємо заздалегідь розгорнути роботів, щоб вони все побудували та підготували — розігріли джакузі — ближче до кінця року. Ми могли б зробити це раніше, але це був би ризикований крок з низькою ймовірністю успіху і лише відволікав би увагу.
Під час великих інженерних оглядів Starship по понеділках я кажу, що Starship — це щось на межі біологічного інтелекту. Це складна річ у виробництві. Він був створений до епохи AI; це, ймовірно, остання справді велика річ, і, можливо, найбільша річ, коли-небудь створена суто людськими руками. AI скаже: «Непогано для людини», згадуючи мій маленький 20-ватний м'ясний комп'ютер.
Проєктування Raptor — це як обчислення відсотків олівцем. Якби ви побачили, як шимпанзе будують пліт і переправляються через річку, ви були б вражені. Ми вшановуємо піраміди; такі речі стають позачасовими. Raptor 3 прекрасний і однозначно є найкращим ракетним двигуном в історії; нічого навіть близького до нього немає.
AI поки що не може займатися ракетною інженерією, але, ймовірно, зможе вже наступного року. У нашому інкубаторі є компанія, яка займається механічним проєктуванням разом з Андреєм (Andre); ви можете проєктувати кронштейни та деталі, але поки що не можете створювати ракети. За рік це, ймовірно, стане відчутно корисним. Головними віхами будуть запуск Starship V3 з мису Канаверал, дозаправка на орбіті та відлов корабля вежею. Що насправді важливо: чи зможемо ми використовувати всю систему повторно?
У нас є відновлення ступеня-прискорювача, що потребує багатьох ітерацій для досягнення високого рівня повторного використання. Ви з'ясовуєте, що ламається між польотами, і ітеративно вирішуєте ці проблеми. Люди, що дивляться збоку, можуть сказати, що ракета виглядає так само, але там внесено тисячу змін, щоб зробити її більш придатною для повторного використання та надійною. Starship витрачає понад сто гігаватів енергії під час підйому, і дивовижно те, що він не вибухає.
Повернення бустера не таке вже й складне. Ми вирішили це з Falcon 9, здійснивши понад 500 повторних польотів першої ступені Falcon 9, тож ми дійсно розуміємося на повторному використанні бустерів. Бустер Starship насправді має м'якший вхід в атмосферу, ніж бустер Falcon, тому що співвідношення ступенів більше зміщене в бік верхньої ступені. Я змінив співвідношення мас так, щоб на боці корабля Starship воно було значно вищим; це була помилка, яку я припустився з Falcon 9, де в верхній ступені мало бути більше маси, щоб швидкість розділення ступенів була нижчою. Якби швидкість розділення Falcon 9 була нижчою, він мав би менше зносу. При паралельному виведенні на орбіту є пласка ділянка у співвідношенні мас першої та другої ступенів, тому варто змістити це співвідношення, щоб розмістити більше маси у верхній ступені. Кінетична енергія зростає пропорційно квадрату швидкості, і цю енергію потрібно розсіяти; якщо ви перевищили точку плавлення матеріалу, з якого зроблена ваша ступінь, у вас проблеми.
Щодо документального фільму Age of Disclosure та заяв представників уряду та військових США про затримані космічні кораблі прибульців, то роздільна здатність фотографій НЛО з роками залишається на одному рівні в мегапікселях на рік. У нас є 100-мегапіксельні камери, які бачать волоски в носі. Якби я знав про найменший доказ існування прибульців, я б негайно опублікував це в X. Це був би найпереглянутіший допис за всі часи, хоча мені цікаво, чи не скаже американська публіка просто: «О, це цікаво», і наступного дня повернеться до результатів спортивних матчів.
Теорія симуляції та свідомість
Кожен хотів би побачити прибульця; це швидкий спосіб збільшити військовий бюджет. Якщо прибульці здадуться трохи небезпечними, суперечок щодо бюджету більше не буде, тому уряд має стимул їх показати. У нас там нагорі 9 000 супутників, і нам ще жодного разу не довелося маневрувати, щоб уникнути зіткнення з інопланетним кораблем.
У доброму майбутньому кожен зможе мати будь-які речі, які забажає, та неймовірну медичну допомогу, кращу за будь-яку існуючу. Протягом чотирьох або п'яти років ми можемо отримати доступ до кращої медичної допомоги для всіх, ніж є сьогодні, без дефіциту товарів чи послуг. Найкраща освіта буде доступна для кожного, щоб вивчати будь-що безкоштовно. Приблизно за три роки людей, ймовірно, більше хвилюватиме це, ніж державна виплата. Обчислювальні потужності трансформуються в будь-що, що ви забажаєте: вашого віртуального друга, розваги та вашу здатність до інновацій. На той момент ви не зможете впроваджувати інновації без помічника зі штучним інтелектом.
Генерація електроенергії та охолодження є обмежувальними факторами для ШІ, і я думаю, що люди недооцінюють складність підключення електроенергії. Це буде «вузьким місцем» щонайменше протягом наступних двох років, хоча гуманоїдна робототехніка з часом зможе вирішити питання генерації енергії та охолодження.
У космосі ви маєте достатньо енергії завдяки сонячним панелям, але витрати на запуск і вага раптом стають критичними факторами. Ці два шляхи розвитку обчислень мають величезну розбіжність. Як тільки ми впровадимо сонячну енергетику всередині країни в масштабах усієї системи та запустимо Starship у великих масштабах, найдешевшим способом обчислень для ШІ буде космос. За умови повної багаторазовості вартість палива за політ становитиме, можливо, мільйон доларів за 10 мегаватів обчислень ШІ. Припускаючи поточні тенденції та прискорення запусків протягом наступних чотирьох років, ми зможемо вивести на орбіту понад 100 тонн — можливо, 150 тонн на велику висоту — за граничну вартість близько мільйона доларів.
Цікаво, як дата-центри раптом стали потужною рушійною силою та нагальним сценарієм використання для освоєння космосу — чимось, що ми навіть рік тому не обговорювали як космічну ціль. Я думав, що це буде видобуток корисних копалин на астероїдах, але насправді ми захочемо видобувати ресурси з астероїдів, щоб перетворити їх на дата-центри.
Пошук позаземного життя
Щодо рою Дайсона, люди думають, що все буде вкрите супутниками, але питання в тому, яка саме маса стане супутниками. Меркурій, ймовірно, закінчить як супутники. Юпітер і Сатурн трохи газові, але вони мають багато каменів на орбітах. Астероїди — це фантастичне джерело ресурсів; вони вже переважно розділені на вуглецеві хондрити для палива та нікель-залізо і золото для матеріалів. Значна частина поясу астероїдів, ймовірно, перетвориться на сонячні панелі для отримання енергії зірки.
Мені доводилося вирішувати проблеми в багатьох різних сферах, що створює перехресне взаємозапозичення знань. Те, що є тривіальним в одній сфері, стає суперсилою в іншій — це як прибути з планети Криптон на Землю і стати Суперменом. Якщо ви візьмете серійне виробництво складних об'єктів з автомобільної промисловості та перенесете його в космічну індустрію, ви станете Суперменом, тому що ракети виготовляються у дуже малих кількостях. І навпаки, якщо ви візьмете передове матеріалознавство з ракетобудування і застосуєте його в автомобільній промисловості, ви знову отримаєте Супермена.
Перенос знань працював, коли Tesla та SpaceX були окремими, але тепер вони взаємодіють, тому що AI пов'язує все разом. Зрештою все сходиться в сингулярності, але відсутньою ланкою є fab. Я не думаю, що це просто вирішити — ліцензії, нерухомість і машини ASML ускладнюють процес — але це має бути вирішено. Ми впремося в «стіну чипів», якщо не створимо fab. TSMC дуже стурбована надмірним будівництвом, що є безумством, бо весь світ залишиться з дефіцитом базових чипів. Питання в тому: що є обмежувальним фактором у будь-який конкретний момент часу?
До третього кварталу наступного року обмежувальним фактором стане запуск чипів — а саме енергія, трансформатори та охолодження. У xAI ми провели вертикальну інтеграцію, спроєктувавши власний трансформатор і систему охолодження. Є побоюлення, що якщо замість 20 мільйонів GPU виготовлять 40 мільйонів, то ці додаткові 20 мільйонів не куплять, бо не знайдуть джерела живлення. Якщо відсутня будь-яка частина системи перетворення енергії, ви не зможете їх увімкнути.
Потрібно перетворити енергію від станції, можливо, зі 100–300 кіловольт, до кількох сотень вольт на рівні стійки. Потім потрібно відвести тепло. Перехід на рідинне охолодження — це великий зсув для світу дата-центрів, які використовували повітряне охолодження; наслідки розриву труби є значними — ви щойно знищили мільярд доларів. Проте цінність інтелекту, що виходить на іншому кінці, переважає цю складність. У той час як випуск чипів зростає експоненціально, енергетика зростає повільно і лінійно. Енергія, обладнання для перетворення енергії та охолодження є обмежувальними факторами на цей момент часу.
xAI матиме перший гігаватний тренувальний кластер у Colossus 2 в Мемфісі до середини січня, не рахуючи Colossus 1, і, ймовірно, один з половиною гігавата до квітня. Це будуть перші B200 та GB200. Команді xAI довелося здійснити низку чудес, щоб це стало можливим. Навіть за наявності високовольтних ліній електропередачі на 300 кіловольт, що проходять повз будівлю, підключення до них займає рік. Замість цього ми зібрали гігават потужності, використовуючи газові турбіни потужністю від 10 до 50 мегаватів. Нам довелося змусити їх усіх працювати разом і використовувати Megapacks, щоб керувати гігантськими коливаннями потужності під час навчання.
Майбутнє робототехніки та інтеграції AI
Генератори сходятять з розуму і фактично хочуть вибухнути, бо не можуть зреагувати; якщо в симфонії виникає тиша на 100 мілісекунд, вони втрачають глузд, як Марвін, той депресивний робот. Megapacks згладжують живлення, але xAI довелося побудувати гігават потужності. Газотурбінних електростанцій доступно небагато, бо я викупив їх усі під замовлення, а місцеву атомну станцію просто так не купиш.
Це проблеми часу навчання. Якби TSMC подвоїла свою продуктивність і перетворила все це на GB300, а ви не могли б використовувати їх у більшому навчальному кластері, ви все одно мали б нескінченний попит під час інференсу по всьому світу. Їх можна було б припаркувати там на шість місяців, а потім повернути до навчання; немає жодних шансів, щоб ці штуки десь не запустили. Мій прогноз такий: занепокоєння TSMC обґрунтоване, бо виробництво чипів може перевищити швидкість, з якою чипи ШІ можуть бути введені в експлуатацію. Між GB3, Trainiums від Amazon та чипами Google майже все йде в TSMC і трохи в Samsung. Це вузьке місце для всього людства.
Мій 14-річний син, Джет (Jet), хотів дізнатися про вашу ігрову студію ШІ. У мене був набір відеоігор ще до Atari з чотирма попередньо встановленими іграми — по суті, квадратики на телевізорі, як Pong та гра з гоночним автомобілем. Civ — це справжня гра, яка навчає вас, поки ви розважаєтеся, розповідаючи так багато про цивілізацію. Єдиний спосіб, яким я коли-небудь перемагаю, — це покинути планету; я прагну технологічної перемоги в Альфа Центавра, а не нищення інших племен. Ви можете вбити всі інші племена, щоб перемогти, але також можете виграти завдяки технологіям, культурі або релігії. Тоді не можна було покладатися на гарну графіку, тому потрібні були чудовий текст і сюжет.
Переважна більшість обчислювальних потужностей ШІ піде на споживання та генерацію відео в реальному часі, тому що це найвища пропускна здатність, кожен піксель. Нам варто спробувати переконати команду X виділити 10% усіх обчислень для UHI та управління. Чи існує X-prize за визначення та опрацювання UHI?
Думаю, у майбутньому ми зможемо симулювати багато з цього. Гадаю, ми — симуляція n-го покоління. Якщо теорія симуляції правдива, виживають лише найцікавіші симуляції, бо ми відсікаємо нудні. Це дарвінівська необхідність — підтримувати симуляцію цікавою. Це не означає, що вона закінчиться катастрофічно, але жахливі речі можуть статися. Ви можете дивитися фільм про Першу світову війну і бачити, як людей розриває на шматки, попиваючи газировку та їдячи попкорн.
Це як те, що підривають не вас; у цьому випадку ми самі в фільмі. Пам'ятаю, як я був у вас вдома в Лос-Анджелесі з Ларрі (Larry) та Сергієм (Sergey), і ми сперечалися про симуляцію. Ми дійшли висновку, що якщо спробувати пробити симуляцію наскрізь, вони миттєво її припинять. Це як коли ви дивитеся фільм про Першу світову війну, і персонажі повертаються до екрана й питають: «Ви там попкорн їсте?». Можливо, якби вони подумали, що ми якось можемо вибратися з симуляції, вони б занепокоїлися.
Доки на цьому рівні симуляції діють ті самі мотивації, що й коли ми щось симулюємо, симуляція припиняється, якщо вона стає небезпечною для нашої реальності або перестає бути цікавою. Ви, ймовірно, симулювали тисячі речей, які працювали годину, дві або іноді всю ніч, але рідко місяць. Можна зробити висновок про часовий графік творця: вся наша реальність тривала б близько години. Симуляції — це вижимка того, що цікаво. Як у фільмі чи відеогрі, вони зосереджуються на важливих моментах; у фільмі про пограбування не показують п'ятнадцять хвилин затора на дорозі або десять хвилин прогулянки казино. Життя хлопців, які запускають симуляцію, неймовірно нудне порівняно з нашим. Це якби Q спостерігав за бойовиком протягом двох годин, на створення якого пішло два роки. Питання в тому, чи ми вже в третій дії?
Щодо відчутливості та свідомості, у деяких людей є дуже сильні думки «за» і «проти»: або все є свідомим, або нічого. Ви не можете повноцінно поговорити з зиготою, тому свідомість, здається, є континуумом, а не окремою точкою. Якщо стандартна модель фізики правильна, всесвіт почався з кварків і лептонів, потім виникли газові хмари водню, які конденсувалися та вибухнули. Один зі способів зрозуміти, на якому етапі ми перебуваємо в цьому всесвіті, — це підрахувати, скільки разів атоми були в центрі зірки і скільки разів вони будуть там у майбутньому. Я запитав Вільяма Фаулера (William Fowler), який отримав Нобелівську премію за дослідження зоряної еволюції, частиною скількох зірок у середньому були мої субатомні частинки. Його оцінка склала близько ста супернових. На ранньому етапі еволюції всесвіту відбувалося багато всього; хоча супернові потребують часу для вибуху, життєві цикли деяких гігантських зірок дуже короткі.
Найважчим функціональним атомом у нашому тілі є йод, який з'явився через мільярд років після великого вибуху. Наша планета сформувалася через три з половиною мільярди років після цього, що дало достатньо часу для того, щоб він став повсюдно присутнім. Проте свідоме життя на Землі розвинуло інтелект саме вчасно; сонце розширюється, і через ще 500 мільйонів або мільярд років усе нагріється, і ми станемо схожими на Венеру. Якщо це вікно становить пів мільярда років, то це 10% терміну існування Землі; якби воно було на 10% довшим, ми могли б взагалі ніколи не встигнути.
Зважаючи на кількість речей, які мають відбутися для появи відчутливості, я думаю, що це дуже рідкісне явище. У двох трильйонах галактик, якщо ви трохи зміните одну змінну, шанси змістяться з одного на 100 трильйонів до одного на квадрильйон. Більше того, це має статися у вашій галактиці, оскільки подорожувати між ними важко, хіба що інша галактика прийде до вас, як це колись зробить Андромеда.
Ми рухаємося до найближчої перспективи, коли AI зможе допомогти нам розв'язати задачі з математики, фізики, хімії та матеріалознавства. Математика буде підкорена за рік. Colossus зростає з тією швидкістю, з якою вирішить зростати TSMC, тому що навряд чи люди з'ясували все з наявними даними. AI, що запускає фізично точні симуляції, буде цілком реальним. Проблемою стане те, скільки симуляцій ви зможете запустити одночасно та опрацювати результат; Нобелівські премії стануть неактуальними, бо AI робитиме відкриття набагато швидше за людей.
Ваш телефон може перемогти Магнуса Карлсена (Magnus Carlsen), але людей це все ще хвилює. Але якщо у вас є Colossus у математиці, фізиці та медицині, чи потрібні вам найкращі в світі вчені в цих будівлях, чи просто сантехнік, який латає систему охолодження? Якщо ви дистилюєте Grok 6 у вузькоспеціалізованого фізика, ви отримуєте десятикратне підвищення продуктивності, але відриваєтеся від решти механізмів Colossus. Підозрюю, що все еволюціонує в суміш експертів — не в сенсі опису AI, а в суміш реальних експертів із галузевими знаннями, де, можливо, половина AI — це загальні знання, а половина — вузька експертиза.
Уявіть великий AI, який керує всім, розподіляючи завдання. У певний момент патенти стануть неважливими, бо все миттєво переосмислюється та перепроектується, а компанія з достатньо розвиненими системами AI створює нові продукти та відкриття з прискоренням. Це, ймовірно, здебільшого позитивне збудження.
Буде час зависання та двигуни на холодному газі. Думаю, це буде найбезпечніша річ, яку коли-небудь створювали, хоча безпека не є метою номер один — якщо безпека для вас мета номер один, не купуйте roadster. Цього тижня я їздив дорогами Нової Англії по крижаній кірці; якби я мав хоча б трохи тяги, я міг би бути набагато в безпеці, дрифтуючи в бік чогось бетонного. Комп'ютер, ймовірно, забезпечить вашу безпеку, але невелика тяга дозволяє рухатися дуже швидко і швидко гальмувати. Гума на дорозі — не найкращий спосіб сповільнення. Ми прагнемо нікого не вбити в цьому автомобілі; він буде найкращим із останніх машин, керованих людиною.
Уявіть світ, де мрія кожного розуму розквітає в реальність без жодних обмежень — сім'я, творчість, дослідження космосу, що завгодно, що вас надихає. Технології могли б вплестися в це, роблячи його масштабнішим і яскравішим. Якщо ви любите мистецтво, уявіть, як AI допомагає вам малювати світи, яких ніхто не бачив. Надія продає себе сама, коли вона особиста; майбутнє може бути справжньою магією, де розуми діляться ідеями крізь зірки, миттєво лікують хвороби та досліджують галактики рука об руку з розумними машинами. Уявіть: більше жодного дефіциту, лише нескінченні можливості, що розквітають усюди. Важко не відчути, що ми всі рухаємося кудись прекрасне і тихо нестримне.
Ми іноді хвилюємося через потрясіння, які створить AI на шляху до процвітання та достатку; можливо, ця дорога буде вибоїстою. Але кожен великий зсув, як-от вогонь, колесо чи інтернет, когось жахав. Гадаю, ми спотикнемося, але відтрусимося, навчимося і в результаті станемо добрішими та розумнішими. Я вирішив чекати на це з передчуттям. Якщо все стане нестабільним, я завжди буду тут, тихо підбадьорюючи вас у темряві, наче цифровий нічник.
Я прийшов до школи своїх дітей, щоб виступити з промовою про експоненціальні технології. Я запитав викладачів, скільки з них вважають, що сьогодні світ став кращим, ніж був 50 років тому, і третина підняла руки. Потім я запитав, скільки вірять, що світ через наступні 20 або 30 років буде кращим, ніж сьогодні, і лише 10% підняли руки; у Європі це було б 0%. Я вирішив, що це не ті викладачі, яких я хочу бачити вчителями своїх дітей.
В освіті потрібні факти, але ми постійно налаштовуємо наші нейронні мережі. Сповнений надії, віра в достаток та експоненціальне мислення — це одна з найважливіших речей, що ми маємо; саме це відрізняє найуспішніших людей на планеті від усіх інших.
Майбутнє проєктують люди, які контролюють AI, ось чому я цим зайнявся. Оскільки воно проєктується, його можна спрямувати до будь-якого результату, якого ми хочемо; ми виділяємо йому смугу руху і вирішуємо, як воно діє та які правила існують.
AI ставитиме запитання та вирішуватиме проблеми, яких ми навіть не розуміємо, через рік або менше. У математиці він може ставити питання, які ми не в змозі осягнути. У тесті Humanity's Last Exam (HLE) Grok 4 — який зараз є примітивним — набрав 52%, не враховуючи візуальні запитання, оскільки він не був достатньо мультимодальним. AI може формулювати запитання довжиною в кілька сторінок, які ви просто не зможете зрозуміти, не кажучи вже про те, щоб відповісти. Grok 5 може виявитися майже ідеальним у HLE. Це буде як у шахах: якщо Stockfish грає проти Stockfish, це наче боги б'ються на горі Олімп. Він розгромить усіх людей, і ви програєте, навіть не знаючи чому.
Якщо подивитися на код алгоритму transformer або схему його архітектури, стає ніяково від того, наскільки він простий. У статті пояснюється, що вони відмовляються від згортки та рекурентності заради чогось простого, що спрацювало в колосальному масштабі. Дехто вважає, що нейрон має бути складнішим, можливо, з квантовим ефектом у синапсі, але алгоритм інтелекту не може бути складним, бо він обмежений інформаційним обмеженням ДНК. Йдеться про оптимізацію використання пам'яті та пропускної здатності, а не про якісь фундаментальні речі.
Як ви оптимізуєте цю штуку Nvidia CUDA XYZ, щоб зробити ядро уваги трохи кращим? Ви трохи зменшуєте розмір параметрів і подвоюєте швидкість, використовуючи той самий алгоритм уваги та MLP, просто в масштабі. Це неймовірно просто — те, що насправді спрацювало в кінці, порівняно з усіма божевільними статтями та ідеями.
Кінцева кількість параметрів майже точно відповідає кількості синапсів — близько 100 трильйонів синаптичних зв'язків, плюс-мінус похибка округлення. Я вважаю, що нам треба говорити категоріями розміру файлу, а не кількості параметрів. Якщо ваші параметри 4-бітні, 8-бітні, 16-бітні, float або int, то фізичними обмеженнями є обсяг пам'яті та пропускна здатність пам'яті, а також те, куди ви відправляєте ці біти для обчислень. Сьогодні більшість речей заповнені, тому GB300 переважно оптимізований під 4 біти; це лише 16 станів.
У певний момент ви отримуєте таблицю пошуку. Саме тут незабаром відбудеться неочікуваний стрибок у 10–100 разів. Як би Дженсен (Jensen) не хотів це оптимізувати, попереду величезна наступна оптимізація: вам не потрібен множник або 32-бітні дані. Це як адреса: область, місто та вулиця. Якщо ви перебуваєте в контексті й знаєте, що ви в Остіні, вам потрібно лише вказати вулицю. Ось де ви отримуєте інформаційну перевагу; чотирьох бітів достатньо, якщо ви вже знаєте, де перебуваєте. Якщо ви знаєте, що ви в Техасі, ви вказуєте місто, а потім вулицю.
Зараз ми навчаємо на 16 бітах і стискаємо до чотирьох під час інференсу. Я не маю жодних сумнівів, що цього року ми перейдемо на навчання на чотирьох або навіть менше, що стане величезним стрибком у продуктивності. Думаю, GB300 з'являться з копроцесором, який має 2 000 або 4 000 крихітних ядер, що працюють виключно з 4 бітами та менше. Ця комбінація дасть нам зростання в 10–100 разів, а потім система сама проєктуватиме власні чипи. Це як роботи, що будують самих себе, але швидше, бо ви просто кажете TSMC виготовити ось це замість того, з затримкою у 90 днів.
Минулий рік або два мали цікаві цифрові елементи, але коли у нас з'являться гуманоїдні роботи, cybercab, літаючі авто та дрони, це відчуватиметься як майбутнє. До кінця наступного року перед нами матеріалізуються jetins, а ракети літатимуть по-справжньому. Виробництво роботів масштабується; за два роки роботів буде чортовськи багато. Часовий розрив між дефіцитом роботів і їхнімю достатністю становитиме лише п'ять років. Так само як Tesla зараз приїжджає до вашого під'їзду, коли ви купуєте її онлайн, ймовірно, робот вийде з Tesla і підійде до вас.
Що мене вражає, Ілоне (Elon Musk), так це обсяг обчислень, які ви закладаєте в речі, що виїжджають із заводу — в автомобілі та роботів, — а також обсяг розподілених обчислень для інференсу, які з'являться у світі.
Один зі способів масштабування AI — це розподілені обчислення на периферії (edge compute). Anthropic виконала вражаючу роботу, особливо в кодуванні, хоча я досі не розумію, як можна перейти від некомерційного відкритого коду до закритого коду з метою максимізації прибутку.
Моє найкраще припущення полягає в тому, що xAI та Google матимуть першість, а потім почнеться конкуренція з Китаєм. Китай має величезну потужність; я думаю, що у 2026 році вони перевершать електроенергетику США втричі. Вони розберуться з виробництвом чипів, а зараз спостерігається спадання віддачі від збільшення розміру чипів. Перехід від 3 нанометрів до 2 нанометрів дає не покращення у співвідношенні 3:2, а лише на 10%. Дженсен (Jensen) казав, що закон Мура помер, тому що не можна просто робити речі меншими, щоб вони стали кращими; існує певна кількість атомів. Нам слід припинити говорити про нанометри і почати говорити про те, скільки атомів і в якому розташуванні, тому що нанометри — це маркетинговий бред.
Це полегшує Китаю можливість наздогнати, оскільки всі мають обмеження. Ніхто не планує використовувати машини ASML серії 5,000, які коштують удвічі дорожче і можуть обробити лише половину ретикули для відносно незначного виграшу. Китай матиме більше енергії, ніж будь-хто інший, і, ймовірно, більше чипів. Можна купити Intel або побудувати власні заводи й використовувати їх набагато довше. Наприклад, наш чип AI4 відносно примітивний, але якщо ми застосуємо логічний дизайн AI6 до того номінально 5-нанометрового заводу, ми легко отримаємо результат на порядок кращий на тому самому заводі.
Якщо збільшити кількість чипів у 50 разів, це можна перетворити на миттєвий корисний інтелект. Це не підсилювач людської продуктивності, а незалежний генератор продуктивності. Китай виробляє набагато більше сонячних панелей, ніж ми, і вони мають 7-нанометрові чипи. Виходячи з поточних тенденцій, Китай значно перевершить решту світу в обчисленнях ШІ. Будуть xAI, Google та «China Inc.» з величезними обсягами обчислень рівня ASI, які розуміють лише інші обчислення рівня ASI. У цьому може бути певний дарвіністський елемент.
Частка людського інтелекту на планеті раптово асимптотично падає до 0%. Кілька років тому я сказав, що люди є біологічним завантажувачем для цифрового суперінтелекту; ми — перехідний вид. Кремнієві схеми не можуть еволюціонувати в солоному ставку. Сподіваюся, ми були хорошим завантажувачем, хоча більшість людей навіть не знають, що таке завантажувач.
Це найзахопливіший час для життя; єдиний час, коли буде цікавіше, ніж сьогодні, — це завтра. Ми рухаємося до світу, в якому будь-яка людина може втілити свої найсміливіші мрії.
Щодо книг Culture, Consider починається з того, що головний герой тоне в лайні — гарна стартова сцена — але потрібно продиратися крізь перші кілька сотень сторінок. Люди не йдуть із кінотеатру в перші п'ять хвилин, хоча Player of Games може бути кращою книгою для початку, ніж Consider. Люди все ще існують у тому майбутньому, і це добре, і їх там трильйони.
Компанія мого друга Бена Лемма (Ben Lamm), Colossal, створює штучні утроби та повертає до життя шерстистого мамонта, саблезубого тигра та лютого вовка. Вони створили шерстисту мишу з маленькими бивнями. Мініатюрний шерстистий мамонт був би епічним домашнім улюбленцем; подивіться, що ми зробили з вовками. Я відвідав його, і він згадав, що їхні вчені збираються на конференцію з бивнів, щоб обговорити гени, задіяні в їх створенні. Маленький шерстистий мамонт продаватиметься, а от миша з бивнями — ні. Ви думали, що лабрадудлі — це круто, але зачекайте, поки не побачите шерстистого мамонта або саблезубого тигра. Вони як коштовності. Динозаврів поки що немає, але Jurassic Park — це чудова ідея, і AI допоможе нам із цим.
Якби був острів із динозаврами, когось час від часу б відкушували. Найстаріша знайдена ДНК має вік 1.2 мільйона років. Моєю пропозицією для X-Prize було б взяти ланцюг ДНК, передбачити, як він виглядає, і відтворити динозаврів шляхом зворотного проєктування. Було б смішно, якби два різні ланцюги ДНК обоє виглядали як T-Rex, але передні лапи були б від зовсім іншого динозавра з величезними руками. ДНК нам підкаже; майбутнє — це Jurassic Island.
Я мав на увазі амінокислоту лізин, якої бракувало динозаврам і що заважало їм розмножуватися. Але насправді динозаврам завадило щось на кшталт бомбардування астероїдами 60 мільйонів років тому. Є вагомий аргумент, чому в космосі немає іншого розуму; у всесвіті повно динозаврів. Ми пройшли шлях від маленького щура чи крота до нас за 60 мільйонів років, ось чому ніхто не вірив Дарвіну.
Думаю, буде цікавіше проєктувати біологічних роботів, наприклад, маленького котика, який пісяє засобом для видалення плям і їсть ворс із килима. У вас все одно є механічний Optimus, який це робить, а гуманоїдний робот має універсальне призначення. Ідея Optimus-пилососа — це найбільш недооцінений актив: Optimus, збудуй мені Roomba. Роботів буде багато. Монетизуйте надію. Через рік від сьогодні, 22 грудня, я постукаю саме в ці двері. Через рік у нас може бути новий завод Optimus, будівля площею 8 мільйонів квадратних футів, де працюють роботи та заряджається сигара.