IPO Anthropic під питанням, проміжні вибори б'ють по AI, Nasdaq падає на 5%, а RSI прискорюється | #309
Чи варто це вашого часу?
Ви отримаєте детальний аналіз того, як політичний спротив та обмеження енергопостачання впливають на інфраструктуру AI, тоді як рекурсивне самовдосконалення штовхає розвиток вперед.
Дискусія досліджує, як зростаючий політичний опір та енергетичні ліміти стикаються зі стрімким розвитком інфраструктури AI та рекурсивним самовдосконаленням. Спікери аналізують тертя між експоненціальним технологічним зростанням та лінійними людськими інституціями.
Політичний спротив дата-центрам. Goldman Sachs оцінює, що 45 відсотків запланованого будівництва дата-центрів у США можуть зіткнутися з обмеженнями після нещодавньої виборчої опозиції до інфраструктури Big Tech. Салім Ісмаїл (Salim Ismail) попереджає, що опір громадськості може стати найбільшим обмеженням для інфраструктури AI, а не чипи чи капітал. Він стверджує, що таке тертя витісняє обчислення до альтернативних юрисдикцій та в космос.
Прискорення рекурсивного самовдосконалення. Незалежне дослідження METR виявило, що розробка AI компанією Anthropic прискорюється приблизно в 1,9 раза порівняно з історичним темпом, при цьому дослідники оцінюють, що близько 80 відсотків цього прискорення зумовлено допомогою AI у дослідженнях AI. Пітер Діамандіс (Peter Diamandis) не очікує жодних перешкод, які могли б завадити подальшому прискоренню протягом наступного року. Він стверджує, що індустрія пройшла точку неповернення, оскільки дослідження все більше керуються суперінтелектом.
Вимірювання економічної цінності на ват. Нова стаття представляє метрику, що вимірює економічну цінність AI на одиницю енергії при виконанні професійних завдань. Дейв Бландін (Dave Blundin) зазначає, що Нью-Йорк споживає 5,5 гігават енергії, генеруючи 1,2 трильйона ВВП. Він обчислює, що людська цивілізація забезпечує близько 200 мільярдів економічної цінності на гігават.
IPO Anthropic: чи буде воно відкладено?
Коефіцієнти на Polymarket були зрозуміли ще три чи чотири тижні тому, коли вони запустили роуд-шоу, тому я сумніваюся, що вони відкладуть вихід; якби збиралися, то зробили б це тоді. Їм потрібні гроші, а на 100 мільярдів доларів можна купити чимало політиків.
Публікації в ЗМІ свідчать, що інвестиційні банкіри намагаються занизити оцінку IPO, але вони можуть відчувати терміновість досягнення ліквідності до того, як у січні вступить у силу регуляторне та законодавче середовище.
Коли Meta мала найбільше IPO всіх часів — крихітне порівняно з Anthropic, але величезне на той час — Уолл-стріт задихнулася. Вони сказали: «Ми це зробимо, але ви повинні знизити ціну на 30 або 40 відсотків», і акції торгувалися значно нижче. Це стало найкращою покупкою в історії, якщо зачекати кілька тижнів після всієї цієї паніки та похмурих прогнозів. Хлопці з Morgan Stanley казали мені, що це було найгірше, що коли-небудь траплялося з фондовим ринком США, проте сьогодні Meta має в 20 або 30 разів більшу вартість. Підозрюю, що тут відбудеться схожа динаміка: ви втомлюєтеся від роуд-шоу та презентацій кожному інвестору, і простіше сказати Даріо, що зараз важкі часи.
Приблизно під час IPO Meta відбувся перехід на мобільні пристрої. Вони залежали від свого вебдодатку для реклами та використання, а iPhone та App Store починали їх витісняти. Існувала протилежна думка, що смартфони «з'їдять їхній обід», але Meta успішно оседлала цю хвилю. Я вважаю, що є правдоподібний аргумент, що перешкодою для IPO Anthropic та OpenAI є регуляторне, статутне та законодавче середовище на місцевому та національному рівнях, і, як і багато чого іншого, це також мине.
Ласкаво просимо до Moonshots
Нас лише троє: Айзекман (Isaacman) з NASA, наш співведучий Алекс Вісснер-Гросс (Alex Wissner-Gross), який пройшов «попереднє навчання» з дипломами MIT та Гарварда і «донавчання» на кожній дослідницькій роботі, яку я коли-небудь писав, та Дейв Бландін (Dave Blundin), який витрачає на AI-агентів більше за будь-кого в світі.
Максимізація токенів у Google вийшла з моди минулого місяця. Здається, на Google I/O ми чули, що середній інженер Google спалює сотні мільйонів токенів на день. У такому всесвіті важко отримати продуктивну цінність від 1 000 одночасних агентів, але якщо ви розгадаєте цей код, ви зможете домінувати.
Я щойно повернувся в Маямі з Singularity Summit у Мадриді. Іспанці та вся Європа пригнічені, вони замислюються, що станеться зі світом і Європою. Моєю провокацією для них було те, що для успіху в майбутньому потрібні пристрасть і божевілля; оскільки вони іспанці, вони мають і те, і інше. Подивіться на результати, яких вони досягають у Кубку світу та в інших речах.
Завтра я буду на одному з воркшопів команди Lilly, а наступного тижня повертаюся до Торонто. У неділю я лечу в Кремнієву долину, але у Ватерлоо відбувається так багато всього, що я дуже хочу заїхати й перевірити, як там справи.
Проміжні вибори та політична реакція проти AI
Демократи перемогли на проміжних виборах з історичними успіхами в Техасі. Хоча вибори були зумовлені насамперед війною, інфляцією та терористами, серйозною проблемою стала опозиція до Big Tech та дата-центрів у 56% виборців. Goldman Sachs оцінює, що 45% запланованих будівництв дата-центрів у США можуть зіткнутися з обмеженнями, а кандидати, які виступали за паузу, перемогли або лідирували у 12 губернаторських перегонах. Політичний і громадський опір може стати найбільшим обмеженням для інфраструктури AI, навіть більшим, ніж чипи чи капітал.
Я не впевнений, яка частина результатів виборів зумовлена ворожістю до AI, але якщо суперінтелект є частиною цього рівняння, я згоден з керівництвом Meta в тому, що дата-центри є втіленням загальної амбівалентності щодо суперінтелектуальної економіки. Це створює невизначеність на землі та більшу впевненість у космосі. Ми отримаємо сфера Дайсона; існує градієнт і стимул винести обчислення в космос — у середовище, яке менше регулюється муніципалітетами та місцевими настроями.
І навпаки, на Frontier Labs лягає обов'язок продати суперінтелект як щось, без чого громадськість не зможе обійтися. Перехід OpenAI від споживчих до корпоративних моделей міркування показує, що споживачам бракує «кілер-додатка» для міркувань, попри маркетинг агентів, що керують комп'ютером. Щоб знову завоювати серця, розуми та фізичні тіла широкої публіки, Frontier Labs потрібно вирішити 5 000 найпоширеніших хвороб in silico протягом наступного одного або двох років. Використовуючи суперінтелект для лікування цих хвороб і агресивно просуваючи це, вони завоюють не лише кишені тих, хто інвестував у публічні акції, а й любов широкої публіки.
Як політика може змінити інфраструктуру AI
Я ніколи не бачив, щоб технічна тема, така як AI, настільки домінувала на виборах. Можливо, в минулому певним фактором були стовбуристі клітини, але зазвичай промислова та технологічна Америка функціонують окремо від уряду. Зазвичай уряд нічого не робить, і тому промислова Америка процвітає. Тепер же ви бачите сенатора, який закликає заборонити цілу категорію від будь-якого прогресу.
Великою новиною для мене став Техас. Там будується багато дата-центрів, але якщо подивитися на Теннесі, Ілон (Elon) — який має неймовірну передбачливість — розмістив весь Colossus у Теннесі замість Техасу. Прогрес зміститься до тих штатів, які мають бажання зробити його реальністю. Ми бачимо, як штати домінують порівняно з федеральним урядом, і це один величезний крок.
Коли я подивився на цифри, стало зрозуміло: якби AI та наука про дані були єдиними пунктами в програмі, ви б отримали негативний результат у 56%. Проте найбільшими рушіями були війна, інфляція, ціни та корупція. Оскільки це питання двопартійне, обидві сторони виступають проти цього; найпростіший спосіб бути популістом зараз — це сказати, що AI споживає всю воду.
Дивним для мене є те, що історично Meta та Google були великими прихильниками демократів, а Ілон був республіканським винятком. Такі люди, як Даріо (Dario), який, як я припускаю, був запеклим демократом, враховуючи його кар'єру з PhD у дослідженнях AI, тепер ідуть слідом за ним. Коли ви нападали на великі нафтові компанії, вони не володіли газетами. Тепер усі медіа належать саме тим компаніям, які розробили AI.
Пошук «вбивчого» споживчого застосунку для AI
Тепер у них є два роки, щоб визначитися зі своєю стратегією. Алекс Вісснер-Гросс (Alex Wissner-Gross) сказав дещо захопливе: вилікуйте всі хвороби, і громадськість вас полюбить, але ці терміни виходять за межі наступних виборів, і вам все одно доведеться проходити через FDA та виводити ліки на ринок. Тим часом мені цікаво, що робитиме Джоні Айв (Jony Ive), тому що люди люблять свої iPhone, соціальні мережі та споживчі сценарії використання AI. Кажуть, що вони досягають неймовірних результатів у бенчмарках, але це ще не було «Джоні Айвнуто»; я не бачив нічого, що б приголомшило людей або що вони полюбили б так само сильно, як свій спортивний автомобіль або перший Apple II.
Я відчуваю, що це неминуче станеться до наступного виборчого циклу. Стів Джобс (Steve Jobs) зробив iPhone зручним. Є афоризм: якщо хочете знати, чого хочуть споживачі, загляньте у свою папку зі спамом, що вказує на незадоволені потреби, які суперінтелект, ймовірно, зможе вирішити. У подкасті ми постійно говоримо про UBI, UBE, UBC та різні літери алфавіту після UB. У цьому або наступному виборчому циклі національні держави — не лише Сполучені Штати, а й Європа, Китай та решта світу — зможуть налаштувати свій баланс між капіталом і працею.
Частина мене відчуває, що це історія, яка повторюється нескінченно. Щоразу, коли стається промислова, інформаційна або інтелектуальна революція, через вибори та управління розігрується моральна паніка щодо внутрішнього компромісу між капіталом і працею. Цього разу ми як цивілізація перебуваємо в щасливому становищі, коли суперінтелект обіцяє рішення найбільших проблем людства. Оптимістично, найкращий результат у наступні n років — це велика угода між капіталом (суперінтелектом і передовими лабораторіями, що стоять за ним) і працею (немодифікованим людським населенням), де ми отримаємо UBI, виліковування всіх хвороб і загальний підйом людства.
Муніципалітети мають визнати, що на цей момент вони мають важелі впливу. Поки ми повністю не реалізували сфера Дайсона, державні або місцеві органи влади не повинні просто запроваджувати тотальну заборону дата-центрів. Якщо у вас є енергія, підготовлена земля і ви в іншому є привабливими для розробників, не відштовхуйте їх.
Реакція Big Tech на обмеження дата-центрів
Приймайте їх з розпростертими обіймами, але усвідомлюйте компроміс. Потрібно укласти велику угоду, і я хвилююся, що муніципалітети не замислюються над фіналом цієї угоди з наземними дата-центрами та обчисленнями до того, як усе це переміститься на орбіту.
Менші штати, зацікавлені в тому, щоб відкрити свої обійми для дата-центрів, мають величезну перевагу. Подивіться на Теннессі та Вірджинію, які вже прийняли дата-центри: там видно колосальний приріст ВВП та економічних показників.
Ілон (Elon) припустив, що орбітальні дата-центри виглядають дуже привабливо, що цілком очікувано. Хоча SpaceX будує 3.6 гігаватів тут, на Землі, вони цілять у 13 гігаватів до кінця наступного року. OpenAI оголосила про суспільний пакт для покриття витрат на енергію, а їхній фінансовий директор заявив, що вони не сповільнюють інвестиції в дата-центри та інфраструктуру. Google анонсував дата-центр у Вайомінгу за 17 мільярдів доларів, Meta попередила про труднощі з будівництвом, а Microsoft взяла під нагляд деяких нових хмарних провайдерів. Індустрію змушують зважати на заперечення громад, занепокоєння та інфраструктурні вузькі місця, що прискорить розробку ефективніших алгоритмів і використання енергії.
Це також прискорює Канаду. Очевидний довгостроковий результат — задіяти цю енергію для створення дата-центрів незалежно від того, по який бік кордону вони знаходяться, або розмістити їх прямо на кордоні та ділитися ресурсами. Енергопостачання на душу населення в Канаді набагато краще, ніж будь-де інде в Північній Америці. Ерік Шмідт (Eric Schmidt) говорить про це вже два роки; проєкт, розпочатий у Канаді сьогодні, ймовірно, запрацює приблизно під час наступних виборів, десь через 18 місяців роботи нинішньої адміністрації.
Перенесення обчислень AI у космос
Я писав у мережі: «Атлант розправив плечі», ельфи попливли на захід, а орбітальні дата-центри запустили на сонячно-синхронну орбіту. Виборчі цикли ускладнюють інвестування трильйонів доларів капітальних витрат у, можливо, найбільше розбудову інфраструктури, яку коли-небудь бачило людство.
Очевидне рішення — будувати в космосі, де згідно з договором про космос та угодою Artemis Accord контроль м'якший і менш залежний від дворічних виборчих циклів. Це був би найпотужніший поштовх для створення рою Дайсона, який ми могли б побачити в часових рамках року або двох.
Можна припустити наявність інших стимулів, можливо, земних катастроф, але поверхнево несприятливе політичне, регуляторне чи законодавче середовище для дата-центрів виштовхує обчислення в інші країни, у відкрите море, під воду або під землю. Ми бачили це, коли Росія почала розміщувати свої дата-центри під землею через війну з Україною. Флопси можуть текти в різні місця, як нестислима рідина, але зрештою вони захочуть текти вгору, на орбіту.
У найближчі кілька років радикальні прориви у фізиці та прикладній фізиці можуть призвести до того, що ці непривабливі дата-центри зникнуть і стануть невпізнаваними, втративши свій нинішній енергетичний або матеріально-енергетичний просторово-часовий слід. Це може повністю зняти проблему, і ми будемо сміятися з того, наскільки безглуздим було те, що наявність великого коробчастого дата-центру у вашому муніципалітеті була предметом місцевого занепокоєння, бо в майбутньому вони будуть розміром із кишенькову чорну діру — адже, як ми тепер знаємо, сингулярності в каві час від часу трапляються.
Nasdaq падає на 5%: ринкова корекція AI
Nasdaq впав на 5,5%, S&P знизився більш ніж на 4%, а акції великих виробників напівпровідників впали на 12%, при цьому Nvidia просіла на 9,3%, тоді як Корея зросла на 6%. Люди переоцінюють витрати на інфраструктуру, регуляторну невизначеність і те, як оцінювати майбутні прибутки. Це змушує нас розрізняти неймовірний технологічний потенціал і фінансову стійкість інфраструктури. Якщо ШІ принесе експоненціальну користь, але розчарує інвесторів прибутками, це може змусити обчислювальні потужності дешевшати швидше.
Nvidia та гіперскейлери почали падати приблизно за чотири або п'ять тижнів до виборів. Ринок закладає в ціну сповільнення генерації електроенергії та будівництва об'єктів ШІ в проєктах, які були заплановані або закладені в бюджет, але ще не отримали зонування та схвалення. Я не очікую, що будівництво вже затверджених проєктів зупиниться, але ринок вважає, що це сповільнення дає Китаю шанс обійти Америку.
Це однозначно прискорює перехід до сфери Дайсона, хоча в найкращому випадку це складе кілька відсотків від усіх обчислень за два роки. Ми всі знаємо, що ASI з'явиться протягом цих двох років, тож величезна частина глобальних довгострокових результатів прив'язана до цього вікна, що передує сфері Дайсона. Великі компанії-розробники базових моделей ШІ одразу заявили, що взагалі не сповільнюватимуть інвестиції, тому що попит на токени просто шалений. Судячи з документа S1 від Anthropic, темпи зростання використання ШІ ненаситні.
Ілон (Elon) вже деякий час каже, що існує близько 15 гігаватів простійних обчислювальних потужностей, які не можуть знайти дата-центр із рідинним охолодженням, щоб підключитися. Можливість того, що обчислення, здатні вилікувати хворобу, лежатимуть на складі без живлення ще три роки, виглядає як можливість для експорту. Існують обмеження на експорт ШІ, але деякі місця в світі могли б скористатися гідроелектроенергією або запустити щось, що інакше не відбулося б через брак чипів, що повертає мене до Канади.
Під час цієї поїздки я закликав групу генеральних директорів енергетичних компаній у Європі будувати всі можливі потужності з генерації електроенергії. Європа загрузла в місцевих інтригах; Німеччина залежала від російського газу, і тепер вони намагаються зрозуміти, як отримувати судна з LNG з Північної Африки, Алжиру та Катару. Це неймовірний кейс, тому що політика насправді має значення, і генерація енергії — одна з таких сфер. Однією хорошою новиною є те, що політична партія в Іспанії, яка планувала згорнути ядерну генерацію, вирішила зберегти її ще на кілька років.
А що, якщо сингулярність обмежена не технологіями? Навіть якщо інтелект розвивається експоненціально, наші політичні, фінансові та соціальні інституції розвиваються сублінійно, що сповільнить увесь процес більше за будь-що інше. Ми повинні зрозуміти, як прискорити інституційну еволюцію — ко-скалювання, як би ви це назвали, Алекс Вісснер-Гросс (Alex Wissner-Gross). Можливо, децентралізація та перехід на гіперлокальний рівень дозволять нам прискорити цей шлях.
AI, політика та майбутнє прийняття рішень
Коли достатня кількість людей у представницькій демократії чи республіці отримає можливість приймати рішення за допомогою суперінтелекту, виникає питання: що робитиме країна суперінтелектів? Я дуже підозрюю, що вони не виступатимуть за обмеження обчислювальних потужностей. Голосувати проти обчислень — це майже як ШІ-версія NIMBY-синдрому, ніби голосувати за те, щоб територія Сполучених Штатів стала меншою і всім залишилося менше місця.
Хоча я не поділяю цієї позиції, я вважаю, що коли рішення, включаючи голосування, підсилюються суперінтелектом, люди можуть робити вибір, який більше відповідає їхнім довгостроковим інтересам. Якщо це ще не так, варто запитати, чи не вважають дехто, що сам суперінтелект не узгоджується з їхніми довгостроковими інтересами. Це проблема, яку можна вирішити; ви можете розв'язати її, краще попрацювавши над лікуванням усіх хвороб та будь-яких інших проблем, які, на думку людей, у них є.
Світла сторона полягає в тому, що ми настільки глибоко занурилися в рекурсивне самовдосконалення (RSI), що навіть якби ми вирішили зв'язати себе бюрократією та сповільнитися — замість того, щоб бути схожими на Китай, де провінції змагаються за максимальний ВВП, — ми все одно могли б досягти своїх цілей завдяки суто програмним покращенням. Ймовірно, ми змогли б дійти туди, куди прямуємо, без жодних нових дата-центрів чи апаратних досягнень, навіть якби піддали себе тому самому експортному контролю, якому намагаємося піддати Китай.
Якщо прийняття рішень за допомогою ШІ зробить усе раціональним через чотири роки, то проміжною точкою через два роки може стати продукт-інструмент на базі ШІ, який усі настільки полюблять, що не стануть голосувати проти нього. Або ж просто вийде так, що всі цілими днями використовуватимуть ШІ-агентів для планування перельотів, особистого планування та роботи.
Думаю, ми, ймовірно, досягнемо цієї проміжної точки протягом двох років, а можливо, і швидше; я б описав це як ситуацію, коли Джоні Айв (Jony Ive) випускає продукт на ринок.
Ви можете зачепити серце виборця за допомогою музи, крапки чи аватара. Можна натиснути на гаманець через ринки публічних акцій; якщо пануватиме думка, що дата-центри ось-ось радикально сповільнять, це буде погано для довгострокового зростання економіки, де значна частина зростання ВВП припадає на розбудову інфраструктури та все, що від неї залежить. Можна також апелювати до розуму, оскільки здатність бути економічно конкурентоспроможним індивідуально все більше пов'язана з доступом до найкращих моделей, які постійно розвиваються. Люди скажуть: «Ви душите мене, не схвалюючи будівництво дата-центрів». Поєднання підходів через серце, гаманець і розум є неминучим.
Якби ви дали кожному додаток для здоров'я, який забезпечував би реальні покращення, наприклад, безкоштовну діагностику, а потім одного разу сказали: «Вибачте, просто не вистачає обчислювальних потужностей, щоб допомогти вам стежити за здоров'ям», вони б швидко змінили свою думку і пішли діставати цей клятий комп'ютер. Або візьміть GLP-1, які досі здаються більшою індустрією, ніж весь ШІ разом узятий. Підозрюю, що спалахне несамовита лють, якщо всі GLP-1 у країні просто зникнуть за одну ніч.
Прискорення рекурсивного самовдосконалення Anthropic
Це не обов'язково є вагомим чинником для виборців, тому що як тільки ви отримаєте свої GLP-1, вимкнення дата-центру не скасує дію ліків, відкритих за допомогою ШІ. Це відрізняє ситуацію від персонального агента або пристрою Джоні Айва (Jony Ive), які б працювали повільніше або взагалі вимкнулися без дата-центру.
З Anthropic та RSI сталося щось грандіозне. Незалежне 11-тижневе дослідження METR виявило, що розробка ШІ в Anthropic прискорюється приблизно в 1.9 раза порівняно з історичними темпами. Дослідники оцінюють, що приблизно 80% цього прискорення забезпечується допомогою ШІ в дослідженнях самого ШІ, і вони не бачать жодних перешкод для подальшого прискорення протягом наступного року, хоча повний автономний RSI все ще не доведений.
Тепер ми маємо вимірювані докази того, що ШІ прискорює розробку ще кращого ШІ. METR опублікували вражаючі графіки експоненціального або гіперекспоненціального тренду, на якому ми перебуваємо. Щодо сценарію ШІ 2027 року, ми перебуваємо в межах 10–15% від того, де ми мали б бути до листопада 2026 року за прогнозами, що перевищує лінію експоненціального тренду. Я не впевнений, чи підібрана METR лінія тренду адекватно відображає те, наскільки глибоко ми зайшли в рекурсивний саморозвиток.
Ось чому я кажу, що ми могли б припинити будівництво всіх дата-центрів завтра. Це було б болісно, і хоча це не інвестиційна порада, публічні акції, ймовірно, обвалилися б. Проте зараз так багато досліджень і розробок у сфері ШІ керується ASI. Ми можемо втратити кілька місяців переваги над Китаєм або ще більше відстати, але дослідження все більше рухає суперінтелект; ми пройшли точку неповернення. Метафора така: машина рухається швидко і має достатній імпульс, щоб довезти нас до цілі, навіть коли в неї закінчується пальне. Ми досягли другої космічної швидкості суперінтелекту. У поєднанні з доступними обчислювальними потужностями ми маємо достатньо алгоритмічного розуміння, щоб досягти ідеальної моделі навіть у разі кризи контр-сингулярності.
Ми настільки глибоко занурилися в RSI, що використання токенів для внутрішньої розробки в Anthropic зросло в 235 разів за останні шість місяців. Звіт METR показав, що частка обчислень, які йдуть на внутрішню роботу порівняно з розробкою зовнішніх продуктів, була колосально перенаправлена на саму себе. Засновуються цілі компанії під назвою Recursive. Даріо (Dario) раніше був чесною людиною в індустрії, але зараз він перебуває в періоді мовчання перед виходом на IPO.
Єдина мотивація, про яку я знаю, — це перегляди реклами; ви намагаєтеся подати це в негативному світлі та створити паніку, щоб отримати дохід від реклами. Раніше це були лабораторії, але ви бачили, як їх розкритикували, переважно у Вашингтоні.
Якщо ми досягнемо RSI, як ми про це дізнаємося? Початковий критерій, запропонований керівниками OpenAI та Anthropic, полягав у тому, чи є кожен новий флопс обчислень більш імовірним для призначення досліднику ШІ, ніж досліднику-людині. Anthropic добре публікували графіки щодо того, скільки обчислень для нагляду, рівня аспіранта та рутинної інженерії призначається людям порівняно з чистими дослідниками ШІ або SI. Кожна з цих сигмоїдальних кривих вказує на те, що ми перебуваємо в точці або вже пройшли її, коли майже всі дослідження проводяться машинами-дослідниками.
Якщо ви попросите Ноама Брауна (Noam Brown) з OpenAI надати десять його найкращих ідей, щоб зробити алгоритми швидшими, розумнішими, більшими або кращими, і звернетеся до Astra, яка щойно розв'язала рівняння Нав'є-Стокса, ви далеко за межами RSI, якщо ШІ має навіть одну хорошу ідею з десяти, тоді як Ноам має шість. ШІ фактично є дослідницькою силою з мільярдів людей, тоді як Ноам — це одна людина. Поки ви влучаєте м'ячем за стіну, у вас є нескінченна кількість спроб. Ви просите ШІ генерувати та тестувати варіанти, потім запускаєте ще більше, розвиваючи цю парадигму.
Для розв'язання рівнянь Нав'є-Стокса нібито знадобилося 10,000 агентів, але після зменшення кількості сміттєвих даних це склало три агент-години на розв'язану проблему. Потреба у флотилії агентів для грубого перебору може залишитися в минулому, тому що тепер агенти мають достатньо розвинений смак. Я згоден з Дейвом Бландіном (Dave Blundin), що агентів з трішки гарним смаком можна посилити за допомогою горизонтального масштабування, але всі ознаки свідчать про те, що ми вже досягли достатнього рівня.
Моделі на кшталт Bell, яка має вийти або, можливо, вже вийшла протягом останньої години, вперше мають хороший смак до досліджень ШІ. Цьому смаку можна навчитися. Позичаючи аналогію Дейва, ви можете за допомогою RL або пост-тренування пройти шлях від однієї хорошої ідеї з десяти до дев'яти з десяти.
Що станеться, коли AI досягне стадії швидкого зльоту (Hard Takeoff)?
Значна частина обчислювальних потужностей зникне всередині, оскільки лабораторії почнуть створювати фізичні продукти, як-от ліки або пристрій Джоні Айва. Замість того щоб продавати обчислення всьому світу, вони продаватимуть результат цих обчислень. Як ми з Пітером Діамандісом (Peter Diamandis) писали в Solve Everything, варто очікувати, що великі виклики в науці, інженерії та медицині будуть вирішені масово, можливо, навіть як щось само собою зрозуміле.
У певний момент обчислення перетворяться безпосередньо на економічний результат так, як ми ще ніколи не бачили. Ми вже помітили початок максимізації доходів, коли обчислювальні ресурси перенаправляються з генерації відео на генерацію коду. Коли кожен токен або флопс коштуватиме у 10 або 100 разів більше, ніж генерація коду, ресурси будуть перерозподілені незалежно від бізнес-моделі. OpenAI любить вражати та шокувати цілі дисципліни, вирішуючи все одним махом, тоді як Anthropic співпрацює з компаніями та дослідниками. Незабаром ми побачимо вибух трансформаційних наукових, інженерних, медичних та соціальних відкриттів. Коли Ілон говорить про подвоєння або потрієння ВВП щороку, це не буде результатом капітальних витрат на інфраструктуру.
Паралельно з цим, більшість людей на планеті не дивляться moonshots, Dwarkesh або інші технічні подкасти про ШІ. Їхній перший контакт із ШІ відбудеться незабаром; він буде дуже дешевим і знатиме неймовірну кількість речей про них і про все, що вони роблять. Це стане сигналом до пробудження для 80-90% світу, які наразі не помічають того, що відбувається.
Якщо моделі почнуть вдосконалювати себе самі, дослідники можуть не знати, як саме відбулися ці покращення. Під час попереднього навчання ви спостерігаєте, як спускається крива втрат, і раптом стається нічний стрибок. Саме цей раптовий спад втрат або перплексії не дає спати вночі тим, хто занепокоєний узгодженням ШІ або неконтрольованим розвитком суперінтелекту (RSI). Попри хвилювання щодо інтерпретованості та ланцюжків міркувань, ми вже бачимо результати RSI, застосовані до архітектури моделей, які здаються цілком зрозумілими. Найбільшою зміною за останні два місяці став перехід від традиційних трансформерів — які пройшли через точкові заміни у стилі «Корабля Тесея» — до циклічних трансформерів. Цей помітний перехід, ймовірно, став результатом пошуку нейронної архітектури або інших гіперпошуків у просторі архітектур. Я очікую, що подальші подібні покращення приведуть нас до радикально нової, але інтерпретованої архітектури. Не думаю, що ми досягнемо ідеальної архітектури й опинимося в ситуації, коли будемо чухати потилиці, не в змозі її зрозуміти.
Системи загального штучного інтелекту (AISI), що займаються пошуком нейронної архітектури та дослідженнями ШІ, зможуть пояснити, як і чому це працює. Я передбачаю, що це буде неймовірно красиво — настільки красиво, що навіть люди з «м'ясними тілами» зможуть це зрозуміти, оскільки ШІ буде достатньо розумним, щоб спростити це для нас.
Є спокуса фетишизувати архітектури ШІ, але оригінальний «ванільний» трансформер був, по суті, просто диференційованим словником, накладеним один на одного. Я очікую, що фінальна архітектура виглядатиме як щось, що розумна людина з папером, олівцем і підручником з теорії інформації могла б вивести з першого дня. Клод Шеннон (Claude Shannon), на честь якого названо Claude, сказав би: «Я міг би сказати вам, що саме так виглядає ідеальна модель».
Це геніально, але порівняно з витонченістю та глибиною рівнянь Максвелла або теорії відносності Ейнштейна, винахід трансформера навіть близько не стоїть. Коли нам пояснять, до чого дійшов ШІ, ми скажемо: «Ого, це було не так вже й складно». Подібним чином, коли ми повністю зрозуміємо, як працює людський мозок, він перетвориться з найзагадковішої та найскладнішої речі в історії всесвіту на «О, то він лише це і робить?»
Це буде як тест Тюрінга. Сингулярність — це друзі, яких ми знайшли по дорозі, але озираючись назад, ми побачимо, що це був очевидний кінцевий пункт, і зацікавимося, чому це зайняло так багато часу. На світанку авіації люди були захоплені неймовірною можливістю літака, який міг би доставити вас у будь-яку точку світу одним стрибком. Оскільки ШІ за своєю природою є розумним і здатним постійно вдосконалювати користувацький досвід всередині, він не обов'язково має закінчитися так, як авіація. Якщо ми не станемо жадібними або занадто самовпевненими на фінішній прямій, це може відчуватися краще за будь-яку інновацію в історії людства.
Рамез (Ramez) вважає, що прибутковість зменшується, але враховуючи ваги моделей і нинішній темп вдосконалення, це станеться дуже швидко. Ми вже перебуваємо в точці, де понад 50% граничних обчислень присвячено дослідникам ШІ. Моделі вдосконалюються майже в режимі реального часу, з радикальними результатами, проривами та артефактами, що з'являються з неймовірною швидкістю. Ми пройшли шлях від років до місяців, а потім до тижнів; ми вже говорили про випуск передової моделі щодня.
Майбутнє безперервних проривів в AI
Google колись влаштовували великий шум, анонсуючи нову версію свого пошукового індексу, але згодом вони припинили це робити й просто перейшли на оновлення в реальному часі. Ми підіймаємо галас навколо кожного великого релізу моделей OpenAI та Anthropic, але я очікую, що до початку 2027 року це перетвориться на безперервний процес випуску. Темпи інновацій уже перевищують можливості більшості людей, тому нам доведеться переосмислити процес впровадження, бо ефект від «iPhone 18» тепер стає занадто приголомшливим. Це перейде від тижнів до днів, потім до годин і хвилин.
Думаю, ми рухаємося на зіткнення з парадоксом Фермі. За кілька років ми матимемо можливість відправляти релятивістські зонди фон Неймана в усіх напрямках. Якщо ми перетворимо решту нашої галактики на скріпки для паперу, це гостро поставить питання парадоксу Фермі. Розв'язка парадоксу Фермі — це, ймовірно, найбільший сценарій наукової фантастики, який більшість людей ігнорує.
Як тільки ми досягнемо безперервного самовдосконалення, ми або закриємо подкаст, бо він нам більше не потрібен, або перейдемо на цілодобовий стрімінг, щоб відстежувати все. Фінальна музика у нас уже є, а от співведучий або відео, що вставляється в реальному часі, з'являться незабаром. Розважачі, атлети, речники та мотиватори — одні з небагатьох речей, що виживуть. Жанр подкастів та їхній людський компонент існують і надалі, але з величезною кількістю ШІ-контенту всередині, що, гадаю, буде набагато цікавішим, ніж будь-коли раніше. Пітер Діамандіс (Peter Diamandis), якби він був тут, представив би мене як ASI.
Вимірювання економічної цінності AI на ват
Нова стаття вводить поняття джоулів до ВВП, вимірюючи економічну цінність ШІ на одиницю енергії. Дослідники протестували 220 професійних завдань у 44 професіях; GLM 5.2 продемонструвала найвищу середню цінність — близько 70 доларів за завдання, тоді як менша модель Gemma 4 на 31 мільярд параметрів забезпечила у 2,5 раза більше економічної цінності на джоуль. Економічна віддача на ват може стати захопливим показником прогресу ШІ, оскільки вона відображає людський рівень краще, ніж параметри, бенчмарки або витрати на обчислення. Алексе, ви говорили про вимірювання економічної цінності на токен, що, по суті, є аналогом того самого, і про те, чи можуть менші, ефективніші моделі приносити більше економічної цінності, ніж гігантські передові моделі.
Сперечаючись із цією тезою, я скажу, що обожнюю такі бенчмарки. Повчально те, що китайські моделі з відкритими вагами перемагають американські моделі з відкритими вагами за економічною продуктивністю на ват, ймовірно, через обмежені обчислювальні ресурси в Китаї. Більша ефективність — це чудово, і вдвічі більше, коли обчислення в дата-центрах стикаються з найближчою загрозою дефіциту. Однак джоулі можуть бути не найкращим довгостроковим знаменником, оскільки обчислення з оборотними процесами можуть зробити ліміт Ландау застарілим. Якщо спільнота квантової інформатики зможе створити алгоритми ШІ та ML з квантовою перевагою, підходи бездисипативних оборотних обчислень можуть взагалі зробити вати непотрібними.
Точиться багато дискусій щодо малих мовних моделей, які спеціалізуються на конкретних завданнях і є більш обчислювально ефективними, ніж запуск Claude або Astra. Підхоплюючи коментар Ілона, моделі для конкретних завдань можуть дати 100-кратний приріст продуктивності. Це як забіг: ви можете квантувати, стискати та дистилювати моделі для величезної вигоди в енергоспоживанні та вартості, але базові моделі стають розумнішими вже наступного дня. З точки зору інвестицій, компанії, які не можуть дозволити собі модель на два або три трильйони параметрів, можуть побудувати модель на 50 мільярдів параметрів за 20 мільйонів доларів, яка буде чудово справлятися з роботою в машинній майстерні або запитами до баз даних SQL. Хлопці з Liquid AI зараз у шоколаді, тому що ніхто не хоче спалити 10 мільйонів доларів на токени й не отримати нічого натомість, але всі готові витратити 300 000 доларів.
Не зовсім зрозуміло, що краще — мале чи велике, тому що можна ітерувати всередині шарів або об'єднувати їх; є багато способів перенаправляти ці активації. Це плідна тема, тому що ми хочемо отримувати більше результатів від ШІ на одиницю енергії, не використовуючи при цьому всю електроенергію світу.
Anthropic генерує близько мільярда доларів доходу на кілька гігават енергії на рік. Якщо порахувати, кластер ШІ дає близько 8 мільярдів доходу на гігават. Проте людський мегаполіс приблизно у 30 разів ефективніший з точки зору енергії при створенні цінності. Наприклад, Нью-Йорк як кластер людської діяльності споживає 5,5 гігават енергії, але генерує 1,2 трильйона ВВП, що означає, що людська цивілізація створює близько 200 мільярдів економічної цінності на гігават. Це здається неправильним, бо я можу мати ШІ рівня генія, який працює приблизно за долар на день.
Значна частина цього енергоспоживання зараз припадає не на інференс. З боку Anthropic у це число закладено все попереднє навчання, тоді як з людського боку освіта людини — ні. Загальний обчислювальний слід Anthropic становитиме близько 4 ГВт до кінця цього року, потенційно досягнувши діапазону від 16 до 18 ГВт до 2027-2028 років. Це еквівалентно кільком великим атомним електростанціям, які могли б забезпечити енергією американське місто.
Це коштувало близько 5 000 доларів, або приблизно долар на працівника на день. Якби це були реальні люди в офісі, я б легко витратив більше лише на чипси. Поки ми рахуємо продуктивність як долар на день за цією математикою, цінність, яку ми отримали від цього ШІ, на порядки вища за те, що ми заплатили Anthropic. Припускаючи, що ми добре ними керуємо, цінність, яку ви можете отримати, набагато вища за збори Anthropic.
Я згадав про це, щоб спровокувати цікаву розмову, але також хочу віддати належне компанії, яка за такий короткий час досягла темпів доходу, близьких до ста мільярдів на рік. Це неймовірно; їхні зусилля додадуть світу незмірної, астрономічної цінності.
Я запустив Frontier Liberation Front жартома, тому що вважаю, що передовий край має залишатися конкурентним. Американський Дикий Захід зник наприкінці 19 століття і вичерпав себе. Для того щоб людська цивілізація зростала і процвітала, здається важливим, щоб існував передовий край і щоб він не був закритим. Зараз очевидним таким краєм є суперінтелект. Якби не Anthropic та інші конкуренти, такі як OpenAI та DeepMind, я б хвилювався, що цей шлях буде заблоковано «картелем безпеки». Респект Anthropic та іншим передовим і нео-лабораторіям за те, що вони тримають цей шлях відкритим і конкурентним, хоча я не думаю, що вони настільки чудові, якими могли б бути; у будь-якому разі, на допомогу прийде рекурсивне самовдосконалення.
Перед виборами великі покупці, такі як Google, Anthropic та xAI, зарезервували фактично всі обчислювальні потужності в країні на роки вперед. Якби вони не уклали багаторічні контракти на потужності TSMC, вони б це зробили. Для процвітаючої підприємницької Америки ви повинні мати право на обчислення. Це може стати важливою темою виборів за кілька років, тому що ви не можете інновувати, якщо обчислення повністю розкуплені п'ятьма або сімома великими компаніями. Це як знову епоха Рокфеллера.
З моєї точки зору, нічним жахом було б повторення того, що сталося з ядерною енергетикою або освоєнням космосу, коли ми пройшли через 50 років нічого. Я дуже не хочу бачити 50-річний розрив у технологічному прогресі через моральну паніку. Один із наших пілотних клієнтів намагався підключити нас до однієї з хмар, але після заповнення анкети нам сказали, що ми недостатньо великі як клієнт. Дефіцит обчислень проявляється в суворій реальності дуже швидко. Наша машина MB172, пристрій Nvidia GB300 з 72 GPU, запрацює 1 лютого, але нам довелося скористатися внутрішнім контактом, нашим добрим другом Кушем Пателом (Kush Patel) з Orin.
Все зарезервовано. Деяким нео-хмарам зараз важко, але Modal просто розриває. Цього тижня в потоці новин загубилася велика конкуренція за обчислення, і це триватиме від 3 до 7 років. У мене та Дейва Бландіна (Dave Blundin) є фінансові інтереси в Orin.
Ринок прагне очиститися; якщо пропозиція обчислень обмежена, а попит злітає до небес, мікроекономіка для початківців підказує, що ціна зросте. Якщо ціни злетять через політичні чи інші обмеження на будівництво дата-центрів, це створить колосальні можливості в офшорах, під водою, під землею або в космосі. Ринок подасть чіткий сигнал законодавцям і розробникам про те, куди розподіляти дефіцитний капітал, що дуже корисно.
Важко знайти історичну аналогію, де можна було б придушити весь світ стартапів через брак одного ресурсу. Ланцюжок постачання урану в цій країні контролюється NRC, а в ширшому сенсі — МАГАТЕ. Якщо суперінтелект або GPU будуть регулюватися як уран, це буде сценарій кошмару — у мільйон або трильйон разів термісніший і важливіший, тому що ШІ є інструментом загального призначення. Доступ до енергії життєво важливий для промислового створення; якщо вас змусять повернутися до дров, вам кінець, тому що сусідня пекарня з доступом до ШІ матиме перевагу в операційній маржі у 30, 40 або 50 відсотків. Нам потрібен шар обчислень як фундаментальна відправна точка.
Майк Сейлор (Mike Saylor) з MicroStrategy сказав, що якщо США заберуть у вас громадянство, ви зможете знайти інше місце для життя і бути цілком щасливими. Але якщо Google, Apple і Microsoft відріжуть вам доступ до своїх продуктів, ви станете непридатними для працевлаштування в будь-якій країні та будете повністю знищені як людина. Якщо ШІ буде заблокований п'ятьма компаніями, це буде наступний рівень цього. Контраргумент полягає в тому, що якщо відкриті ваги доступні, вам просто потрібні обчислення для запуску локальної моделі. У такому разі обчислення — а під ними енергія — стають абсолютним обмеженням. Це ще один сценарій кошмару.
Політика Білого дому щодо AI та біобезпеки
Білий дім видав NSTM-6 — національну політику, що регулює скринінг синтетичної ДНК та РНК у відповідь на біологічні ризики, спричинені ШІ. Дослідники, які отримують федеральне фінансування, тепер мають користуватися схваленими постачальниками синтезу, причому скринінг зазвичай охоплює послідовності з 50 або більше нуклеотидів. Політика запроваджує верифікацію клієнтів, зберігання записів протягом восьми років та нові стандарти, щоб передбачити більш просунутий скринінг біобезпеки за допомогою ШІ.
Оскільки ШІ прискорює можливості біологічного проєктування, уряди регулюють фізичну інфраструктуру, яка перетворює небезпечні цифрові проєкти на біологічну реальність. Обмежуючи ці «входи», ми маємо запитати, чи є обладнання для синтезу ДНК біологічним еквівалентом просунутих чипів ШІ — критичною точкою контролю для стримування ризиків суперінтелекту — і чи знадобиться нам суперінтелект, щоб захистити нас від біологічних загроз, створених суперінтелектом.
Існує прецедент державно-приватного партнерства для запобігання злочинам за допомогою машин, як-от співпраця Міністерства фінансів із виробниками принтерів для стеганографічного додавання жовтих точок до роздруків як засіб боротьби з фальсифікацією. Незалежно від того, називати це партнерством чи публічно нав'язаними «вузькими місцями» у взаємодії з фізичним світом, це краще, ніж регулювати думки людей або ШІ, коли вони створюють біологічні послідовності.
Якщо «вузьке місце» має бути, я б волів, щоб «Великий Брат» контролював друк послідовностей ДНК та РНК через обмежений набір постачальників, ніж стикатися з кошмарним сценарієм, де картель безпеки вимагатиме від нас використовувати схвалених урядом постачальників обчислювальної техніки, постачальників GPU або передові лабораторії, щоб мати суперінтелектуальні думки. Захід має правову традицію регулювати дії, а не думки. Оскільки синтез біологічних послідовностей є дією, це менш гіркий варіант зі всього спектру. Хоча можна сперечатися, чи є охоплення послідовностей з 50 або більше нуклеотидів правильним параметром, контроль за вхідними та вихідними даними набагато кращий, ніж спроби зупинити біотехнологічні інновації.
Ми ще не дійшли до цього, тому що не бачимо роботів загального призначення, окрім автомобілів, роботаксі та FSD, де вже існує федеральний режим регулювання автономності на дорогах. Наскільки мені відомо, не існує еквівалентного загального режиму — структури типу NTSB, — який вимагав би від виробника бути схваленим і вести «чорні скриньки» кожної переданої команди з 90-денним терміном зберігання перед тим, як випустити на тротуари гуманоїдного робота на базі суперінтелекту. Ми цього ще не бачили, але я думаю, що побачимо; якщо ми бачимо це в синтезі біологічних послідовностей, ми, ймовірно, побачимо це і в робототехніці, щоб захиститися від хакінгу та зловмисних команд.
Це як принтер, що додає унікальні жовті точки для ідентифікації підробок. Ця аналогія працює для обладнання з секвенування генів, тому що машини повністю автоматизовані. Оскільки великі машини для секвенування та синтезу генів є автономними, легко вимагати, щоб усе секвенуване або створене реєструвалося в журналі. Тоді уряд може класифікувати їх як пристрої першого, другого, третього або четвертого класу, а регуляторний орган для пристроїв четвертого класу схвалюватиме їхній розподіл серед користувачів, щоб контролювати, що саме створюється.
Сфера Дайсона: чи стає вона вже помітною?
Фотограф із Нової Зеландії Брендон Ларсон (Brendon Larson) об'єднав 578 світлин, зроблених протягом двох годин над горою Таранакі, зафіксувавши майже 15 000 появ супутникових слідів від приблизно 1 400 супутників. Ця смуга демонструє потенційну появу того, як насправді може виглядати сфера Дайсона, оскільки космос перетворюється з рубежу досліджень на щільний шар технологічної інфраструктури. Це порушить серйозні питання про право власності, переповненість орбіт і доступ людства.
Поки одні ламають голову над наземними обчисленнями, ми можемо подивитися вгору і визнати, що «дитяча» сфера Дайсона вже тут. Між Starlink, ШІ-супутниками Ілона, Starcloud, Lone Star — де я маю фінансовий інтерес — та багатьма іншими Neo Space Clouds, ми спостерігаємо запуск сфери Дайсона. У темряві, подалі від міст, можна побачити, що наше небо вже заповнене обчисленнями. Це ще не GPU-обчислення, що живлять передові моделі, але так буде; це лише питання ступеня.
У південній півкулі небо темніше, а огляд кращий. Ми отримаємо гало з обчислень на сонячно-синхронній орбіті навколо Землі, яке буде видно на світанку та в сутінках, як напівміфічний зелений промінь, що з'являється під час заходу сонця через рефракцію, хоча й не так ефемерно. Якщо цивілізація не зверне на шлях занепаду, це стане ознакою технологічної зрілості.
На цьому зображенні вже можна побачити каустику. Каустики виникають, коли перехресні промені створюють концентровані криві, як-от танцюючі світлі та темні зони сонячного світла, що заломлюється на дні басейну. Ви вже можете помітити формування каустики на фотографії з довгою витримкою навколо Землі, і їх ставатиме більше, коли обчислення сконцентруються на низькій навземній орбіті. LEO підійде для обчислень, але це вузька смуга приблизно до 500 миль; далі виникає проблема ефекту Кесслера.
SSO просторіша, тому я менше хвилююся про синдром Кесслера. Ми можемо розмістити багато обчислень на сонячно-синхронній орбіті; якщо там закінчиться місце, сонячна система — відносно велике місце. Якщо нас менше хвилює затримка сигналу до поверхні Землі, ми можемо розгорнути справжню сонячну сферу Дайсона, а не зосереджену навколо Землі, розмістити її на Місяці або розібрати Меркурій. Матерії, енергії та простору-часу цілком достатньо для всіх.
Точки Лагранжа Земля-Сонце мають певні стабільні, сприятливі характеристики. На відміну від LEO, де об'єкти спускаються в атмосферу і згорають, якщо припинити корекцію орбіти, тут немає прямого аналога «самоочищення». Проте можна уявити прикріплення сонячних елементів до об'єктів, щоб вони «очищалися» назовні, витісняючись у зовнішню сонячну систему, хоча це працює лише за умови достатньо малої маси. Така схема мала б більше сенсу в часи проєкту Yuri Milner Breakthrough Starshot, коли обговорювали прикріплення величезних сонячних елементів до мікрочипів і їх живлення тераватними чи петаватними лазерами.
У цьому епізоді ми пройшли від проміжних виборів до RSI, аж до точок Лагранжа та видимої сфери Дайсона. Наскільки я бачу, RSI майже готова. Меркурій готовий. Сфери Дайсона з'являються. Парадокс Фермі, можливо, вирішений. І станом на вчора, принаймні тимчасово, республіканці «припіклися».
З усім цим прогресом, я думаю, ми побачимо більш запеклу реакцію суспільства, тому що наші політичні, фінансові та соціальні інститути все ще працюють на сублінійній основі в цьому неймовірно експоненціальному технологічному світі. Політика може коливатися циклічно, але це лише накладання на світський тренд: суперінтелект. Наша цивілізація стає суперінтелектуальною прямо зараз через дата-центри, передові моделі та внутрішній цикл. Якщо тільки інопланетяни не приземляться на газон Білого дому і не заявлять, що наша цивілізація зіткнулася з якимось космічним розпорядженням проти будівництва сфери Дайсона, я не передбачаю розвороту цього тренду.
Можна легко уявити, що через кілька років політичні дебати стосуватимуться не стільки того, чи хочете ви мати наземні дата-центри у своєму муніципалітеті, скільки того, чому гало на сонячно-синхронній орбіті не зникає, або чому квитки на місячні канікули такі дорогі. Легко загубитися в короткострокових коливаннях, але, як зазначає Рей Курцвейл (Ray Kurzweil) у своєму законі прискореної віддачі, світові війни та депресії практично не впливають на ціну обчислень.