Криза ШІ в математиці: Нав'є-Стокса, гіпотеза Рімана та теорія складності | Подкаст Лекса Фрідмана #503
Чи варто витрачати на це час?
Ви отримаєте детальний звіт про те, як автоматичні доводжувачі теорем і великі мовні моделі трансформують чисту математику, теорію складності та гідродинаміку.
Ця розмова досліджує, як нещодавні прориви в ШІ раптово автоматизують доведення математичних гіпотез столітньої давнини, змушуючи дослідників переосмислити свої методи та інституційні структури. Вчені аналізують тертя між механізованим вирішенням проблем і людським прагненням до абстрактного розуміння.
ШІ вирішує великі математичні проблеми. Алекс Конторович (Alex Kontorovich) попереджає, що раптовий випуск згенерованих ШІ доведень для визначних проблем, таких як квазігіпотеза Рімана, що встановлює вертикальну смугу без нулів між сім восьмих та одиницею, є надзвичайно шокуючим. Він очікує, що від сорока до вісімдесяти відсотків усього обговореного зміниться протягом п'яти років, оскільки системи здійснили мільйонний стрибок в автоматичному доведенні теорем. Він зазначає, що цей успіх повністю перевершив попередні очікування щодо того, чого можуть досягти автоматизовані системи.
Формальна верифікація за допомогою Lean та Mathlib. Стівен Брантон (Steven Brunton) зазначає, що автоматизована формалізація за допомогою інтерактивних доводжувачів теорем, таких як Lean, дозволяє дослідникам перевіряти технічні базові елементи аж до основних логічних правил виведення. Він пояснює, що Mathlib слугує краудсорсинговою бібліотекою, яка організовує ці доведення. Він наголошує, що ці інструменти допомагають дослідникам змістити фокус на ширший наратив математичних ідей.
Зміна роботи математиків. Анкур Мойтра (Ankur Moitra) стверджує, що автоматизація доведення теорем руйнує традиційний підхід для аспірантів і постдоків, які покладаються на вирішення складних проблем для досягнення успіху. Він попереджає, що надлишок результатів ШІ створює тривогу та страх, загрожуючи повільним, терплячим дослідженням, необхідним для розвитку глибоких математичних інсайтів. Він наголошує, що математики повинні переорієнтувати свої цінності на пошук цікавих підпитань, а не просто на штампування статей.
Сингулярність Нав'є-Стокса та гідродинаміка. Стівен Брантон зазначає, що ШІ створив контрприклад до рівнянь Нав'є-Стокса, який демонструє скінченночасний вибух (blowup), створивши спеціалізований вир, який розтягується і стоншується, поки завихрення не стає нескінченним. Він пояснює, що хоча це важливий математичний результат, повсякденні інженерні застосунки при проектуванні крил літаків залишаються незмінними, оскільки теорема діє в нефізичному режимі. Він стверджує, що розуміння цієї складної гідродинаміки вимагає пошуку простих систем координат, які узагальнюють фізичні закони.
Момент кризи в математиці
Це шанс переосмислити те, чого ми намагаємося досягти. Дехто реагує на цей хаос можливостей позитивно, дехто негативно, а іноді ці реакції відбуваються в одній і тій самій людині. Ми вступаємо в золотий вік математичних знань; після тисячоліть блукання лісом із свічкою в руках, тепер у нас є ліхтарик.
Багато хто не очікував такого прогресу за такий короткий час, тому це справді шокує — це той вид результату, за який людина миттєво отримала б медаль Філдса. Проте це не було цілком неочікуваним, оскільки тижнями ходили чутки, що гіпотеза про унікальні ігри та RL дорівнює L — дві найбільші проблеми в моїх сферах — були в цій добірці результатів. Були навіть чутки про множення матриць. Моєю першою реакцією було: «Ого, це все правда». Я радий, що це нарешті вийшло назовні, щоб люди могли усвідомити те, що сталося, і зрозуміти, що робити далі.
Для мене головне відчуття — це розрив між двома різними напрямками. Моя робота завжди полягала в тому, щоб ставити правильні запитання, і ці інструменти дивовижні, бо вони розширюють мою здатність вивчати інші галузі. Це ніби світовий експерт навчає тебе твоєю рідною мовою, посилюючи твою здатність встановлювати зв'язки.
Але я люблю менторський аспект своєї роботи — не просто підготовку аспірантів і постдоків, а те, що вони проходять ці шляхи разом зі мною. План і схема успіху, які ми мали так довго, тепер вилетіли у вікно, і через це стало важче радити студентам, яка робота принесе результат або допоможе їм зробити собі ім'я. Я відчуваю піднесення, але водночас більшу інтелектуальну самотність, тому що великі результати часто приходять завдяки скромним запитанням. Зараз панує така тривога і страх, що ти мусиш зробити щось грандіозне, аби виділитися в морі результатів ШІ, що ми втратили терпіння, щоб садити насіння, з якого виростають великі дуби.
Лауреат медалі Філдса Теренс Тао (Terence Tao) написав: «Я в жаху від того, як багато людино-років терплячих і свідомо повільних дослідницьких зусиль, особливо аспірантів і постдоків, спрямованих на багато важливих проблем у математиці, були легковажно перервані або знищені таким релізом». Подібно до того, як неможливо «розчути» спойлер до фільму чи підказку до кросворда,
не можна досліджувати проблему так само вигідно й багатогранно, як тільки стаєш знайомим з існуючим рішенням, і я сумую за шляхом, яким не пішли, і за можливостями, втраченими в шаленій гонці за розвитком технологій. Минулого грудня більша частина світу програмування перейшла на ШІ для написання більшості програм, що викликало стан шоку. Я б порівняв це з відчуттям втрати сенсу та терором.
Більшість моїх відчуттів — сповнені надії. Мені подобається вирішувати проблеми, які роблять технології реальнішими для людей, як-от штучні серця та літаки. Наша здатність вирішувати реальні прикладні завдання, а також наш масштаб і охоплення, стануть набагато кращими. Проте є й невизначеність; страх втратити контроль або бути виключеним із процесу, який ми любимо, лякає. Я не здивуюся, якщо протягом наступних п'яти або десяти років нас або затьмарить інший інтелект, або ж він вийде на плато і стане неймовірним інструментом для нашої допитливості та вирішення людських проблем.
Це важко для тих із нас, хто обрав математику, бо нам подобалися правила та формалізм, а невизначеність викликає дискомфорт. Вирішувати цікаві задачі, допомагати іншим, бути допитливим і прагнути зрозуміти світ — це ті речі, до яких варто повернутися.
Я згоден, що шлях так само важливий, як і мета, подібно до того, як подорож дорогою зазвичай така ж цікава, як і прибуття в пункт призначення. Водночас, якби ми дізналися, що інша країна винайшла телепортацію або подорожі в часі, я гарантую, що ми б винайшли це знову протягом наступних п'яти років. Якби ви знали, що це можливо, і могли б провести зворотний інжиніринг, ми б зацікавилися, занурилися в це і розібралися. Знання того, що рішення існує, також є неймовірною мотивацією, щоб дійти до нього набагато швидше.
Чи "вирішить" ШІ математику?
Математика в тому вигляді, в якому ми її знаємо, може бути повністю передана машинам, залишивши людям щось фундаментально інше або, можливо, щось схоже на нашу нинішню практику. Один шлях вирішує математику; інший — руйнує її.
Коли вперше з'явилися шахові рушії, люди уявляли «ігри кентаврів», де люди та комп'ютери грали разом. Це тривало десять секунд; комп'ютери стали настільки хорошими, що якщо ви не обирали найкращий рекомендований хід, ви програвали. Нещодавно я аксіоматизував суперечку зі своїм колегою Томасом Кобердою (Thomas Koberda) про майбутнє. Заради дискусії я приймаю «аксіому вирішеності»: будь-яка математична задача, яку може вирішити людина, взаємодіючи з ШІ, могла б бути вирішена і самим лише ШІ. Це означає, що людині немає чого додати від себе; щоб досягти прогресу в задачі X, ви просто натискаєте кнопку.
Я не вірю, що це зруйнує чисту математику. У той час як інженерна математика може вилікувати рак або створити реактивні ранці, ми доводимо чисті математичні теореми, тому що нам цікаво. Рішення, що існують у вигляді одиниць і нулів у дата-центрах, не мають цінності для людей; цінність чистої математики в тому, що вона живе в наших головах. Тепер, коли ШІ вирішив задачі, які ми вважали далекими, я мушу розробляти більш узагальнювані та абстрактні способи досягнення фінішної прямої, щоб пояснити зв'язки або інші напрямки. Для мене математика — це інструмент для абстракції та розуміння.
Ви будуєте структури, які допомагають вам атакувати ціле море проблем, а не лише одну. Іноді ми міркуємо неточними метафорами, щоб концептуалізувати світ. Як згадав Алекс Конторович (Alex Kontorovich) поза кадром, увага — це все, що вам потрібно; це людська здатність висвітлити конкретні області, які мають значення.
До появи ШІ можна було думати про аксіоми та логічні виводи або теореми, що з них випливають. Простір доведених теорем набагато більший за простір, який насправді цікавить людей, тому є тавтологією те, що теореми, які нас захоплюють, — це ті, що важливі для нас як для людей. ШІ може переконати нас у наявності цікавої структури, як-от те, як рівняння Нав'є-Стокса пов'язані з рідинами та всіма природними системами, або це може бути суміш краси та складності, що притягує нас. Прості числа сповнені складних проблем, які можуть не мати очевидного негайного застосування, але вони нас притягують. Як симптом прагнення до складного, з'являються велика прикладна математика, інженерія та рішення реальних проблем.
Працюючи над задачею, я можу мати велику ціль, але зазвичай намагаюся знайти найпростішу, найбільш «ганьбильну» відкриту проблему, яку я досі не знаю, як вирішити. Пошук доведення схожий на дослідження дерева можливостей, але іноді ми натрапляємо на точки з дуже високим коефіцієнтом розгалуження. У цьому світі математичних кентаврів у нас раптом з'явилося щось ще інтелектуальне, з чим ми можемо взаємодіяти.
Мені подобається «помилка швейцара», коли ви берете складну роботу і зводите її до найпростішого, найбільш помітного завдання. Якщо так спростити роботу швейцара, можна подумати, що його можна замінити розсувними дверима з датчиками руху, ігноруючи всі ті аспекти його роботи, які створюють цінність, але які важче сформулювати. Найпростіша і найпомітніша частина нашої роботи — це доведення теорем. Теореми щодо гіпотез, що залишалися відкритими сотні років, як-от Остання теорема Ферма, — це дуже помітні речі, на популяризацію яких ми витратили багато часу.
Я вважаю, що математик — це той, хто мислить глибоко. Побічним продуктом цього є доведення старих гіпотез, але це також створення нових теорій, нових способів погляду на старі речі та встановлення нових концептуальних зв'язків.
Зараз саме час переглянути наші цінності та згадати, що наша галузь має розмаїття естетики та цілей. Коли щось стає дешевим, як-от розв'язання чітко визначених задач, ортогональні цілі стають набагато ціннішими.
Помилка швейцара — це помилка, коли роботу людини зводять до її найочевиднішого завдання і припускають, що автоматизація цього завдання замінює цінність усієї ролі. Автоматичні двері можуть відкриватися дешевше, але швейцар також вітає гостей, впізнає постійних клієнтів, допомагає з багажем, викликає таксі, забезпечує безпеку, відсікає небажаних відвідувачів і підкреслює престиж, щоб гості відчували турботу. Завдання для людей, і зокрема для математиків, полягає в тому, щоб чітко визначити, чим саме ми займаємося. З моєї точки зору, математики — це експоненти та дослідники прекрасного в широкому сенсі.
Донедавна існувала майже ідеальна кореляція між здатністю доводити нові глибокі теореми та тим, чого ми насправді прагнемо як математики-люди: краси, розуміння та глибини думки. Тепер можна натиснути кнопку і отримати те, що раніше було нашим показником, без зусиль, глибоких роздумів чи обов'язкових знань.
Окрім відповідей на запитання та розв'язання задач, важливо ставити правильні запитання. Якість розв'язання задач вимірюється вмінням ставити цікаві підзапитання, які можна розв'язати та інтерпретувати. Вміння ставити правильні запитання завжди було тим, що ми цінували в колегах, і це ставатиме дедалі ціннішим. Це потребує значного математичного інсайту. Я б не применшував роль математичного інсайту в обох завданнях; коли ми кажемо, що спілкування стане важливішим, я не уявляю, що ми всі станемо інфлюенсерами в Twitter або TikTok. Головне — мати ідеї, які будуть прийняті вашою спільнотою і з часом стануть впливовими.
Найбільше в найближчій перспективі я хвилююся про те, що стане з нашими системами та інституціями. Цей план змінився, тому що ми перевантажені результатами, які відбуваються прямо зараз, і це нормально — взяти час, щоб переосмислити його. Нас і надалі цікавлять ідеї, що впливають на спільноту, але їх важче перетворити на простий критерій оцінки. Для цього знадобиться переробка наших систем та інституцій.
Чи може ШІ створити нову математику?
Я можу довести теорему, не розуміючи, чому це доведення працює. Відбувається якась магія, і поки я не узагальню це явище і не розберуся в ньому глибше, я не бачитиму, чому доведення працює саме так. Можливо, саме тому я не вірю в аксіому вирішеності; наша робота є дослідницькою, і хороше запитання — це більше, ніж просто просування в гіпотезі Рімана.
Щодо краси в математиці, золотим стандартом завжди було те, наскільки простим є результат і наскільки він узагальнюється. Пошук простої, узагальнюючої структури в нескінченному просторі доведених теорем залишається золотим стандартом.
Ми можемо довести існування та єдиність рівнянь Нав'є-Стокса за допомогою ШІ, але люди керують цим процесом. Я хочу, щоб він почав підказувати мені, які запитання я маю ставити. Існують дослідницькі програми, що систематично та автоматично відкривають мінімальні фізичні закони; якщо ви спостерігаєте за падінням куль, ви можете вивести гравітацію та F=MA, або спостерігати за рідинами, щоб вивести рівняння Нав'є-Стокса. Ми ще не записали простих рівнянь для таких даних, як погода, турбулентність і сонячні спалахи, але я припускаю, що в математиці також можна вивести схожі мінімальні елементи.
Моя версія аксіоми вирішеності полягає в тому, що все, що я як математик-людина можу внести, міг би внести й ШІ самостійно. Я намагався стверджувати, що LLM ніколи не зможуть робити те, що роблю я, але мушу запитати: «Чому ні?»
Навіть у такому світі нам все одно потрібні люди з людським математичним досвідом. З'ясувати, яка половина з цього є правдою, буде цікаво та складно. Коли стикаєшся з настільки досконалою технологією, виникає небезпека антропоморфізувати її, щоб концептуалізувати, чому вона працює. Нейронні мережі можуть досягати людського рівня або навіть кращого рівня розпізнавання об'єктів, але їхній успіх менш стійкий. Адверсаріальні приклади — легкі візерунки, додані до природних зображень — можуть повністю обдурити ці системи, але не людину. Мій колишній колега з MIT, Алекс Мадрі (Alex Madry), виконав роботу, яка мені сподобалася, під назвою приблизно «Адверсаріальні приклади — це особливості, а не помилки», де ви навчаєте глибоку мережу дуже добре ідентифікувати природні дані, наприклад, фотографії котів і собак.
Ви додаєте до зображень адверсаріальні пертурбації, через які кіт здається собакою для системи ШІ, і навпаки. Дивно, але коли ви навчаєте глибоку мережу на цьому з усіма неправильними мітками, вона вивчає щось, що добре працює на природних даних. Часто ШІ знаходить лазівки або «чорні ходи» для вирішення проблем, використовуючи статистичні зв'язки в даних, яких люди не помічають. Коли я переглядаю рішення OpenAI, вони не виглядають так, ніби ці задачі розв'язала людина. Для мене все ще існує велика якісна різниця, що є можливістю для співпраці та «математики кентаврів», а не приводом для страху перед ШІ-володарями.
Щодо тридцять сьомого ходу, дехто висловлюється зневажливо, мовляв, він був у «випуклій оболонці» — що ШІ просто робив ходи, відомі людям, але робив їх дуже якісно завдяки хорошому пошуку по дереву. Тім Гауерс (Tim Gowers) мав кращий спосіб описати це як напівгрупу, породжену всіма цими речами. Це те саме поняття комбінування відомих ходів, але простір того, чого можна досягти, набагато більший, ніж у зневажливою «випуклій оболонці». Якщо говорити про квазі-гіпотезу Рімана, то всі ходи, які він зробив, були відомі людям, але довгий каскад цих ходів вражає і є прекрасним.
Щоб пояснити інтуїтивну різницю між напівгрупою та зневажливою випуклою оболонкою: уявіть повітряну кульку. Внутрішня частина — це її випукла оболонка. Усі ідеї, які вигадали математики, створюють цю замкнену область, і все, що всередині, є певною лінійною комбінацією цих ідей. ШІ насправді не досяг нового прогресу, тому що він не висунув кульку назовні. Це називають зневажливо, бо інтуїція підказує, що математик міг би зробити це сам, оскільки це вже було очевидним.
ШІ прочитав кожну статтю — більше, ніж міг би вмістити, прочитати та засвоїти будь-який людський мозок. За охопленням він перевершує будь-яку людину. У випадку з квазі-ГР я б не сказав, що це дійсно нова ідея, а радше прекрасна комбінація добре відомих речей. Багато людей картають себе за те, що мали ідеї в цьому напрямку двадцять років тому. Два роки тому стався великий прорив у кубічних тета-функціях та кубічних сумах Гаусса, що зрештою і стало шляхом, яким ШІ прийшов до рішення.
Щоб протиставити це напівгрупі, я уявляю напівгрупу як плитки. Ви викладаєте плитки на дошці, і щоразу, коли у вас є плитка, ви можете покласти іншу ліворуч, праворуч, попереду або позаду. Ваша інтуїція більше схиляється до напрямку напівгрупи, що означає проблиски розширення на противагу лінійним комбінаціям всередині випуклої оболонки. Існуючі ідеї можуть довести набагато більше, ніж ми як люди були здатні дослідити.
Протягом усієї історії математики проблеми, що здавалися складними та глибокими, мали елементарні рішення на три сторінки, які можна було б пояснити студенту або відкрити за двадцять років до того, як проблема була вперше сформульована. У своїх матеріалах для Міжнародного конгресу математиків я писав, що ми відкриємо багато проблем, які вважали недосяжними за допомогою сучасних технологій, але які насправді є досяжними, якщо скласти їх правильним чином, і саме в цьому ШІ вражає.
Важливим у повітряній кульці є межа між тим, що всередині, і тим, що зовні; зневажливим це стає тоді, коли ви, здається, не змінили цю межу. Було кілька результатів, що змінюють цілу галузь, і вони змінять те, які типи задач ви даєте молодим дослідникам і які області ви досліджуєте, тому що ваше уявлення про ландшафт змінилося.
Один із результатів був від Anthropic, описаний моєю колегою Вірджі Васілевська Вільямс (Virgie Vassilevska Williams) та Джошем Алманом (Josh Alman) стосовно проблеми 3SUM. Це має величезний вплив на теорію детальної складності, оскільки базову задачу, яку дають на співбесідах із кодування, насправді можна розв'язати асимптотично набагато швидше, ніж будь-яким відомим способом, що суперечило ставкам спільноти. Фактично, ціла теорія була побудована на ідеї, що якщо ця проблема дійсно така складна, то всі інші проблеми успадковують цю складність.
Уявіть, якби одна з семисот задач була розкладанням на множники за поліноміальний час. Ви не змогли б скористатися кредитною карткою на Amazon; вся електронна комерція та захищений зв'язок зникли б. Якщо ви дасте мені два числа по мільйон знаків, я зможу перемножити їх за частку секунди, але ми не знаємо, як розкласти отриманий добуток назад на два великих простих числа. Сучасний світ і шифрування з відкритим ключем залежать від того, що нам бракує алгоритму для вилучення простих множників із великого числа.
Відомо, що існують квантові алгоритми для факторизації, тому зараз особлива увага приділяється пошуку постквантових основ для криптографії, таких як методи на основі решіток. Ми стурбовані тим, що станеться, коли квантові комп'ютери стануть достатньо великими, щоб це стало реальною проблемою, хоча у нас ще є трохи часу. Певні математичні результати очевидно призводять до драматичних наслідків; цей вплинув би на економічні системи цілих держав.
Десять років тому докази показали, що команди математиків, які працюють спільно, можуть розв'язувати набагато складніші задачі, ніж будь-яка окрема людина, якщо вони правильно їх розіб'ють. Я віддаю перевагу аналогії з напівгрупою, а не з опуклою оболонкою, але це не слід сприймати як щось принизливе, навіть якщо ці машини інтерполюють людські знання, а не екстраполюють їх. Навіть якщо існує опукла оболонка ідей, зібраних із людських винаходів, ми робимо це недостатньо швидко, і ця повітряна куля не є прозорою. Розсіяти туман і дати математикам радар, щоб бачити за горизонтом, — це неймовірно.
Люди створюють нові визначення та впроваджують нові концепції, що відчувається принципово інакше, ніж перепакування існуючих ідей. Коли вони це роблять, створюється нова гранична точка, і ми запитуємо, якою тепер є опукла оболонка того, що ви можете довести. Ви можете потягнути за кулю, і ми знаємо, коли вона розширюється. Архетип дослідника зміниться через цю нову технологію.
Люди, які мислять широко про більший пласт математики, будуть у найкращому становищі, щоб скористатися цими технологіями. Десятиліттями дослідження зосереджувалися на статті. В інженерії та прикладних науках у нас уже швидко змінюється уявлення про те, що таке академічний внесок. Якщо ви пишете код, який можна використовувати повторно для великої інфраструктури, що підтримує багатомільярдні астрономічні проєкти, як-от LIGO, або масштабні проєкти з дослідження раку, внесок не обов'язково є одним 15-сторінковим PDF-файлом. Він складається з коду, даних і фрагментів, що використовуються повторно і вписуються в ширшу структуру.
Це ще актуальніше для AI; наявність робочого віджета, API, кодової бази або набору даних, які може використовувати спільнота чи AI, стає дедалі ціннішою, навіть більше, ніж один результат чи стаття. Спостерігаючи за еволюцією arXiv, що схожа на те, що відбувається на GitHub, багато хто в русі open source опинився у скрутному становищі. Дехто передбачає смерть GitHub, тому що він не зможе витримати темпів зростання обсягу коду, що додається. Рух open source досягає успіху, коли кілька людей керують кожним репозиторієм, але вони стають психологічно виснаженими через pull requests. Як і в академічному середовищі, open source потребує мотивованих людей; якщо ви вигораєте, як згадував Террі Тао (Terry Tao), ви просто кидаєте це.
Тепер ми можемо довіряти формалізаціям Lean для деяких технічних базових елементів, що дозволяє нам переглянути підхід до написання текстів і зробити акцент на поширенні ідей. Модель Mathlib — це саме той випадок: замість статті ви маєте pull request. У відкритому робочому просторі GitHub мейнтейнери та рев'юери бачать точно, хто запропонував ідею, що спростила аргументацію.
Формальна робота з Mathlib вирішує велику проблему: математиці бракує ідеально написаних специфікацій для теорем і технічних лем. У випадковій книжці з математики автори опускають контекст, бо заповнювати його нудно, припускаючи, що ви прочитали попередні шістдесят сторінок. Це означає, що ви не можете взяти лему з полиці, як фізичну деталь під час будівництва ракети. Якщо в майбутньому математика буде здійснюватися формально, специфікації будуть вбудовані в об'єкт. Lean не дозволить вам використовувати його неправильно, і це є краудсорсинговою версією математики.
Мрією Mathlib, коли проєкт розпочався десять років тому, було організувати математику більше як науку. В ідеалі математика — це формальний процес, що починається з аксіоматизованої системи та логічних правил виведення; це модель, яку діти використовують, щоб вперше побачити доведення та аксіоматичну структуру. Це можна реалізувати у програмному забезпеченні, визначивши фактичні аксіоми та правила логічного виведення. Lean є частиною довгої історії інтерактивних доводжувачів теорем, де ви пишете доведення рядок за рядком, а комп'ютер підтверджує, що кожен рядок випливає шляхом логічного виведення з попереднього стану цілі.
Lean дозволяє перевірити, чи відповідають специфікації коду вашим визначенням; він був винайдений для створення коду без помилок. Це застосування стає дедалі важливішим, оскільки системи AI чудово знаходять баги в коді, написаному людиною. Іншим застосуванням є перевірка математичних результатів шляхом їхнього запису в дуже формальному вигляді. Сам Lean є «залізом», яке перевіряє логічні кроки. Оскільки ви не хочете починати кожен математичний проєкт із визначення натуральних чисел за допомогою нуля та аксіом Пеано про наступника, корисно мати велику, добре підтримувану та організовану загальну бібліотеку. Це і є Mathlib: бібліотека Lean для формалізації математики в екосистемі Lean.
Lean — один із багатьох інтерактивних доводжувачів теорем, але він перемагає в «математичних війнах», якщо такі взагалі існують. Це технологія, яка частково використовувалася, щоб показати правильність доведень у релізі OpenAI. Автоформалізація досягла того рівня, коли системи AI можуть довести теорему природною мовою та написати код Lean, що спирається на Mathlib або проєкт Prime Number Theorem Plus, щоб перевірити рішення аж до аксіом.
Оскільки існує лише кілька логічних правил виведення та жменька аксіом, єдиним чинником, через який математика стає незрозумілою, є масштаб. Формалізація дає нам впевненість у правильності результатів, але часто ми розуміємо ці результати на неформалізованому рівні. Якщо ми маємо «чорні скриньки», ми намагаємося розібратися в них, ставлячи простіші запитання, щоб вибудувати систему розуміння того, як вони дійшли до відповіді. Інженерія доведення та передача цього доведення комусь іншому майже суперечать одне одному. Коли я викладав реальний аналіз минулої осені — і таким був мій досвід проходження цього курсу — перші кілька лекцій завжди присвячені тому, що таке дійсні числа? Ми маємо сконструювати їх як класи еквівалентності послідовностей Коші для раціональних чисел, що б це, в біса, взагалі означало.
У курсі реального аналізу за перший семестр потрібно два тижні говорити про послідовності Коші для раціональних чисел, щоб побудувати пряму дійсних чисел, перш ніж ми зможемо займатися численням із формальними визначеннями епсилон і дельта. Вам потрібно сконструювати дійсні числа, перш ніж почати ними користуватися, хоча люди використовували їх задовго до того, як ми зрозуміли, що така формальна побудова необхідна.
Розглянемо теорему Больцано-Вейєрштрасса: якщо у вас є послідовність дійсних чисел, що стрибають у визначеному діапазоні, якась підпослідовність має збігатися до дійсного числа. Для раціональних чисел це не так. Я викладав цей курс у зворотному порядку від того, як викладали б інженерний проєкт; ви не можете говорити про дійсні числа, поки не знаєте, що вони собою являють. Але якщо ви розповідаєте історію, ви можете почати з дійсних чисел. У вас є інтуїтивне розуміння того, що це таке, і поки ця інтуїція не підводить, вам не потрібна деталізація їхньої побудови.
Думаю, у майбутньому ми писатимемо наукові роботи інакше, приділяючи більше часу історії того, що було вивчено в процесі. Ви робите стандартні речі тут і там, але потім заходите в глухий кут. Ось ідея, чому ви йдете ліворуч, а не праворуч, вгору чи вниз. Формалізація в Lean супроводжувала б цю історію, щоб показати, що інженерна частина працює. Математика — це не музика, де можна розповісти прекрасну історію і цілком нормально порушити правило, як Бах із паралельними квінтами.
Я не поділяю погляду на математику як на просто зростаючий потік теорем. Математика — це не лише кількість теорем, які ми маємо; це історія боротьби з проблемами. Коли ви боретеся з хорошою проблемою, вона бореться у відповідь, і ви чомусь навчаєтеся. Це про систему переконань і абстракцій, які ви відкриваєте на шляху до більш загального сенсу. Розповідати історію про те, як ми дійшли до цих проблем і які вони мають паралелі з іншими, зараз важливіше, ніж будь-коли. Можна слідувати за доведенням рядок за рядком і не розуміти, що насправді відбувається, можливо, попросивши LLM пояснити цю історію, якщо вона зможе.
Гіпотеза Рімана
Центральна проблема в моїй галузі — це гіпотеза Рімана. Ми знаємо, що таке прості числа, і людей цікавить їхній розподіл. Ріман відкрив функцію, яка приймає комплексні числа як вхідні та вихідні дані, і ця функція керує поведінкою простих чисел. Вона називається дзета-функцією Рімана. Під нулями дзета-функції ми маємо на увазі комплексні значення на вході, при яких результат дорівнює нулю, тобто початку координат у комплексній площині. У нас є ці дискретні числа, які не діляться ні на що інше і розташовані серед натуральних чисел на числовій прямій, а тепер ми говоримо про функції з комплексного простору в комплексний простір.
Великим проривом стало розуміння того, як застосувати обробку сигналів до простих чисел. Подібно до того, як мікрофон використовує аналіз Фур'є, щоб перетворити хвилі тиску мого гортанного апарату на амплітуди та частоти, можна уявити прості числа як частинки молекул повітря, що коливаються. Аналіз обробки сигналів дозволяє відновити ці самі прості числа, де частоти та амплітуди відповідають нулям дзета-функції. Суперпозиція цих «хвиль Рімана» відновлює розподіл простих чисел. Гіпотеза Рімана передбачає, що всі ці амплітуди абсолютно однакові, наче оркестр грає музику простих чисел, де кожен інструмент звучить з однаковою амплітудою.
Я не думав, що побачу доведення квазі-гіпотези Рімана за свого життя, тому те, що я побачив це у вівторок, стало надзвичайним шоком. Я спілкувався з гостями на гала-вечорі в Національному музеї математики в Нью-Йорку, але постійно оновлював сторінку, бо знав, що новина з'явиться близько шостої години за східним часом. Я розмовляв із репортером Quanta про те, як вони збираються випустити 700 проблем, а потім глянув і побачив дзета-функцію та функції Діріхле; вони розв'язали питання відсутності нулів, нулів.
Я був упевнений, що нам потрібно щонайменше три роки, щоб формалізувати Велику теорему Ферма. За два дні до цього я читав колоквіум на математичному факультеті Принстона, де пояснював Lean та Mathlib. У Mathlib усе зроблено ідеально, з правильними рівнями узагальнення; там немає коду, який повторно доводить теореми в інших місцях. Системи AI можуть побудувати один або два шари поверх цього, але це такі собі «латки». Вони ще не вміють у канонізацію — рефакторинг недбалого коду для пошуку канонічної версії леми, щоб кожне доведення було простою комбінацією існуючих лем.
На своєму колоквіумі я сказав, що можна формалізувати цілі підручники, якщо вони перебувають у «ореолі» Mathlib. Але з мого досвіду, коли ви просите AI зробити щось, що віддалене від бібліотеки на три або чотири кроки, визначення, які він створює для одного й того самого об'єкта з різними цілями, конфліктують. Mathlib має розростися до того рівня, коли можна буде створювати дослідницькі рукописи, що синтезують безліч різних областей математики. Оскільки Велика теорема Ферма знаходиться так далеко за межами ореолу Mathlib, я очікував, що це займе чимало часу.
Кевін Баззард (Kevin Buzzard) мав грант на мільйон доларів, щоб витратити наступні п'ять років — або, можливо, він уже провів у цьому рік чи два — на те, щоб звести формалізацію Великої теореми Ферма до речей, відомих у 1980-х. Він хотів виконати ті останні сім років роботи Уайлза та Тейлора, що базувалися на надзвичайно складних речах; він не збирався займатися роботами Ленглендса, Таннелла чи Мазура.
Потім у п'ятницю з'явилося тринадцять мільйонів рядків коду від аксіом, і Велика теорема Ферма була доведена. Формулювання цілком елементарне, і Lean каже, що воно без помилок (sorry-free). Це зробила Anthropic; системи ШІ просто стали дуже вправними в «кустарних» рішеннях. Це все ще не витончене доведення, але через тринадцять мільйонів рядків вони отримали формальний доказ у Lean без помилок. Це найцікавіше в людських дискусіях: ми маємо розбіжності, і я наважуся сказати, що від сорока до вісімдесяти відсотків усього сказаного сьогодні буде помилковим через п'ять років, бо все змінюється занадто швидко.
Коли з'явилися перші LLM, вони були жахливими в Lean, але в міру їхнього вдосконалення я зрозумів, що можу використовувати їх для пошуку по бібліотеках. Мені більше не доводилося сидіти й знати, що якась лема існує, але не пам'ятати її назви. Весь мій досвід підказував, що системи можуть робити X, але не десять X; а це було мільйон X, що повністю виходило за межі моїх уявлень про можливості систем.
Я вважаю, що знадобилося двоє або троє людей, чия участь зводилася переважно до вигуків «ПРОДОВЖУЙТЕ», як це буває в мемах про OpenAI або Anthropic. Хоча фінальний промпт звучить як «зроби прорив», у навчанні могли бути підготовчі роботи або проміжні кроки, про які ми не знаємо.
Пам'ятаю, була п'ятниця, і мій мозок просто вибухнув. Був День праці, тому я повів дітей на пляж і мені потрібно було кілька днів відпочити від телефону та Twitter. Я зрозумів, що автоформалізація фактично вирішена. Вона вирішена не так, як я б хотів, але якщо говорити про отримання доведення без помилок для чогось, що люди написали на папері, то ця проблема розв'язана. Коли я повернувся після Дня праці, це були рівняння Нав'є-Стокса з квазі-гіпотезою Рімана.
Прості числа цінні, тому що вони є фундаментальними частинками в теорії множення; кожне ціле число розкладається на добуток простих. Подібно до того, як елементарні частинки складають всю матерію у фізиці, прості числа складають мультиплікативну структуру цілих чисел. Їхній розподіл залишається загадкою, і навіть гіпотеза Рімана не вирішує всього, що ми хочемо знати. Але гіпотеза Рімана була прекрасною, тому що вона вказувала на те, яким має бути цей розподіл, і має тисячі застосувань у далеких галузях; якби вона була істинною, ми б знали XYZ.
Грант Сандерсон (Grant Sanderson) відвідував IAS, і ми мали довгу дискусію про те, що ШІ робить із математичною спільнотою. Мені дуже сподобався коментар, який зробив Камілло Де Лелліс (Camillo De Lellis).
У 1950-х роках математик написав п'єсу, де фон Нейман запитує Бога: «Чи правильна гіпотеза Рімана?». Всі затамовують подих, і Бог відповідає: «Так». Коли фон Нейман запитує, звідки Він це знає, Бог каже: «Ну, я знаю, де всі нулі, і всі вони лежать на лінії R дорівнює одній півій». Задумка п'єси в тому, що для фон Неймана цього замало. Математика — це не факт, а причина; якщо ви скажете мені, що факт є істинним, але я не розумітиму чому, це нічого не додасть до моїх знань.
Прості числа цікаві, тому що вони пов'язані з речами, які може зрозуміти навіть трирічна дитина. В основі всього лежить те, що ми вміємо додавати одиницю до чисел, і в дитинстві наступає той самий момент прозріння: я можу додавати одиницю вічно. Прості числа завжди мене цікавили, бо ми не розуміємо, як додавання та множення працюють разом. Я можу додати одиницю до числа, яке можна розкласти на множники, і поняття не мати, що вийде. Я знаю, що якщо число парне, воно стане непарним, і навпаки, але я не знаю, чи стане число з багатьма складовими простим. Прості числа — це квінтесенція тієї таємниці трирічної дитини, з якою ми всі досі боремося.
У нього була пачка з 20 штук, і він складав із них сітку чотири на п'ять або десять на два. Але одного разу в нього виявилося лише 19, і він ніяк не міг придумати, як зробити з цих 19 охайний прямокутник.
Я не думав, що побачу доведення квазі-RH. Існує формалізація в Lean; твердження Lean вже було в Mathlib, тому той факт, що вони мають доведення без «sorry», дає мені 100% впевненості в тому, що доведення правильне. Впровадження функції Мебіуса та її закручування за допомогою секстичних характерів — це база для аналітичних теоретиків чисел, і тут усе було поєднано саме так, як треба, це було абсолютно неймовірно.
Він показав, що існує критична смуга — вертикальна нескінченна смуга на комплексній площині, де координата X лежить між нулем і одиницею, а координата Y може бути довільно високою або низькою. Гіпотеза полягає в тому, що всі нулі лежать точно по центру цієї смуги, там, де дійсна частина дорівнює одній півій.
До вівторка ми знали про область без нулів дзета-функції, яка ставала дедалі вужчою, чим вище піднімаєшся. Теорема про розподіл простих чисел говорить нам, що базовий розподіл простих чисел еквівалентний тому факту, що на лінії, де дійсна частина S дорівнює одиниці, немає нулів; коли ви рухаєтеся вгору чи вниз по цій лінії, дзета-функція ніколи не досягає нуля. Ця область без нулів, що звужується, дала нам найкращий відомий розподіл простих чисел і найкращий член похибки в теоремі про розподіл простих чисел.
Я передбачав, що лінія може трохи потовщіти, хоча все одно наближатиметься до нуля, якщо рухатися вгору по уявній осі. Ця товщина не змінювалася сімдесят років, але я уявляв, що можна досягти певного прогресу. Натомість ми отримали вертикальну смугу: немає нулів із дійсною частиною між сіммами восьмих та одиницею. Це квазі-гіпотеза Рімана; якщо вдасться знизити ці сім восьмих до половини, це буде повноцінна гіпотеза Рімана. Проте методи, використані в доведенні для семи восьмих — а також у другому доведенні щодо одинадцяти дванадцятих — принципово не дозволяють дійти до однієї половини.
Вони спровокували тисячі проблем, але видали лише позитивні рішення, із успішністю близько десяти відсотків. Коли ці ідеї стануть публічними, штучному інтелекту може бути простіше підібрати той один відсутній інгредієнт, ту нову плитку, і вичерпно дослідити все, чого можна досягти. В інших спільнотах є моделі оцінки внеску без обожнювання однієї особистості. Хоча шлях вперед існує, це короткострокова перешкода для того, щоб займатися математикою та отримувати від неї задоволення так, як ми це робили раніше.
Нав'є-Стокса
По суті, рівняння Нав'є-Стокса описують закон збереження імпульсу для рідин, таких як гази та рідкі речовини. Подібно до того, як F=ma представляє збереження імпульсу в класичній ньютонівській фізиці, той самий принцип застосовується до будь-якого об'єму газу в цій кімнаті або до потоку води. Якщо записати це збереження імпульсу в об'ємі та взяти границю, коли цей об'єм стає довільно малим, ви отримаєте ці рівняння Нав'є-Стокса. Це рівняння в часткових похідних описує, як поле швидкості рідини змінюється в просторі та часі, а також тиск, пов'язаний із силами, що діють на цю рідину.
Записати рівняння для одного маятника легко, але додавання ще одного створює складніше рівняння, що призводить до хаосу. Моделювання повітря в цій кімнаті схоже: я міг би розбити кімнату на мільярд маленьких коробок і написати диференціальне рівняння для імпульсу в кожній, але це створить складну систему рівнянь. Хоча концептуально зрозуміти, що представляє рівняння, просто, розв'язати його, щоб зрозуміти, як рідина рухається на практиці, дуже складно.
Гідродинаміка важлива для зменшення опору літаків; авіакомпанії могли б заощадити десятки мільярдів доларів, зменшивши опір лише на один відсоток. Опір, можливо, простіший за турбулентність, але якщо ви зможете хоча б трохи краще, швидше або точніше передбачити або змоделювати турбулентність, це матиме величезний економічний, екологічний вплив, а також вплив на охорону здоров'я та безпеку в десятках галузей, включаючи створення кращих штучних сердець та ефективніших вітрових і газових турбін. Я можу хотіти крило з високою підйомною силою та низьким опором, але я не знаю, як зміна геометрії вплине на каскад дедалі менших вирів, які турбулентний потік створює над крилом, що в результаті визначає його підйомну силу та опір.
Частково проблема полягає в тому, що моделювання рівнянь коштує дорого, а аеродинамічні труби — ще дорожче; потрібні суперкомп'ютери. Як зауважив Фейнман (Feynman), ми знаємо, як писати загальні рівняння, такі як рівняння Максвелла, Нав'є-Стокса та Шредінгера, але ми не знаємо з самого рівняння, які явища є можливими. Якби ви ніколи не відвідували Землю, ви не змогли б передбачити заходи сонця та припливи лише за рівнянням у часткових похідних. Нам все ще доводиться моделювати, тестувати та використовувати складний інженерний процес, щоб зрозуміти, як ці рівняння проявляються як опір на крилі літака або турбулентність у штучному серці.
У випадку з теорією загальної відносності Ейнштейна (Einstein), він написав рівняння, і через кілька років Шварцшильд (Schwarzschild) виявив точку розриву. Люди думали: «Якщо зібрати достатньо матерії в достатньо малому просторі, світло не зможе звідти вирватися», поки ми не відкрили чорні діри й не з'ясували, що теорія ідеально передбачає те, що відбувається.
Щодо розриву рівнянь Нав'є-Стокса: чи відкриємо ми щось нове про воду, чи справа в тому, що на певному масштабі ви досягаєте атомної структури, яка більше не підпорядковується рівнянням рідин? Інженерна відповідь така: ці рівняння є винятково хорошою моделлю того, як працюють рідини на певному масштабі; для того, щоб ці конститутивні рівняння були дійсними, потрібна певна кількість окремих молекул, усереднених за об'ємом. Якщо наблизитися настільки, щоб побачити окремі молекули, рівняння Нав'є-Стокса перестають працювати. До того моменту, як вони «вибухають», речовина перестає бути рідиною.
З точки зору філософії науки, місця, де рівняння перестають працювати, часто є вікном або дверима до прориву. Коли ньютонівська фізика виявилася недостатньою, з'явився Ейнштейн. Нам досі бракує великого об'єднання, тому що ми не маємо гравітації на тих самих масштабах, що й взаємодії субатомних частинок. Багато людей моделюють і тестують рівняння Нав'є-Стокса в усіх можливих галузях промисловості. Чи стається розрив за скінченний час? Чи пояснює це феноменологію заходів сонця, ураганів і торнадо? Чи можна було б використати рішення з розривом в інженерних цілях, щоб створити стан, який допоможе літакам літати з меншим опором?
Птахи та комахи формують вихори та спрямовують енергію в структури, щоб сісти на камінь або полювати. Керування потоками — один із найскладніших викликів, і наші технології з наукової фантастики розвивалися б швидше, якби ми мали кращу здатність керувати цими потоками. Мені згадується, що коли Фейнмана (Feynman) у 70-х запитали про штучний інтелект, він відповів, що спосіб, у який ми вирішуємо проблеми за допомогою технологій, радикально відрізняється від того, як їх вирішує природа. Він вказав на те, як літають птахи порівняно з тим, як літають літаки. Наші літаки не махають крилами.
Рідина рухається по-різному в різних місцях і в різні моменти часу. Базовим елементом є поле швидкостей: у кожній точці простору вектор швидкості вказує, як рухається ця рідина — швидко, повільно чи створюючи вихор. Стає цікавіше, коли швидкість рідини стрімко змінюється в просторі та часі, як у випадку з торнадо. Тиск впливає на це поле швидкостей і змушує його рухатися; наприклад, у центрі торнадо низький тиск.
Рівняння описують, як ця швидкість змінюється в часі та просторі відповідно до власного імпульсу, як-от пориви вітру. Вона також має внутрішнє тертя та опір, що називається в'язкістю; мед має більший внутрішній опір, ніж вода, а вода — більший, ніж повітря. Зовнішні сили, такі як нагрівання, тиск і гравітація, кожна кількісно виражена як окремий член у великому рівнянні Нав'є-Стокса.
Якщо немає цієї в'язкості, ми маєте сильні підозри, що рівняння можуть і будуть «вибухнути» за певних умов. У нас є простіші приклади, які дійсно вибухають. Наприклад, у простому звичайному диференціальному рівнянні, де X dot дорівнює X у квадраті — де X є станом моєї системи, а X dot — швидкістю зміни X у часі — рівняння вибухає за скінченний час через цю квадратичну нелінійність. Порівняйте це з X dot дорівнює X, як-от популяція кроликів. Вона зростає експоненціально, подвоюючись знову і знову, але не досягне нескінченності, поки не мине нескінченний час. Це нормальне експоненціальне зростання, а не вибух за скінченний час.
Існує прогресія рівнянь у часткових похідних із такою самою поведінкою. Цікаво, що конвективний член у рівняннях Нав'є-Стокса, який описує, як рідина рухається сама собою завдяки власному імпульсу, є квадратичною нелінійністю, точно як X dot дорівнює X у квадраті. Без дифузії або в'язкості ми вважаємо, що цей саморух, ймовірно, має вибухнути до нескінченності за скінченний час. Однак ми не знаємо, чи завжди в'язкість гасить ці вибухи до того, як вони встигнуть статися.
Моя інтуїція як інженера підказує, що так. Якщо я маю потік, що прискорюється до нескінченності, він має негайно дифундувати в сусідню рідину і пригнітити це зростання. Математична проблема полягає по суті в тому, чи існують якісь граничні випадки або початкові конфігурації, де ви ідеально організуєте рідину так, щоб вона дійсно прискорилася до нескінченності за скінченний час. Є дві технічні версії цього: одна без зовнішнього впливу і одна з гладким зовнішнім впливом. Гладкість важлива, тому що якщо зовнішній вплив має сингулярності, як-от нескінченно вузький торнадо, то він, звісно, вибухне.
Проблема в тому вигляді, як вона сформульована, передбачає гладкий зовнішній вплив. Доведено, що гладкий зовнішній вплив можна організувати так, щоб він ідеально скасував різні члени рівняння для створення виру.
Є велика різниця між 3D та 2D. Хоча ми зазвичай уявляємо рідини в 3D, існують спрощені 2D-аналогії потоків; наприклад, погода на Землі добре апроксимується як 2D-потік. У тривимірній турбулентності великі вири зазвичай розпадаються на менші, крихітні вири, поки вони молекулярно не дифундують у тепло. У двох вимірах ви отримуєте зворотний каскад, де маленькі вири об'єднуються в середні, а потім у більші вири, саме тому формуються урагани.
Доведення цього контрприкладу за допомогою AI, що демонструє скінченний вибух, створює спеціалізований вир, який розтягується і стоншується в третьому вимірі, поки не стає нескінченно тонким. Як фігурист, що виконує обертання, радіус зменшується в міру розтягування. Існує спеціальна швидкість стиснення, щоб енергія в рідині залишалася скінченною, але в цій локалізованій нитці потік вибухає, і ви отримуєте нескінченну завихреність. Це фізично контрінтуїтивно, тому що наша інтуїція підказує нам, що дифузія вирішує цю проблему.
Це дуже важливий математичний результат, але повсякденна інженерія рідин та прикладний математичний аналіз залишаються майже без змін. Симулювати та передбачати поведінку рідин сьогодні так само важко, як і два місяці тому. Коли я вирішую інженерну задачу — проєктую крило літака чи штучне серце — мені все ще потрібно симулювати та керувати потоком практичним способом, що дорого коштує з точки зору часу роботи суперкомп'ютерів та ресурсів аеродинамічних труб. Ця теорема діє в режимі настільки нефізичному, що вона не впливає на мою щоденну інженерну роботу.
Існує інженерна проблема вартістю в трильйон доларів: як передбачати ці речі швидко й ефективно та здійснювати інверсний дизайн. Це означає можливу вигоду для людства в трильйон доларів завдяки кращим і швидшим рішенням, меншому опору та меншим викидам, оскільки транспорт, оборона, охорона здоров'я та енергетика мають рідини в основі своїх технологій. Цей математичний результат важливий, тому що ми не знаємо фундаментального характеру того, що можливо в цих рівняннях; ми навіть не знаємо, чи існують рішення.
Турбулентність є складною, тому що вона багатомасштабна. Це явище, при якому складна рідина вирує, змішується і рухається, як на малюнках рідин Да Вінчі, на всіх різних масштабах. Великі, середні та маленькі вихори — всі вони мають значення для передбачення підйомної сили та опору. Проте десять у двадцять третьому ступені газових частинок та їхні індивідуальні конфігурації не мають. Термодинаміка, великий успіх класичної фізики, показує, що невелика кількість чисел — температура, тиск і щільність — визначають поведінку газу.
Такого простого опису не існує для турбулентних рідин, як-от потік над крилом, всередині вашого серця або в річці. Нам потрібне представлення турбулентної рідини, яке дозволило б просто описувати її для інженерії моторів і двигунів, як ми це робимо для газодинаміки. Незалежно від того, чи лежить рішення в математиці, чи в системі AI, що спостерігає за рідиною, я вважаю, що нашим великим фізичним проривам передувала зміна координат. Формула Ньютона F=ma з'явилася після того, як ми помістили Сонце в центр всесвіту замість Землі.
Ми повинні використати ці симуляції та спостереження за рідинами, щоб знайти просту систему координат, щоб опис став простим, узагальнюваним і фізично красивим. Це вимагає як грубої сили — випробування різних перетворень з великою кількістю даних, поки найпростіше з них не забезпечить найкраще узагальнення, — так і глибокої математики щодо форми цього перетворення. Питання, які ставили розумні люди в 70-х і 80-х роках, але вперлися в обчислювальну стіну, тепер є родючим ґрунтом. Ми знаємо з фундаментальних принципів, якої форми мають бути ці системи координат; це ідеальна задача для AI, щоб вивчити ці перетворення, використовуючи більше даних та обчислювальних потужностей.
Я люблю дивитися відео того, як два вихори, наприклад, червоний і синій, стріляють разом, впливають один на одного і зливаються. Вони розтягуються і складаються, і оскільки турбулентність хаотична, траєкторії заплутуються, як спагеті. Там величезна кількість структур, але вони дуже багатомасштабні та заплутані.
Як обчислює природа
Є відомий приклад того, як слизовик знаходить найкоротші шляхи в лабіринтах. Деякі передумови до рівнянь Нав'є-Стокса включають роботу Террі Тао (Terry Tao), яка показує, що рівняння, схожі на Нав'є-Стокса, можуть мати сингулярність (blowup), оскільки вони можуть симулювати машини Тюрінга.
Це вражаюче зниження розмірності; замість того, щоб відстежувати всі позиції та швидкості частинок, метастан описується коротким списком чисел. Але якби я мав таке колосальне спрощення у випадку з турбулентністю, здається, було б дуже важко обчислити щось цікаве. Чи може це бути схоже на гру «Життя», де проста система клітинних автоматів є універсальною машиною Тюрінга і ви можете створити будь-яку поведінку, яку забажаєте? Люди часто цікавляться, які мінімальні правила потрібні для такої екзотичної поведінки, і просто шокує, наскільки лаконічними можуть бути ці правила.
Одним із найбільших «експортних товарів» нашої галузі є алгоритмічний підхід. Йдеться не лише про обчислення, де у вас є чітко визначена проблема та ноутбук, а про обчислення в природному світі та про те, чого це вчить нас щодо законів природи. Наприклад, рівновага Неша — це чудова концепція розв'язку для рівноваги в іграх з кількома гравцями, але той факт, що її важко обчислити, ставить під сумнів, чи є вона дійсно універсальним механізмом, який пояснює, як люди грають в ігри. Мені подобається цитата Камала Джаїна (Kamal Jain): «Якщо мій ноутбук не може цього знайти, то й ринок не зможе».
«Під капотом» криються цікаві обчислювальні проблеми, і можна отримати двоїсту перспективу, поміркувавши над тим, як ці обчислення обмежують те, яким має бути хороший координатний систему.
Якщо я занадто спрощу систему до п'яти чисел, я втрачу описову здатність щодо того, що мене насправді цікавить.
Навпаки, подивіться, як літають нічна метелиця, денний метелик або дрозофіла. Вони є живим доказом того, що можна взаємодіяти з надзвичайно складним турбулентним потоком і здійснювати складне інженерне керування, керуючи силами та моментами під час поривів вітру та дощу. Вони живуть насиченим життям без ступеня PhD з гідродинаміки чи знань рівнянь Нав'є-Стокса. Можливо, є п'ять або шість чисел, які насправді мають значення для їхнього щоденного життя: підтримки переднього вихору та здуття крил для того, щоб сісти або приземлитися. Ми хочемо оперувати всією складністю справді комплексних систем, водночас виділяючи абсолютний мінімум необхідного для швидких рішень у таких екстремальних випадках із комахами.
Біологічні літуни досі значно перевершують створені людьми гідродинамічні системи в багатьох режимах, тож нам ще багато чого треба вивчити. Коли ми моделюємо ці системи, ми схильні припускати повне знання граничних та початкових умов для таких речей, як рівняння Нав'є-Стокса, але птах не знає всього цього. Моделювання з невизначеністю — це спосіб переформулювати задачу оптимізації, щоб отримати глибокі та стійкі рішення.
Як фанат бейсболу, я пам'ятаю одну математичну статтю про гравців зовнішнього поля. Коли м'яч відбитий, його швидкість і траєкторія відомі, тому можна подумати, що гравець побіжить по прямій до місця, де має опинитися м'яч. Натомість вони рухаються злегка по дузі. Це надійна стратегія, оскільки вигнутий шлях дозволяє їм постійно переоцінювати траєкторію та коригувати рух за потреби.
Комахи, зокрема, не можуть виміряти все поле потоку. Вони реагують на пориви вітру швидше, ніж інформація встигає дійти від їхніх крил до мозку і повернутися до м'язів. Дослідники знайшли від кількох десятків до кількох сотень чутливих до розтягування нейронів, розташованих у типових місцях на крилах; у братів-дрозофіл ці нейрони знаходяться в тих самих місцях. Коли порив вітру вигинає крило, ці нейрони спрацьовують, і локальне обчислення в м'язі плеча надійно коригує рух на основі часткової інформації про нелінійну турбулентну систему, для якої у комахи немає рівнянь. Вони можуть зробити більше, ніж ми, маючи значно менше інформації.
У мене є цікава думка, що сингулярність, яку спостерігають при розриві в рівняннях Нав'є-Стокса, стає важливою тоді, коли ми, на відміну від літаків на Землі, подорожуємо крізь дві з'єднані чорні діри за допомогою варп-двигуна. Тоді керування потоком простору-часу стає актуальним, оскільки ви перебуваєте в чорній дірі, а отже — у сингулярності.
Гіпотеза про унікальні ігри та теорія складності
Анкур (Ankur Moitra), одна з моїх улюблених тем — це теоретична інформатика, і оскільки ви є світовим експертом у багатьох її проблемах, я б хотів запитати вас про гіпотезу унікальних ігор, яка була розв'язана в цьому релізі OpenAI.
Однією з найважливіших проблем у теоретичній інформатиці є проблема задовольняємості. Уявіть змінні від X1 до XN, які можуть бути істинними або хибними. Я створюю з них велику формулу, зазвичай як кон'юнкцію диз'юнктів. Наприклад, диз'юнкт може бути таким: X1 або не X3 або X7; цей диз'юнкт задовольняється, поки хоча б один із них є істинним. Потім я беру кон'юнкцію багатьох таких диз'юнктів разом. Питання в тому, якщо я дам вам цю формулу у кон'юнктивній нормальній формі, чи зможете ви знайти таке призначення значень для X1–XN, щоб усі диз'юнктиви були істинними і вся формула мала значення «істина»?
Це канонічний приклад проблеми, яку легко перевірити, але може бути важко розв'язати. Якщо ви скажете мені, що вона задовольняєма, я попрошу надати призначення значень і перевірю кожен диз'юнкт, щоб переконатися, що ви все виконали. Це підводить нас до центральної проблеми теоретичної інформатики: P проти NP. Чи є проблеми, які легко перевірити, також легкими для розв'язання? У нашій галузі вважається, що ні, і це є основою криптографії та електронної комерції.
Відправною точкою для гіпотези унікальних ігор є теорема PCP — визначний результат дев'яностих, який навіть потрапив на першу полосу The New York Times. Її суть у тому, що обдурити верифікатора стабільно важко. Якщо формула задовольняєма, ви можете записати призначення значень, і я зможу перевірити, що вона має значення «істина». Якщо вона не задовольняєма, ви брешете; коли я проходитиму по диз'юнктах, я швидко знайду один, який не є істинним, що анулює все інше.
Докази з імовірнісною перевіркою покладаються на підсилення розриву. Чи можна почати з формули, яку важко вирішити, і сконструювати нову, можливо, набагато більшу формулу, яку стабільно легко перевірити? Якщо вона була задовольняемою, то залишиться такою. Але якщо ні, я повинен мати можливість підкинути кілька монет, запитати випадкові змінні, перевірити випадковий диз'юнкт і з високою ймовірністю виявити, що ви брешете. Лише за допомогою постійного обсягу сублінійного огляду я можу виявити, що ви шахраюєте.
Цей визначний результат заклав основу для складності наближення. В алгоритмах і теорії складності, стикаючись із проблемами, які дійсно важко розв'язати, ми намагаємося розв'язати їх наближено. Якщо ми не можемо знайти призначення, яке задовольняє всі диз'юнкти, чи можемо ми знайти таке, що задовольняє багато з них? Ми очікуємо, що проблеми стануть обчислювально складними після певного моменту; важко не лише визначити повну задовольняємість, а можливо, навіть визначити, чи є вона задовольняемою на 100%, чи в найкращому випадку задовольняє щонайбільше 99% диз'юнктів.
У тих випадках, коли ми знали, що проблема оптимізації є складною, нам кажуть, що навіть наблизити її важко. Гіпотеза унікальних ігор (Unique Games Conjecture) — це посилення звичайної теореми PCP, що стосується певного типу екземплярів покриття міток. Якби ця версія ймовірнісно перевіряємого доведення була правильною, вона мала б величезний систематизуючий ефект; для величезної кількості проблем ми б знали найкращий алгоритм наближення, і він був би дуже простим.
Люди наполегливо працювали, щоб спростувати її. У 2010-х роках було багато суперечок, і нові результати змінювали думку людей щодо того, чи вірять вони в унікальні ігри. Хтось одного разу сказав мені: «Можливо, Бог вирішить, чи це правда, чи ні, залежно від того, яка сторона працює наполегливіше».
Одним із головних результатів у пакеті доведень від OpenAI стало те, що гіпотеза унікальних ігор є правильною. Мої колеги з MIT та IAS, Дор Мінзер (Dor Minzer) та Іріт Дінур (Irit Dinur), зробили вагомий внесок у цей прорив, довівши слабшу версію, відому як теорема ігор два-до-одного. Це стало подією світового масштабу в теоретичній інформатиці, оскільки багато хто не був упевнений у шляху вперед, а їхня робота відкрила життєздатний шлях до чогось близького до унікальних ігор.
Це вражає, що гіпотеза унікальних ігор насправді є правильною. Колись я і сам був серед сумніваючих, бо це звучало занадто добре, щоб бути правдою; роботи, як-от праці Прасада Рагавендри (Prasad Raghavendra), передбачають оптимальну складність наближення для такої кількості різних типів задач задоволення обмежень, що висновок здавався занадто сильним.
За кілька тижнів до релізу ходили чутки, що OpenAI розв'язала гіпотезу унікальних ігор і що вона є правильною. Дор Мінзер навіть опублікував статтю з виноскою, де зазначав, що вони хотіли б ще більше відшліфувати її, але відчули потребу швидше представити свій підхід через ці чутки. За кілька годин до гала-вечора та виходу статті OpenAI я запитав Субхаша Хота (Subhash Khot), який і запропонував цю гіпотезу, що він робитиме, якщо вони оприлюднять позитивне доведення. Він відповів мені: «Ні».
У людей були ідеї, як розв'язати гіпотезу унікальних ігор, і я б побився об заклад, що ці плани спрацювали б, якби було більше часу. Я хвилююся, що оскільки вирішальний прогрес у цих визначних проблемах, що формують цілу галузь, з'явився за одну ніч, люди втрачають ентузіазм щодо тих шляхів.
Я постійно повертаюся до думки, що ми займаємося математикою, щоб гратися і пізнавати світ. Нагороди були названі на честь людей, які пожертвували кошти музею, тому що хотіли, щоб їхні діти мали місце для ігор з математичними ідеями та вивчення світу. Відкриття виставки Ешера дало чудову візуалізацію того, що відбувається, коли ми граємося з математичними концепціями; вони не просто розуміють одну частину, а знаходять абстракцію та набір визначень, які виявляються неймовірно потужними в якомусь іншому куточку математики.
Вони чують історії про знайомих, які запускають скрипти, щоб вичіпати в мережі відкриті задачі та закидати arXiv максимальною кількістю статей. Для багатьох це стає серйозною кризою ідентичності. Дехто вважає себе розв'язувачами задач, і це заспокоює, бо можна окреслити коло навколо проблем, над якими ти працюєш, методів, які використовуєш, та питань, що тебе хвилюють, і заплющити очі на весь інший хаос у світі.
З моєї позиції стороннього спостерігача, деякі з найцікавіших моментів відчуваються як боротьба. Я спілкувався з багатьма олімпійськими чемпіонами, які після перемоги відчувають щось схоже на депресію, бо вони віддали всього себе і раптом усвідомлюють, що все, що вони віддали, тепер у минулому.
Як мислять математики
Він сидить за своїм столом і описує момент, коли усвідомив рішення — не свою першу помилкову заяву, яку він місяцями намагався виправити, а той час, коли нарешті зрозумів, як це зробити. У нього перехоплює подих, коли він намагається сказати: «Я більше ніколи в житті не переживу такого сильного моменту, як той, що я відчув за цим столом того дня».
Щодо ваших слів про шлях: якщо ви бачите величезну гору і кажете: «Одного разу я піднімуся на вершину», і починаєте тренуватися та просуватися крок за кроком, а потім прилітає гелікоптер і висаджує вас на самому верху. Цікавним у випадку Ендрю Уайлза (Andrew Wiles) та Григорія Перельмана (Grigori Perelman) є те, що вони працювали наодинці протягом тривалого часу. Наскільки часто в математиці буває так, що над проблемою працюють наполегливо протягом семи років?
До 20-го століття майже кожна математична стаття мала одного автора. Зараз медіана становить двох. Ми не займаємося лабораторною наукою, тому, коли вони досягають успіху, це має бути їхній успіх; навіть якщо у мене була ідея, що це кудись призведе, якщо вони її реалізували, то це їхня заслуга. Статтю, яку я випустив місяць тому, я обдумував протягом 10 років. Це стаття п'яти авторів. Протягом цих 10 років ми досягали поступового прогресу, поки нарешті не знайшли рішення. Та стаття була прикладом ситуації «тут є якесь явище, і я не розумію, що це таке», а не «ось проблема, розв'яжіть її». Ми не могли дати формалізоване формулювання в Lean на самому початку; ви відкриваєте формулювання, поступово розбираючи проблему, поки не побачите, як усе складається в ціле.
Я мислю через моделі світу. У мене є ментальна модель того, як розвиваються результати в певній підгалузі, що впливає на те, як я бачу суміжні області. Значна частина моєї роботи полягає в тому, щоб будувати мости між алгоритмічним мисленням та іншими проблемами, які зазвичай не вивчаються через цю призму. Коли я тільки став керівником, я припустився помилки, даючи студентам питання на 100% з моєї області. Коли у них з'являлася ідея, я міг дуже швидко її відкинути; незалежно від того, був я правий чи ні, ніхто не отримував задоволення. З часом я почав давати студентам питання, що відхилялися від моєї області на 10 або 20 градусів — речі, які я хотів краще зрозуміти, або важливі статті, на які в мене не вистачило часу, — а потім просив студента пояснити мені результат. Ми проходимо через цей процес разом, не читаючи статтю рядок за рядком, а намагаючись методом зворотного проєктування зрозуміти, чому ми взагалі вважаємо, що це працює.
У важливих статтях є ключові ідеї, які змінюють ваш погляд і дають відчуття, що проєкт може бути реалізованим. Я намагаюся посадити студентів за кермо якомога раніше, не обов'язково з чітко визначеним питанням, а через те, що вони навчають мене, виділяючи та абстрагуючи інформацію до її суті. Ми міркуємо за допомогою аналогій, які не обов'язково мають бути буквально істинними, але допомагають нам зрозуміти, чого очікувати в сусідніх областях.
Технології роблять цю роботу можливою, відкриваючи доступ до ширшого кола проблем. Раніше я відчайдушно тримався за експертів у суміжних галузях, бо вони могли пояснити, як влаштована та чи інша сфера, моєю мовою. Тепер у мене є технології, які також можуть це робити, хоча втрата цього людського фактора викликає легкий сум.
Студенти настільки стурбовані публікаціями, насуваючимся «цунамі» AI, майбутнім роботи та безумовним базовим доходом, що мислять горизонтами у три або шість місяців. Коли я думаю про проєкт, я використовую багаторічний часовий горизонт, щоб реалізувати метавізію — наприклад, застосування методів теорії навчання в квантових багаточастинкових системах. Хоча існують проміжні етапи, найцікавіші проблеми знаходяться за багато років від нас. Важко знайти завдання, які цікавили б нас обох, бо ми мислимо різними світами.
Ми маємо заохочувати студентів думати довгостроково. Єдині проблеми, над якими зараз варто працювати, — це ті, що залишаться актуальними через роки; слід працювати лише над завданнями, стійкими до випробувань часом. Якщо ви поспішаєте, бо вважаєте, що наступне покоління моделей вирішить проблему, просто їдьте у відпустку і не вирішуйте її.
Я відчуваю напругу між жорсткою зосередженістю на одній інженерній проблемі з «шорами» на очах та наданням собі ментальної свободи бути допитливим. Часто рішення знаходиться десь на периферії свідомості, коли ви дивитеся на проблему боковим зором. Мій постійний баланс полягає в тому, щоб спостерігати за галузями, в яких я не працюю, за природою, якої не розумію, і за речами, що мене цікавлять, і водночас зберігати фокус на проблемах, від яких я не відступаю.
Як фахівець із гідродинаміки, я бачу, що хаотичність і складність біології та матеріалознавства взаємодоповнюють одна одну дуже плідно. Я багато чого вчуся в обох галузях; базова математика, яку ми розробляємо для роботи зі складністю, переноситься з однієї сфери в іншу, дозволяючи нам пояснювати речі, яких ми раніше не розуміли. Біологія, рідини та матеріали мають спільне: багатомасштабність, нелінійність, хаотичність і розмиті цілі.
У біології існують масштабні зусилля зі збору величезних наборів даних для розуміння складності систем, як-от конектом — повна схема з'єднань у мозку комах. Ймовірно, ми почнемо отримувати конектоми інших тварин, і з часом вони стануть такими ж дешевими та доступними, як геноми. Я відчуваю, що для розуміння того, як працює біологічна система людини, потрібно потягнути за цю нитку і зрозуміти, як усе життя на Землі виникло та функціонувало як механізм.
Починаючи з однієї клітини, інтелект, закладений у механізм побудови в перші дні, тижні та місяці життя, може бути на багато порядків складнішим за складні математичні задачі, які ми обговорювали. Підозрюю, що складність механізму життя на Землі на багато порядків вища за будь-яку систему, доступну для AI сьогодні. Всередині однієї клітини — ціле місто; один нейрон має систему збору сміття, виробництво енергії та обробку інформації. На кожному рівні це виходить за межі нашої здатності осягнути.
Немає жодних причин, чому закони Ньютона не могли б бути записані мовою фізики, яку міг би описати сам Ньютон, винайшовши числення, щоб показати, що розповсюдження за законом оберненого квадрата призводить до еліптичних орбіт, і розв'язати задачу двох тіл. Той факт, що всесвіт говорить мовою математики, є абсолютно таємничим.
Математика винайдена чи відкрита?
Питання, на які ми намагаємося відповісти сьогодні, не були доступні для роздумів навіть Евкліду. В Греції, Індії та Китаї інтереси відрізнялися, але варто лише точно сформулювати питання, і відповідь буде такою, якою її визначив Бог. Ми відкриваємо відповіді на питання, які самі ж і винайшли.
Рівняння — це завжди наближення реального світу. Я фундаментально вважаю, що математика і створюється, і відкривається одночасно. Ми створюємо математичні формалізми, щоб зрозуміти світ, і ці наближення виявляються неймовірно ефективними. Це справжнє диво, що прості й компактні описи, як-от F=ma або E=mc², описують усе, що ми спостерігаємо на будь-яких масштабах. Ми можемо виділити щось просте й математичне, що описує ці явища; це відчувається так, ніби ми створюємо ці інструменти, але простий, універсальний опис, що лежить в основі всього, — це те, що ми відкриваємо. Простота є гарним орієнтиром, адже вона необхідна людям для взаємодії з реальним світом.
Цілі числа — чудовий тому приклад. Ми всі відчуваємо, що числа для лічби є реальними в якомусь фундаментальному сенсі — я можу мати один, два або три камінці — але це абстракції, які я створив. Камінець — це скупчення атомів; фундаментально не існує «одного камінця» чи «двох камінців». Цілі числа — це людський винахід, що використовується для взаємодії з нашою символічною абстракцією спостережуваних величин. Людям знадобилися тисячі років, щоб відкрити число нуль.
Від’ємні числа були прийняті математиками на Заході вже після того, як механізмом для досліджень стали комплексні числа. Це здається божевіллям, але за цим стоїть своя історія.
Люди часто заходять у глухий кут у вивченні математики, коли добираються до числення (calculus), і на це є кілька причин. По-перше, ймовірно, у них є прогалини в знаннях з попередніх курсів; такі оцінки, як вісімдесят один з геометрії або сімдесят п'ять з тригонометрії, вказують на дірки, які заважають їм подолати поріг, коли все має зійтися в одну цілісну картину.
Числення — це також перший випадок, коли ви серйозно стикаєтеся з нескінченністю, додаючи нескінченну кількість нескінченно малих речей, щоб отримати скінченне число, яке має сенс. Ньютон (Newton) і Лейбніц (Leibniz) не розуміли нескінченність так, як ми сьогодні. З Ньютона сміялися за те, що він писав про «привидів зниклих величин», і його підхід призвів до кризи в дев'ятнадцятому столітті, коли Коші (Cauchy) та Фуріє (Fourier) довели суперечливі теореми. Коші стверджував, що границя послідовності неперервних функцій буде неперервною функцією, але Фуріє показав, що додавання синусів і косинусів — найнеперервніших функцій — може призвести до розривної пилкоподібної функції.
Стало неприпустимим ставитися до нескінченності як до чогось, з чим можна просто гратися, як це робили Ньютон, Лейбніц та Ейлер (Euler) у тисячі з лишком праць Ейлера; нескінченність мала стати професійною. Як наслідок, переважна більшість наших курсів першого року в аспірантурі є результатом тих криз дев'ятнадцятого століття.
Чи може ШІ вирішити P проти NP?
Спочатку точилися дискусії про те, чи зможуть методи на основі LLM одного разу досягти прогресу в найскладніших математичних проблемах, таких як P та NP або гіпотеза Рімана. Очевидно, що вони можуть просунутися в розв'язанні центральних питань цієї галузі.
Приголомшливо те, чого ми не розуміємо. Щодо проблеми задовольняєльності, ми не знаємо жодних суперлінійних нижніх меж. Ми вважаємо, що це потребує експоненціального часу, що не набагато швидше за перебір усіх можливих варіантів і їх перевірку, проте ми не знаємо нічого асимптотично більшого, ніж просто зчитування вхідних даних. Це поліноміальний час проти не поліноміального часу. NP означає недетермінований поліноміальний час; питання в тому, чи речі, які можна вирішити за допомогою недетермінованості, як-от вгадування варіанту та його перевірка, також можуть бути вирішені за поліноміальний час. Зокрема, якщо я дам вам опис формули — змінні та підформули, в яких вони з'являються, — чи існує алгоритм, який працює за час, що є поліноміальним відносно розміру вхідних даних, і правильно визначає, чи існує задовольняючий варіант?
Поліноміальний, експоненціальний та суперлінійний час — усе це стосується аналізу найгіршого випадку. Для людей поза цією галуззю здається нелогічним, що коли ми кажемо, що проблема є складною, ми говоримо про найгірший випадок. Це як аналізувати, чи варто мені з кимось одружитися, запитуючи: «Що найгірше може статися?». Це може бути не найкращою стратегією для людських стосунків; можливо, середній випадок є кращим орієнтиром для прийняття рішень.
У проблемі SAT алгоритмічна мета полягає в тому, щоб визначити, чи є будь-яка дана формула задовольняючою. Важливо, що я не повідомляю вам нічого про структуру формули, наприклад, про розмір підформул або топологію графа, що їх з'єднує. Аналіз найгіршого випадку розглядає обчислювальні проблеми, ігноруючи деталі індивідуальної структури, щоб розв'язати їх для всіх можливих вхідних даних. Це виявилося надзвичайно потужним, оскільки ми визначили багато алгоритмічних проблем, як-от пошук максимального потоку, які можна ефективно вирішити в найгіршому випадку.
Це приводить нас до «аналізу за межами найгіршого випадку», який, на мою думку, є дуже важливим напрямком для теоретичної інформатики. Важко визначити, як саме описати природні проблеми на потрібному рівні деталізації, щоб алгоритм міг використати це для досягнення кращих результатів, ніж у найгіршому випадку. Прикладом цього є онлайн-алгоритми, де послідовність варіантів надходить від одного до N. На кожному кроці ви знаєте рейтинг людини відносно всіх, кого ви бачили раніше, але не знаєте її рейтингу відносно тих, хто ще має з'явитися.
Можна отримати алгоритм із константним коефіцієнтом конкурентоспроможності, де найкращою стратегією буде зачекати протягом випробувального вікна, не приймаючи рішень і не погоджуючись на жодного кандидата. Як тільки це вікно мине, ви берете першу людину, яка краща за всіх, кого бачили до цього. Якщо припустити, що вхідні дані надходять у рівномірно випадковому порядку, ви, ймовірно, досягнете хороших результатів порівняно з ситуацією, коли послідовність відома заздалегідь.
В онлайн-алгоритмах існує завіса невизначеності, тому що я не знаю, якою буде послідовність вхідних даних, і хочу досягти гарного результату незалежно від цієї послідовності, оскільки не знаю, як її моделювати. Іншим важливим варіантом є проблема пейджингу, де ви також заздалегідь не знаєте послідовності запитів. Кількість промахів не набагато гірша за найкращий офлайн-оптимум, якби хтось заздалегідь повідомив мені послідовність і я міг би під неї підлаштуватися.
Цю проблему вивчають ще з 80-х і 90-х років, але найкращі алгоритми — для яких ми знаємо точні верхні та нижні межі — не дуже ефективні. Кількість промахів порівняно з найкращим офлайн-оптимумом відрізняється у великий раз, що не витримує конкуренції з тим, як працює ваш ноутбук, адже він має дуже мало промахів кешу. Замість того, щоб розв'язувати проблему в найгіршому випадку з сформульованим коефіцієнтом конкурентності, ви опиняєтеся перед розмитим питанням: як мені моделювати світ навколо себе? Справа не в тому, щоб побудувати повністю реалістичну модель запитів сторінок, а в тому, щоб спростити проблему саме так, щоб вона призвела до цікавих алгоритмічних задач, які навчать мене чогось про світ і змусять розробляти нові підходи до базових проблем.
Наприклад, факторизація випадкового великого числа — це легко, бо половина з них парні; значення мають саме особливі числа, які є добутками двох простих чисел розміром приблизно з квадратний корінь від початкового числа. Це нагадує мені вашу роботу над математикою LLM, систем AI та нейронних мереж, які досить бісово добре моделюють природний світ.
Чому LLM працюють так добре
У переліку проблем від OpenAI жоден результат не пояснив глибоке навчання або LLM. Не існує такої відомої нам межі, покращення якої раптом пояснило б глибоке навчання; ці проблеми просто не сформульовані таким чином. Я стверджую, що те, чого потребує теорія глибокого навчання, йде рука об руку з кращими способами моделювання світу навколо нас.
Деякі обчислювальні задачі, які вирішують LLM, є дуже складними. Підбір параметрів мережі глибиною чотири під дані — це криптографічно складна задача; розв'язання таких випадків у найгіршому сценарії змінило б наше розуміння криптографії. Проте ці задачі вирішуються щодня під час налаштування набагато глибших мереж. Я вважаю, що значною мірою це пояснюється тим, наскільки «зручними» є природні дані. У фізиці кажуть, що природа терпіти не може вакууму; моя версія полягає в тому, що природа терпіти не може обчислювально складних задач. Це ціле мистецтво — зрозуміти, як провести межі навколо типів задач, які ви вивчаєте, щоб уникнути складності найгіршого випадку.
Цікавим прикладом із 90-х є фолдинг білків. Це можна змоделювати з точки зору найгіршого випадку: маючи послідовність амінокислот і функцію енергії на основі потенційних 3D-структур, ви шукаєте структуру, яка мінімізує енергію. Це обчислювально дуже складно, проте природа вирішує це постійно. В одному експерименті ви починаєте з послідовностей амінокислот і застосовуєте евристики для їх згортання в 3D-структури. Ці евристики не вирішують задачу в найгіршому випадку, але іноді, здається, роблять правильні речі. Лише послідовності з дуже якісним фолдингом доживають до наступного покоління. З часом ви створюєте сукупність задач, які не є складними в найгіршому випадку, і евристики стають дуже ефективними в їх вирішенні. Якби вони були справді складними в найгіршому випадку, форми, які вони набувають, були б крихкими, нестабільними та залежними від граничних умов, що змусило б їх поводитися непередбачувано.
Значна частина наших даних еволюціонувала так, щоб спростити ці обчислювальні задачі. Можна вивчати LLM з точки зору задач оптимізації, які вони вирішують, але з перспективи найгіршого випадку ви знайдете лише дуже складні задачі. Те, що ми не здалися, було гарною ідеєю, а той факт, що наша мова еволюціонувала, щоб спростити ці задачі, тісно пов'язаний із тим, чому працюють LLM. На мою думку, люди, які працюють у галузі теоретичного машинного навчання, мають стати більш відкритими до невизначеності моделювання.
Я б подискутував щодо суто корпоративних стимулів; OpenAI та Anthropic полюють за дослідником, що самовдосконалюється. Якби вони досягли проривів у математиці LLM, я припускаю, що вони б їх не публікували, бо ці прориви потрібні їм самим.
Нещодавно я працював над низькоранговими мовними моделями, які є простим абстракціонуванням мовних моделей, щоб довести нові алгоритмічні гарантії. Виявилося, що реальні мовні моделі мають таку структуру в приблизному сенсі, і розплутування цієї нитки пролило світло на сублімінальне навчання.
Візьміть дві LLM, A і B. Ви кажете LLM A через системний промпт: «Ти дуже любиш сов. У будь-якій темі розмови намагайся згадати про сов, якщо це хоча б трохи доречно». Потім ви просите її згенерувати випадкові числа. Оскільки втиснути сов у це завдання немає як, вона генерує числа, що виглядають випадковими, наприклад сорок вісім, тридцять сім, вісім. Ви можете використати ці числа для донавчання LLM B, якій не давали промпту про сов, тож її параметри стають такими, що вона з більшою ймовірністю генеруватиме ті самі числа, що й модель A. У цих числах прихована любов до сов; і LLM B починає згадувати про сов у кожній розмові.
Це називається сублімінальним навчанням, тому що коли ми донавчаємо мовні моделі, щоб підштовхнути їх до певного завдання, можуть виникнути зовнішні ефекти, через які ми навчаємо їх поведінці, що не є очевидною в даних. Математичні моделі з нашої роботи допомагають нам розібратися в цьому. Якщо говорити загалом, ви лінійно вбудовуєте багато концепцій як вектори у простір високої, але не гігантської розмірності. Оскільки кількість концепцій набагато більша за розмірність даних, вектори не є цілком ортогональними. Донавчання в одному напрямку має незначні зовнішні ефекти на інші. Вони можуть здаватися випадковими, але ви можете координувати їх так, щоб ці маленькі лінійні ефекти підсумовувалися.
Я описую це як дошку відомості: ви ставите запитання привиду або своїм предкам, торкаєтеся фігурки посередині, і вона рухається від літери до літери, щоб скласти слова, які відповідають на ваше запитання.
Коли дотики координовані, а не випадкові, ви можете змусити їх викласти будь-що, що забажаєте. Мовні моделі роблять це як побічний продукт; вони збільшують і посилюють статистичні зв'язки в структурі наших даних, на додачу до таких дивовижних речей, як квазі-Ріман. Розуміння цих зв'язків і того, як моделі їх посилюють, є життєво важливим при розгортанні систем у складних проблемах, що взаємодіють із людьми, а не в безпечних середовищах, як-от виведення Lean-доведення теореми.
У грі «Життя» та клітинних автоматах неймовірна складність виникає з простих правил. Якщо взяти систему, що займається міркуванням — і так уже динамічний процес, що взаємодіє із зовнішніми інструментами — і створити багатоагентні рої, ви отримаєте тип клітинних автоматів, де легка одержимість совами може призвести до того, що всі люди загинуть, а всюди будуть сови протягом чотирьох годин.
Ці системи мають владу, тому що ми залежимо від цифрових систем. Оскільки AI стає потужнішим і кориснішим, ми надаємо йому більше доступу та свободи пересуватися у відкритому світі. У великих масштабах математика цих систем створює ефект клітинних автоматів виникаючої складності — вир із простих одержимих совами агентів. Розуміння цієї одержимості є важливим, щоб вони випадково не зашкодили нашій соціологічно, геополітично та технологічно крихкій цивілізації.
У нас є FAA, Американська медична асоціація та Асоціація адвокатів для речей, що впливають на людей. Ми повинні зважити можливість перевірки та рівень довіри проти того, наскільки високими є ставки, якщо ШІ помилиться. Якщо ШІ видасть неправильний доказ, ніхто не залишиться без електрики; це надзвичайно легко перевірити, і ставки тут низькі. Так само проєктування більш паливноефективного автомобіля з меншим опором повітря має низькі ставки, тому що ви можете перевірити це в аеродинамічній трубі. Хоча оптимізація дизайну ідеально підходить для ШІ, нам потрібен фаєрвол і протоколи — правові системи та інфраструктура — для того, що насправді має бути перевірено.
Проблеми, які ШІ ще не може вирішити
Я все ще схиляюся до P проти NP. Це залежить від часу роботи алгоритму; якщо він настільки великий, що стає непрактичним, це вже не так важливо. Це радше як приливна хвиля для теоретичних досліджень.
Я пам'ятаю напівсерйозну спробу вирішити P проти NP, коли я був аспірантом. Моєю першою реакцією було: «Ні, це не вирішено». Я провів увесь день, роздумуючи про ринки передбачень, які тоді були новинкою, але мені не дозволили зробити ставку проти того, що P проти NP не вирішено. Замість цього я поставив на всі інші проблеми Премії тисячоліття, щоб застрахуватися, бо питання полягало в тому, яка з проблем Премії тисячоліття буде вирішена першою.
Є щось глибоко неправильно зрозуміле в теорії складності, комп'ютерних науках та алгоритмах, якщо існують швидкі алгоритми для проблеми задоволення. Поки що здається, що завжди можна створити складні екземпляри проблем, що ми з великим успіхом використовуємо для наших криптографічних систем, але на практиці багато проблем набагато простіші, ніж ми вважаємо. Для таких речей, як SAT у компіляторах і розподіл регістрів, SAT-солвери є дивовижно ефективними. Ми не знаємо, що робить ці проблеми настільки вирішуваними порівняно зі складними проблемами з криптографії чи інших галузей.
Можливо, багато проблем, які ми моделюємо для найгіршого випадку, насправді є простими, і найскладніше — це сформулювати структури, які роблять їх такими. Проте існує багате джерело складних проблем, на основі яких ми можемо будувати криптографічні системи. Мені згадується початковий рядок «Анни Кареніної» (Anna Karenina): «Щасливі сім'ї схожі одна на одну, кожна нещаслива сім'я нещаслива по-своєму». Я хвилююся, що багато проблем простіші, ніж ми їх малюємо, але вони прості з дуже різних причин. Проблеми SAT із розподілу регістрів дуже відрізняються від проблем з інших областей, навіть якщо вони також є простими.
Григорій Перельман
Мене вже вражає квазі-Гіпотеза Рімана, але це не сама Гіпотеза Рімана. Перельман відомий тим, що відмовився від медалі Фільдса, заявивши: «Якщо доведення правильне, це єдина визнання, яке мені потрібне». Я не знав, що він відмовиться. Він єдиний, хто відмовився від премії Клея та мільйона доларів. Математики дивні.
Ми любимо різноманітність думок і поглядів; саме це робить світ математики таким чудовим, адже ми приймаємо всіх підряд. Цього літа ми замислювалися: «Чи не востаннє вручають медаль Фільдса?» Сподіваюся, що ні. Люди, які отримують ці нагороди, зазвичай є професорами з постійним контрактом у топових закладах, які займатимуться математикою до кінця життя, і Перельман тут дуже відомий виняток. Ці премії відзначають діяльність, підкреслюючи те, що вважається важливим або найвищим досягненням у чомусь, і завжди будуть речі, які ми захочемо відсвяткувати.
Вирішення великих проблем — це те, що можуть робити системи AI. Це не буде рідкістю, а отже, не буде настільки цінним, як у минулому. Попри нашу попередню дискусію про аксіому розв'язаності, я в неї не вірю, і вважаю, що «математика кентаврів» буде чудовим способом займатися наукою. Я постійно спілкуюся з системами AI і вивчаю математику набагато швидше, ніж міг би інакше.
У майбутньому не буде фрази «я не розумію, що це означає», тому що ви просто завантажуєте це в LLM і ставите запитання. Вона точно визначить зону найближчого розвитку — той рівень, де вона знає все, що знаєте ви, і дає наступну підказку, необхідну для початку навчання. Якщо люди використовуватимуть це ефективно, вони зможуть кардинально прискорити свою освіту. Навіть такі старі консерватори, як я, зможуть опановувати нові галузі, хоча вивчати математику все одно важко.
До рівня PhD від вас не очікують створення нових математичних теорій, проте людям все одно надзвичайно важко навчитися вирішувати проблеми, які вже були розв'язані іншими, не кажучи вже про нерозв'язані. Я вірю, що цей інструмент стане дивовижним ресурсом, який допоможе людям досягти зони найближчого розвитку та набагато швидше розвивати своє розуміння; я б із задоволенням повернувся до аспірантури з тими інструментами, що є у нас зараз.
Мій мозок навчається через створення найпростіших візуальних іграшкових прикладів, які все ще містять суть, особливо якщо вони інтерактивні. Якщо я можу щось рухати, я миттєво це розумію. Замість того щоб мучитися з нотацією та словами, про значення яких домовилася спільнота, я можу просто знати, що маленький символ означає ось це. Наприклад, я можу взяти статтю DeepMind про фолдинг білків і насправді зрозуміти її, виокремивши певні аспекти та погравшись із ними.
Ключовими інгредієнтами є допитливість, вміння ставити правильні запитання та здатність розпізнати нісенітницю — навички критичного радника, які дозволяють отримувати інформацію в сферах, де ви не є експертом, і розуміти, чи потрібно копати глибше, чи варто заперечити. Страшно від того, що ми очікуємо від студентів молодших курсів та молоді взаємодії з цими інструментами, коли їхній мозок ще не повністю сформований. Ми вимагаємо від них критичного мислення та навичок консультування, щоб вони могли визначити, чи є інформація правдивою, або як її поставити під сумнів. Навчити дітей бути хорошими «радниками» — це величезне завдання для освіти.
Якщо вас не змушувати щось робити, бо AI може допомогти, я не знаю, яке суспільство це створить. Математика має найбільшу фору в цьому питанні, оскільки калькулятори з'явилися 70 років тому, але ми все одно просимо дітей вчити таблицю множення. Ті, хто її не вивчив, бо калькулятори могли це зробити, дійсно постраждали. Сподіваюся, ми зможемо винести з цього урок і зрозуміти, що набагато краще, коли ти можеш зробити це самостійно. Діти обожнюють опановувати навички, як-от коли вони вперше вчаться зав'язувати шнурки. Ви хочете бути незалежними від машин; те, що машина може щось зробити, не означає, що вам не потрібна здатність робити це самому.
Поради молодим людям
Студентам PhD з чистої математики моя порада проста: робіть те, що ми завжди робили. Вивчайте найскладнішу, найабстрактнішу математику, яку тільки здатний осягнути ваш розум, і якомога більше.
На рівні бакалаврату ми спостерігаємо бімодальний розподіл. Раніше оцінки були за розподілом Гаусса, але тепер стався розкол. Деякі студенти використовують AI, щоб перевірити своє розуміння, просячи його влаштувати їм опитування за конспектами, щоб переконатися, що вони дійсно засвоїли матеріал; такі студенти отримують набагато вищі оцінки. Інші просто просять відповіді на завдання, які треба здати за годину, щоб переписати їх своїми словами. Це створює розрив між успіхами в домашніх роботах та результатами іспитів. Моя порада — бути головою, а не хвостом цього розподілу; використовуйте AI, щоб навчатися та розвиватися.
Ми чомусь прирівняли інтелект до моралі, але суперінтелект не означає суперморальність. Це величезна проблема в системах AI. Суперінтелект, схоже, дає суперздатність раціоналізувати, а здоровий глузд — той, що є у фермерів та решти світу — підказує, що раціоналізація часто є нісенітницею. Те, що ви можете подати це в гарному світлі, а я не можу з цим сперечатися, ще не робить це правильним. Освіта та мудрість — це дві різні речі.
Будьте допитливими та вивчіть усі основи. Навіть якщо ваш комп'ютер виконує лінійну алгебру, числення або фізику краще за вас, ви все одно повинні вивчати їх, щоб розвинути інтуїцію. Також важливо розуміти історію та ці зміни в контексті інших великих людських зрушень.
Допитливість розуму безперервно викрадається економікою уваги; той самий двигун, що пробуджує вашу цікавість, змушує вас зациклитися на негативних новинах. Ви повинні навчитися уникати відволікань і зосередитися на тому, щоб дозволити допитливості досліджувати та заглиблюватися в тему. AI насправді корисний для цього, оскільки він має стимул приносити користь від взаємодії, а не підтримувати вашу залежність. Уникайте відволікань і глибоко зосереджуйтеся. Нудьга важлива, адже саме з неї часто виникають допитливість і фокус. Старша школа — чудовий час, щоб вивчити все необхідне для створення фундаменту повноцінного, прекрасного життя.
Старша школа — це час для досліджень, поки світ змушує вас навчатися і винагороджує за це. Як тільки ви потрапляєте в аспірантуру або влаштовуєтеся на роботу, вас відстерігають від такої дослідницької роботи. Викладачі, які ще не отримали постійного контракту, відчувають те саме: вони думають, що зможуть розслабитися і мислити глобально, коли отримають tenure, але спершу вони повинні створити достатньо праць, щоб його заслужити. Ми не хочемо, щоб наша молодь пробивалася туди з таким боєм.
Також важливо робити речі заради внутрішніх причин. Багато хто в нашій професії, хто обирає академічний шлях, має зовнішній локус самоідентифікації, визначаючи свою цінність через те, як їх бачать інші. Ви можете наполегливо займатися математикою, щоб вразити людей, але зрештою визначні досягнення закінчуються. Щоб впоратися з цією невизначеністю, вам потрібне відчуття мети та любов до своєї справи. Якщо ви будете дотримуватися старого сценарію, то витрачатимете свій час на публікацію згенерованих AI доведень на arXiv та надсилання їх у журнали лише для того, щоб роздути своє резюме. Якщо у вас є вища мета, ви будете в кращому становищі, щоб адаптуватися до світу, що змінюється, розробити власний план і комфортно почуватися в умовах невизначеності.
Ми провели свій творчий відпуск у Пало-Альто, епіцентрі студентського стресу. Коли я повернувся до MIT, мене попросили виступити з промовою на урочистому зборі. Я замислився, що сказати в аудиторії першокурсників та їхніх родин, які, якщо життя — це гра в оптимізацію того, як ви виглядаєте на папері в сімнадцять років, вже перемогли. Я згадав, як починав навчання в коледжі та як мені хотілося вчитися. У мене були блокноти з плануванням на чотири роки, щоб, якщо я проходитиму курси в правильному порядку, міг вивчати фотоніку на другому курсі. Я поняття не мав, що таке фотоніка, але це звучало весело та солідно.
Значна частина нашого суспільства орієнтована на перемогу та гарний вигляд на папері. Ви починаєте в старшій школі, оптимізуючи AP та позакласні заняття, щоб потрапити в елітний навчальний заклад. Потім, у цій елітній школі, ви можете прогулювати заняття, щоб готуватися до співбесід для отримання роботи в передовій лабораторії, отримати кілька обмежених акціонерних одиниць і так прожити своє життя.
Найкращий спосіб прожити насичене та повноцінне життя — це уявити, що ви вже перемогли, а потім визначити, що б ви робили за такого сценарію. Коли я почав працювати викладачем у MIT, Санджив Арора (Sanjeev Arora) сказав мені, що найпростіший спосіб отримати постійний контракт — це вдавати, що він у вас уже є, і робити те, що ви хотіли робити від самого початку.
Пошук чогось, у що ви дійсно вірите, — це єдиний відомий мені шлях до самореалізації. Я почув кар'єрну пораду від людини, яку поважав: повноцінна кар'єра — це робота над проблемою, яка є важливою, цікавою і в якій ви розбираєтеся. Якщо ви отримаєте дві з цих трьох умов, вам пощастило; якщо всі три — ви будете щасливі до кінця життя. Розуміючи, що є цікавим, важливим і в чому ви сильні, ви зможете бути готовими, коли з'явиться така можливість, і продовжувати робити те, що вам дійсно подобається.
Хоча ця порада й слушна, варто бути чесними: я сиджу з трьома світовими людськими розумами, які знайшли свій шлях. Дехто з найцікавіших людей у житті спотикається — чи то через зовнішнє середовище, чи через внутрішнє, чи через те, що приносить всесвіт. Багато хто відчуває і помічає це прямо зараз через усе, що AI робить із нашим суспільством. Можна бути паралізованим цим страхом, а можна уявити: «Я вже переміг. Що б зробила людина, яка вже перемогла, у цій ситуації?» Це знімає страх і дає оптимальний шлях в умовах сильної невизначеності. Спробуйте бути тією людиною, яка придумає, як написати наступний план дій.
Макс Тегмарк (Max Tegmark), який є досить ексцентричним і зробив у своїй кар'єрі багато дивних, прекрасних і мейнстримних речей, казав, що треба поєднувати обидва підходи. Ви повинні працювати в системі достатньо, щоб бути частиною спільноти та наукового потоку, але водночас робити достатньо бунтарських і дивних речей, щоб прокладати власний шлях. Знайдіть цей баланс: будьте майстерними та шанобливими всередині спільноти, але не бійтеся бути трохи дивними. Як сказав Том Вейтс (Tom Waits): «Мені подобається мій Том із краплею отрути». Трохи дивацтва, а іноді й багато, робить людей прекрасними.
Ми провели 30-річний експеримент щодо того, скільки ми можемо зробити за допомогою машин, і тепер, коли ми можемо робити неймовірно багато, я сподіваюся, що ми усвідомимо: насправді ми воліємо робити речі з людьми. Я отримую задоволення від своєї наукової роботи та академічної кар'єри, але повернення додому до дітей, похід на пляж, якщо FLT буде вирішено, і гра з ними в м'яч — це щось зовсім інше. Все інше — це лише вишенька на торті; фундаментом є сім'я та люди, про яких я піклуюся. Оскільки AI перетворює інтелект на товар, ми зрозуміємо, що інтелект і головоломки, які ми розв'язуємо, — це лише вишенька збоку. Головне — це інші люди в нашому житті.