Чи можливий «закон Мура» для штучного інтелекту?

Упродовж десятиліть розвиток обчислювальної техніки визначався законом Мура — емпіричним спостереженням, згідно з яким кількість транзисторів на мікросхемах приблизно подвоювалася кожні два роки. Це забезпечувало постійне зростання продуктивності та зниження вартості обчислень. Однак у сфері штучного інтелекту ситуація виглядає інакше. Стаття SemiEngineering розглядає питання, чи можна створити аналог закону Мура для масштабування ШІ та які фактори визначатимуть його розвиток у найближчі роки.

На відміну від традиційних процесорів, прогрес у сфері ШІ залежить не лише від удосконалення мікросхем. Вирішальну роль відіграє поєднання кількох компонентів: обчислювальної потужності, обсягів даних, архітектури моделей, ефективності алгоритмів і можливостей енергопостачання дата-центрів. Саме тому просте збільшення кількості транзисторів уже не гарантує пропорційного зростання продуктивності систем штучного інтелекту.

Однією з головних проблем стає економіка масштабування. Розробка та навчання великих мовних моделей потребують дедалі більших інвестицій. Якщо раніше підвищення продуктивності можна було досягти завдяки переходу на нові технологічні норми виробництва чипів, то сьогодні витрати на створення сучасних ШІ-моделей зростають значно швидше, ніж продуктивність апаратного забезпечення. Це змушує галузь шукати нові підходи до підвищення ефективності.

Важливим напрямом розвитку стає спеціалізоване обладнання. Поряд із графічними процесорами дедалі ширше використовуються прискорювачі для машинного навчання, нові типи пам’яті та інноваційні технології упаковки мікросхем. Виробники прагнуть скоротити витрати енергії на передачу даних між процесорами та пам’яттю, оскільки саме це дедалі частіше стає вузьким місцем сучасних систем.

Ще один ключовий фактор — програмна оптимізація. Дослідники знаходять способи досягати кращих результатів не лише за рахунок більших моделей, а й завдяки ефективнішим алгоритмам навчання, компресії моделей і раціональному використанню обчислювальних ресурсів. У багатьох випадках такі оптимізації забезпечують приріст продуктивності, який раніше вимагав би значного збільшення апаратних потужностей.

Автори статті вважають, що майбутній розвиток ШІ навряд чи буде підкорятися одному простому правилу на кшталт закону Мура. Натомість галузь рухається до комплексної моделі масштабування, де прогрес визначатиметься одночасним розвитком напівпровідникових технологій, архітектури систем, програмного забезпечення та енергетичної інфраструктури.

Головний висновок полягає в тому, що для подальшого розвитку штучного інтелекту недостатньо просто створювати більші чипи або моделі. Наступний етап еволюції ШІ вимагатиме системного підходу, який поєднає інновації на всіх рівнях — від транзисторів і пам’яті до алгоритмів і дата-центрів. Саме така сукупність факторів може стати новим аналогом закону Мура для епохи штучного інтелекту.

Раніше ми писали, що робітники Microsoft і Meta різко збільшили витрати на штучний інтелект через явище «tokenmaxxing»