Google представила восьме покоління своїх спеціалізованих тензорних процесорів
У межах конференції Google Cloud Next компанія Google анонсувала чергове покоління своїх спеціалізованих тензорних процесорів (TPU). Вперше в історії розробки була представлена стратегія розділення на дві спеціалізовані архітектури: TPU 8t та TPU 8i. Це рішення продиктоване переходом від простої генерації контенту до «ери агентів» — складних ШІ-систем, які повинні міркувати, планувати та виконувати багатоетапні завдання.
TPU 8t: процесор для навчання (Training)
TPU 8t розроблений для найскладніших обчислювальних завдань навчання моделей наступного покоління. Його головна мета — скоротити цикли розробки фронтирних моделей з місяців до тижнів.
- Масштабованість: Один суперпод TPU 8t включає 9600 чипів, що забезпечує продуктивність у 121 Ексафлопс та 2 ПБ спільної пам’яті з високою пропускною здатністю.
- Продуктивність: Завдяки новій мережевій архітектурі Virgo, чип забезпечує майже лінійне масштабування до мільйона одиниць у логічному кластері.
- Надійність: Система націлена на показник «goodput» (корисного часу обчислень) понад 97% завдяки автоматичному виявленню та обходу несправностей у мережі без переривання роботи.
TPU 8i: Двигун для логічних висновків (Inference)
TPU 8i оптимізований для розгортання моделей та роботи «роїв» (swarms) агентів, де критично важливою є низька затримка.
- Багато пам’яті: Чип оснащений 384 МБ вбудованої пам’яті SRAM (утричі більше, ніж у попередника), що дозволяє тримати робочі набори даних безпосередньо на кристалі.
- Ефективність: Завдяки використанню Arm-процесорів Google Axion як хостів, система забезпечує на 80% кращу продуктивність на долар, дозволяючи компаніям обслуговувати вдвічі більше клієнтів за ті самі гроші.
- Оптимізація під агенти: Нова архітектура Boardfly зменшує затримки зв’язку між чипами в 5 разів, що є життєво важливим для ітеративних міркувань ШІ-агентів.
Сталий розвиток
Обидві платформи демонструють у 2 рази кращу енергоефективність (продуктивність на ват) порівняно з попереднім поколінням. Google інтегрує четверте покоління рідинного охолодження, що дозволяє підтримувати високу щільність обчислень.
Системи будуть доступні клієнтам у другій половині 2024 року як частина Google AI Hypercomputer — уніфікованого стека, що об’єднує апаратне забезпечення, відкрите ПЗ (JAX, PyTorch, vLLM) та гнучкі моделі споживання ресурсів. Таким чином, Google створює фундамент для автономних систем, здатних вирішувати найскладніші інтелектуальні завдання планети.
Раніше ми писали, що завдяки новій угоді з Google компанія Intel може знову стати ключовим гравцем.
