Що таке Network-on-Chip і в чому його переваги

Напівпровідникова галузь швидко переходить від монолітних SoC до архітектур на основі чиплетів. Водночас AI-навантаження виходять за межі хмарного інференсу у сферу фізичного AI — систем, які сприймають, міркують і діють у реальному світі (автономні автомобілі, промислові роботи, дрони тощо). Такі системи вимагають безперервного високооб’ємного потоку даних між гетерогенними обчислювальними блоками.

Ці тенденції виявляють слабкість сучасних архітектур комунікації між кристалами. Когерентні протоколи чудово працюють у процесор-центричних системах, але погано відповідають патернам трафіку сучасних AI-прискорювачів. Потрібен новий підхід: транспортування нативного пакетного трафіку Network-on-Chip (NoC) безпосередньо через межі мікросхеми за допомогою стабільного, інваріантного інтерфейсу.

Фізичний AI кардинально змінює характер он-чіп комунікації. На відміну від традиційних процесорів, де домінують звернення до пам’яті та когерентність кешу, автомобільні та роботизовані платформи одночасно виконують обробку камер, радарів, лідарів, сенсорну фузію, AI-перцепцію, планування шляху та керування актуаторами. Дані — це потоки feature maps, тензорів, хмар точок і проміжних результатів інференсу розміром у сотні кілобайт чи мегабайт, що рухаються між спеціалізованими прискорювачами з детермінованою швидкістю. Це більше схоже на високопродуктивну dataflow-мережу, ніж на когерентну багатопроцесорну систему.

Когерентні протоколи ефективні для зв’язку між процесорними кристалами, звернень CPU до пам’яті та керування. Проте для AI-трафіку вони неефективні: кожен рядок кешу (зазвичай 64 байти) несе великий накладний протокол (адреси, ідентифікатори транзакцій, метадані когерентності). При передачі великих тензорів цей наклад повторюється тисячі разів, споживаючи значну частину міжкристальної пропускної здатності. Навіть оптимізації для некогерентного трафіку обмежені й не вирішують проблему довгих потокових передач.

Існуючі некогерентні підходи (AXI Chip2Chip, AXI over UCIe тощо) також працюють на рівні транзакцій: пакети NoC конвертуються в AXI перед перетином межі мікросхеми і знову збираються на іншій стороні. При масштабуванні до десятків AI-двигунів на кількох чиплетах це додає зайвої затримки, буферизації та складності.

Більш природна архітектура — дозволити самому NoC охоплювати кілька кристалів. Нативні пакети NoC транспортуються безпосередньо через міжчиповий інтерфейс, а віддалена мікросхема стає просто ще однією частиною тієї ж логічної мережі. Це дає низку переваг:

– потокові передачі залишаються пакетними від виробника до споживача без повторних конверсій;

– віртуальні канали дозволяють розділяти різні класи трафіку (контроль, сенсорні дані реального часу, AI-інференс, bulk DMA) зі збереженням QoS;

– існуючі механізми маршрутизації, арбітражу та управління перевантаженнями природно поширюються на кілька кристалів;

– один інтерфейс може перевозити кілька протоколів (AXI, APB, AHB, OCP);

– межа кристалу перестає бути точкою перекладу протоколів і стає лише додатковим хопом у єдиній мультичиповій (multi-die) NoC.

Для автомобільного фізичного AI це особливо важливо через жорсткі вимоги до затримки, детермінізму, потужності та функціональної безпеки. Основні потоки даних часто йдуть не між CPU і пам’яттю, а між прискорювачами (камера → перцепція → фузія → планування → керування). Нативний пакетний NoC забезпечує ефективніше використання смуги пропускання, меншу затримку та нижче енергоспоживання.

Пряме розкриття внутрішнього протоколу NoC проблематичне, бо внутрішні формати пакетів постійно еволюціонують (нові алгоритми маршрутизації, віртуальні канали, QoS). Рішення — визначити інваріантний архітектурний інтерфейс: стабільний пакетний протокол для міжкристального транспорту, який дозволяє внутрішнім NoC кожної чиплети розвиватися незалежно. Такий інтерфейс підтримує кілька некогерентних протоколів, конфігуровану ширину, віртуальні канали, абстрагує деталі реалізації та працює з різними фізичними шарами (UCIe, BoW, PCIe тощо).

Запропонований підхід створює масштабовану, багатопротокольну multi-die мережу, оптимізовану під домінуючий патерн фізичного AI — високосмугове, низькозатримкове переміщення даних між прискорювачами. Він усуває зайві перетворення протоколів, мінімізує накладні витрати та забезпечує довгострокову архітектурну стабільність, необхідну для safety-critical систем.

Нагадаємо, що мережеві експерти припускають, що внаслідок трансформації мережевої інфраструктури під впливом штучного інтелекту саме ШІ візьме на себе більшу частину роботи з управління мережею з мінімальною участю людини.

Джерело: SE