Что делает NPU и почему он есть в стольких ноутбуках?

Недавно купили новый ноутбук? Скорее всего, в нём есть NPU — чип, которым вы почти наверняка не пользуетесь. NPU, или нейронный процессор (Neural Processing Unit), — это блок кремния, который выполняет задачи ИИ, потребляя лишь малую долю энергии, необходимой CPU или GPU. Примерно 2 Вт против более чем 100 Вт, которые требуются обычной дискретной видеокарте ноутбука для той же работы. Хотя такие чипы есть ещё не во всех ноутбуках, в машинах среднего и премиального сегментов они теперь практически стандарт.

Консалтинговая компания Gartner считает, что ПК с поддержкой ИИ, такие как эти ноутбуки с NPU, составляют более половины всех мировых поставок. Происходит это не потому, что покупатели хотят их или нуждаются в них, а ради соответствия требованиям сертификации. Ещё в 2024 году Microsoft фактически постановила, что новые ноутбуки должны обеспечивать 40 TOPS (мера того, насколько быстро NPU справляется с математикой ИИ) производительности выделенного NPU — иначе производители рискуют лишиться доступа к новым ИИ-функциям Windows. В результате железо с NPU разлетается с полок, но программное обеспечение отстаёт.

Задача NPU — ускорять инференс. Это этап «запуска модели», а не этап «обучения модели», для которого используются GPU. Нейросети при этом в значительной степени опираются на два вида вычислений: умножение матриц и нелинейные функции активации. NPU специально созданы для того, чтобы выполнять эти операции максимально быстро и эффективно, но ценой части универсальности, присущей CPU и GPU.

Рассмотрим пример с размытием фона во время видеозвонка. Большинство из нас им пользовались, и работать оно может как на CPU, так и на GPU. Но оба потребляют много энергии, выделяя тепло и сокращая время автономной работы тонкого ноутбука. NPU выполняет ту же работу, расходуя лишь малую долю энергии, поэтому такие функции, как эффекты веб-камеры, могут работать постоянно, не разряжая батарею и не раскручивая вентиляторы.

Для обучения ИИ-моделей NPU, очевидно, не годятся, а для запуска крупных локальных LLM вроде Llama 70B по-прежнему понадобится дискретная видеокарта с солидным объёмом видеопамяти. Не нужны они и для сервисов вроде ChatGPT или Gemini, поскольку те работают на инфраструктуре провайдеров. Их реальное применение, по крайней мере пока, — небольшое число постоянно активных и малопотребляющих сценариев: эффекты веб-камеры, шумоподавление, перевод в реальном времени и локальная индексация для поиска.

Столько ноутбуков с NPU мы видим из-за сертификации Microsoft Copilot + PC. Производители могут получить её и открыть доступ к определённым локальным ИИ-функциям Windows, только если в их ноутбуках есть NPU на 40 TOPS, а также 16 ГБ оперативной памяти и 256 ГБ накопителя. Причём эти 40 TOPS должен обеспечивать именно NPU, а не GPU: мобильная RTX 4050 среднего уровня выдаёт более 190 TOPS за счёт тензорных ядер. Это не засчитывается.

Чипы Qualcomm Snapdragon X Elite и Plus первыми вышли на рынок с NPU Hexagon на 45 TOPS. Вскоре за ними последовали Intel Lunar Lake с показателем до 48 TOPS и AMD Ryzen AI 300 с 50 TOPS. Более новые процессоры Intel Panther Lake, известные как Core Ultra Series 3, получили NPU на 50 TOPS и выпускаются по техпроцессу Intel 18A. Позже в этом году Qualcomm подняла планку до 85 TOPS со Snapdragon X2 Elite — это более чем вдвое выше минимума, установленного Microsoft. Каждое поколение повышает этот показатель, хотя программ, способных задействовать эти TOPS, по-прежнему мало. Вскоре ИИ-ноутбуки вполне могут стать единственным доступным вариантом, и тогда NPU будет не избежать. Мы уже видели, как Dell встроила NPU корпоративного класса в свой ноутбук Pro Max Plus.

Если у вас ноутбук с NPU, его загрузку можно посмотреть в Диспетчере задач Windows 11. На моём ноутбуке — ASUS Zenbook Duo UX8406 2024 года в конфигурации с 32 ГБ оперативной памяти — она держится на нуле, и, думаю, так же обстоят дела на всех машинах обычных пользователей.

Люк Джеймс для Engadget

Увы, список приложений, использующих NPU, остаётся коротким: Windows Studio Effects, Live Captions, Recall и Click to Do, шумоподавление в Teams и Zoom, а также несколько функций Adobe Creative Cloud.

Чтобы узнать, какую часть моего NPU Intel AI Boost на 34 TOPS займёт локальная модель, я скачал Mistral 7B — достаточно неплохую и эффективную модель с открытым исходным кодом — и запустил её через инструментарий Intel OpenVINO. Затем я попросил её написать 2 500 слов о нейронных процессорах.

Люк Джеймс для Engadget

Хотя суммарная производительность платформы моего ноутбука по CPU, GPU и NPU составляет 34 TOPS, на долю NPU приходится лишь 11. Mistral 7B загрузила NPU на 98 процентов, тогда как CPU оставался на уровне трёх процентов. Генерация текста работала, и хотя 11 TOPS оставляют не так много запаса для модели такого размера, ноутбук оставался быстрым и отзывчивым.

Люк Джеймс для Engadget

Для сравнения можно посмотреть, что происходит при запуске той же локальной модели без NPU через Ollama. Загрузка CPU подскочила до 52 процентов, а потребление памяти держалось на уровне около 17 ГБ из моих 32 ГБ. Если бы я параллельно запускал другие ресурсоёмкие для процессора задачи, ноутбук бы просто встал. В этом и смысл NPU: он справляется с ИИ-нагрузкой, не влияя на остальную систему. Но в данном случае для этого потребовались специальный инструментарий и технические знания — нативно его поддерживает совсем немного программ.