gdgt

Сначала у нас были CPU и GPU. Затем появился ускоренный процессор от AMD (APU — если называть вещи своими именами). А с появлением ИИ-ПК и смартфонов мы познакомились с NPU (нейронным процессором). Но теперь, благодаря Google, у нас появился еще один чип: TPU. Впервые внедренный Google для внутреннего использования еще в 2015 году, TPU (Tensor Processing Unit, тензорный процессор) представляет собой фирменный ИИ-ускоритель компании, разработанный для выполнения всех сложных математических вычислений, необходимых для рабочих нагрузок искусственного интеллекта и машинного обучения (МО). Разработанный для облачных приложений, TPU используется в основном в дата-центрах. Тем не менее, этот термин недавно всплыл в новом смартфоне Pixel 11 благодаря его чипу Google Tensor G6, который, по заявлению компании, обеспечивает «на 50% большую производительность TPU».

Так что же из этого выбрать? Как ни странно, ответ: и то, и другое. В смартфонах серии Pixel 11 термин TPU — это, по сути, красивое название Google для NPU. Эта версия TPU обрабатывает изображения с камеры, а также локальные задачи ИИ. Но дата-центрный TPU решительно отличается от версии для смартфонов, традиционного NPU и GPU, хотя между ними есть и несколько сходств. Чтобы помочь вам разобраться в терминологии чипсетов, мы здесь, чтобы официально представить вам настоящий TPU и развеять некоторые заблуждения.

Отличный вопрос. TPU — это чип, созданный Google для работы с облачными задачами ИИ и машинного обучения в дата-центрах компании. Известный как ИИ-ускоритель, TPU оптимизирован для выполнения миллионов математических вычислений «на лету» в моделях искусственного интеллекта — с тем же, с чем справляются NPU и GPU.

Мы много говорим об ИИ и МО, которые для многих из нас задействуют NPU. И это вполне закономерно, учитывая, сколько нам об этом твердили Apple, различные производители ПК, смартфонов и создатели микросхем. Если вы не в курсе, NPU — это чипы, которые вы найдете во всех современных смартфонах, компьютерах Mac и ПК. Они выполняют всю тяжелую работу для ваших задач генеративного и агентного ИИ, будь то удаление бывшего с фотографии или использование ChatGPT для составления трехдневного маршрута путешествия. В телефонах Pixel 11 TPU заменяет NPU, при этом Google заявляет о «3,5-кратном ускорении обработки ИИ при снижении энергопотребления до 3,5 раз».

GPU знаком многим из нас, особенно если вы геймер или работаете с 3D-моделями. До эпохи ИИ нам требовался мощный графический процессор, чтобы запускать требовательные к графике игры вроде Crysis 3 на максимальных настройках с бешеной частотой кадров и невероятно плавным рендерингом. В эпоху после ИИ графические процессоры по-прежнему делают это, а также справляются с обучением ИИ и майнингом криптовалюты, из-за чего лучшие из них стоят целое состояние. Будучи мастером на все руки, GPU может выполнять множество задач в зависимости от своей мощности.

Что отличает эти чипсеты друг от друга, так это главным образом сценарии использования и масштаб. В то время как TPU используются для облачного ИИ, работающего в дата-центрах Google, NPU, встроенные в устройства TPU и GPU можно найти в ваших смартфонах и ноутбуках.

TPU имеют самый большой масштаб из всех. Благодаря своей специализированной архитектуре TPU используется для ускорения массивных вычислений, применяемых в LLM (больших языковых моделях) и масштабных задачах глубокого обучения (DL). TPU используют аппаратную топологию, называемую систолическим массивом, которая позволяет данным передаваться от одного блока к другому в двумерной сетке умножителей, что помогает устранить потенциальные узкие места. Это означает, что результат вычислений становится входными данными для следующего блока без необходимости обратной записи в память, в отличие от GPU, которые вынуждены жонглировать данными между своими вычислительными блоками и высокоскоростной памятью.

При обслуживании крупных ИИ-компаний, таких как Anthropic и Midjourney, которые обрабатывают миллиарды запросов искусственного интеллекта ежедневно, опора на решение на базе GPU может обойтись дорого с точки зрения узких мест, задержек и энергоэффективности. Поскольку TPU не совершает циклов туда-обратно для чтения и записи памяти, он лучше подходит для обучения крупномасштабных нейронных сетей и других массивных рабочих нагрузок.

Обитая в наших смартфонах, устройствах интернета вещей (IoT) и ноутбуках, NPU и встроенные TPU от Google относятся к мелководью бассейна ИИ/МО. Они оптимизированы для задач с низким энергопотреблением, поэтому идеально подходят для таких вещей, как эффекты камеры и перевод в реальном времени. TPU может справляться с LLM, но это должна быть небольшая и очень четко определенная локальная модель.

Понятие «лучше» относимо. Каждый ИИ-ускоритель хорош в определенном сценарии использования. NPU и встроенные TPU лучше справляются с небольшими массовыми задачами ИИ. Их низкое энергопотребление означает, что они не будут сильно разряжать ваш смартфон, ноутбук или умные часы. Тем не менее, у них достаточно мощности для перевода в реальном времени, размытия фона во время звонка или помощи в воспоминании о том малоизвестном шоу, которое, как вы клянетесь, вы видели в 90-х.

TPU — это экономичное и энергоэффективное решение, которое помогает управлять процессами ИИ/МО/глубокого обучения в глобальном масштабе. Обработка миллионов математических вычислений при обучении моделей МО и глубокого обучения в огромных масштабах означает, что TPU созданы исключительно для крупных дата-центров. Благодаря своей врожденной гибкости GPU могут справляться как с мелкими, так и с крупномасштабными рабочими нагрузками ИИ, а также запускать игры, редактировать видео и производить симуляции. Если вы хотите запускать локальные LLM, мощный GPU — это то, что вам нужно.