Broadcom и компания под названием CAMB.AI объединяют усилия для внедрения перевода аудио на устройстве в чипсет. Это позволит устройствам, использующим SoC, выполнять задачи по переводу, дублированию и аудиоописанию без обращения к облаку. Другими словами, это может значительно повысить доступность для потребителей.

Компании обещают сверхнизкую задержку и повышенную конфиденциальность, поскольку вся обработка будет осуществляться локально на устройстве пользователя. Беспроводной трафик также должен значительно сократиться.

Что касается аудиоописания, существует демонстрационное видео, показывающее, как инструмент используется на отрывке из мультфильма «Рататуй». ИИ может описывать сцену на разных языках, а также отображать письменный перевод на экране. Это выглядит невероятно полезным, особенно для людей с нарушениями зрения.

Есть существенный недостаток. Это тщательно контролируемый клип с множеством монтажных склеек. Мы понятия не имеем, как эта технология будет работать в реальных условиях. Также мы не знаем, насколько точной будет информация. Он использует голосовую модель, которая уже применяется такими организациями, как NASCAR, Comcast и Eurovision.

Компании хвастаются, что это позволит осуществлять «перевод на более чем 150 языках на устройстве». Мы не знаем, когда эти чипы начнут появляться в телевизорах и других гаджетах. В настоящее время технология находится на стадии тестирования, так что это займет некоторое время. Broadcom также недавно объединилась с OpenAI, чтобы помочь последней компании производить собственные чипы.