Для многих людей главной причиной использовать локальный чат-бот является возможность сэкономить деньги. На данный момент запуск локальной модели на iPhone потребует в крайнем случае единоразовой покупки за 5 долларов.
Сравните это с подпиской от любой крупной ИИ-лаборатории. Например, если вы хотите пользоваться ChatGPT без рекламы, вам придется тратить не менее 20 долларов в месяц на план OpenAI Plus. Можно обойтись более доступным тарифом или даже остаться на бесплатной версии, если вы планируете использовать ChatGPT лишь изредка, но тогда нужно учитывать лимиты на количество запросов. Аналогично, тарифы Google AI начинаются от 8 долларов в месяц, но вы можете тратить до 100 долларов ежемесячно на подписку Ultra. Когда вы запускаете ИИ-чат-бот на своем iPhone, вы можете использовать его столько, сколько захотите. Будучи активным пользователем, вы, скорее всего, быстро исчерпаете ежедневный лимит в ChatGPT, Claude или Gemini, если не будете платить за подписку.
Для тех, кто заботится о конфиденциальности, локальные чат-боты предлагают еще одно преимущество. Ни один из вариантов, которые я порекомендую в этой статье, не требует входа в систему или передачи ваших данных лабораториям, которые обучали модели. Разработчики приложений также заявляют, что не собирают никакой информации об использовании. В случае с проприетарными моделями следует исходить из того, что ваши промпты, а также любая информация, изображения, аудио или видео, которыми вы делитесь, будут использованы для обучения будущих моделей. Бывают редкие исключения. Например, чат-бот Lumo от Proton по умолчанию является полностью приватным. Для большинства чат-ботов, включая ChatGPT, вам придется поискать настройки, чтобы отказаться от передачи ваших данных для обучения моделей.
Еще одна вещь, которую нельзя сделать с ChatGPT, Claude или Gemini — это использовать их без подключения к интернету, тогда как локальные чат-боты могут работать даже в офлайн-режиме.
Тем не менее, есть несколько недостатков, которые стоит отметить. Несмотря на возможности последних моделей с открытыми весами, они не такие сложные, как новейшие проприетарные модели от Anthropic, OpenAI и других коммерческих ИИ-лабораторий. Например, закрытые модели, благодаря мощному облачному оборудованию, на котором они работают, как правило, предлагают более длинные контекстные окна, что позволяет им ссылаться на информацию из прошлых диалогов. На практике это означает, что чат-боты кажутся более интеллектуальными и способными к поддержанию беседы, поскольку вам не нужно повторяться, если вообще когда-либо придется.
Более того, и ChatGPT, и Claude предлагают надежные функции «памяти», которые позволяют им персонализировать ответы для каждого пользователя. Моя версия ChatGPT знает, что моя основная гитара — это Fender Stratocaster 1993 года, и часто ссылается на этот факт, когда я задаю вопросы, связанные с гитарами. Для некоторых людей это может сделать использование чат-бота зависимым, поскольку кажется, будто система хочет узнать их поближе.
Если вам нужен чат-бот, который может предоставлять актуальную информацию, локальная модель, скорее всего, не подойдет. У всех больших языковых моделей (LLM) есть точка отсечки знаний (knowledge cutoff). Это момент времени, после которого их данные обучения заканчиваются. В случае с GPT-5.5 Instant, например, модель не сможет ссылаться на события, произошедшие после августа 2024 года. Для Llama 3.2 эта дата — декабрь 2023 года.
Чтобы отвечать на вопросы за пределами своих знаний, модель в идеале должна обращаться к надежному инструменту веб-поиска. Проприетарные модели предлагают два преимущества в плане актуальности. Во-первых, текущие темпы, с которыми компании вроде OpenAI выпускают новые модели, означают, что такие системы изначально содержат более свежие данные, поскольку они новее. Кроме того, поскольку для использования ChatGPT, Claude или Gemini вам нужно подключение к интернету, эти чат-боты могут легко искать информацию в сети, чтобы дополнить свои ответы. Модели с открытым исходным кодом тоже могут использовать инструменты веб-поиска, но не без сторонних расширений.