Локальная нейросеть

Локальная нейросеть - модель, которая работает на вашем компьютере или сервере, а не в чужом облаке. Текст, который вы ей отдаёте, не покидает вашу машину: нет передачи данных наружу, нет зависимости от чужого сервиса и его тарифов.

Когда это действительно нужно. Есть данные, которым в облаке не место по закону или по здравому смыслу. Это персональные данные клиентов сверх необходимого, медицинские и финансовые документы, чужая коммерческая тайна под NDA, внутренние цифры, утечка которых бьёт по бизнесу. Если работа ИИ строится вокруг таких данных, локальная модель снимает целый класс рисков разом - вопрос «а куда это уходит» перестаёт существовать.

Чем за это платят, честно. Локальные модели заметно слабее больших облачных: хуже держат сложные задачи, чаще ошибаются, беднее говорят по-русски. Им нужно железо - приличная видеокарта или сервер, - и кто-то должен это железо обслуживать, обновлять модели, чинить, когда встало. Облачный нейросотрудник заводится за вечер и работает сам; локальный требует внимания, как любое своё оборудование.

Практический ориентир для ИП такой. Большинству задач хватает облачных моделей с аккуратной гигиеной: не отправлять в запросы паспортные данные и реквизиты целиком, обезличивать клиентов до идентификаторов, читать условия сервиса про использование ваших данных. Локальную модель имеет смысл рассматривать в двух случаях. Первый: есть прямой запрет регулятора или договора. Второй: один тип чувствительных документов проходит через ИИ постоянно и большим потоком. Начинать с локальной «на всякий случай» - платить за страх дважды: и деньгами за железо, и качеством ответов.