Токен и контекстное окно

Токен - единица, которой нейросеть меряет текст: короткое слово или кусок слова. Всё, что она читает и пишет, считается в токенах. Контекстное окно - сколько токенов модель держит в голове одновременно. Это её оперативная память: у современных моделей туда помещаются сотни страниц, но объём всегда конечен.

Практическое следствие одно, и вы его наверняка видели: в длинном разговоре нейросеть вдруг «забывает», о чём договаривались в начале. Это не поломка. Когда переписка перерастает окно, старое вытесняется новым, и модель честно отвечает по тому, что осталось в памяти. Чем длиннее диалог, тем дороже каждый ответ и тем выше шанс потерять важную договорённость из первых сообщений.

Что с этим делать. Правило первое: одна задача - один чат, для новой задачи открывайте новый. Правило второе: не вставлять в разговор регламенты и документы целиком «на всякий случай» - место в окне не бесплатное. Настроенный нейросотрудник устроен иначе: нужный кусок знаний ему подкладывают в момент работы, поэтому окно не переполняется и договорённости не теряются.