гайд · 01.11.26 · 7 мин чтения
Как проверять качество ИИ после запуска автоматизации
Как следить за качеством ИИ после запуска: критерии, выборка, ошибки и сравнение версий. Карточка проверки и расчёт без двойного учёта.

Сценарий может завершаться без технических ошибок и при этом выдавать неверные ответы. Например, модель находит нужный документ, но пропускает исключение. Или правильно определяет тему обращения, а затем направляет его сотруднику, который уже не отвечает за этот участок.
После запуска проверяйте деловой результат, основания ответа и дальнейшее действие. Сохраняйте версию правил, разбирайте реальные исправления сотрудников и повторяйте проверку после изменений. Общий процент «успешных запусков» для этого недостаточен.
Определите, что считается хорошим результатом
Начните с одной функции ИИ. Для ответа по базе знаний это может быть верное условие со ссылкой на действующий документ. Для извлечения полей - совпадение с исходным файлом. Для маршрутизации - попадание обращения к правильному ответственному.
Задайте критерии до просмотра результатов, иначе неудобную ошибку легко объяснить задним числом. Разделите обязательные условия и предпочтения. Неверные реквизиты нельзя компенсировать вежливым тоном.
| Сторона качества | Вопрос проверяющего | Основание |
|---|---|---|
| Факты | Совпадают ли сведения с разрешённым источником | Документ, карточка или запись |
| Полнота условий | Сохранены ли исключения и ограничения | Полный нужный фрагмент |
| Действие | Верно ли выбран следующий шаг | Действующее правило процесса |
| Неопределённость | Показывает ли система отсутствие данных | Границы разрешённого контекста |
| Доступ | Не показано ли лишнее получателю | Роль и правила видимости |
| Форма | Понятен ли результат сотруднику или клиенту | Принятые требования к ответу |
Документация Anthropic рекомендует заранее определять конкретные измеримые критерии и оценивать разные стороны результата. Конкретные пороги для вашего процесса из этого не следуют. Их выбирает владелец с учётом последствий ошибки.
До внешней отправки особо значимые действия может продолжать подтверждать человек. Как установить границы процесса, разобрано в гайде о внедрении ИИ в бизнес.
Сохраняйте достаточно данных для разбора
У результата должны быть идентификатор, версия правил, версия модели и сведения об использованном источнике. Если изменился ответ, нужно отличить смену документа от смены промпта.
Не превращайте журнал в открытую копию клиентской переписки. Сохраняйте только необходимое, ограничивайте доступ и срок хранения. Иногда достаточно ссылки на исходную запись с проверкой прав, версии источника и описания расхождения. Отбор данных описан в материале о конфиденциальности при работе с ИИ.
Карточку проверки можно построить так:
Результат: [идентификатор].
Тип задачи: [ответ, извлечение, маршрутизация].
Версия правил и модели: [значения].
Источник и его версия: [разрешённая ссылка].
Ожидалось: [проверяемое действие или содержание].
Получено: [фактический результат].
Критерий: [какое условие проверяем].
Вердикт: соответствует / ошибка / недостаточно данных для оценки.
Последствие: [что произошло или могло произойти].
Исправление: [нужно ли и какое].
Проверяющий и время: [значения].Статус «недостаточно данных для оценки» нужен отдельно. Отсутствующий исходник не доказывает ни правильность, ни ошибочность ответа. Такие случаи показывают пробел наблюдения и не должны молча попадать в успешные.
Совмещайте обычную выборку и разбор сигналов
Жалобы и исправления сотрудников помогают находить серьёзные случаи, но показывают только замеченные проблемы. Часть ошибок никто не сообщает. Поэтому полезно дополнительно просматривать выбранные результаты обычного потока.
Правило отбора фиксируйте заранее. Для обзорной оценки можно случайно выбирать результаты за один период. Для поиска причин отдельно собирайте трудные случаи: длинные документы, отсутствие ответа в базе, новый тип запроса и ручные исправления.
Не складывайте эти группы в один показатель без пояснения. Доля ошибок в специально отобранных проблемных случаях не описывает весь поток. А случайная небольшая выборка может не содержать редкую, но опасную ошибку.
Размер и частоту проверки выбирайте по объёму работы и цене последствий. Универсального числа, которое гарантирует качество любого ИИ-процесса, здесь нет. На старте важно сделать отбор повторяемым и понимать границы вывода.
Пример подсчёта без двойного учёта
Допустим, для примера случайно выбраны 80 результатов одного типа за один период, и все они получили определённый вердикт. Ошибки найдены в шести разных результатах. Доля результатов с ошибкой в этой выборке:
6 / 80 × 100 = 7,5%.Одновременно проверяющий отметил четыре фактические ошибки, два неверных маршрута и одну потерю условия. Получилось семь отметок на шесть результатов: в одном результате было два вида проблемы.
Уникальные результаты с ошибкой: 6.
Отметки категорий: 4 + 2 + 1 = 7.
Эти числа описывают разные вещи и не подменяют друг друга.Это вымышленная иллюстрация, не замер платформы. Число 7,5% относится только к описанной выборке и не устанавливает допустимый порог. Для вывода обо всём потоке нужно учитывать способ отбора и статистическую неопределённость.
Критические последствия показывайте отдельным числом с описанием. Средний показатель может улучшиться, хотя появился единственный недопустимый случай раскрытия данных. Проверка арифметики итогового отчёта разобрана в отдельном гайде.

Найдите участок, который дал ошибку
Разбирайте путь от входа до действия. Был ли правильным исходный документ? Нашёлся ли нужный фрагмент? Сохранила ли модель условия? Верно ли интеграция записала результат? Принял ли работу нужный сотрудник?
Если источник устарел, переписывание промпта не обновит факт. Если извлечение верно, а поле CRM заполняется неправильно, смена модели не исправит сопоставление полей. Для каждой ошибки полезно указать участок и проверяемую гипотезу причины.
Начните с повторяющихся причин и наиболее тяжёлых последствий. Сохраните исходный случай и ожидаемый результат в обезличенном наборе повторных проверок. Так исправление можно проверить на той ошибке, ради которой его делали.
Оценку другой моделью используйте как помощь в разборе, если она подходит задаче. Её вердикт тоже требует правил и проверки: два уверенных текста могут повторять одну ошибку. Для точного поля надёжнее сравнение с подтверждённым значением, для спорного смысла нужен компетентный человек.
Сравните версии на одинаковых условиях
Перед сменой модели, промпта, базы знаний или правил маршрутизации сохраните текущую версию. Прогоните старую и новую на одном разрешённом наборе: обычные случаи, найденные ошибки и важные исключения.
Зафиксируйте, какие входные данные и источники одинаковы. Если между прогонами поменялся документ, различие ответов нельзя приписать только новой модели. Помимо качества сравните время, расход и необходимость ручной проверки.
Покажите улучшения и новые ухудшения отдельно. Исправление одного типа ошибки может сломать другой. После разрешённого включения наблюдайте первые результаты новой версии и сохраните способ возврата к предыдущей.
Когда нужно вмешательство владельца
Заранее определите признаки для остановки автоматического действия: например, неподтверждённое обещание клиенту, неверный адресат или нарушение доступа. Это условия конкретного процесса, их следует согласовать до инцидента.
Назначьте получателя сигнала и способ принятия очереди человеком. Отчёт, который никто не читает, не ограничивает последствия. Для менее значимых отклонений можно использовать плановую корректировку, сохраняя причину и проверку исправления.
Работающий порядок виден по цепочке: ошибка обнаружена, объяснена, исправлена и больше не воспроизводится на сохранённом случае. Настройку журнала, проверок и передачи работы можно обсудить на странице услуг.
Источник
- Anthropic: критерии успеха и построение проверок - многомерные критерии, тестовые случаи и способы оценки.
Документация сверена 28 октября 2026 года. Таблицы и схема наблюдения предложены как рабочие шаблоны. Числовой пример условный, реальные ответы клиентов для статьи не обрабатывались.
Шаги выше можно пройти самому. Если хотите, чтобы под ваш процесс это собрал я, начнём с разбора: посмотрим, где утекают часы, и решим, что автоматизировать первым.