Eval-харнесс до демо

Демо прощает ошибки. Прод хранит чеки. Eval-харнесс — способ перестать выкатывать «ощущения».

Минимум. Если после смены промпта нельзя прогнать вчерашние кейсы — у вас нет контроля качества, есть надежда.

Начните с golden set#

Двадцать–пятьдесят реальных кейсов сильнее тысячи синтетики. Помечайте каждый:

• intent
• ожидаемые ограничения (цитировать / отказать / формат)
• severity при ошибке

Простой pass rate#

Для $N$ кейсов и $p$ успешных:

Считайте на каждый релиз. Падение — регрессия, даже если новое демо «умнее на вкус».

Вшейте в CI#

const report = await runEvals(goldenSet, { model, prompt });
if (report.passRate < baseline - 0.03) {
  throw new Error(`Eval regression: ${report.passRate}`);
}

Гейт должен быть скучным. Красивые дашборды подождут.

Что мерить#

Итог#

Харнесс — вместе с первой LLM-фичей, а не после первого инцидента.