База знаний / Аналитика и финансы

Успешность модели (backtest)

CDP на точке ТКП, Brier/AUC, outcomes, stage priors.

«Успешность» (/backtest) сравнивает, что модель говорила в момент решения, с фактом win/loss. Цель — калибровка, не «наказать менеджера».

  • Протокол по умолчанию: common_decision_point (CDP), decision_stage = tkp_sent.
  • Метрики: n samples, win rate, Brier, log-loss, AUC (если хватает выборки).
  • По стадиям: mean predicted vs win rate, suggested prior.
  • Outcomes panel — фактические исходы портфеля.
  • Stage priors — админ-панель якорей по стадиям (осторожно менять).