Quantifying the quality of predictions

[lab-mazurok-com]

The Choice of best technics for quantifying the quality of predictions

[Leonchyk]

Пусть мы получили $p$ - вероятность того, что модель (алгоритм) предсказывает направление движения курса правильно (рост или падение). Считаем, что доверительный интервал (точность $p$) - плюс-минус 0.05 к $p$. Для 90% достоверности (надежности) вывода надо провести примерно 200-250 опытов (зависит от точного значения $p$). Для 99% - примерно 500-600 опытов. Если уменьшить доверительный интервал до плюс-минус 0.01, то объем тестовой выборки вырастет до примерно 6000 и 15000 опытов соответственно.

Т.О. для обеспечения приемлемого уровня достоверности (95%) определения $p$ объем тестовой выборки должен составлять 300 случаев при точности 0.05 и порядка 10000 случаев при точности 0.01.