Бэктест торговой стратегии: почему красивые результаты на истории не повторяются на реальных деньгах
В этой статье разбираем, почему красивые результаты бэктеста часто не повторяются на реальных деньгах, как подгонка под историю, скрытые издержки и отбор выживших искажают историческую доходность и что стоит проверить инвестору, прежде чем доверять стратегии, опирающейся только на прошлые данные.
Хороший бэктест — не доказательство того, что стратегия работает. Это доказательство того, что нашлась комбинация параметров, давшая хороший результат на конкретном отрезке истории. Между этими двумя утверждениями и лежит вся разница между работающей системой и подогнанной кривой.
Ниже — пять способов получить отличный бэктест, не имея никакого реального преимущества на рынке, признаки каждого из них и три вопроса, которые отсеивают большинство красивых презентаций. Все пять способов не сводятся к мошенничеству. Чаще всего это честные ошибки, которых автор стратегии сам не замечает.
Способ первый: подгонка параметров под период
Возьмите любую стратегию с пятью настраиваемыми параметрами. Переберите по двадцать значений для каждого. Получается три миллиона комбинаций. Среди них почти наверняка найдётся десяток таких, которые покажут отличный результат на вашем отрезке истории, даже если в самой идее стратегии нет ни малейшего рыночного преимущества.
Это математическое свойство перебора, а не признак качества. Чем больше вариантов проверено, тем сильнее лучший из них подстроен под случайные особенности конкретного набора данных.
Как проверить. Спросите, сколько комбинаций перебрали, прежде чем выбрали эту. Если счёт идёт на тысячи, в результате почти наверняка есть заметная доля подгонки.
На что смотреть в цифрах. У устойчивой стратегии есть плавная зона эффективности: соседние настройки дают похожий результат. Если система идеально работает с периодом индикатора 14 и разваливается на 13 и 15, найдена не закономерность, а совпадение.
Способ второй: подглядывание в будущее
Это самая опасная ошибка: она возникает незаметно и даёт феноменальные результаты.
Типичные примеры: решение о входе принимается по цене закрытия бара, а исполнение происходит по цене открытия того же бара. Индикатор рассчитывается сразу на всём массиве данных, включая будущие значения. Список торгуемых инструментов составлен из тех, кто хорошо себя показал за весь период.
Отдельно стоит сказать про внутридневное моделирование. Внутри одного бара реальный порядок событий неизвестен. Если в пределах одного бара задеты и стоп-лосс, и тейк-профит, модель обязана выбирать худший сценарий. Выбор лучшего создаёт систематическое завышение результата, которое со временем превращается в фантазию.
Как проверить. Спросите, как модель обрабатывает ситуацию, когда цена внутри одного бара коснулась и стопа, и цели. Правильный ответ: считаем, что первым сработал стоп. Любой другой ответ означает, что результат завышен.
Способ третий: отбор одних лишь выживших
Тест проводится на инструментах, которые существуют сегодня. Те, что были делистингованы, обанкротились или ушли в ноль, в выборку не попадают — просто потому, что их больше нет в базе.
В крипте этот эффект особенно силён. За любой трёхлетний период из обращения исчезают десятки монет. Стратегия, протестированная на текущем списке, автоматически получает выборку победителей.
Как проверить. Спросите, входят ли в тест инструменты, делистингованные в течение периода. Честный ответ часто звучит так: нет, данных по ним у нас нет. Это нормально, но при оценке результата это нужно учитывать.
Способ четвёртый: игнорирование издержек
Комиссия, проскальзывание и фандинг. Каждая из этих трёх мелочей по отдельности выглядит незначительной. Вместе они способны развернуть результат.
Стратегия, совершающая сорок сделок в месяц, платит комиссию восемьдесят раз: по разу на входе и на выходе. При ставке 0.05% это 4% депозита в месяц на одних только комиссиях, а на объёме с плечом эффект умножается. Добавьте проскальзывание в одну-две десятых процента на сделку — и половина заявленной доходности исчезает.
Фандинг по бессрочным фьючерсам списывается каждые восемь часов, и на длинных сроках удержания превращается в заметную статью расходов.
Как проверить. Спросите, какая ставка комиссии заложена в расчёт и учтено ли проскальзывание. Если в ответе нулевые издержки или ставка комиссии ниже реальной биржевой, результат нужно дисконтировать.
Способ пятый: тест только на удобном периоде
Стратегия, проверенная на 2023 и 2024 годах, по сути не проверена. Она не сталкивалась ни с затяжным снижением, ни с обвалом ликвидности, ни с остановкой торгов.
Это не абстракция. Одна и та же конфигурация может показывать уверенную прибыль на выборке за последние два года и полностью потерять счёт на выборке, включающей медвежий рынок. Разница не в качестве стратегии. Разница в том, что во второй выборке есть рыночный режим, которого не было в первой.
Как проверить. Назовите конкретные даты рыночных обвалов и попросите показать поведение стратегии именно в эти дни. Если период тестирования их не покрывает, никакого стресс-теста не было.
Главная проверка: разделение выборки
Всё перечисленное выше сводится к одной процедуре, которая ловит большинство проблем разом.
Данные делятся на две части. На первой стратегия настраивается: подбираются параметры, отбираются инструменты, задаются правила. Вторую часть модель не видит вообще. После того как настройка завершена и зафиксирована, стратегию прогоняют на второй части.
Разрыв между результатами и есть мера подгонки.
Как читать результат?
| Что произошло | Что это значит |
|---|---|
| На проверочной выборке результат ниже, но остаётся в том же диапазоне | Нормально, у стратегии, скорее всего, есть реальное преимущество |
| На проверочной выборке результат вдвое ниже | Тревожный признак: заметная часть результата может быть подгонкой |
| На обучающей выборке результат отличный, а на проверочной около нуля или отрицательный | Реального преимущества нет, стратегия подогнана под шум |
График 1. Разрыв между обучающей и проверочной выборкой и есть мера подгонки.
Эта процедура называется тестированием вне выборки. Её отсутствие — главный признак того, что перед вами не протестированная стратегия, а красиво упакованный перебор параметров.
Три вопроса к любому бэктесту
Первый: на каком периоде подбирались параметры и на каком они проверялись? Если ответ звучит как «на всех доступных данных», проверки вне выборки не было.
Второй: какие издержки учтены? Нужны конкретные цифры по комиссии и проскальзыванию, а не слова «издержки учтены».
Третий: что было со стратегией в дни рыночных обвалов? Называть нужно даты, а не управляющего.
Эти три ответа занимают пять минут и отсеивают большинство материалов, которые выглядят убедительно.
Почему даже честный бэктест не гарантирует будущего
Даже если все пять ловушек обойдены, остаётся одно фундаментальное ограничение: бэктест показывает, как стратегия повела бы себя в прошлом при условии идеального исполнения.
В реальности есть вещи, которых модель не учитывает. Задержки исполнения. Отказ биржи на пиковой нагрузке. Изменение правил площадки. Уход ликвидности из инструмента. Ни один из этих факторов сам по себе не обязательно фатален, но вместе они объясняют, почему результат на живом счёте почти всегда скромнее модельного.
Практический вывод прост: разумно заранее ждать, что реальная доходность окажется ниже бэктеста, и планировать исходя из этого. Если стратегия остаётся привлекательной даже при результате вдвое слабее расчётного, с ней можно работать. Если её привлекательность держится исключительно на модельных цифрах, запаса прочности нет.
Что делать инвестору
Бэктест необходим, но недостаточен. Он отвечает на вопрос, есть ли у идеи хоть какое-то основание. Он не отвечает на вопрос, будет ли работать конкретный живой счёт.
Поэтому вес бэктеста в решении должен быть ниже, чем вес живой истории результатов. Один год реальной торговли содержит больше информации, чем пять лет исторического моделирования, даже если исторические цифры выглядят лучше. Результат на живом счёте включает всё то, чего модель не видит.
Самое короткое правило звучит так: если у стратегии есть только бэктест и нет живой истории результатов, это ещё не стратегия. Это гипотеза. Гипотеза может оказаться верной, но размер вложения должен соответствовать этому статусу.
Частые вопросы
Почему хороший бэктест не доказывает, что стратегия действительно работает?
Хороший бэктест доказывает лишь то, что нашлась комбинация параметров, давшая хороший результат на одном отрезке истории, а не то, что у стратегии есть реальное преимущество. Перебор пяти настраиваемых параметров по двадцать значений каждый даёт три миллиона комбинаций, и часть из них случайно покажет отличный результат именно на этом отрезке. У устойчивой стратегии есть плавная зона эффективности, где соседние настройки дают похожий результат.
Что такое подглядывание в будущее при бэктесте стратегии?
Подглядывание в будущее происходит, когда в бэктесте используется информация, недоступная на момент сделки, например решение о входе принимается по цене закрытия бара, а исполнение происходит по цене открытия того же бара. Оно также возникает, когда индикатор считается сразу по всему массиву данных, включая будущие значения. Если в одном баре задеты и стоп-лосс, и тейк-профит, модель обязана считать, что первым сработал худший сценарий.
Насколько сильно торговые издержки влияют на результат бэктеста?
Торговые издержки способны развернуть результат бэктеста, хотя комиссия, проскальзывание и фандинг по отдельности выглядят незначительными. Стратегия на сорок сделок в месяц платит комиссию восемьдесят раз, и при ставке 0.05% это уже 4% депозита в месяц, а проскальзывание в одну-две десятых процента на сделку убирает половину заявленной доходности. Фандинг списывается каждые восемь часов и добавляет издержки на долгих сроках.
Что такое тестирование вне выборки и зачем оно нужно?
Тестирование вне выборки делит исторические данные на две части: на первой стратегия настраивается, а вторую модель не видит при настройке и использует только для проверки. Разрыв между результатами показывает, какая доля эффективности была подгонкой, а не преимуществом, и результат около нуля на проверке означает, что стратегия подогнана под шум. Отсутствие проверки служит главным признаком упакованного перебора параметров.
