Глава 12. Часть 1. На твердой почве

Торговать с использованием слабых методов — все равно что жонглировать, стоя в шлюпке во время шторма. Конечно, это можно делать, но гораздо проще жонглировать, стоя на твердой почве.

Теперь, когда вы уже знакомы с основными причинами неточных результатов исторических тестов, давайте рассмотрим основные принципы правильного тестирования прошлого.

В лучшем случае вы можете получить лишь примерное представление о том, как связано будущее с результатами исторического моделирования. Но к счастью, даже примерное представление может обеспечить хорошему трейдеру перевес, достаточный для того, чтобы заработать много денег. Чтобы при оценке ваших идей проанализировать важность факторов, влияющих на величину ошибки или уровень неточности, необходимо рассмотреть несколько основных статистических концепций, лежащих в основе исторического тестирования. Так как я не большой любитель книг, напичканных формулами и пространными объяснениями, то постараюсь быть прост в аспекте математики и понятен в объяснениях.

Статистические основы тестирования

Правильное тестирование учитывает статистические концепции, влияющие на прогностические возможности тестов и присущие им ограничения. Неправильное тестирование может сделать вас чересчур доверчивыми там, где нет оснований воспринимать результаты тестов в качестве прогноза. Оно может дать даже совершенно неверные ответы.

В главе 11 мы изучили все основные факторы, низводящие историческое моделирование на уровень грубого наброска будущего. Эта глава расскажет о том, как улучшить прогнозную составляющую тестов и узнать хоть и приблизительные, но максимально вероятные варианты развития событий.

Область статистики, связанная с формированием выборки из совокупности, является также основой для прогнозного потенциала тестов с использованием исторических данных. Основная идея заключается в том, что при достаточно большой выборке вы можете в определенных пределах применять результаты расчетов по ней для оценки всей совокупности. Поэтому если при выработке стратегии вы посмотрите на достаточно большую выборку прошлых сделок, то сможете сделать заключение о вероятном будущем развитии этой системы. Это тот же раздел статистики, который используют организации, изучающие общественное мнение. Например, опрашивая 500 случайно выбранных людей из разных штатов, имеющих право голоса, можно сделать вывод о настроениях всех голосующих жителей США. Аналогичным образом ученые оценивают действие лекарства для лечения какой-либо болезни на небольшой группе пациентов, так как для этого есть статистическая основа.

Два основных фактора, влияющих на статистическую достоверность предположений, основанных на изучении выборки, – это размер выборки и степень, в которой выборка является репрезентативной по отношению ко всей совокупности. Многие трейдеры и тестеры систем понимают смысл размера выборки на концептуальном уровне, однако полагают, что размер относится лишь к количеству сделок в тестовом исследовании. Они не понимают, что статистическая достоверность тестов может быть снижена даже при изучении тысяч сделок в случаях, когда правила или концепции применяются только к некоторым характеристикам сделок.

Также они часто игнорируют необходимость репрезентативности выборки относительно всей совокупности – и в этих случаях исследование становится запутанным, а измерения затрудняются без проведения субъективного анализа. Трейдер, тестирующий систему, предполагает, что прошлое в определенной степени представляет то, что принесет будущее. Если это действительно так, а выборка является достаточной, мы можем взять некоторые черты прошлого и применять их для оценки будущего. Если выборка нерепрезентативна, тестирование бесполезно и ничего не скажет нам о возможном будущем поведении тестируемой системы. Таким образом, предположение о репрезентативности является критически важным. Если считать, что репрезентативная выборка из 500 человек достаточна для того, чтобы определить с точностью до 2 процентов, кто может быть следующим президентом США, хватит ли опроса 500 участников Демократического национального собрания (органа, избирающего кандидата на должность президента от Демократической партии США) для получения картины по стране в целом? Конечно, нет – выборка не будет репрезентативной с точки зрения всего населения. Она будет состоять только из демократов, в то время как голосующее население США состоит также из республиканцев, не включенных в выборку. Возможно, республиканцы будут голосовать не за тех кандидатов, которые определились в вашем опросе. Если вы делаете ошибки такого рода в выборке, то в результате получите ответ, возможно, желаемый, но неправильный.

Социологи знают, что вопрос соответствия выборки совокупности является основным. Результаты опросов, проводимых с нерепрезентативной выборкой, являются неточными, и за проведение таких опросов увольняют. В трейдинге это тоже является ключевым вопросом. К сожалению, в отличие от социологов, которые в целом понимают статистику выборки, большинство трейдеров ее не понимают. Часто можно наблюдать, как трейдеры тестируют только недавние периоды. Это все равно что проводить опрос членов Демократического собрания о следующем президенте США.

Проблема тестов, проводимых на небольших интервалах, состоит в том, что за время такого интервала рынок может находиться в одном из двух состояний, описанных ранее в главе 2, например в состоянии стабильности (отсутствия тренда) и волатильности – в этих случаях хорошо работают стратегии торговли против тренда и учет отклонений от среднего значения. Однако если рынок изменяет свое состояние, методы тестирования становятся неприменимыми; их использование в этом случае приведет к потере денег. Поэтому тестирование должно проводиться таким образом, чтобы увеличить шансы на репрезентативность с точки зрения будущего сделок, включенных в тест.

Существующие измерения неустойчивы

Проводя тестирование, вы пытаетесь определить относительную результативность системы, оценить возможную результативность в будущем, а также выяснить, насколько обоснованна та или иная идея. Одна из проблем этого процесса состоит в том, что общепринятые показатели измерения нестабильны. Поэтому сравнительная оценка той или иной идеи затруднена – небольшие изменения за счет одной-двух сделок способны существенно повлиять на значения этих слабых показателей. Вследствие нестабильности измерений вы можете поверить в то, что идея более ценна, чем на самом деле, или отказаться от идеи, потому что она не кажется столь привлекательной, каковой является на самом деле, если к ее измерению применить более стабильные показатели.

Статистические исследования являются устойчивыми, если изменение небольшого набора данных не приводит к существенным изменениям результатов. Существующие показатели измерения слишком чувствительны к изменениям данных. Это одна из причин того, что при проведении исторического моделирования при анализе торговых систем небольшие изменения значения параметра существенно изменяют значения результирующих показателей. Сами по себе показатели не являются устойчивыми, иначе говоря, они чувствительны к небольшим информационным массивам. Соответственно, все, что влияет на эти информационные массивы, способно также существенно повлиять на результаты. В итоге дело может закончиться подгонкой, и вы будете дурачить себя результатами, недостижимыми в реальной жизни. Первый шаг в тестировании согласно Пути Черепах состоит в том, чтобы найти показатели измерения результативности, которые являются устойчивыми и независимыми от небольших изменений в исходных данных.

Во время собеседования перед началом программы Черепах Билл Экхардт спросил меня: «Знаешь ли ты, что такое устойчивый статистический показатель?» Я помолчал немного, а затем сказал: «Не имею никакого представления». Теперь я могу ответить на этот вопрос. Речь идет о разделе математики, занимающемся проблематикой несовершенной информации и неправильными предположениями, называемом статистикой надежности или робастной статистикой.

Из самого вопроса было ясно, что Билл осознавал несовершенную природу тестирования и исследования на базе исторической информации, а также понимал суть непознаваемого, – редкое качество для тех времен (да и теперь). Я думаю, что в этом и заключалась причина отличных результатов трейдинга Билла на протяжении многих лет.

Это – еще один пример того, насколько далеко по сравнению с другими игроками в отрасли продвинулись в своих исследованиях и размышлениях Рич и Билл. Чем больше я учусь, тем большее уважение испытываю к их вкладу в нас. И меня крайне удивляет, как недалеко продвинулась отрасль относительно того, что Рич и Билл знали в еще 1983 году.

Устойчивые показатели измерения результативности

Ранее мы говорили о таких показателях измерения сравнительной результативности, как коэффициент MAR, CAGR% и коэффициент Шарпа. Эти показатели не очень устойчивы, так как существенно зависят от дат начала и окончания периода тестирования. Это особенно справедливо для тестов менее чем 10-летних периодов. Представьте себе, что случится, если мы скорректируем сроки начала и окончания теста на несколько месяцев. Для этого проведем тест не с начала января 1996 года, а с начала февраля того же года. В качестве срока окончания возьмем не 30 июня 2006 года, а 30 апреля – то есть уберем всего один месяц с начала и два месяца с конца тестируемого периода.

Тест тройной скользящей средней с первоначальными данными дал нам 43,2 процента отдачи с коэффициентом MAR, равным 1,39, и коэффициентом Шарпа, равным 1,25. Если изменить даты начала и окончания, отдача подскочит до 46,2 процента, коэффициент MAR вырастет до 1,39, а коэффициент Шарпа – до 1,37. Тест системы прорыва канала ATR с первоначальным периодом демонстрирует отдачу на уровне 51,7 процента, коэффициент MAR, равный 1,31, и коэффициент Шарпа, равный 1,39. Меняем период – меняются показатели. Отдача подскакивает до 54,9 процента, коэффициент MAR вырастает до 1,49, а коэффициент Шарпа – до 1,47.

Такая чувствительность по всем трем измерениям объясняется тем, что MAR и коэффициент Шарпа содержат отдачу в качестве части числителя, а отдача, выраженная в процентах CAGR при расчете MAR или в среднемесячном показателе отдачи при расчете коэффициента Шарпа, существенно зависит от срока начала или окончания теста. MAR особо чувствителен к изменению сроков теста, так как в нем содержатся два компонента, зависимых от сроков теста. Таким образом, при расчете этого показателя эффект изменений усиливается в разы.

Причина, по которой CAGR% зависит от начала и окончания тестируемого периода, заключается в том, что на логарифмической шкале показатель представляет собой градус наклона линии, начинающейся в начале теста и заканчивающейся в момент его окончания. Изменение дат начала и окончания тестируемого периода существенно меняет наклон линии, как показано на рисунке 12-1.

Рисунок 12-1. Эффект воздействия изменения начальной и конечной даты на CAGR%

Эффект воздействия изменения начальной и конечной даты на CAGR%
Заметьте, что наклон линии, называемой «Измененные даты теста», круче, чем наклон линии под названием «Первоначальные даты теста». В данном случае в начале тестируемого периода (январь 1996 года) произошло падение, также падение наблюдалось в мае и июне 2006 года, последних месяцах первоначального периода. Соответственно, сдвигая даты теста на несколько месяцев, мы смогли избавиться от результатов обоих падений. Это отмечено на рисунке 12-1: убрав падение на любом этапе теста, мы повысим наклон линии, определяющей CAGR%.

Регрессированная годовая отдача (RAR%)

Более подходящим методом оценки наклона является простая линейная регрессия каждой точки на каждой линии. Для тех читателей, которые не любят математику, поясню, что линейная регрессия – это просто мудреное название того, что именуется линией полного соответствия. Представьте себе прямую линию, проходящую через центр всех точек, как если бы вы убрали все выпуклости на графике, растянув их за края, не меняя общего направления линии.

Линия линейной регрессии и соответствующий показатель отдачи создают возможность для формирования нового показателя, который я называю регрессированной годовой отдачей (Regressed Annual Return, RAR%). Этот показатель в гораздо меньшей степени чувствителен к изменениям данных в конце теста. На рисунке 12-2 показано, что при применении RAR% наклон линии практически не меняется при изменении конечной точки.

Если мы теперь повторим тестирование, проведенное ранее, то заметим, что показатель RAR% менее зависим от изменений периода тестирования, потому что у обеих линий наблюдается примерно одинаковый наклон. RAR% для первоначального теста составляет 54,67 процента, а для теста с измененными датами он составляет 54,78 процента, что всего на 0,11 процента выше. Сравните эти результаты с результатами CAGR%, изменившимися на целых 3 процента, с 43,2 до 46,2 процента. В рамках данного теста CAGR% был почти в 30 раз более чувствителен к изменению конечных дат.

Рисунок 12-2. Эффект воздействия изменения начальной и конечной даты на RAR%

Эффект воздействия изменения начальной и конечной даты на RAR%
Значение среднемесячной отдачи, используемое при расчете коэффициента Шарпа, также зависит от изменений дат, так как мы исключаем из тестирования три последних плохих месяца, а это влияет на среднюю отдачу, хотя и в меньшей степени, чем на CAGR%. Лучшим показателем для числителя мог бы стать RAR%.

Как было отмечено ранее, компонент, связанный с величиной максимального падения в расчете коэффициента MAR, также чувствителен к датам начала и окончания теста. Если крупное падение происходит в начале тестового периода или ближе к его окончанию, показатель MAR изменится достаточно существенно. Показатель максимального падения – это лишь одна точка на кривой капитала; соответственно, для корректных расчетов нам не хватает существенного объема данных. Наилучшим показателем является тот, который включает больше значений падения. Гораздо сложнее торговать по системе, в которой было пять крупных падений на уровне 32, 34, 35, 35 и 36 процентов, чем по системе, в которой падения были на уровне 20, 25, 26, 29 и 36 процентов.

Более того, глубина падения – это лишь одно измерение. Все 30-процентные падения неодинаковы. Я обращаю меньше внимания на недавнее падение, которое продолжалось всего два месяца, чем на падение, которое продолжалось два года, пока рынок не вернулся к прежним значениям. Период возвращения к прежнему значению (продолжительность падения) важен сам по себе.

R-cubed – новое соотношение риска и доходности

Чтобы учесть все эти факторы, я создал новый показатель измерения соотношения риск/доходность, который назвал устойчивым показателем соотношения риск/доходность (Robust Risk/Reward Ratio, или RRRR). Я также называю его R-cubed (или R в кубе) – просто потому, что люблю дурацкие псевдонаучные названия. R-cubed использует в качестве числителя RAR%, а в качестве знаменателя – новый показатель, который я называю средним максимальным падением с учетом продолжительности. В этом показателе присутствуют два компонента – величина среднего максимального падения и приведенная продолжительность.

Среднее максимальное падение высчитывается путем сложения показателей пяти максимальных падений и деления результата на 5. Приведенная продолжительность рассчитывается путем деления среднего максимального падения в днях на 365 и последующего умножения полученного показателя на величину среднего максимального падения. Величина среднего максимального падения рассчитывается по тому же алгоритму: мы берем величины пяти максимальных падений, складываем и делим на 5. Соответственно, если RAR% составляет 50 процентов, среднее максимальное падение составляет 25 процентов, а средняя продолжительность максимального падения составляла один год, или 365 дней, значение R-cubed должно составлять 2,0, или 50 % / (25 % x 365 / 365). R-cubed – это соотношение риска/доходности, которое оценивает риск с точки зрения как жесткости, так и перспектив продолжительности. Такое вычисление возможно благодаря использованию показателей, менее чувствительных к изменению дат начала и окончания тестовых периодов. Этот показатель более устойчив, чем MAR, так как очень слабо реагирует на небольшие корректировки в условиях теста.

Устойчивый коэффициент Шарпа (Robust Sharpe Ratio)

Устойчивый коэффициент Шарпа выводится путем деления RAR% на стандартное отклонение ежемесячной отдачи, нормализованное по году. Этот показатель менее зависим от изменений периода тестирования по тем же причинам, по которым RAR% отличается от CAGR%, как было показано выше. Таблица 12-1 свидетельствует, что сильные показатели существенно менее зависимы от изменений конечных дат тестового периода.

Таблица 12-1. Обычные и устойчивые показатели

Обычные и устойчивые показатели
Copyright 2006 Trading Blox, все права защищены.

Как видим, устойчивые показатели менее чувствительны, чем общепринятые показатели. Показатель R-cubed зависим от добавления или исключения величин крупных падений, но в меньшей степени, чем коэффициент MAR. При расчете показателя R-cubed влияние отдельного падения размывается путем усреднения. Все устойчивые показатели были в меньшей степени подвержены влиянию изменений в наборе данных, чем сравниваемые с ними показатели. Если бы в рамках теста не менялась величина максимального падения, то показатель R-cubed показал бы то же самое изменение в 0,4 процента, что и RAR%, и это сделало бы различия между показателями еще более существенными: MAR изменился бы на 5,2 процента (на ту же величину, что и CAGR% – его числитель), a R-cubed – всего на 0,4 процента.

Еще одним примером того, как устойчивые показатели выигрывают по сравнению с традиционными, является сравнение результатов деятельности шести базовых систем, описанное нами в главе 7. Если вы помните, при включении дополнительных пяти месяцев (июль – ноябрь 2006 года) мы столкнулись с существенным ухудшением показателей отдачи. Таблицы 12-2 и 12-3 демонстрируют, что устойчивые показатели гораздо лучше выдержали существенные колебания последних нескольких месяцев.

Таблица 12-2 показывает изменения RAR% по сравнению с изменением CAGR% для этих систем.

RAR% изменился в шесть раз меньше, чем CAGR% за тот же период времени. Это свидетельствует о том, что RAR% гораздо более устойчивый показатель, чем CAGR%, а значит, он будет более стабилен в ходе трейдинга. То же самое справедливо для R-cubed, соотношения риска и доходности, по сравнению с его более слабым собратом – коэффициентом MAR.

Таблица 12-3 показывает процентные изменения R-cubed по сравнению с процентными изменениями MAR для тех же систем.

Таблица 12-2. Устойчивость RAR% по сравнению с CAGR%

Устойчивость RAR% по сравнению с CAGR%
Copyright 2006 Trading Blox, все права защищены.

Таблица 12-3. Устойчивость R-cubed по сравнению с MAR

Устойчивость R-cubed по сравнению с MAR
Copyright 2006 Trading Blox, все права защищены.

R-cubed за указанный период изменился в два раза меньше, чем MAR.

Устойчивые показатели также менее зависимы от эффекта удачи. Например, трейдер, оказавшийся в отпуске и пропустивший крупнейшее падение, получит более высокое значение MAR по сравнению со своими коллегами. Это будет заметно при расчете R-cubed, так как данное обстоятельство не окажет значительного влияния на его расчет. Если вы используете неустойчивые показатели, то велик шанс получить хорошие результаты тестирования, обусловленные удачей, а не последовательным поведением на рынке, – и это еще одна причина использовать устойчивые показатели.

Использование устойчивых показателей также позволит вам избежать подгонки, так как эти показатели в меньшей степени будут зависеть от больших изменений результата, связанных с небольшим количеством событий. Давайте рассмотрим ситуацию применения правил для улучшения нашей системы двойного скользящего среднего, ранее описанной при обсуждении подгонки. Правило, введенное для уменьшения размера падения, улучшило величину показателя CAGR% с 41,4 до 45,7 процентов (то есть на 10,3 процента), а коэффициент MAR – на 60 процентов (с 0,74 до 1,17). В отличие от него показатель RAR% изменился с 53,5 до 53,75 процента, то есть всего на 0,4 процента, а устойчивый показатель соотношения риска/доходности R-cubed изменился с 3,29 до 3,86 процента, то есть всего на 1,73 процента. Устойчивые показатели в меньшей степени отражают существенные изменения, вызванные небольшим количеством сделок. Таким образом, если подгонка кривой позволяет исправить неудачи нескольких сделок, то устойчивые показатели вряд ли покажут улучшения системы, вызванные такой подгонкой.

Давайте рассмотрим, какие другие факторы влияют на надежность тестирования данных прошлого с целью предсказания будущего поведения системы.

Вход