Глава 20 Тестирование и оптимизация торговых систем

Торговая система — это набор правил, которые могут быть исполь­зованы для генерирования торговых сигналов. Параметр — это величина, которую можно свободно выбирать для того, чтобы из­менять время поступления сигналов. В то время как стандартные системы ограничиваются одним или двумя параметрами, более сложные системы обычно будут требовать трех или более парамет­ров. Как правило, лучше всего использовать форму системы с воз­можно наименьшим количеством параметров, которая не подразу­мевает существенного ухудшения результативности по сравнению с более сложными вариантами системы.

Существует четыре типа параметров. Непрерывный параметр может подразумевать использование любого значения из данного диапазона. Дискретный параметр подразумевает только целые зна­чения. Кодовые параметры используются для описания классифи­кационных различий в определениях торговых правил. Фиксиро­ванный, или неоптимизированный, параметр помогает разработ­чику системы уйти от использования слишком большого числа па­раметров.

Непрерывные фьючерсные серии оказываются предпочтитель­ным выбором при тестировании системы. Чем продолжительнее период, на котором тестируется система, тем надежнее результа­ты. Разработчику для определения степени временной устойчиво­сти следовало бы тестировать систему для всего периода в целом, а затем оценивать результаты для различных более коротких вре­менных интервалов. Из-за нереалистичных предположений, связан­ных с транзакционными издержками и заменой одних контрактов другими, действительная эффективность системы часто не так вы­сока, как подразумевается смоделированными результатами.

Оптимизация — процесс отыскания наилучшего параметра или набора параметров определенной системы на конкретном рынке, основывающийся на предположении, что наилучший в прошлом набор параметров продолжит показывать наилучшую результатив­ность и в будущем. Однако тестирование обнаруживает очень не­значительную корреляцию между эффективностью оптимизирован-

ГЛАВА 20. тестирование и оптимизация... 121

ного набора параметров в прошлом и будущем, если обнаружива­ет таковую вообще.

Оптимизация может оказаться более полезной, если применя­ется к портфелю, а не к каждому рынку в отдельности. Вместо того чтобы выбирать наилучший в прошлом набор параметров для каж­дого рынка в отдельности, разработчик системы выбирает наилуч­ший в прошлом набор параметров применительно ко всем рынкам сразу. Следующие четыре фактора могли бы использоваться для сравнения эффективности: (1) прибыль, выраженная в процентах, (2) уровень риска, (3) устойчивость к изменению параметров и (4) временная стабильность.

Швагер делает пять главных выводов, касающихся оптимиза­ции: (1) с помощью оптимизации любую систему можно сделать прибыльной задним числом; (2) оптимизация всегда преувеличивает возможную будущую эффективность системы; (3) в общем случае оптимизация не будет улучшать будущую результативность или улучшит ее незначительно; (4) если оптимизация и имеет какое-то значение, оно обычно состоит в определении широких границ ди­апазона, из которых следует выбирать значения наборов парамет­ров для системы; (5) искушенные и сложные процедуры оптимиза­ции — пустая трата времени.

Оценка системы, основывающаяся на оптимизированных набо­рах параметров, является скорее подгонкой системы под прошлые результаты, а не тестированием. Два наиболее удачных подхода к оценке системы — «слепое моделирование» и оценка средней ре­зультативности набора параметров. При использовании «слепого моделирования» система оптимизируется с использованием данных временного периода, который намеренно исключает последние годы; затем система тестируется с использованием полученных на­боров параметров на последующих годах. Отыскание средней ре­зультативности набора параметров требует, прежде всего, опре­деления полного списка всех наборов параметров, которые нуж­но протестировать. Затем проводятся тесты для всех выбранных наборов параметров, и средний результат для всех протестирован­ных наборов используется в качестве показателя потенциальной результативности системы.

Использование оптимизированных результатов будет значитель­но искажать подразумеваемую будущую результативность системы, поскольку корреляция между наиболее результативными для одно­го периода параметрами системы и теми ее параметрами, которые приведут к наилучшей результативности в следующий период, край­не мала, если вообще существует. Неправильное использование оптимизации в течение долгих лет привело фактически к обесце-

122 ЧАСТЬ 1. вопросы и задачи

ниванию результатов моделирования. Перефразированный Шваге­ром денежный закон Гришема звучит так: «плохое моделирование вытесняет хорошее» («плохое» означает моделирование, построен­ное на ложных предположениях).

Хорошая система демонстрировала бы прибыльность на подав­ляющем большинстве рынков, где идет активная торговля. Важное обстоятельство при выборе системы для торговли на данном рын­ке связано с результативностью этой системы на широком спектре рынков. Другой важный аспект тестирования торговых систем свя­зан с потенциальной ценностью негативных результатов. Когда система показывает хорошие результаты на большинстве рынков и для большинства наборов параметров, но демонстрирует низкую эффективность в отдельных случаях, разработчик системы может проанализировать условия, в рамках которых система плоха, и, та­ким образом, обнаружить незамеченные ранее слабые стороны. После разбора двенадцати шагов построения и тестирования тор­говой системы Швагер заключает, что построение системы с дей­ствительно высокой эффективностью оказывается делом намного более сложным, чем представляется большинству людей.

ГЛАВА 20. тестирование и оптимизация... 123

Вопросы

Выберите один из предлагаемых вариантов.

1. __________ — разница между предполагаемым и действи­
тельным уровнями вхождения в торги и выхода из них.

a. Процент прибыли

b. Транзакшюнные издержки

c. Потенциальные издержки

d. _ Проскальзывание

2. Посылка, лежащая в основе оптимизации торговых систем,
состоит в том, что______.

a. самый эффективный в прошлом набор параметров ока­
жется таковым и в будущем

b. существует взаимосвязь между сложностью и прибыльно­
стью

c. должны быть протестированы все возможные наборы па­
раметров

d. оптимизация приводит к совершенной системе

3. В интерпретации Швагера денежный закон Гришема состо­
ит в том, что_____.

a. плохие деньги вытесняют хорошие деньги

b. плохое моделирование вытесняет хорошее
моделирование

c. плохие торговые системы вытесняют хорошие торговые
системы

d. плохие параметры вытесняют хорошие параметры

4. Устойчивость к изменению параметров и временная стабиль­
ность теснее всего связаны с_____.

a. оценкой риска

b. полнотой данных

c. измерением волатильности

d. оценкой эффективности

124 ЧАСТЬ 1. вопросы и задачи

5. Последний шаг в построении и тестировании торговой сис­
темы — сравнение ее результатов с результатами______ си­
стемы.

a. стандартной

b. оптимизированной

c. коммерческой

е. фундаментальной

6. Правила остановки, используемые для предотвращения ка­
тастрофических убытков, скорее всего, следует включать в
тест торговой системы в качестве___ параметра.

a. непрерывного

b. дискретного

c. кодового

d. фиксированного

7. Наиболее пригодными для компьютерного тестирования
обычно оказываются____.

a. непрерывные фьючерсы

b. ближайшие фьючерсы

c. фьючерсы с постоянным сроком до истечения

d. бессрочные фьючерсы

8. Все перечисленное ниже должно приниматься во внимание
при сравнении эффективности систем, за исключением

a. процента прибыли

b. уровня риска

c. специально подобранного примера

d. устойчивости к изменению параметров

9. Все перечисленное ниже выводы касательно оптимизации
верны, за исключением того, что_.

a. с помощью оптимизации можно добиться того, что лю­
бая система будет казаться прибыльной

b. оптимизация не является пригодным инструментом для
определения границ широкого диапазона, из которого
можно было бы выбирать значения параметров

ГЛАВА 20. тестирование и оптимизация... 125

c. оптимизация всегда будет преувеличивать возможную
будущую эффективность системы

d. для большинства систем оптимизация будет лишь незна­
чительно повышать будущую эффективность, если вооб­
ще будет

10. Какое из этих утверждений по поводу торговых систем яв­
ляется ложным?____

a. При конструировании торговой системы следует концен­
трироваться на попытках открыть лучший метод опреде­
ления тренда, а не на модификациях, вроде фильтров,
правил подтверждения и правил остановки потерь.

b. Сложность не всегда является преимуществом.

c. Публикуемые результаты моделирования часто оказыва­
ются оптимизированными результатами.

d. Диверсификация может применяться к системам так же,
как и к рынкам.

Вопросы

Найдите соответствия.

Варианты:

(а) торговая система, (Ь) параметр, (с) серии непрерывных фьючер­сов, (d) временная стабильность, (е) устойчивость к изменению па­раметра, (f) оптимизация, (д) транзакционные издержки, (h) слепое моделирование, (i) средняя результативность набора параметров, (j) негативные результаты

1. Процесс отыскания наборов параметров с наилучшей про­
изводительностью для данной системы, применяемой на оп­
ределенном рынке._____

2. Использует данные, которые исключает последние годы; за­
тем тестирует эффективность системы с использованием
выбранных наборов параметров на последующих годах.

3. Набор правил, который можно использовать для получения
сигналов к покупке или продаже._____

126 ЧАСТЬ 1. вопросы и задачи

4. Относительное постоянство эффективности от одного пери­
ода времени к другому.__

5. Требует определения полного списка наборов параметров,
которые нужно протестировать перед процессом моделиро­
вания. ______

6. Издержки торговли, включающие затраты на комиссионные
и потери на проскальзывании.__

7. Предпочтительные для тестирования торговой системы ряды
данных.____

8. Помогают обнаружить условия, в которых система имеет
низкую эффективность, и найти способы улучшения систе­
мы. ___

9. Степень, до которой схожие наборы параметров демонстри­
руют хорошую результативность.

10. Значение, которое можно устанавливать в рамках торговой
системы ради изменения времени поступления сигналов.

Глава 21 Измерение