Все модели неверны, а эта даже не полезна

Oпубликован в Окт 15, 2022

Тим Столте, аналитик AMDAX Asset Management о новой модели от PlanB.

«Квантовое инвестирование — это искусство и наука одновременно», — так PlanB, криптоинфлюенсер и создатель модели Stock-to-Flow, представил свою новую инвестиционную стратегию, которой он щедро поделился с читателями. Конечно, такое двоякое определение квантового инвестирования позволяет ему представить себя художником, чье неоспоримое мастерство и мудрость должны вдохновить любого криптоинвестора. В этом нет ничего нового. Примерно тем же PlanB занимается уже много лет и у него это действительно хорошо получается. Меня немного беспокоит другое.

Утверждая, что количественные подходы к инвестиционным решениям иногда попадают в субъективную категорию искусства, он занимает скрытую позицию против всех научных принципов предмета. Это фактически наделяет художника правом в любой момент объявить логическую аргументацию и математический расчет нерелевантными — он так видит в конце концов, на то он и художник.

Я согласен, что количественные методы могут быть креативными, элегантными и иногда даже загадочно необъяснимыми, но называть их искусством — это уже совсем другая история, и потенциально опасная. Данные нужно использовать разумно и с осторожностью, ведь в истории не счесть примеров, как легко с помощью данных можно подставить и обмануть людей. И новая модель от PlanB вполне может быть одним из таких случаев.

В этом посте я подробно и структурировано расскажу о том, что не так с новой статьей PlanB и представленной в ней торговой стратегией. О необходимых количественных и инвестиционных принципах я тоже попутно расскажу, так что никаких предварительных познаний в этих темах для понимания не потребуется.

Торговые правила

Чтобы максимизировать прибыль как инвестору, вам нужно делать две вещи: покупать, когда цена низкая, и продавать, когда цена высокая. Само собой, проще сказать, чем сделать, потому что точно определить эти идеальные возможности (когда цена достигает максимума или минимума) мы можем только задним числом. Концепция квантового инвестирования предлагает возможное решение этой проблемы, стремясь предсказать ценовые минимумы и максимумы на основе скрытых закономерностей в данных.

Подход PlanB чрезвычайно прост: он в своей модели использует только RSI (индекс относительной силы) для определения минимумов и максимумов в цене биткойна и, следовательно, оптимальных возможностей для его покупки и продажи. Несколько упрощая, RSI — это индекс со значениями от 0% до 100%, определяющий, является ли актив в тот или иной момент времени «перекупленным» (высокий RSI, указывает на вероятную вершину) или «перепроданным» (низкий RSI, указывает на вероятное дно). В этой системе всё, что нам нужно делать, это продавать при высоких значениях RSI и покупать при низких. Проще некуда, верно? Давайте сверимся с торговым правилом, описанным в статье PlanB:

продаем, если RSI опустился ниже 65% и поднимался выше 90% в предыдущие шесть месяцев (по меньшей мере в один из них);
покупаем, если RSI вырос от минимума на 2% и более и опускался ниже 50% в предыдущие шесть месяцев.

Если ваша первая реакция состоит в том, что эти торговые правила выглядят сложновато для настолько простой метрики, то вы правы, но к этому мы еще вернемся позже. Сначала предлагаю сосредоточиться на последствиях сигналов. Взглянем на следующий график (серый — цена биткойна, синий — RSI):

Сразу можно отметить кое-что странное. Сигналы на покупку и продажу появляются только при относительно низких значениях RSI. Это резко контрастирует с интерпретацией метрики, поскольку мы ожидали продаж при высоких значениях RSI, которые бы сигнализировали о вершине. Мы обнаруживаем даже, что январь 2012 давал сигнал к покупке и продаже одновременно. Стратегия интерпретирует этот как сигнал к покупке просто потому, что мы уже продали и больше продать не можем. Другими словами, мы покупаем, даже когда стратегия говорит нам продавать. В этой ситуации сигнал зависит от нашего текущего позиционирования, а не от наших ожиданий относительно того, куда будет двигаться цена. Это, по сути, противоречит самой идее квантового инвестирования. Но искусство, как мы знаем, не признаёт правил и границ…

Некоторые читатели могут на это возразить что-то в логике «Если это глупо и работает, значит, это не глупо». Для них я предлагаю следующий метод, построенный в четыре этапа в лучших традициях PlanB:

Данные

Возьмем помесячные данные о цене от Glassnode и календарные данные по григорианскому календарю. Использую данные с января 2011 по июль 2022 года.

Информация

По месячным данным о цене BTC похоже, что есть максимумы и минимумы, которые бы идеально соответствовали долгосрочным возможностям продажи и покупки соответственно.

Знания

Похоже, что эти максимумы и минимумы в течение многих лет происходят более или менее в одни и те же месяцы.

Мудрость

Определим два очень простых торговых правила, соответствующие этим двум возможностям:

продаем в декабре, если год оканчивается на 0, 3 или 7;
покупаем в конце января, если год оканчивается на 1, 5 или 9.

И только взгляните на замечательную эффективность этой стратегии, показанную на диаграмме ниже! Мы начинаем с 1 BTC в январе 2011 и заканчиваем с более чем 16,4 BTC в июле 2022, превзойдя простое удержание актива более чем в 16,4 раз. Максимальная просадка в этой стратегии составляет -53% в BTC. Это, кстати, значительно лучший результат, чем в стратегии PlanB (9,7 BTC с макс. просадкой -49% в BTC). Профиль риска моей стратегии чуть агрессивнее, однако доходность с поправкой на риск остается выше и с большим отрывом.

Я искренне надеюсь, что всем понятно, что в этих торговых правилах нет ни малейшего смысла. И хотя результат внутри выборки может превосходить любые мыслимые долгосрочные стратегии, никому, кто хочет превзойти эффективность простого удержания биткойна в будущем, не стоит следовать таким правилам. Но интерпретация — не единственное, чего не хватает такому типу инвестиционного подхода, и это подводит нас к следующей теме.

Результаты внутри и вне выборки

Я понимаю, что для многих эти термины звучат малопонятно. Так что вот краткое введение:

Возьмем два не пересекающихся периода ценовых данных, период А и период Б. На основе периода А мы разработали некоторые торговые правила, обеспечивающие потрясающую доходность. Как видно из предложенной мной в предыдущем разделе долгосрочной алгоритмической экзогенной квантовой инвестиционной стратегии, при достаточно творческом подходе такие правила очень возможно создать из почти любого набора данных. Так что показывать, что правила работают на периоде А по сути бессмысленно. Чтобы успешно оценить эффективность набора торговых правил, их необходимо тестировать на иных точках данных, не совпадающих с теми, что использовались для создания правил. Значит, только период Б может сказать нам, насколько в действительности хороша наша стратегия.

В этом объяснении данные в периоде А называются данными внутри выборки, а в периоде Б — вне выборки. PlanB хорошо понимает разницу между ними, но, к сожалению, не упоминает о возможных последствиях для его собственного анализа. Поэтому я упомяну об этом здесь на небольшом примере.

Пример

Возьмем на себя смелость удалить все данные до июля 2013 года. Тогда графики цены BTC и RSI будут соотноситься следующим образом:

Теперь вспомним, как выглядел сигнал на продажу в торговом правиле PlanB: продаем, если 1) RSI опускается ниже 65% и 2) RSI поднимался выше 90% в предыдущие шесть месяцев. Исходя из нового набора данных (внутри выборки), это правило продажи не имело бы смысла, потому что мы можем упростить правило и значительно улучшить результат. Просто отбросим первую часть правила и скорректируем вторую таким образом: продаем, если RSI поднимается выше 95%.

Доходность этой стратегии (зеленая кривая на графике выше) почти в три раза превышает доходность старой версии (синяя кривая): 14,4 против 5,6 BTC. Более того, это значительно снижает риск (измеряемый по размеру максимальной просадки): -30% против -49%. Красная линия соответствует стратегии с продажей при RSI выше 90%. Доходность она приносит, но далеко не оптимальную. Значит, для этого набора данных стратегия продажи при RSI >95%, безусловно, является правильным выбором.

Но вот в чем фокус: как поведет себя эта же стратегия, если мы добавим в выборку данные за период с января 2012* по июль 2013 года. Смотрите сами на графике ниже. Очевидно, показатели до июля 2013 плохи настолько, что, как только мы берем в расчет полную картину, наша новая стратегия еле-еле опережает простое удержание биткойна (эффективность которого равна 1 по правой оси). В этом и заключается сила результатов вне выборки и причина, по которой их всегда следует включать в тестирование стратегии.

* Я намеренно игнорирую данные за 2011 из-за чрезвычайно высоких и неточных значений RSI для этого года, в результате которых наша новая стратегия немедленно дает сигнал на продажу и приносит практически нулевую прибыль. Это выглядело бы как нечестный способ доказать свою точку зрения, поэтому я начинаю с января 2012.

Итак, в этой части поста я показал, что только по результатам анализа на данных вне выборки можно делать вывод о том, насколько хорошо работает торговая стратегия в целом. В примере выше я показал стратегию, которая изначально работает исключительно хорошо, но полностью проваливается, как только мы добавляем к тесту данные за полтора года вне первоначальной выборки. И ни один здравомыслящий инвестор не поставил бы на такую стратегию свои деньги, как бы хорош ни был результат внутри выборки. В заключение, тот факт, что стратегия PlanB десятикратно превосходит простое удержание актива на данных внутри выборки, ничего не говорит о том, насколько хорошо она будет работать в целом.

Чрезмерное обучение

Третье и последнее критическое соображение, которое я хочу высказать, тесно связано с предыдущим. За хорошим примером того, что такое чрезмерное обучение и насколько опасным оно может быть, я рекомендую обратиться к этой статье (англ.) о том, как оно стало причиной катастрофы на Фукусиме. PlanB довольно хорошо описывает общую концепцию:

«Чрезмерное обучение происходит, когда алгоритм, вместо обобщения и получения некоего основного сигнала, запоминает набор данных (включая шум). Чрезмерное обучение дает хорошую производительность модели при ее создании, но низкую производительность на новых данных вне выборки. Предотвращение чрезмерного обучения — целое искусство в ТА, статистике и ИИ».

Ирония в том, что, хоть он и знаком с определением и, по-видимому, даже может считать себя своего рода художником и в этом искусстве тоже, ему совершенно не удается избежать чрезмерного обучения собственной модели. Отчаянная попытка PlanB что-то этому противопоставить сводится к тому, что он решает использовать только одну метрику, чтобы сохранить модель настолько простой, насколько это возможно. Иногда такого подхода достаточно, но чрезмерное обучение происходит также, если вы делаете свою модель слишком зависимой от данных одной конкретной метрики. Помните, в самом начале поста я говорил, что его торговые правила выглядят сложноватыми для настолько простого показателя, как RSI? Именно в этом моменте и кроется предпосылка для чрезмерного обучения, и вот почему:

Сигнал на продажу

Продаем, если RSI опустился ниже 65% и поднимался выше 90% в предыдущие шесть месяцев (по меньшей мере в один из них).

По результатам эксперимента из предыдущего раздела об эффективности модели вне выборки ясно, что часть про «RSI ниже 65%» из стратегии PlanB является исключительно следствием двойной рыночной вершины 2013 года. Потому что если отбросить данные за начало 2013 года, то обнаружится, что в этом условии нет абсолютно никакой необходимости. И если это не запоминание набора данных (вместо обобщения и извлечения сигнала), то что тогда?

Игнорируя условие про «ниже 65%», я бы также сказал, что 90% во второй части этого правила выбраны только потому, что у ценового пика в марте 2021 RSI чуть-чуть не дотянул до 95%, которых достигал при всех остальных крупных рыночных максимумах. Представим, что мы создаем правила для торговой стратегии, не имея данных начиная с марта 2021 года. Мы бы определенно выбрали в качестве порогового значения RSI 95%, потому что это дает в два раза лучший результат. Но из сегодняшнего дня, с более поздними данными, мы видим, что это привело бы к упущенной возможности продать на вершине в марте 2021, поэтому выбираем 90% вместо 95%, основываясь лишь на одном наблюдении. Как это называется? Правильно: чрезмерное обучение.

Сигнал на покупку

Покупаем, если RSI вырос от минимума на 2% и более и опускался ниже 50% в предыдущие шесть месяцев.

Рассмотрим еще одно утверждение из статьи PlanB:

«Традиционно считается, что RSI выше 70 указывает на «перекупленность», ниже 30 — на «перепроданность». Однако для BTC на месячном таймфрейме этот диапазон отличается: RSI может подниматься до 90-100 и никогда не опускался ниже 40».

То есть мы знаем, что RSI для традиционных активов может опускаться ниже 30%… И мы уже находимся на территории покупки, когда RSI для биткойна находится у 50%? Кажется, глупо думать, что RSI не окажется в ближайшие годы в области 30% или ниже только потому, что в случае с биткойном этого еще не случалось. Мы также никогда не видели, чтобы цена BTC поднималась выше $70 тыс., но, кажется, многие из вас считают, что это с большой вероятностью произойдет, не так ли? Опять же, модель PlanB здесь запоминает данные вместо того, чтобы искать в них сигнал.

Заключение

В этой статье я рассмотрел новую стратегию от PlanB, использующую популярный технический индикатор RSI для построения торговых правил, которые задним числом, на исторических данных, показывали замечательную доходность. И исходя из интерпретации торговых правил, отсутствия анализа вне выборки и очевидных признаков чрезмерного обучения я без всяких сомнений могу утверждать, что эту стратегию не следует рассматривать как полезный инструмент, способный превзойти доходность простого удержания актива в будущем. Конечно, вероятность достичь положительного результата есть, но не в силу логики модели.

К счастью для него, PlanB выглядит готовым к тому, что его стратегия может потерпеть неудачу или быть развенчанной. Он сразу подготовил (довольно обширный) дисклеймер, отдельно акцентировав внимание на каждом из четырех этапов описанного метода:

Данные: могут содержать ошибки.
Конечно, но, поскольку мы используем только данные о ценах, то кажется, что здесь всё должно быть в порядке. Это, пожалуй, самые надежные данные на всем крипторынке.

Информация: расчет RSI может быть неверным.
Да, именно поэтому специалисты по квантовому анализу всегда должны выполнять собственный расчет RSI.

Знание: корреляция между RSI и ценой BTC может быть ложной.
Невозможно. RSI основан на ценовых данных и ни на чем другом. Он по определению коррелирует с ценой.

Мудрость: чрезмерное обучение торгового правила, бэктест может быть ошибочным, нельзя исключить «черных лебедей», к тому же прошлые результаты не могут гарантировать результаты будущие.
Это ответственность квантового аналитика — устранить риски чрезмерного обучения и некорректное тестирование на исторических данных (бэктест). То есть с тем же успехом можно было сказать: «Возможно, я некорректно выполнил свою работу». Что касается «черных лебедей», это верно, но только для настоящих черных лебедей. Наконец, что касается прошлых результатов, которые не гарантируют будущие, это вполне согласуется и с моими соображениями, и в принципе со здравым смыслом, но кажется, что это стоит включать в анализ, а не в отказ от ответственности.

Дополнение

Для интересующихся, в конце оригинальной статьи автор привел код, который он использовал для расчета RSI и класс Python с кодом для ретроспективного тестирования.

БитНовости отказываются от ответственности за любые инвестиционные рекомендации, которые могут содержаться в данной статье. Все высказанные суждения выражают исключительно личное мнения автора и респондентов. Любые действия, связанные с инвестициями и торговлей на крипторынках, сопряжены с риском потери инвестируемых средств. На основании предоставленных данных, вы принимаете инвестиционные решения взвешенно, ответственно и на свой страх и риск.

Подписывайтесь на BitNovosti в Telegram!
Делитесь вашим мнением об этой статье в комментариях ниже.

Источник: bitnovosti.com