<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Ilia Konushok on Medium]]></title>
        <description><![CDATA[Stories by Ilia Konushok on Medium]]></description>
        <link>https://medium.com/@nntrading?source=rss-ff916bcb6f45------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*uzDnfDdJm02-TCEL.jpg</url>
            <title>Stories by Ilia Konushok on Medium</title>
            <link>https://medium.com/@nntrading?source=rss-ff916bcb6f45------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 19:25:40 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@nntrading/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Пример применения RL с нуля в финтехе]]></title>
            <link>https://nntrading.medium.com/%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80-%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F-rl-%D1%81-%D0%BD%D1%83%D0%BB%D1%8F-%D0%B2-%D1%84%D0%B8%D0%BD%D1%82%D0%B5%D1%85%D0%B5-30abff400117?source=rss-ff916bcb6f45------2</link>
            <guid isPermaLink="false">https://medium.com/p/30abff400117</guid>
            <category><![CDATA[dqn]]></category>
            <category><![CDATA[neural-networks]]></category>
            <category><![CDATA[reinforcement-learning]]></category>
            <category><![CDATA[algorithmic-trading]]></category>
            <category><![CDATA[trading]]></category>
            <dc:creator><![CDATA[Ilia Konushok]]></dc:creator>
            <pubDate>Wed, 06 Apr 2022 14:28:11 GMT</pubDate>
            <atom:updated>2022-04-08T07:34:11.786Z</atom:updated>
            <content:encoded><![CDATA[<p>Я решил написать эту статью, опираясь на свой опыт чтения лекций по RL на курсе “<a href="http://msu.ai/?utm_source=medium.com&amp;utm_medium=artical&amp;utm_campaign=koniushok"><em>Нейронные сети и их применение в научных исследованиях</em></a>” в МГУ им. М. В. Ломоносова.</p><p>Часто на занятиях я сталкивался с недопониманием студентов в части применения Reinforcement Learning под конкретные цели. Не один раз слышал споры о том, какой алгоритм RL лучше, при этом многие не понимали или забывали, что выбор алгоритма зависит от его возможности “просчитать” саму среду или ее изменение, а также того, зависит ли само изменение среды от действий агента.</p><p>Наконец, накипело и я решил показать на простом примере, что начинать надо не с перебора новомодных методов и статей, а с анализа того, какой именно метод подходит для конкретной задачи!</p><h4>Мотивация</h4><p>Когда мы сталкиваемся с числовыми рядами, то сразу возникает вопрос об их стационарности (об этом еще поговорим в отдельной статье). При стационарном числовом ряде (имеющего постоянную среднюю, дисперсия и без тренда), задача классификации ряда легко решается классическими методами машинного обучения (ML).</p><p>Если же числовой ряд нестационарен, например, курс акций, то при его прогнозировании или классификации возникают сложности. Такие исследования требуют затрат времени и определенного подхода к обучению нейронных сетей.</p><p>Тут нам на помощь приходит <em>Reinforcement Learning</em>, который особенно полезен, если нашу проблему можно описать ​​как <a href="https://towardsdatascience.com/understanding-the-markov-decision-process-mdp-8f838510f150">MDP</a>, и предвещает хорошие результаты, когда <em>Среда</em> или <em>Вознаграждение</em> нестационарны, т. е. значительно меняются со временем..</p><p>Давайте разберемся в том, что я сейчас написал ))</p><h4>Немного теории о Reinforcement Learning</h4><p>Как вы, возможно, уже знаете, основными частями системы обучения с подкреплением являются:</p><p><strong>Среда (Environment) </strong>— это «игровое поле» или в нашем случае рынок, который может подсказать нам, что происходит прямо сейчас и какова будет наша награда в будущем, если мы совершим какое-то действие прямо сейчас. То, с чем взаимодействует <em>Агент</em>.<br><strong>Агент (Agent)</strong> — «Игрок», который взаимодействует с окружающей средой и учится максимизировать долгосрочное вознаграждение, выполняя различные действия в различных ситуациях. Выбирает действия, основываясь на том, что известно о <em>Среде</em> из собранных данных и политики.<br><strong>Действие (Action)</strong> — Различные варианты действий, которые <em>Агент</em> может выбрать в каждый момент времени.<br><strong>Состояние (State)</strong> — Текущая ситуация агента.<br><strong>Награда или Вознаграждение (Reward)</strong> — обратная связь от <em>Среды</em>, которая нужна агенту, чтобы узнать, было ли предпринятое <em>Действие</em> хорошим.<br><strong>Политика (Policy)</strong> — Процесс выбора действий на основе известной информации об окружающей среде.<br><strong>Ценность (Value)</strong> — будущая награда, которую агент получит, совершив действие в определенном состоянии.</p><p>Графически это можно представить на следующей схеме:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/1*jeC7JHhjsnNSc7w2YVTbCw.png" /><figcaption><a href="https://www.kdnuggets.com/2018/03/5-things-reinforcement-learning.html">Источник иллюстрации</a></figcaption></figure><p>Упомянем также о <strong>Марковских процессах принятия решений</strong> (Markov Decision Proces (MDP)) — это последовательность временных шагов, в которых происходит взаимодействие с окружающей средой.</p><p>В каждый момент времени текущее состояние используется для выполнения шага действия, после чего среда предоставляет обратную связь в виде вознаграждения об этом шаге и новом состоянии</p><h4>Рабочая среда</h4><p>Если состояния сложны и их трудно представить в виде таблицы действий (Марковского процесса), их можно аппроксимировать с помощью нейронной сети (это то, что мы будем делать).</p><p>С помощью нейронной сети мы можем выбрать самое прибыльное действие в каждом состоянии (согласно нашей функции <em>Q</em>) и максимизировать награду.</p><p>Но как построить такую функцию <em>Q</em>? Здесь нам поможет алгоритм <em>Q-Learning</em>, основой которого будет знаменитое <a href="https://en.wikipedia.org/wiki/Bellman_equation">уравнение Беллмана</a>:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WgxRem9Q9DIw4M4Djbqqqw.png" /><figcaption><a href="https://towardsdatascience.com/deep-q-learning-tutorial-mindqn-2a4c855abffc">Источник иллюстрации</a></figcaption></figure><p>где:<strong><br>S</strong> = Состояние или наблюдение<br><strong>A</strong> = Действие, которое предпринимает агент<br><strong>R</strong> = Награда за действие<br><strong>t</strong> = Временной шаг<br><strong><em>a</em></strong> = Скорость обучения<br><strong>ƛ</strong> = Коэффициент дисконтирования, из-за которого вознаграждения со временем теряют свою ценность, поэтому более немедленные вознаграждения ценятся выше</p><p>И немного про <strong>Дисконтирование</strong>:<br>В RL агент стремится к оптимальной политике, набору шагов, которые приводят к траектории (стратегии), обеспечивающей наибольшую награду. Это достигается путем оценки прямого вознаграждения за каждый следующий шаг плюс оценка вознаграждения за все будущие шаги при совершении этого действия.<br>Когда это непрерывная задача, расчет всех будущих вознаграждений невозможен, а оценка вознаграждения за большое количество шагов в будущем часто сопряжена с неопределенностью. Таким образом, <em>Дисконтирование</em> гарантирует, что больший вес придается ожидаемым вознаграждениям в ближайшем будущем, а меньший — более неопределенным вознаграждениям в отдаленном будущем.</p><h4>Подходы к реализации Reinforcement Learning</h4><p>Время от времени приходится наблюдать попытки нейронщиков подойти к решению задачи предсказания направления движения числового ряда. Обычно, при первых неудачах, делается вывод, что использованный алгоритм плох и нужно его усложнить.. От <a href="https://pytorch.org/tutorials/intermediate/reinforcement_q_learning.html">DQN</a> перейти к <a href="https://towardsdatascience.com/understanding-actor-critic-methods-931b97b6df3f">A2C</a>, от A2C к <a href="https://proceedings.neurips.cc/paper/2020/file/a322852ce0df73e204b7e67cbbef0d0a-Paper.pdf">MOPO</a> … и тд и тп…</p><p><strong>Одной из наиболее важных точек ветвления в алгоритме RL является вопрос о том, имеет ли агент доступ к модели среды (или изучает ее).</strong></p><p>Под моделью среды мы подразумеваем функцию, которая предсказывает переходы состояний и вознаграждения. Алгоритмы, использующие модель, называются методами, основанными на модели <em>model-based</em>, а те, которые не используют модель, называются безмодельными <em>model-free</em>.</p><p>Безмодельные методы отказываются от потенциального повышения эффективности выборки за счет использования модели. Поэтому их, как правило, легче реализовать и настроить.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RSvPcxrGWkVLcEfE_2iOIA.png" /><figcaption><a href="https://spinningup.openai.com/en/latest/spinningup/rl_intro2.html#citations-below">Источник иллюстрации</a></figcaption></figure><p>Со своей стороны очень рекомендую, прежде чем принимать решение о том, какой метод RL Вы будете использовать, подумать о том, а годен ли он для Вашей задачи?</p><h4>Процесс обучения нашей нейронной сети с помощью Deep Q-Learning</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*AAuUBbdgabct3pN04tDCBw.png" /><figcaption>Иллюстрация автора</figcaption></figure><ol><li>Инициализируем нейронную сеть</li><li>Выберем действие.</li><li>Обновим веса сети, используя уравнение Беллмана.</li></ol><p>Другими словами, мы будем итеративно, на каждом шаге <em>t</em>, обновлять значение, соответствующее состоянию <em>S</em> и заданному действию <em>A</em>, с двумя весовыми частями:</p><ul><li>Текущее значение функции Q для этого состояния и действия</li><li>Награда за такое решение + долгосрочная награда от будущих шагов</li></ul><p><em>Альфа</em> здесь измеряет компромисс между текущим значением и новым вознаграждением (т. е. скоростью обучения), <em>гамма</em> дает вес для долгосрочного вознаграждения.</p><p>Кроме того, во время итераций (обучения) в нашей среде мы иногда будем действовать случайным образом с некоторой вероятностью <em>эпсилон</em> — чтобы позволить нашему агенту изучить новые действия и потенциально еще большие награды!</p><p>Обновление функции <em>Q</em> в случае аппроксимации нейронной сети будет означать аппроксимацию нашей нейронной сети <em>Q</em> новым значением для данного действия.</p><p>Посмотрим на код</p><pre><strong>class</strong> Environment:<br>    &#39;&#39;&#39;<br>        Рабочая среда робота, внутри которого будет <br>        происходить дальнейшее обучение <br>    &#39;&#39;&#39;<br>    <strong>def</strong> __init__(self, length <strong>=</strong> 100, normalize <strong>=</strong> <strong>True</strong>, noise <strong>=</strong> <strong>True</strong>, data <strong>=</strong> []):<br>        self<strong>.</strong>length <strong>=</strong> length<br><br>        <strong>if</strong> len(data) <strong>==</strong> 0:<br>            <em># Если данные не поданы, формируем их сами </em><br>            <em># на основе синуса размером length</em><br>            self<strong>.</strong>data <strong>=</strong> np<strong>.</strong>sin(np<strong>.</strong>arange(length) <strong>/</strong> 30.0)<br>        <strong>else</strong>:<br>            <em># Иначе подугружаем существующие</em><br>            self<strong>.</strong>data <strong>=</strong> np<strong>.</strong>array(data)<strong>.</strong>flatten()<br>        <br><br>        <strong>if</strong> noise:<br>            <em># Подаем шум для данных от 0.1 до 1</em><br>            self<strong>.</strong>data <strong>+=</strong> np<strong>.</strong>random<strong>.</strong>normal(0, 0.1, size <strong>=</strong> self<strong>.</strong>data<strong>.</strong>shape)<br><br>        <strong>if</strong> normalize:<br>            <em># Нормализация после данных после шума</em><br>            self<strong>.</strong>data <strong>=</strong> (self<strong>.</strong>data <strong>-</strong> self<strong>.</strong>data<strong>.</strong>min()) <strong>/</strong> (self<strong>.</strong>data<strong>.</strong>max() <strong>-</strong> self<strong>.</strong>data<strong>.</strong>min())<br><br>    <strong>def</strong> get_state(self, time, lookback, diff <strong>=</strong> <strong>True</strong>):<br>        &quot;&quot;&quot;<br>        Возвращаем производные отдельного окна в нашей выборке<br>        и убираем нули в начале<br>        &quot;&quot;&quot;<br>        window <strong>=</strong> self<strong>.</strong>data[time<strong>-</strong>lookback:time]<br>        <strong>if</strong> diff: window <strong>=</strong> np<strong>.</strong>diff(window, prepend <strong>=</strong> window<strong>.</strong>flatten()[0])<br>        <strong>return</strong> window<br><br>    <strong>def</strong> get_reward(self, action, action_time, reward_time, coef <strong>=</strong> 100):<br>        &quot;&quot;&quot;<br>        Основная логика получения награды<br>        0 =&gt; long 1 =&gt; hold 2 =&gt; short<br>        &quot;&quot;&quot;<br>        <strong>if</strong> action <strong>==</strong> 0:<br>            action <strong>=</strong> <strong>-</strong>1<br>        <em># print(23, self.data)</em><br>        <em># Вытаскиваем текущую цену</em><br>        price_now <strong>=</strong> self<strong>.</strong>data[action_time]<br>        <em># Вытаскиваем следующую цену</em><br>        price_reward <strong>=</strong> self<strong>.</strong>data[reward_time]<br>        <em># Получаем разницу в проценте</em><br>        price_diff <strong>=</strong> (price_reward <strong>-</strong> price_now) <strong>/</strong> price_now<br>        <em># Прибавляем к портфелю следующее число:</em><br>        <em># Дельта изменения валюты * покупку/продажу/холд * коэф. закупки</em><br>        reward <strong>=</strong> np<strong>.</strong>sign(price_diff) <strong>*</strong> action <strong>*</strong> coef<br>        <em># print(12121, reward)</em><br>        <strong>return</strong> reward</pre><p>С помощью нашего кода мы можем создавать <em>Среду</em> разной протяженности и, при необходимости, зашумлять ее, приближая к реальным условиям:</p><pre><em># Создадим тестовую среду</em><br>lin_env <strong>=</strong> Environment(normalize<strong>=True</strong>, noise<strong>=True</strong>)<br><em># Отобразим все производные отдельного окна с 95 по 100 выборку</em><br>lin_env<strong>.</strong>get_state(100, 5, <strong>True</strong>)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/372/1*lYfeuN91QCNQYJh5WSs1Tg.png" /><figcaption>Иллюстрация автора</figcaption></figure><h4>Примечания по реализации нашего кода</h4><p>Реализация классов <em>Environment</em> и <em>Agent</em> относительно проста, но я хотел бы еще раз напомнить цикл обучения: итерация происходит в течение <em>N</em> эпох, где каждая эпоха — это общая среда итерации.</p><p>Для каждого образца в среде мы:</p><ol><li>Получаем <em>текущее состояние</em> в момент времени <em>t</em></li><li>Далее получаем <em>функцию значений</em> для всех действий в этом состоянии (наша нейросеть выдаст нам 3 значения)</li><li>Выполняем <em>действие</em> в этом состоянии (например, действуем случайным образом, исследуя)</li><li>Получаем <em>награду</em> за это действие от окружения (см. класс)</li><li>Получаем <em>следующее состояние</em> после текущего (для будущих долгосрочных вознаграждений)</li><li>Потом <em>Сохраним кортеж</em> текущего состояния, следующего состояния, функции значения и вознаграждения за повтор опыта.</li><li><em>Воспроизведем опыт</em> — подгоним нашу нейронную сеть к некоторым образцам из буфера воспроизведения опыта, чтобы сделать функцию <em>Q</em> более адекватной в отношении того, какие награды мы получаем за действия на этом этапе.</li></ol><p>Рекомендую <a href="https://deeplizard.com/learn/video/Bcuj2fTH4_4">здесь</a> изучить статью о том, что лучше тренироваться на некоррелированных мини-пакетах данных, чем на очень коррелированных пошаговых наблюдениях — это помогает обобщению и сходимости модели.</p><h4>Агент</h4><p>Архитектура нашей нейронной сети будет очень похожа на простую нейронную сеть классификации с несколькими классами.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/850/1*K6aG54n6CR9jUEjmQiP3nw.png" /><figcaption><a href="https://medium.com/@vincentpeijnenburg/a-reinforcement-learning-approach-to-dynamic-pricing-in-an-airline-simulation-competition-8db537f2382f">Источник иллюстрации</a></figcaption></figure><p>Функции, которые представляют состояние, находятся слева, затем есть скрытые слои с функциями активации, такими как relu, которые допускают нелинейные отношения и сложные взаимодействия, а справа находится выходной слой.</p><p>Однако вместо использования функции <em>softmax</em> для преобразования выходных данных в распределение вероятностей выходные данные останутся абсолютными значениями.</p><p>Образно говоря, это на самом деле больше похоже на настройку регрессии с несколькими выходами.</p><pre><em># Обратите внимание на то, что в RL часто используются совсем простые нейронные сети</em><br><strong>class</strong> Net(nn<strong>.</strong>Module):<br>    &quot;&quot;&quot;Строим простую модель нейронки&quot;&quot;&quot;<br>    <strong>def</strong> __init__(self, state_shape, action_shape):<br>        super(Net, self)<strong>.</strong>__init__()<br>        self<strong>.</strong>fc1 <strong>=</strong> nn<strong>.</strong>Linear(state_shape, 10)<br>        self<strong>.</strong>fc2 <strong>=</strong> nn<strong>.</strong>Linear(10, action_shape)<br>    <br>    <strong>def</strong> forward(self, x):<br>        x <strong>=</strong> F<strong>.</strong>relu(self<strong>.</strong>fc1(x))<br>        x <strong>=</strong> self<strong>.</strong>fc2(x)<br>        <strong>return</strong> x</pre><pre>------</pre><pre><em>Net(<br>  (fc1): Linear(in_features=10, out_features=10, bias=True)<br>  (fc2): Linear(in_features=10, out_features=3, bias=True)<br>)</em></pre><p>Наш <em>Агент</em>:</p><pre><strong>class</strong> BuyHoldSellAgent:<br>    &#39;&#39;&#39;<br>        Агент для покупки продажи<br>    &#39;&#39;&#39;<br>    <strong>def</strong> __init__(self, state_shape <strong>=</strong> 10, action_shape <strong>=</strong> 2, experience_size <strong>=</strong> 100):<br>        self<strong>.</strong>state_shape <strong>=</strong> state_shape<br>        self<strong>.</strong>action_shape <strong>=</strong> action_shape<br>        self<strong>.</strong>experience_size <strong>=</strong> experience_size<br>        self<strong>.</strong>experience <strong>=</strong> collections<strong>.</strong>deque(maxlen<strong>=</strong>self<strong>.</strong>experience_size)<br><br>        <em># Создадим экземпляр модели</em><br>        self<strong>.</strong>model <strong>=</strong> Net(state_shape, action_shape)<br><br>        <em># Создадим функцию ошибки</em><br>        self<strong>.</strong>criterion <strong>=</strong> nn<strong>.</strong>MSELoss()<br>        <em># Добавим оптимизатор</em><br>        self<strong>.</strong>optimizer <strong>=</strong> torch<strong>.</strong>optim<strong>.</strong>Adam(self<strong>.</strong>model<strong>.</strong>parameters(), lr<strong>=</strong>0.001)<br><br>    <strong>def</strong> save_experience(self, current_state, action, reward, next_state):<br>        &quot;&quot;&quot;Метод для сохранения предудыщих данных эксперимента&quot;&quot;&quot;<br>        self<strong>.</strong>experience<strong>.</strong>append({<br>            &#39;state_i&#39;: current_state,<br>            &#39;action_i&#39;: action,<br>            &#39;reward_i&#39;: reward,<br>            &#39;state_i_1&#39;: next_state<br>        })<br><br>    <strong>def</strong> replay_experience(self, gamma, sample_size):<br>        &quot;&quot;&quot;Метод для оптимизации данных тренировки&quot;&quot;&quot;<br>        <em># Создаем фиксированную выборку из добавленных событий</em><br>        indices_sampled <strong>=</strong> np<strong>.</strong>random<strong>.</strong>choice(<br>            len(self<strong>.</strong>experience), <br>            sample_size, <br>            replace<strong>=False</strong><br>        )<br>        <em># Проходимся только по тем элементам, которые были добавлены в выборку</em><br><br>        current_states <strong>=</strong> []<br>        actions <strong>=</strong> []<br>        rewards <strong>=</strong> []<br>        next_states <strong>=</strong> []<br>        <strong>for</strong> i <strong>in</strong> indices_sampled:<br>            state_i, action_i, reward_i, state_i_1 <strong>=</strong> self<strong>.</strong>experience[i][&#39;state_i&#39;], self<strong>.</strong>experience[i][&#39;action_i&#39;], self<strong>.</strong>experience[i][&#39;reward_i&#39;], self<strong>.</strong>experience[i][&#39;state_i_1&#39;]<br>            current_states<strong>.</strong>append(state_i)<br>            actions<strong>.</strong>append(action_i)<br>            rewards<strong>.</strong>append(reward_i)<br>            next_states<strong>.</strong>append(state_i_1)<br><br>        current_states <strong>=</strong> np<strong>.</strong>array(current_states)<strong>.</strong>squeeze()<br>        next_states <strong>=</strong> np<strong>.</strong>array(next_states)<strong>.</strong>squeeze()<br>        <br>        <em># Получаем прогноз по следующему состоянию</em><br>        next_q_values <strong>=</strong> self<strong>.</strong>model(torch<strong>.</strong>from_numpy(next_states)<strong>.</strong>float())<strong>.</strong>detach()<strong>.</strong>numpy()<br><br>        <em># Получаем прогноз по текущему состоянию</em><br>        current_q_values <strong>=</strong> self<strong>.</strong>model(torch<strong>.</strong>from_numpy(current_states)<strong>.</strong>float())<strong>.</strong>detach()<strong>.</strong>numpy()<br>        <em># Уравнение Бэллмена</em><br>        <em># Суть в том, что мы берем максимально возможную награду </em><br>        <em># из действия из будущего шага (q_value_i_1) , умножаем ее на гамму </em><br>        <em># (коэф. значимости будущих наград), прибавляем к текущей награде</em><br>        <strong>for</strong> i <strong>in</strong> range(len(indices_sampled)):<br>            <em># и заносим в Q таблицу для обучения</em><br>            current_q_values[i, actions[i]] <strong>=</strong> rewards[i] <strong>+</strong> gamma <strong>*</strong> next_q_values[i, :]<strong>.</strong>max()<br>                <br>        outputs <strong>=</strong> self<strong>.</strong>model(torch<strong>.</strong>from_numpy(np<strong>.</strong>expand_dims(current_states<strong>.</strong>reshape(<strong>-</strong>1, WINDOW_SHAPE), 0))<strong>.</strong>float())[0]<br>        loss <strong>=</strong> self<strong>.</strong>criterion(outputs, torch<strong>.</strong>Tensor(current_q_values))<br>        self<strong>.</strong>optimizer<strong>.</strong>zero_grad()<br>        loss<strong>.</strong>backward()<br>        self<strong>.</strong>optimizer<strong>.</strong>step()<br><br>    <strong>def</strong> get_value_action_value(self, state):<br>        &quot;&quot;&quot;Метод для прогноза сигнала&quot;&quot;&quot;<br>        state <strong>=</strong> np<strong>.</strong>expand_dims(state, axis <strong>=</strong> 0)<br>        pred <strong>=</strong> self<strong>.</strong>model(torch<strong>.</strong>from_numpy(state)<strong>.</strong>float())<br>        <strong>return</strong> pred<strong>.</strong>flatten()</pre><h4>Тренировка сети</h4><p>В нашем случае, мы натренируем нашего <em>Агента</em> определять восходящие и нисходящие тренды на синусоиде и потом посмотрим, достаточно ли такой тренировки для решения более сложных задач (зашумленный сигнал и нестационарный временной ряд).</p><pre><em># Количество эпох обучения</em><br>epochs <strong>=</strong> 20<br><em># Коэф. значимости награды на шаг вперед</em><br>gamma <strong>=</strong> 0.9<br><em># Количество эпох обучения</em><br>epsilon <strong>=</strong> 0.95</pre><pre><em># Размер датасета</em><br>DATASET_LENGTH <strong>=</strong> 250<br><em># Размер окна из которого будут браться предыдущие данные</em><br>WINDOW_SHAPE <strong>=</strong> 5<br><em># Шаг предыдущих данных</em><br>REWARD_TIME <strong>=</strong> 1<br><em># Число доступных действий</em><br>ACTIONS_SHAPE <strong>=</strong> 2<br><em># Размер выборки</em><br>SAMPLE_SIZE <strong>=</strong> 30</pre><pre><em># Объявляем новую среду с агентом, данные будут генерироваться автоматически</em><br>environment <strong>=</strong> Environment(DATASET_LENGTH, <strong>True</strong>, <strong>False</strong>)<br>agent <strong>=</strong> BuyHoldSellAgent(WINDOW_SHAPE, ACTIONS_SHAPE)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/372/1*JGa-uT68kbrUK7uenTtEbQ.png" /></figure><p>Функцию обучения нейронной сети и полный код можно посмотреть по ссылке на <a href="https://github.com/ikonushok/AI-Traiding/blob/main/%D0%9F%D1%80%D0%B8%D0%BC%D0%B5%D1%80_%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_RL_%D1%81_%D0%BD%D1%83%D0%BB%D1%8F__%D0%B2_%D1%84%D0%B8%D0%BD%D1%82%D0%B5%D1%85%D0%B5.ipynb">Git автора</a>.</p><h4>Проверка того, как наш алгоритм предсказывает направление движения тренда на той же синусоиде, на которой обучался</h4><p>Напомню, что у <em>Агента</em> есть всего 2 действия: купить и продать</p><pre>action_to_backtest_action <strong>=</strong> {<br>    1: 1,  <em># покупаем</em><br>    0: <strong>-</strong>1,  <em># продаем</em><br>}</pre><p>Ниже показана разметка сигналов от <em>Агента</em>:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/874/1*ZtKPTVMeiSHoj0aNUiWaGg.png" /></figure><p>И функция его <em>Вознаграждения</em>:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/372/1*j6JlyI6e28Mxc2-ZRoZmSw.png" /></figure><h4>Синус с разными частотами</h4><p>Давайте усложним жизнь нашему <em>Агенту</em> — просуммируем 4 функции синуса с разными частотными периодами и попробуем торговать по этим объединенным волнам.</p><p>Результат по-прежнему отличный — наше представление рынка четко отражает тенденции, и даже если наша модель была обучена на данных другого типа, она все равно знает, что делать с другой волной.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/874/1*jl2Em4CxAKgFyiGnJpzhLA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/372/1*V1h7nb7QTmPPPgsbUV5_9A.png" /></figure><h4>Зашумленная синусоида</h4><p>Теперь давайте немного усложним упражнение и <em>добавим гауссов шум</em> во временной ряд без переобучения модели.</p><blockquote>Алгоритм, обученный на простой синусоиде по-прежнему справляется с задачей! Теперь есть некоторые запутанные моменты, но в среднем модель все еще узнает, где находятся долгосрочные тренды нашей зашумленной функции синуса.</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/874/1*anNpdFwPZLrviBiVXQqCJw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/372/1*a8WQhYq3NpyZ2hGk7rAayg.png" /></figure><h4>Проверка алгоритма на реальных данных (акции Tesla)</h4><p>Осталось проверить, сможем ли мы обогатиться, применив эту же нейронную сеть к реальным котировкам акций. Для этого загрузим котировки акций из <em>yfinance</em>:</p><pre><strong>!</strong>pip install yfinance<br>clear_output()<br><strong>import</strong> yfinance <strong>as</strong> yf</pre><pre>df <strong>=</strong> yf<strong>.</strong>download(tickers<strong>=</strong>&#39;TSLA&#39;)<br>df <strong>=</strong> df[<strong>-</strong>500:]<br>df <strong>=</strong> df<strong>.</strong>reset_index(drop<strong>=True</strong>)<br>print(df<strong>.</strong>head())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wXE5ACkRVhSRUBNZrCKvRw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TIll00m891iLpjorSVshow.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/383/1*3kq5xkcnWZS5527GjuJlfw.png" /></figure><h4>Почему вдруг мы не можем получить стабильный результат?</h4><p><strong>Ответ:</strong> в сильной нестационарности временного ряда и том, что наш <em>Агент</em> учился в <em>Среде</em>, сильно отличающейся от той, с которой ему пришлось столкнуться.</p><p>Посмотрите на распределение динамики изменения цены акции:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/384/1*EAyLN93Ma3ubPDmCsMgDzg.png" /></figure><p>Оно абсолютно случайно!</p><p>В реальной жизни, котировки акции носят практически случайный характер: меняется среднее, дисперсия и частота изменений. Поэтому наша нейронная сеть <strong><em>ловит</em></strong> только частные случаи <strong><em>несовершенства рынка</em></strong> и, в такие моменты, Алгоритм увеличивает свое вознаграждение. А в остальное время - теряет.</p><p>И последнее..</p><h4>Почему я не рекомендую учиться на готовых средах и симуляторах типа GYM?</h4><p>Именно потому, что реальная жизнь очень разнообразна, а краткосрочные движения цены носят случайный характер, мало пользы в обучении RL на основе рафинированных (упрощенных) моделей сред, предлагаемых готовыми симуляторами.</p><p>Нужно учиться самостоятельно описывать <em>Среду</em>, <em>Агента</em> и <em>Вознаграждение</em>. Подбирать не модный Аглгоритм, а соответствующий задаче. Только тогда Вы поймете, насколько это тонкая работа, требующая понимания взаимосвязи реальных факторов друг с другом и с действиями <em>Агента</em>.</p><h4>Некоторые ссылки:</h4><ol><li><a href="https://web.stanford.edu/class/psych209/Readings/SuttonBartoIPRLBook2ndEd.pdf">Reinforcement Learning: An Introduction. Richard S. Sutton and Andrew G. Barto 2014, 2015</a></li><li><a href="https://www.amazon.com/Advances-Financial-Machine-Learning-Marcos/dp/1119482089">Advances in Financial Machine Learning</a></li><li><a href="https://en.wikipedia.org/wiki/Trend_following">Trend following</a></li><li><a href="https://spinningup.openai.com/en/latest/spinningup/rl_intro2.html#links-to-algorithms-in-taxonomy">Links to Algorithms in Taxonomy</a></li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=30abff400117" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Общие принципы применения нейронных сетей в алгоритмическом трейдинге]]></title>
            <link>https://nntrading.medium.com/%D0%BE%D0%B1%D1%89%D0%B8%D0%B5-%D0%BF%D1%80%D0%B8%D0%BD%D1%86%D0%B8%D0%BF%D1%8B-%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F-%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D1%85-%D1%81%D0%B5%D1%82%D0%B5%D0%B9-%D0%B2-%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%BC-%D1%82%D1%80%D0%B5%D0%B9%D0%B4%D0%B8%D0%BD%D0%B3%D0%B5-b63a591b2765?source=rss-ff916bcb6f45------2</link>
            <guid isPermaLink="false">https://medium.com/p/b63a591b2765</guid>
            <category><![CDATA[trading]]></category>
            <category><![CDATA[algorithmic-trading]]></category>
            <category><![CDATA[stock-market]]></category>
            <category><![CDATA[neural-networks]]></category>
            <dc:creator><![CDATA[Ilia Konushok]]></dc:creator>
            <pubDate>Mon, 05 Apr 2021 12:56:29 GMT</pubDate>
            <atom:updated>2021-04-05T16:48:31.284Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TPlnMki5IjEpyIZlVvMqrg.jpeg" /></figure><p>Всем привет! <br>Благодаря интересу к нейронным сетям и их применению в алгоритмическом трейдинге, я накопил достаточно опыта, чтобы иметь представление об основных ошибках “ищущих философский камень в нейронных сетях. Чем и хочу поделиться.</p><p><strong><em>Начну с основных направлений использования НС (нейронных сетей) в трейдинге</em></strong>. Этих направлений совсем не много:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zerCJfmMbKkc6hItczgOyA.png" /></figure><p>1. <em>Предсказание будущей цены</em> — именно этому посвящено 90% статей в открытом доступе и именно это направление я лично считаю самым спорным. Тут все просто — Вы сдвигаете Close на n шагов назад и решаете задачу регрессии..<br>2. <em>Предсказание направления движения будущей цены</em> — на Y подается заранее размеченный датасет и решаете задачу классификации, где -1 — падение цены, а 1 — рост цены. Иногда добавляют 0 — цена не изменится..<br>3. <em>Предсказание направления и размера следующей свечи</em> — это интересно.. Y должен быть размечен несколькими метками, например: -5% -4% -3%-2%-1%-0–1%-2%-3%-4%-5%. И дальше все переводится в One Hot Encoding..</p><p><strong><em>Что подаем на вход?</em></strong><br>1. <em>Использование семантического анализа</em> (на основе новостей или твитов на форумах).. Слышал, что чем крупнее инвестфонд, тем важнее для него этот способ предсказания цены. У меня есть тестовое задание от одного из американских фондов. обязательно решу и опубликую :)<br>2. <em>Использование технических индикаторов</em>. Тут главное, избежать желания подать все возможные.. <br>3. <em>Фич инжиниринг</em>. Очень интересной способ.. Попарные разности, первые и вторые производные, квадратные корни, тригонометрия и просто сдвигание данных относительно друг друга и выделение дня недели и числа из даты.. как ни странно — часто очень даже работает.<br>4. <em>С помощью поиска паттернов и уровней поддержки</em>. Пока ничего не могу сказать, изучаю этот вопрос. Знаю, что даже ищут не известные ранее комбинации свечей.. Отпишусь позже.<br>5. <em>С помощью стакана</em>. В основном используют в высокочастотной торговле.. я тут не специалист..</p><p><strong><em>Нейронные сети могут обучаться двумя способами:</em></strong><br>1. Обучение с учителем<br>2. Обучение без учителя (reinforcement learning)</p><p>Как 90% пришедших на фондовый рынок “трейдеров” не читают книг по трейдингу, так и подавляющее большинство “нейронщиков от алгоритмического трейдинга” не имеют опыта ни в работе с нейронными сетями, ни в трейдинге..</p><p><strong>И первая ошибка, которую они совершают — это вера в одну из следующих легенд:</strong></p><p><strong><em>Первая:</em></strong><em> </em>Если подать в нейронку как можно больше данных, то она сама разберется в том, какие из них нужны, а какие — нет. Слышали ли они простое правило “мусор на входе — мусор на выходе?” Даже если слышали, то ведь они подают не мусор, а кучу “важной информации”! :)<br>На самом деле что тогда происходит? Модель находит во всем этом мусоре какие-то случайные закономерности, не характерные для тестовой группы или вообще отказывается учится..<br>Что можно посоветовать? Воспользоваться библиотеками explainability. Такими как SHAP, LIME или BORUTA для понимания того, на основании каких признаков Ваша нейронка принимает решения. Какие признаки действительно важны для обучения, а какие ей только мешают.</p><p><strong><em>Вторая легенда</em></strong><em> </em>прямо противоположна первой: Нет смысла подавать в нейронку технические индикаторы, или какие-то фичи, сделанные на основе цены, так как нейронка умная и сама найдет все нужные ей закономерности.. Дело в том, что НС, конечно, находит закономерности. Но в силу функциональной ограниченности эти закономерности и так известны. К примеру, автокорреляция… :)</p><blockquote>Автокорреляция..<br>Это основная причина, по которой предсказание цены проваливается в 99% случаев.. Я планирую коснуться этой и других проблем обучения НС на нестационарных временных рядах в следующих публикациях..</blockquote><h4>Какие основные этапы построения торгующей нейронной сети нужно пройти?</h4><p>Как действуют новички?<br>1. Загрузили OHLC.. иногда добавили Volume..<br>2. Написали нейронку<br>3. Подали в нее OHLC, а на выход — сдвинутый на 1 шаг Close..</p><p>Статей, описывающих результативность такого подхода так много, что складывается впечатление, что через час любой из нас сможет стать богатым :) Как бы не так! <em>(см про автокорреляцию)</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wuQWnKLR3z44bpP7edWWhw.jpeg" /></figure><p>Вот так выглядела моя схема работы в попытке создать свою первую модель на основе AI и содержавшая половину из тех ошибок, которые я обозначил выше. А ведь это почти через пол года, как я активно изучал нейронные сети!</p><p><strong>Для построения успешной торговой модели необходимо проанализировать и принять решения по каждому из следующих этапов:</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*P3CvkXjs0LfezWPyPWF-Dw.png" /></figure><p>1. <strong><em>Market, ticker, timeframe</em></strong><em> </em>— На каком рынке, каким инструментом и на каком таймфрейме Вы собираетесь торговать? Чем короче таймфрейм, тем важнее становится время предикта и переобучения нейронной сети.. Опять же универсальной нейронки не бывает и то, что работает на акции, не будет работать на валютном рынке..<br>2. <strong><em>Input</em></strong> — Что будете подавать на вход нейронки? Глупый вопрос, но смогли бы Вы на основе этих данных принять правильное решение о покупке? Если речь идет о фич инжиниринг, то ответа на него нет, но тем не менее, часто простой анализ взаимосвязи подаваемый вами данных друг с другом и с Y, позволяет убрать лишние признаки.. <br>3. <strong><em>Output</em></strong> — что конкретно будет предсказывать Ваша нейронка? Чем проще, тем лучше! Помните, что предсказание на 1 шаг вперед одного параметра — точнее, чем предсказание нескольких параметров на 5 шагов вперед.. С каждым лишним шагом в будущее точность и надежность прогноза будет падать. И еще: как будете размечать Y при обучении? Будете ли вообще париться с разметкой?<br>4. <strong><em>Trading strategy</em></strong> — Предсказать сигнал (вниз, вверх, плато/не знаю) — это пол дела. Какой именно будет Ваша торговая стратегия при получении того или иного сигнала? Будет ли управление рисками? Учитываете ли комиссию брокера?<br>5. <strong><em>Model architecture</em></strong> — О! именно на этом сосредоточивают свои усилия все новички :) А, ведь 50% успеха кроется в правильных ответах на предыдущие вопросы! Подобрать архитектуру нейронной сети можно разными способами. Имеет смысл пойти двумя путями:</p><ul><li>Сделать вручную, а потом улучшить с помощью генетических алгоритмов.</li><li>Воспользоваться какой-то готовой из тех, что можно скачать в библиотеках Keras или Pytorch.. ну или на GitHub.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/340/1*QqUDndb5Y98hqHK45e2zBA.jpeg" /></figure><p>6. <strong><em>Backtesting</em></strong> — Когда спрашиваешь новичка о том, проверял ли он свою модель на данных, которые она не видела? В отчет лишь недоуменный взгляд.. Когда предлагаешь сделать форвардный анализ или использовать KFold, с тобой перестают разговаривать.. Что уж говорить о применении специальных библиотек для бэктестинга, как та, что на рисунке.</p><p>7. <strong><em>Production</em></strong> — Как именно модель будет взаимодействовать с торговой системой брокера? Или вы ограничитесь сигналами в Telegram , или на сайт? Это один из самых трудных для реализации этапов, так как это совсем другая специализация программирования и большинство нейронщиков не могут самостоятельно справиться с задачей выведения в Production.. Я тоже :)</p><p><strong>Заключение</strong></p><p>Ну вот, кажется и все.. Понятно, что каждый из указанных пунктов можно раскрыть и превратить в отдельную статью. Возможно, я так и сделаю.</p><blockquote>Ну и еще один важный момент:<br>Я не видел НИ ОДНОГО УСПЕШНОГО ПРОЕКТА ТОРГУЮЩЕЙ МОДЕЛИ РЕАЛИЗОВАННОГО ОДИНОЧКОЙ. <br>Познакомьте меня с тем, у кого получилось.</blockquote><p>А пока, буду признателен за обратную связь в комментариях или по адресу ikonushok@gmail.com</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b63a591b2765" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>