<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Daria Sidorova on Medium]]></title>
        <description><![CDATA[Stories by Daria Sidorova on Medium]]></description>
        <link>https://medium.com/@daria_s?source=rss-be7adc13c989------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*zWIwcCwdoZSHdBp-.jpg</url>
            <title>Stories by Daria Sidorova on Medium</title>
            <link>https://medium.com/@daria_s?source=rss-be7adc13c989------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Thu, 19 Nov 2026 01:33:52 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@daria_s/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Темная сторона Javascript: избегайте данных трех функций]]></title>
            <link>https://medium.com/nuances-of-programming/%D1%82%D0%B5%D0%BC%D0%BD%D0%B0%D1%8F-%D1%81%D1%82%D0%BE%D1%80%D0%BE%D0%BD%D0%B0-javascript-%D0%B8%D0%B7%D0%B1%D0%B5%D0%B3%D0%B0%D0%B9%D1%82%D0%B5-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85-%D1%82%D1%80%D0%B5%D1%85-%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D0%B9-cc2132d123d0?source=rss-be7adc13c989------2</link>
            <guid isPermaLink="false">https://medium.com/p/cc2132d123d0</guid>
            <category><![CDATA[technology]]></category>
            <category><![CDATA[software-development]]></category>
            <category><![CDATA[javascript]]></category>
            <category><![CDATA[nuances-of-programming]]></category>
            <category><![CDATA[javascript-tips]]></category>
            <dc:creator><![CDATA[Daria Sidorova]]></dc:creator>
            <pubDate>Tue, 20 Jul 2021 16:03:25 GMT</pubDate>
            <atom:updated>2021-07-20T16:03:25.030Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bn9oCKwiBP83tjreWD1I6A.png" /></figure><h3>Оператор Void</h3><p>Вы, вероятно, уже сталкивались с этим оператором. Раньше при наличии ссылки, запускающей функцию JavaScript, нужно было добавлять href=”javascript:void(0)”, чтобы действие по умолчанию не запустилось. Но что же это значило на самом деле?</p><p>Оператор void в JavaScript позволяет сгенерировать значение undefined. Он принимает любое выражение и каждый раз возвращает undefined.</p><p>Возможно, вы подумали: почему бы просто не воспользоваться ключевым словом undefined? Дело в том, что до ECMAScript 5 undefined не было постоянным значением, которое нельзя изменять. Раньше это было возможно, и оператор void позволял получать к нему доступ, даже если константа не работала.</p><p>По сути, чтобы переопределить константу только для локального пространства имен и избежать проблем со сторонними библиотеками, лучше всего создавать собственные IIFE (Immediately Invoked Function Expressions), где один из полученных параметров будет undefined.</p><pre>(function (window, undefined) {<br>  // Логика находится здесь, где undefined действует, как ожидается<br>})(window, void(0))</pre><p>Конечно, в современном JavaScript оператор void еще используется, но уже не имеет столь важного значения. К примеру, он помогает избежать нежелательных возвратов в однострочных стрелочных функциях.</p><p>Такая функция возвращает результат одной строки, даже если оператор return не используется.</p><pre>const double = x =&gt; x * 2; // Возвращает результат X, умноженный на 2<br><br>const callAfunction = () =&gt; myFunction(); // Возвращает то же, что и myFunction, даже если это не нужно</pre><p>Обе функции вернут какие-либо элементы. Очевидно, что для double возврат будет ожидаемым, в то время как для другой, вероятно, нет, например если вы просто хотите ее вызвать, но вам не интересно значение результата. В таком случае можно сделать следующее.</p><pre>const callAfunction = () =&gt; void myFunction(); // Возвращает то же, что и myFunction, даже если это не нужно</pre><p>Возвращаемое значение будет скрыто — его заменит undefined.</p><p>Однако такое поведение приносит минимальную выгоду в современном JavaScript.</p><h3>Оператор with</h3><p>Вы, вероятно, даже не слышали об этой конструкции в JavaScript, так как она не особо широко используется. Даже официальная документация MDN призывать избегать ее, потому что она может сильно запутать код.</p><p>Оператор with позволяет расширить цепь областей видимости (scope chain) для определенного оператора. Другими словами, с его помощью можно встроить выражение в область видимости определенного оператора, в идеале при этом упрощая его.</p><p>Ниже показан пример.</p><pre>function greet(user) {<br>  <br>  with(user) {<br>    console.log(`Hello there ${name}, how are you and your ${kids.length} kids today?`)<br>  }<br>}<br><br>greet({<br>  name: &quot;Fernando&quot;,<br>  kids: [&quot;Brian&quot;, &quot;Andrew&quot;]<br>})</pre><p>Обратите внимание на то, как действует оператор with внутри функции greet. Теперь рассмотрим другой случай, в котором все становится немного сложнее.</p><pre>function greet(user, message) {<br>  with(user) {<br>    console.log(`Hey ${name}, here is a message for you: ${message}`)<br>  }<br>}<br><br>// Счастливый путь<br>greet({<br>  name: &quot;Fernando&quot;<br>}, &quot;You got 2 emails&quot;)<br><br>// Неудачный путь<br>greet({<br>  name: &quot;Fernando&quot;,<br>  message: &quot;Unrelated message&quot;<br>}, &quot;you got email&quot;)</pre><p>Как думаете, каким будет результат этого выполнения?</p><pre>Hey Fernando, here is a message for you: You got 2 emails<br>Hey Fernando, here is a message for you: <strong>Unrelated message</strong></pre><p>Скорее всего, вы перезаписали второй аргумент функции, добавив к объекту свойство с таким же именем. И это абсолютно нормально, так как сложно представить, что оба они будут находиться на одном уровне области видимости. Однако благодаря with обе области смешались, а полученный результат далек от идеала.</p><p>Может показаться, что оператор with помогает сэкономить несколько нажатий клавиш. Однако в скором времени он сильно усложняет код и его дальнейший анализ как для других разработчиков, так и для вас самих. Поэтому стоит его избегать.</p><h3>Label</h3><p>Если вы знакомы с другими языками, такими как C, то, скорее всего, знаете, как тяжело работать с операторами goto. Раньше эта функция имела смысл, но сейчас существуют современные и удобные решения для той же проблемы, а сама она устарела и превратилась в антипаттерн.</p><p>Оператор goto позволяет поместить маркер в любом фрагменте кода и переместиться в него из любого другого места. Он был своего рода магическим порталом: с его помощью можно было перейти в середину функции или внутрь оператора IF.</p><p>В JavaScript есть подобная конструкция и называется она “метки” (labels). Метки помещаются перед оператором, который затем можно как продолжить (continue), так и покинуть (break). Обратите внимание, что никаких goto не требуется — и это определенно плюс.</p><p>Записываем следующее:</p><pre>label1: {<br>  console.log(1)<br>  let condition = true<br>  if(condition) {<br>  	break label1<br>  }<br>  console.log(2)<br>}<br>console.log(&quot;end&quot;)</pre><p>Вывод будет таким:</p><pre>1<br>end</pre><p>Конечно, этот пример очень похож на оператор if..else, и, в целом, выглядит не так уж плохо. Однако вы выпадаете из нормального потока кода и пропускаете операторы. Если вы хотите реализовать подобное, то лучше использовать if..else — другим разработчикам будет гораздо легче его прочитать.</p><p>Недостатки меток становятся более очевидными при взаимодействии с циклами и оператором continue:</p><pre>let i, j;<br><br>loop1:<br>for(i = 0; i &lt; 10; i++) {<br>  loop2:<br>  for(j = 0; j &lt; 10; j++) {<br><br>    if(j == 3 &amp;&amp; i == 2) {<br>      continue loop2;<br>    }<br>    console.log({i, j})<br>    if(j % 2 == 0) {<br>      continue loop1;<br>    }<br>  }<br>}</pre><p>Можете ли вы проанализировать приведенный выше код и сказать, каким будет вывод? Это вполне реально, но потребует времени. Этот сценарий выведет следующее:</p><pre>{ i: 0, j: 0 }<br>{ i: 1, j: 0 }<br>{ i: 2, j: 0 }<br>{ i: 3, j: 0 }<br>{ i: 4, j: 0 }<br>{ i: 5, j: 0 }<br>{ i: 6, j: 0 }<br>{ i: 7, j: 0 }<br>{ i: 8, j: 0 }<br>{ i: 9, j: 0 }</pre><p>По сути, второй if оценивает true как 0, поэтому оператор continue влияет на внешний цикл, заставляя его перейти к следующему значению индекса. Он, в свою очередь, перезапускает внутренний цикл, возвращая его к нулю. И то же самое происходит снова и снова. В то же время первый if никогда не получит значения true, потому что j не достигнет никакого другого значения, кроме 0.</p><p>Метки часто вызывают трудности. Даже если вы сможете их применить, они будет гораздо понятнее интерпретатору, а не человеку, для которого вы и пишите код. Тому, кто будет читать ваш код (или даже вам самим через несколько недель), потребуется гораздо больше времени, чтобы понять его основной поток.</p><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/13134/">JavaScript: 5 нововведений 2021 года</a></li><li><a href="https://nuancesprog.ru/p/13088/">10 хитрых приемов в JavaScript, о которых должен знать каждый разработчик</a></li><li><a href="https://nuancesprog.ru/p/13027/">Как получить все неуникальные значения в массиве JavaScript?</a></li></ul><p>Читайте нас в <a href="https://vk.com/away.php?to=https%3A%2F%2Ft.me%2Fnuancesproghumor&amp;cc_key=">Telegram</a>, <a href="https://vk.com/nuancesprog">VK</a> и <a href="https://vk.com/away.php?to=https%3A%2F%2Fzen.yandex.ru%2Fnuancesprog&amp;cc_key=">Яндекс.Дзен</a></p><p><em>Перевод статьи</em> <a href="https://deleteman123.medium.com/">Fernando Doglio</a>: <a href="https://blog.bitsrc.io/the-dark-side-of-javascript-a-look-at-3-features-you-never-want-to-use-83b6f0b3804b">The Dark Side of Javascript: A Look at 3 Features You Never Want to Use</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=cc2132d123d0" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/%D1%82%D0%B5%D0%BC%D0%BD%D0%B0%D1%8F-%D1%81%D1%82%D0%BE%D1%80%D0%BE%D0%BD%D0%B0-javascript-%D0%B8%D0%B7%D0%B1%D0%B5%D0%B3%D0%B0%D0%B9%D1%82%D0%B5-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85-%D1%82%D1%80%D0%B5%D1%85-%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D0%B9-cc2132d123d0">Темная сторона Javascript: избегайте данных трех функций</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[4 типа архитектуры программного обеспечения]]></title>
            <link>https://medium.com/nuances-of-programming/4-%D1%82%D0%B8%D0%BF%D0%B0-%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D1%8B-%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%BE%D0%B3%D0%BE-%D0%BE%D0%B1%D0%B5%D1%81%D0%BF%D0%B5%D1%87%D0%B5%D0%BD%D0%B8%D1%8F-917133174724?source=rss-be7adc13c989------2</link>
            <guid isPermaLink="false">https://medium.com/p/917133174724</guid>
            <category><![CDATA[monolithic]]></category>
            <category><![CDATA[software-architecture]]></category>
            <category><![CDATA[nuances-of-programming]]></category>
            <category><![CDATA[microservices]]></category>
            <category><![CDATA[software-development]]></category>
            <dc:creator><![CDATA[Daria Sidorova]]></dc:creator>
            <pubDate>Fri, 09 Apr 2021 16:02:37 GMT</pubDate>
            <atom:updated>2021-04-09T16:02:37.491Z</atom:updated>
            <content:encoded><![CDATA[<h4>Детальный обзор существующих подходов</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Fg4oalUvT5_CvKdsmV4A-g.png" /></figure><h3>Зачем нужна архитектура ПО</h3><p>Первые разработчики создавали программное обеспечение без архитектуры. Сначала это казалось удобным: никаких издержек, связанных с планированием, и ускоренное прототипирование. Но мере усложнения ПО теряло гибкость и управляемость, а каждое новое изменение обходилось все дороже. Это мешало развивать проект за границы, определенные изначально. Такая система получила название Большой комок грязи (Big Ball of Mud).</p><p>За годы развития ПО разработчикам удалось придумать надежные подходы, чтобы устранить недостатки проектирования без архитектуры. Ниже представлены некоторые из самых известных.</p><ul><li>Многослойная архитектура (Layered Architecture).</li><li>Многоуровневая архитектура (Tiered Architecture).</li><li>Сервис-ориентированная архитектура (Service Oriented Architecture — SOA).</li><li>Микросервисная архитектура (Microservice Architecture).</li></ul><p>Подробно рассмотрим каждую из них.</p><h3>Многослойная архитектура</h3><p>Этот подход работает по принципу разделения ответственностей. ПО разделено на слои, лежащие друг на друге, и каждый из них выполняет определенную обязанность.</p><p>Архитектура делит ПО на следующие слои.</p><ul><li><strong>Слой представления (Presentation Layer)</strong> содержит пользовательский интерфейс и отвечает за обеспечение хорошего пользовательского опыта.</li><li><strong>Слой бизнес-логики (Business Logic Layer)</strong>, как следует из названия, содержит бизнес-логику приложения. Он отделяет UI/UX от вычислений, связанных с бизнесом. Это позволяет с легкостью изменять логику в зависимости от постоянно меняющихся бизнес-требований, никак не влияя на другие слои.</li><li><strong>Слой передачи данных (Data Link Layer) </strong>отвечает за взаимодействие с постоянными хранилищами, такими как базы данных, и прочую обработку информации, которая не связана с бизнесом.</li></ul><p>Данные и элементы управления проходят через каждый слой в дизайне и передаются от одного к другому. Эта система также повышает уровень абстракции и в некоторой степени даже стабильность ПО.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*8K9M4IcWg2vNRGQc.png" /><figcaption>Так выглядит многослойная архитектура</figcaption></figure><h4>Преимущества</h4><ul><li>Более простая реализация по сравнению с другими подходами.</li><li>Предлагает абстракцию благодаря разделению ответственностей между уровнями.</li><li>Изолирование защищает одни слои от изменений других.</li><li>Повышает управляемость программного обеспечения за счет слабой связанности.</li></ul><h4>Недостатки</h4><ul><li>Не предлагает большой масштабируемости.</li><li>ПО, созданное с таким подходом, будет иметь монолитную структуру, усложняющую внесение модификаций.</li><li>Данные должны проходить по каждому слою, даже если нет необходимости передавать их с определенных слоев.</li></ul><h3>Многоуровневая архитектура</h3><p>Этот архитектурный подход разделяет комплекс ПО на уровни по принципу взаимодействия “клиент-сервер”. Архитектура может иметь один, два и больше уровней, разделяющих ответственности между поставщиком данных и потребителем.</p><p>Этот подход использует шаблон Request Response для связи между уровнями. В отличие от многослойной архитектуры, он предлагает масштабируемость, которая может быть как горизонтальной (масштабирование сети с помощью высокопроизводительных узлов), так и вертикальной (масштабирование каждого узла путем повышения его производительности).</p><h4>Одноуровневая система</h4><p>В данном подходе единая система работает как на стороне сервера, так и клиента. Это обеспечивает простоту развертывания и отличную скорость связи, а также устраняет необходимость межсистемного взаимодействия (Inter-system communication — ISC).</p><p>Такая система подходит только для небольших однопользовательских приложений.</p><h4>Двухуровневая система</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*_H6J4t0rnD5efF5q.png" /><figcaption>Так выглядит двухуровневая архитектура</figcaption></figure><p>Эта система состоит из двух физических машин в качестве сервера и клиента. Она обеспечивает изоляцию операций управления данными, обработки данных и операций представления.</p><ul><li><strong>Клиент </strong>содержит слои презентации, бизнес-логики и передачи данных.</li><li><strong>Сервер </strong>включает хранилища и базы данных.</li></ul><h4>Трехуровневая и n-уровневая системы</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*Gyyf7oGUkPyXOHCj.png" /><figcaption>Так выглядит трехуровневая архитектура</figcaption></figure><p>Такие архитектуры обладают высокой масштабируемостью как по горизонтали, так и по вертикали. Реализация n-уровневой системы, как правило, обходится дороже, но обеспечивает высокую производительность. Поэтому она обычно применяется в крупных и комплексных программных решениях.</p><p>Этот подход можно сочетать с современной сервис-ориентированной архитектурой, чтобы создавать сложнейшие модели. Поскольку реализация может оказаться дорогостоящей с точки зрения времени и ресурсов, рекомендуется использовать его для сложных ПО, требующих производительности и масштабируемости.</p><h3>Сервис-ориентированная архитектура (SOA)</h3><p>Эта архитектурная модель состоит из компонентов и приложений, которые связываются друг с другом с помощью четко определенных сервисов.</p><p>Она состоит из 5 элементов:</p><ul><li>сервисы (Services);</li><li>сервисная шина (Service Bus);</li><li>сервисный репозиторий (Service Repository catalogue of services);</li><li>безопасность SOA (SOA Security);</li><li>управление SOA (SOA Governance).</li></ul><p>Клиент отправляет запрос с использованием стандартного протокола и формата данных по сети. Этот запрос обрабатывается ESB (enterprise service bus — сервисная шина предприятия), которая считается сердцем сервис-ориентированной архитектуры и отвечает за оркестровку и маршрутизацию. С помощью сервисного репозитория ESB направляет запрос в специальный сервис, который может взаимодействовать с другими сервисами и базами данных, чтобы составить полезную нагрузку (данные) ответа.</p><p>Полный вызов ответа на запрос согласуется с правилами управления и безопасности SOA для выполнения безопасной и корректной транзакции.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*RH3H3sf2jAeah5W9.png" /></figure><p>Как правило, сервисы делятся на два вида.</p><ol><li><strong>Атомарные сервисы (Atomic services) </strong>предоставляют функциональности, которые не подлежат дальнейшей декомпозиции.</li><li><strong>Композиционные сервисы (Composite services) </strong>сочетают в себе несколько атомарных сервисов, чтобы предоставлять сложную составную функциональность.</li></ol><h4>Типы сервисов</h4><ul><li>Организационные сервисы (Entity service).</li><li>Доменные сервисы (Domain Service).</li><li>Вспомогательные сервисы (Utility Service).</li><li>Интегрированный сервис (Integrated Service).</li><li>Сервис приложений (Application Service).</li><li>Сервис безопасности (Security Service).</li></ul><h3>Mикросервисная архитектура</h3><p>При таком подходе приложение разрабатывается как набор небольших сервисов, каждый из которых работает в собственном процессе и связывается с легковесными механизмами, обычно API для HTTP-ресурса.</p><ul><li>Эти сервисы основываются на бизнес-возможностях и могут развертываться независимо друг от друга с помощью полностью автоматизированного механизма.</li><li>Централизованное управление между сервисами минимально. Они могут быть написаны на разных языках, использовать разные технологии хранения данных<em>.</em></li></ul><p>Архитектура работает по принципу компонентизации сервисов. Она разделяет программное обеспечение на различные изолированные компоненты (сервисы), каждый из которых несет единую ответственность. Изменения в одной сервисе не должны затрагивать другие.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*PhkyJ5gwmzRlHLe2.png" /><figcaption>Монолитная и микросервисная архитектуры</figcaption></figure><h4>Состав микросервисов</h4><p>Архитектура состоит из изолированных компактных микросервисов, способных расширяться независимо друг от друга. Она включает 5 следующих компонентов:</p><ul><li>сервисы (Services);</li><li>сервисная шина (Service Bus);</li><li>внешняя конфигурация (External configuration);</li><li>шлюз API (API Gateway);</li><li>контейнеры (Containers).</li></ul><h4>Характеристики микросервисов</h4><p>Микросервисная архитектура должна включать следующие характеристики.</p><ul><li>Компонентизация через сервисы.</li><li>Организация вокруг бизнес-возможностей.</li><li>Ориентирована на продукты, а не проекты.</li><li>Умные конечные точки и глупые каналы (Smart endpoints and dumb pipes).</li><li>Децентрализованное управление.</li><li>Децентрализованное управление данными.</li><li>Автоматизация инфраструктуры.</li><li>Защита от сбоев.</li><li>Эволюционное проектирование.</li></ul><p>Рекомендуется развивать каждый микросервис отдельно под управлением разных команд. Поскольку передача данных происходит по стандартному протоколу и формату данных, структура одного сервиса не затронет функциональность сопутствующих.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*YtLm1AoIGENvUN9t.png" /><figcaption>Монолитная, сервис-ориентированная и микросервисная архитектуры</figcaption></figure><h4>Преимущества</h4><ul><li>Предлагает слабую связанность благодаря высокой степени изоляции.</li><li>Повышает модульность.</li><li>Сбой в одном сервисе не затронет всю систему, поскольку они изолированы.</li><li>Предлагает высокую гибкость и масштабируемость.</li><li>Простота модификации может ускорить итерации.</li><li>Позволяет реализовать улучшенную систему обработки ошибок.</li><li>Решает проблемы с потоками данных, которые бывают у многослойной архитектуры.</li></ul><h4>Недостатки</h4><ul><li>Повышенный риск сбоя при обмене данными между сервисами.</li><li>Большим количеством сервисов трудно управлять.</li><li>Требует решения таких проблем, как задержки в сети, балансировка нагрузки и прочих трудностей, свойственных распределенной архитектуре.</li><li>Нуждается в комплексном тестировании в распределенной среде.</li><li>На реализацию потребуется гораздо больше времени.</li></ul><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/11946/">Мы снова написали самый быстрый JS-фреймворк UI</a></li><li><a href="https://nuancesprog.ru/p/11933/">3 совета, как стать мастером Йода по JavaScript</a></li><li><a href="https://nuancesprog.ru/p/11859/">10 полезных инструментов для фронтенд-разработчика</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesproghumor">Telegram</a>, <a href="https://vk.com/nuancesprog">VK</a> и <a href="https://zen.yandex.ru/nuancesprog">Яндекс.Дзен</a></p><p><em>Перевод статьи </em><a href="https://mohit-malhotra.medium.com/">Mohit Malhotra</a>: <a href="https://medium.com/swlh/everything-aboutsoftware-architecture-dfd2b9351ef4">Everything About Software Architecture</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=917133174724" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/4-%D1%82%D0%B8%D0%BF%D0%B0-%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D1%8B-%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%BE%D0%B3%D0%BE-%D0%BE%D0%B1%D0%B5%D1%81%D0%BF%D0%B5%D1%87%D0%B5%D0%BD%D0%B8%D1%8F-917133174724">4 типа архитектуры программного обеспечения</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Как создать простой планировщик событий в Go]]></title>
            <link>https://medium.com/nuances-of-programming/%D0%BA%D0%B0%D0%BA-%D1%81%D0%BE%D0%B7%D0%B4%D0%B0%D1%82%D1%8C-%D0%BF%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9-%D0%BF%D0%BB%D0%B0%D0%BD%D0%B8%D1%80%D0%BE%D0%B2%D1%89%D0%B8%D0%BA-%D1%81%D0%BE%D0%B1%D1%8B%D1%82%D0%B8%D0%B9-%D0%B2-go-d25a74ba9c7?source=rss-be7adc13c989------2</link>
            <guid isPermaLink="false">https://medium.com/p/d25a74ba9c7</guid>
            <category><![CDATA[software-engineering]]></category>
            <category><![CDATA[nuances-of-programming]]></category>
            <category><![CDATA[scheduling]]></category>
            <category><![CDATA[go]]></category>
            <dc:creator><![CDATA[Daria Sidorova]]></dc:creator>
            <pubDate>Fri, 09 Apr 2021 12:01:16 GMT</pubDate>
            <atom:updated>2021-04-09T12:01:16.368Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*m1X5n8Go_ZP7n9I1xo4E0A.png" /></figure><p>Базовый рабочий механизм представляет собой следующее: запланированное событие добавляется в базу данных, из которой оно будет выполняться в определенное время. Другая задача будет запускаться регулярно, чтобы проверить, не истекло ли какое-либо событие в базе данных. Если да, то запустится событие polling.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/561/0*M4_9Dzf4WVs1Kkic.png" /><figcaption>Детали реализации</figcaption></figure><p>Начнем с создания схемы базы данных в postgresql, которая будет использоваться для хранения событий:</p><pre>CREATE TABLE IF NOT EXISTS &quot;public&quot;.&quot;jobs&quot; (   <br>   &quot;id&quot;      SERIAL PRIMARY KEY,   <br>   &quot;name&quot;    varchar(50) NOT NULL,   <br>   &quot;payload&quot; text,   <br>   &quot;runAt&quot;   TIMESTAMP NOT NULL  <br>)</pre><p>Теперь определим структуру данных для следующих элементов.</p><ul><li>Event — запланированная задача.</li><li>Listeners — список слушателей событий.</li><li>ListenFunc — функция, которая будет вызываться при запуске события.</li></ul><pre>// Listeners прикрепляет слушателей событий<br>type Listeners map[string]ListenFunc<br><br>// Функция ListenFunc, которая прослушивает события<br>type ListenFunc func(string)<br><br>// Структура события<br>type Event struct {<br>	ID      uint<br>	Name    string<br>	Payload string<br>}</pre><p>Также определим структуру Scheduler, которая будет планировать события и запускать слушателей:</p><pre>// Структура данных планировщика<br>type Scheduler struct {<br>	db        *sql.DB<br>	listeners Listeners<br>}<br><br>// NewScheduler создает новый планировщик<br>func NewScheduler(db *sql.DB, listeners Listeners) Scheduler {<br>	return Scheduler{<br>		db:        db,<br>		listeners: listeners,<br>	}<br>}</pre><p>Здесь мы создаем новый планировщик, передавая ему экземпляр sql.DB и начальных слушателей.</p><p>Теперь нужно добавить реализацию функции планирования, которая будет помещать событие в таблицу jobs:</p><pre>// Schedule планирует предоставленные события<br>func (s Scheduler) Schedule(event string, payload string, runAt time.Time) {<br>	log.Print(&quot;🚀 Scheduling event &quot;, event, &quot; to run at &quot;, runAt)<br>	_, err := s.db.Exec(`INSERT INTO &quot;public&quot;.&quot;jobs&quot; (&quot;name&quot;, &quot;payload&quot;, &quot;runAt&quot;) VALUES ($1, $2, $3)`, event, payload, runAt)<br>	if err != nil {<br>		log.Print(&quot;schedule insert error: &quot;, err)<br>	}<br>}<br><br>// AddListener добавляет функцию listener в Listeners<br>func (s Scheduler) AddListener(event string, listenFunc ListenFunc) {<br>	s.listeners[event] = listenFunc<br>}</pre><p>В функции AddListener мы просто присваиваем функцию listener к имени события.</p><p>Мы завершили первый этап: добавили событие в таблицу job. Теперь нужно извлечь устаревшие задачи из базы данных, выполнить их, а затем удалить.</p><p>Реализация функции ниже показывает, как можно выявить устаревшие события в таблице, а также сериализацию события в структуру Event:</p><pre>// checkDueEvents проверяет и возвращает соответствующие события<br>func (s Scheduler) checkDueEvents() []Event {<br>	events := []Event{}<br>	rows, err := s.db.Query(`SELECT &quot;id&quot;, &quot;name&quot;, &quot;payload&quot; FROM &quot;public&quot;.&quot;jobs&quot; WHERE &quot;runAt&quot; &lt; $1`, time.Now())<br>	if err != nil {<br>		log.Print(&quot;💀 error: &quot;, err)<br>		return nil<br>	}<br>	for rows.Next() {<br>		evt := Event{}<br>		rows.Scan(&amp;evt.ID, &amp;evt.Name, &amp;evt.Payload)<br>		events = append(events, evt)<br>	}<br>	return events<br>}</pre><p>Переходим ко второму этапу: вызываем зарегистрированных слушателей событий из базы данных:</p><pre>// callListeners вызывает слушателя определенного события<br>func (s Scheduler) callListeners(event Event) {<br>	eventFn, ok := s.listeners[event.Name]<br>	if ok {<br>		go eventFn(event.Payload)<br>		_, err := s.db.Exec(`DELETE FROM &quot;public&quot;.&quot;jobs&quot; WHERE &quot;id&quot; = $1`, event.ID)<br>		if err != nil {<br>			log.Print(&quot;💀 error: &quot;, err)<br>		}<br>	} else {<br>		log.Print(&quot;💀 error: couldn&#39;t find event listeners attached to &quot;, event.Name)<br>	}<br><br>}</pre><p>Здесь мы проверяем наличие функции event. Если она прикреплена, то мы вызываем функцию event listener. Строки 6–9 удаляют задачу, поэтому при повторном поиске по базе данных слушатель не будет найден.</p><p>И наконец, переходим к финальному этапу: проверяем, истекло ли какое-либо событие в заданный интервал времени. Для запуска задач в определенный период используем функцию ticker библиотеки time, которая предоставит канал, получающий новый тик в заданном интервале.</p><pre>// CheckEventsInInterval проверяет события в заданном интервале<br>func (s Scheduler) CheckEventsInInterval(ctx context.Context, duration time.Duration) {<br>	ticker := time.NewTicker(duration)<br>	go func() {<br>		for {<br>			select {<br>			case &lt;-ctx.Done():<br>				ticker.Stop()<br>				return<br>			case &lt;-ticker.C:<br>				log.Println(&quot;⏰ Ticks Received...&quot;)<br>				events := s.checkDueEvents()<br>				for _, e := range events {<br>					s.callListeners(e)<br>				}<br>			}<br><br>		}<br>	}()<br>}</pre><p>Здесь мы проверяем, закрыт ли контекст, или же канал ticker получает тики. После получения тиков просматриваем соответствующие события, а затем вызываем слушателей для всех событий.</p><p>Теперь мы будем использовать все функции, определенные ранее в файле main.go:</p><pre>package main<br><br>import (<br>	&quot;context&quot;<br>	&quot;log&quot;<br>	&quot;os&quot;<br>	&quot;os/signal&quot;<br>	&quot;time&quot;<br><br>	&quot;github.com/dipeshdulal/event-scheduling/customevents&quot;<br>)<br><br>var eventListeners = Listeners{<br>	&quot;SendEmail&quot;: customevents.SendEmail,<br>	&quot;PayBills&quot;:  customevents.PayBills,<br>}<br><br>func main() {<br>	ctx, cancel := context.WithCancel(context.Background())<br><br>	interrupt := make(chan os.Signal, 1)<br>	signal.Notify(interrupt, os.Interrupt)<br><br>	db := initDBConnection()<br><br>	scheduler := NewScheduler(db, eventListeners)<br>	scheduler.CheckEventsInInterval(ctx, time.Minute)<br><br>	scheduler.Schedule(&quot;SendEmail&quot;, &quot;mail: nilkantha.dipesh@gmail.com&quot;, time.Now().Add(1*time.Minute))<br>	scheduler.Schedule(&quot;PayBills&quot;, &quot;paybills: $4,000 bill&quot;, time.Now().Add(2*time.Minute))<br><br>	go func() {<br>		for range interrupt {<br>			log.Println(&quot;\n❌ Interrupt received closing...&quot;)<br>			cancel()<br>		}<br>	}()<br><br>	&lt;-ctx.Done()<br>}</pre><p>В строках 13–16 мы прикрепляем слушателей к имени событий SendEmail и PayBills, чтобы эти функции вызывались при появлении новой задачи.</p><p>В строках 22 и 32–37 мы прикрепляем канал прерывания (interrupt) с помощью os.Interrupt. Когда прерывание в программе выполняется, мы отменяем контекст в строке 19.</p><p>В строках 26–30 мы определяем планировщик событий, запускаем функцию polling и планируем выполнение события SendEmail через минуту, а PayBills — через две минуты.</p><p>Вывод данной программы выглядит следующим образом:</p><pre>2021/01/16 11:58:49 💾 Seeding database with table...<br>2021/01/16 11:58:49 🚀 Scheduling event SendEmail to run at 2021-01-16 11:59:49.344904505 +0545 +0545 m=+60.004623549<br>2021/01/16 11:58:49 🚀 Scheduling event PayBills to run at 2021-01-16 12:00:49.34773798 +0545 +0545 m=+120.007457039<br>2021/01/16 11:59:49 ⏰ Ticks Received...<br>2021/01/16 11:59:49 📨 Sending email with data:  mail: nilkantha.dipesh@gmail.com<br>2021/01/16 12:00:49 ⏰ Ticks Received...<br>2021/01/16 12:01:49 ⏰ Ticks Received...<br>2021/01/16 12:01:49 💲 Pay me a bill:  paybills: $4,000 bill<br>2021/01/16 12:02:49 ⏰ Ticks Received...<br>2021/01/16 12:03:49 ⏰ Ticks Received...<br>^C2021/01/16 12:03:57 <br>❌ Interrupt received closing...</pre><p>Мы видим, что событие SendEmail было выполнено через минуту, а PayBills — в следующую минуту.</p><p>Таким образом, мы создали базовую систему планирования событий, которая выполняет задачи в определенный временной интервал. <a href="https://github.com/dipeshdulal/event-scheduling">Здесь</a> можно найти полный пример кода.</p><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/11938/">Бенчмарки в Golang: тестируем производительность кода</a></li><li><a href="https://nuancesprog.ru/p/11674/">Оптимизация структур в Golang для эффективного распределения памяти</a></li><li><a href="https://nuancesprog.ru/p/10711/">Опыт работы с Golang: путь проб и ошибок</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesproghumor">Telegram</a>, <a href="https://vk.com/nuancesprog">VK</a> и <a href="https://zen.yandex.ru/nuancesprog">Яндекс.Дзен</a></p><p><em>Перевод статьи </em><a href="https://dipesh-dulal.medium.com/">Dipesh Dulal</a>: <a href="https://medium.com/wesionary-team/building-basic-event-scheduler-in-go-134c19f77f84">Building Basic Event Scheduler in Go</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d25a74ba9c7" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/%D0%BA%D0%B0%D0%BA-%D1%81%D0%BE%D0%B7%D0%B4%D0%B0%D1%82%D1%8C-%D0%BF%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9-%D0%BF%D0%BB%D0%B0%D0%BD%D0%B8%D1%80%D0%BE%D0%B2%D1%89%D0%B8%D0%BA-%D1%81%D0%BE%D0%B1%D1%8B%D1%82%D0%B8%D0%B9-%D0%B2-go-d25a74ba9c7">Как создать простой планировщик событий в Go</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Как создать криптовалютный дашборд с помощью Plotly и API Binance]]></title>
            <link>https://medium.com/nuances-of-programming/%D0%BA%D0%B0%D0%BA-%D1%81%D0%BE%D0%B7%D0%B4%D0%B0%D1%82%D1%8C-%D0%BA%D1%80%D0%B8%D0%BF%D1%82%D0%BE%D0%B2%D0%B0%D0%BB%D1%8E%D1%82%D0%BD%D1%8B%D0%B9-%D0%B4%D0%B0%D1%88%D0%B1%D0%BE%D1%80%D0%B4-%D1%81-%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D1%8C%D1%8E-plotly-%D0%B8-api-binance-b9984dbf9b64?source=rss-be7adc13c989------2</link>
            <guid isPermaLink="false">https://medium.com/p/b9984dbf9b64</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[binance]]></category>
            <category><![CDATA[plotly]]></category>
            <category><![CDATA[cryptocurrency]]></category>
            <category><![CDATA[nuances-of-programming]]></category>
            <dc:creator><![CDATA[Daria Sidorova]]></dc:creator>
            <pubDate>Thu, 01 Apr 2021 12:02:51 GMT</pubDate>
            <atom:updated>2021-04-01T12:02:51.506Z</atom:updated>
            <content:encoded><![CDATA[<h4>Упрощаем отслеживание активов</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qyKdl_9NJ6AJApVk7I2L7A.png" /></figure><h3>Как установить API Binance</h3><p>Binance предоставляет два типа доступа к API: реальный и тестовый.</p><h4>Настраиваем реальный API Binance</h4><p>Реальный API обеспечивает прямой доступ к аккаунту. В нем будут отражены любые сделки, совершенные через этот API. Поэтому использовать его следует с осторожностью.</p><p>Для начала нужно зарегистрироваться на Binance.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*ojRkG50-x3Rp0ORi.png" /></figure><p>После регистрации вам будет предложено установить двухфакторную аутентификацию (2FA). Вы также можете подключить ее самостоятельно в настройках безопасности.</p><p>Затем переходим во вкладку <em>API Management </em>в настройках. Вам будет предложено установить метки для ключей API. Эта функция пригодится тем, у кого есть несколько ключей, связанных с одним аккаунтом.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*jYVbT5yLqLjSon3m.png" /></figure><p>Указываем метки и нажимаем <em>Create API</em>. После этого нужно пройти аутентификацию еще раз. Затем отобразятся <em>API Key </em>и <em>Secret Key</em>. Скопируйте их в безопасное место. По умолчанию получить доступ к ключам можно следующим способом, который можно изменить:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/704/0*1QLec5Dq1EqZihRF.png" /></figure><p>Мы будем использовать ключи как реального, так и тестового API, чтобы понять, как с ними работать. С целью не засорять реальный аккаунт установим доступ только для чтения для ключей реального API:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/681/0*DwZAwpW6gA29dxAp.png" /></figure><p>Сохранять ключи реального API мы будем в файл secret.cfg, как показано ниже. Не забывайте, что нельзя ни с кем делиться этим файлом.</p><pre>[BINANCE]<br>ACTUAL_API_KEY = &lt;your-actual-api-key&gt;<br>ACTUAL_SECRET_KEY = &lt;your-actual-secret-key&gt;</pre><h4>Настраиваем тестовый API Binance</h4><p>Тестовый API Binance полностью имитирует взаимодействие с реальным API. Рекомендуем для начала повзаимодействовать с ним, чтобы убедиться в корректности работы приложения.</p><p>Для начала необходимо войти в систему: <a href="https://testnet.binance.vision/">https://testnet.binance.vision/</a> (на данный момент вход поддерживается только с GitHub).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*eP1qAq4rNT20KEFw.png" /></figure><p>Затем нажмите на <em>Generate HMAC_SHA256 Key (Сгенерировать ключ HMAC_SHA256)</em> и снова укажите метки для ключей. Отобразившиеся после создания ключи также скопируйте в безопасное место. Все подробности о тестовом API можно прочитать на <a href="https://testnet.binance.vision/">главной странице</a>.</p><p>Теперь добавим ключи тестового API в файл secret.cfg, как показано ниже:</p><pre>[BINANCE]<br>ACTUAL_API_KEY = &lt;your-actual-api-key&gt;<br>ACTUAL_SECRET_KEY = &lt;your-actual-secret-key&gt;<br>TEST_API_KEY = &lt;your-test-api-key&gt;<br>TEST_SECRET_KEY = &lt;your-test-secret-key&gt;</pre><p>Мы успешно настроили ключи реального и тестового API и сохранили их в файле secret.cfg. Теперь можно переходить к получению данных.</p><h3>Как получить данные с помощью API Binance</h3><h4>Устанавливаем библиотеку python-binance</h4><p>Binance не предоставляет библиотеку Python для взаимодействия с API. Поэтому мы воспользуемся популярным сторонним инструментом под названием python-binance.</p><p>Устанавливаем python-binance с помощью следующей команды:</p><pre>$ pip install python-binance</pre><h4>Получаем информацию об аккаунте</h4><p>В этом разделе мы воспользуемся тестовым аккаунтом. По умолчанию в нем будет отображаться баланс различных криптовалют. У python-binance нет доступа к тестовому API, поэтому мы поменяем URL-адрес конечной точки.</p><p>Код ниже предоставляет информацию о тестовом аккаунте:</p><pre># Импорт библиотек <br>from binance.client import Client<br>import configparser<br><br># Загрузка ключей из файла config<br>config = configparser.ConfigParser()<br>config.read_file(open(&#39;&lt;path-to-your-config-file&gt;&#39;))<br>test_api_key = config.get(&#39;BINANCE&#39;, &#39;TEST_API_KEY&#39;)<br>test_secret_key = config.get(&#39;BINANCE&#39;, &#39;TEST_SECRET_KEY&#39;)<br><br>client = Client(test_api_key, test_secret_key)<br><br>client.API_URL = &#39;https://testnet.binance.vision/api&#39;  # Это нужно, чтобы изменить URL-адрес конечной точки тестового аккаунта  <br><br>info = client.get_account()  # Получение информации об аккаунте<br><br>print(info)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/979/0*XPLs50eVOPWVbt3r.png" /></figure><p>Мы получаем такие важные данные, как тип аккаунта (accountType), баланс, разрешение и прочие.</p><p>Теперь получим баланс ETH:</p><pre>balance = client.get_asset_balance(asset=&#39;ETH&#39;)<br><br>print(balance)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/605/0*duKwA0x-hC3yu8rR.png" /></figure><p>Библиотека python-binance предоставляет много возможностей. Подробную информацию о ней можно найти в <a href="https://python-binance.readthedocs.io/en/latest/index.html">документации</a>.</p><h4>Получаем архивные данные</h4><p>Тестовый API выдает фиктивные архивные данные. Поэтому мы воспользуемся реальным API и его ключами.</p><p>Ниже показано, как получить стоимость ETH на Binance с самой ранней даты до текущего дня:</p><pre># Импорт библиотек <br>from binance.client import Client<br>import configparser<br>import pandas as pd<br><br># Загрузка ключей из файла config<br>config = configparser.ConfigParser()<br>config.read_file(open(&#39;&lt;path-to-your-config-file&gt;&#39;))<br>actual_api_key = config.get(&#39;BINANCE&#39;, &#39;ACTUAL_API_KEY&#39;)<br>actual_secret_key = config.get(&#39;BINANCE&#39;, &#39;ACTUAL_SECRET_KEY&#39;)<br><br>client = Client(actual_api_key, actual_secret_key)<br><br># Получение самой ранней доступной даты на Binance<br>earliest_timestamp = client._get_earliest_valid_timestamp(&#39;ETHUSDT&#39;, &#39;1d&#39;)  # Здесь &quot;ETHUSDT&quot; - валютная пара, а &quot;1d&quot; - временной интервал<br>print(earliest_timestamp)<br><br># Получение архивных данных (Candle data или Kline)<br>candle = client.get_historical_klines(&quot;ETHUSDT&quot;, &quot;1d&quot;, earliest_timestamp, limit=1000)<br><br>print(candle[1])</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/982/0*cfSReWzX8ilRqDBL.png" /></figure><p>Вывод выше представляет следующие параметры, упомянутые в <a href="https://binance-docs.github.io/apidocs/spot/en/#compressed-aggregate-trades-list">документации</a> Binance API:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/445/0*w07VQbeQJFIRJLRd.png" /></figure><p>Преобразовываем полученные данные в датафрейм и сохраняем его как файл CSV:</p><pre>eth_df = pd.DataFrame(candle, columns=[&#39;dateTime&#39;, &#39;open&#39;, &#39;high&#39;, &#39;low&#39;, &#39;close&#39;, &#39;volume&#39;, &#39;closeTime&#39;, &#39;quoteAssetVolume&#39;, &#39;numberOfTrades&#39;, &#39;takerBuyBaseVol&#39;, &#39;takerBuyQuoteVol&#39;, &#39;ignore&#39;])<br>eth_df.dateTime = pd.to_datetime(eth_df.dateTime, unit=&#39;ms&#39;)<br>eth_df.closeTime = pd.to_datetime(eth_df.closeTime, unit=&#39;ms&#39;)<br>eth_df.set_index(&#39;dateTime&#39;, inplace=True)<br>eth_df.to_csv(&#39;eth_candle.csv&#39;)<br><br>print(eth_df.tail(10))</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/726/0*veaQVKCX9v4n6-PS.png" /></figure><h4>Получаем данные в реальном времени</h4><p>Чтобы передавать данные в реальном времени, можно воспользоваться WebSocket Binance. Вот как это сделать:</p><pre># Импорт библиотек <br>from binance.client import Client<br>import configparser<br>from binance.websockets import BinanceSocketManager<br>from twisted.internet import reactor <br><br># Загрузка ключей из файла config<br>config = configparser.ConfigParser()<br>config.read_file(open(&#39;&lt;path-to-your-config-file&gt;&#39;))<br>actual_api_key = config.get(&#39;BINANCE&#39;, &#39;ACTUAL_API_KEY&#39;)<br>actual_secret_key = config.get(&#39;BINANCE&#39;, &#39;ACTUAL_SECRET_KEY&#39;)<br><br>client = Client(actual_api_key, actual_secret_key)<br><br><br>def streaming_data_process(msg):<br>    &quot;&quot;&quot;<br>    Function to process the received messages<br>    param msg: input message<br>    &quot;&quot;&quot;<br>    print(f&quot;message type: {msg[&#39;e&#39;]}&quot;)<br>    print(f&quot;close price: {msg[&#39;c&#39;]}&quot;)<br>    print(f&quot;best ask price: {msg[&#39;a&#39;]}&quot;)<br>    print(f&quot;best bid price: {msg[&#39;b&#39;]}&quot;)<br>    print(&quot;---------------------------&quot;)<br>    <br># Запуск WebSocket<br>bm = BinanceSocketManager(client)<br>conn_key = bm.start_symbol_ticker_socket(&#39;ETHUSDT&#39;, streaming_data_process)<br>bm.start()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/292/0*CfLF0RluO0YOUnqg.png" /></figure><p>Ниже показано, как остановить потоковую передачу данных и закрыть WebSocket:</p><pre># Остановка websocket<br>bm.stop_socket(conn_key)<br><br># Websocket использует цикл reactor из библиотеки Twisted. Метод выше<br># остановит соединение с веб-сокетом, но не цикл reactor, поэтому код может <br># выйти не сразу.<br><br># Поэтому нужно указать<br>reactor.stop()</pre><p>Итак, мы научились получать данные несколькими способами. Теперь можно переходить к созданию дашборда Plotly.</p><h3>Как создать дашборд с помощью Plotly</h3><p>В этом разделе мы создадим дашборд с помощью Plotly, который будет отслеживать криптовалютный портфель тестового аккаунта в реальном времени и изменять его общую стоимость в зависимости от получаемых данных.</p><p>Вот как будет выглядеть финальная версия дашборда. Детали внешнего вида можно изменить позднее:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/0*GnxpwanYHyUqakHO.gif" /></figure><p>В дашборд включены следующие функции:</p><ul><li>Индикатор: общая стоимость портфеля в USDT.</li><li>Индикатор: общая стоимость портфеля в BTC.</li><li>Индикатор: конвертация BNB/USDT.</li><li>Круговая диаграмма: распределение портфеля (в USDT).</li><li>Столбчатая диаграмма: распределение токенов.</li></ul><p>Теперь рассмотрим код.</p><ol><li>Импортируем все необходимые библиотеки:</li></ol><pre># Импорт библиотек<br>import dash<br>import dash_core_components as dcc<br>import dash_html_components as html<br>import plotly.graph_objects as go<br>from dash.dependencies import Input, Output<br>import dash_bootstrap_components as dbc<br>from binance.client import Client<br>import configparser<br>from binance.websockets import BinanceSocketManager<br>import time</pre><p>2. Прочитываем все ключи, устанавливаем соединение и получаем информацию об аккаунте:</p><pre># Загрузка ключей из файла config<br>config = configparser.ConfigParser()<br>config.read_file(open(<br>    &#39;/home/venom/GitHub/blog_code/building_cryptocurrency_dashboard_plotly_binanceAPI/secret.cfg&#39;))<br>test_api_key = config.get(&#39;BINANCE&#39;, &#39;TEST_API_KEY&#39;)<br>test_secret_key = config.get(&#39;BINANCE&#39;, &#39;TEST_SECRET_KEY&#39;)<br><br># Установка соединения<br>client = Client(test_api_key, test_secret_key)<br>client.API_URL = &#39;https://testnet.binance.vision/api&#39;  # Это нужно, чтобы изменить URL-адрес конечной точки тестового аккаунт<br><br># Получение информации об аккаунте для проверки баланса<br>info = client.get_account()  # Получение информации об аккаунте<br><br># Сохранение различных токенов и соответствующих величин в списках<br>assets = []<br>values = []<br>for index in range(len(info[&#39;balances&#39;])):<br>    for key in info[&#39;balances&#39;][index]:<br>        if key == &#39;asset&#39;:<br>            assets.append(info[&#39;balances&#39;][index][key])<br>        if key == &#39;free&#39;:<br>            values.append(info[&#39;balances&#39;][index][key])<br><br><br>token_usdt = {}  # Словарь для хранения стоимости валютной пары в USDT<br>token_pairs = []  # Список для хранения различных пар токенов<br><br># Создание пар токенов и сохранение их в список<br>for token in assets:<br>    if token != &#39;USDT&#39;:<br>        token_pairs.append(token + &#39;USDT&#39;)</pre><p>3. Определяем функции, которые будут обрабатывать потоковые данные и рассчитывать показатели на их основе:</p><pre>def streaming_data_process(msg):<br>    &quot;&quot;&quot;<br>    Function to process the received messages and add latest token pair price<br>    into the token_usdt dictionary<br>    :param msg: input message<br>    &quot;&quot;&quot;<br>    global token_usdt<br>    token_usdt[msg[&#39;s&#39;]] = msg[&#39;c&#39;]<br><br><br>def total_amount_usdt(assets, values, token_usdt):<br>    &quot;&quot;&quot;<br>    Function to calculate total portfolio value in USDT<br>    :param assets: Assets list<br>    :param values: Assets quantity<br>    :param token_usdt: Token pair price dict<br>    :return: total value in USDT<br>    &quot;&quot;&quot;<br>    total_amount = 0<br>    for i, token in enumerate(assets):<br>        if token != &#39;USDT&#39;:<br>            total_amount += float(values[i]) * float(<br>                token_usdt[token + &#39;USDT&#39;])<br>        else:<br>            total_amount += float(values[i]) * 1<br>    return total_amount<br><br><br>def total_amount_btc(assets, values, token_usdt):<br>    &quot;&quot;&quot;<br>    Function to calculate total portfolio value in BTC<br>    :param assets: Assets list<br>    :param values: Assets quantity<br>    :param token_usdt: Token pair price dict<br>    :return: total value in BTC<br>    &quot;&quot;&quot;<br>    total_amount = 0<br>    for i, token in enumerate(assets):<br>        if token != &#39;BTC&#39; and token != &#39;USDT&#39;:<br>            total_amount += float(values[i]) \<br>                            * float(token_usdt[token + &#39;USDT&#39;]) \<br>                            / float(token_usdt[&#39;BTCUSDT&#39;])<br>        if token == &#39;BTC&#39;:<br>            total_amount += float(values[i]) * 1<br>        else:<br>            total_amount += float(values[i]) \<br>                            / float(token_usdt[&#39;BTCUSDT&#39;])<br>    return total_amount<br><br><br>def assets_usdt(assets, values, token_usdt):<br>    &quot;&quot;&quot;<br>    Function to convert all assets into equivalent USDT value<br>    :param assets: Assets list<br>    :param values: Assets quantity<br>    :param token_usdt: Token pair price dict<br>    :return: list of asset values in USDT<br>    &quot;&quot;&quot;<br>    assets_in_usdt = []<br>    for i, token in enumerate(assets):<br>        if token != &#39;USDT&#39;:<br>            assets_in_usdt.append(<br>                float(values[i]) * float(token_usdt[token + &#39;USDT&#39;])<br>            )<br>        else:<br>            assets_in_usdt.append(float(values[i]) * 1)<br>    return assets_in_usdt</pre><p>4. Начинаем передавать данные в реальном времени:</p><pre># Потоковая передача данных для токенов в портфолио<br>bm = BinanceSocketManager(client)<br>for tokenpair in token_pairs:<br>    conn_key = bm.start_symbol_ticker_socket(tokenpair, streaming_data_process)<br>bm.start()<br>time.sleep(5)  # Это дает всем парам токенов достаточно времени, чтобы установить соединение</pre><p>5. Определяем макет, графики и хостинг:</p><pre>app = dash.Dash(__name__, external_stylesheets=[dbc.themes.FLATLY])<br>server = app.server<br><br>app.layout = html.Div([<br>    html.Div([<br>        html.Div([<br>            dcc.Graph(<br>                id=&#39;figure-1&#39;,<br>                figure={<br>                    &#39;data&#39;: [<br>                        go.Indicator(<br>                            mode=&quot;number&quot;,<br>                            value=total_amount_usdt(assets, values, token_usdt),<br>                        )<br>                    ],<br>                    &#39;layout&#39;:<br>                        go.Layout(<br>                            title=&quot;Portfolio Value (USDT)&quot;<br>                        )<br>                }<br>            )], style={&#39;width&#39;: &#39;30%&#39;, &#39;height&#39;: &#39;300px&#39;,<br>                       &#39;display&#39;: &#39;inline-block&#39;}),<br>        html.Div([<br>            dcc.Graph(<br>                id=&#39;figure-2&#39;,<br>                figure={<br>                    &#39;data&#39;: [<br>                        go.Indicator(<br>                            mode=&quot;number&quot;,<br>                            value=total_amount_btc(assets, values, token_usdt),<br>                            number={&#39;valueformat&#39;: &#39;g&#39;}<br>                        )<br>                    ],<br>                    &#39;layout&#39;:<br>                        go.Layout(<br>                            title=&quot;Portfolio Value (BTC)&quot;<br>                        )<br>                }<br>            )], style={&#39;width&#39;: &#39;30%&#39;, &#39;height&#39;: &#39;300px&#39;,<br>                       &#39;display&#39;: &#39;inline-block&#39;}),<br>        html.Div([<br>            dcc.Graph(<br>                id=&#39;figure-3&#39;,<br>                figure={<br>                    &#39;data&#39;: [<br>                        go.Indicator(<br>                            mode=&quot;number&quot;,<br>                            value=float(token_usdt[&#39;BNBUSDT&#39;]),<br>                            number={&#39;valueformat&#39;: &#39;g&#39;}<br>                        )<br>                    ],<br>                    &#39;layout&#39;:<br>                        go.Layout(<br>                            title=&quot;BNB/USDT&quot;<br>                        )<br>                }<br>            )],<br>            style={&#39;width&#39;: &#39;30%&#39;, &#39;height&#39;: &#39;300px&#39;, &#39;display&#39;: &#39;inline-block&#39;})<br>    ]),<br>    html.Div([<br>        html.Div([<br>            dcc.Graph(<br>                id=&#39;figure-4&#39;,<br>                figure={<br>                    &#39;data&#39;: [<br>                        go.Pie(<br>                            labels=assets,<br>                            values=assets_usdt(assets, values, token_usdt),<br>                            hoverinfo=&quot;label+percent&quot;<br>                        )<br>                    ],<br>                    &#39;layout&#39;:<br>                        go.Layout(<br>                            title=&quot;Portfolio Distribution (in USDT)&quot;<br>                        )<br>                }<br>            )], style={&#39;width&#39;: &#39;50%&#39;, &#39;display&#39;: &#39;inline-block&#39;}),<br>        html.Div([<br>            dcc.Graph(<br>                id=&#39;figure-5&#39;,<br>                figure={<br>                    &#39;data&#39;: [<br>                        go.Bar(<br>                            x=assets,<br>                            y=values,<br>                            name=&quot;Token Quantities For Different Assets&quot;,<br>                        )<br>                    ],<br>                    &#39;layout&#39;:<br>                        go.Layout(<br>                            showlegend=False,<br>                            title=&quot;Tokens distribution&quot;<br>                        )<br>                }<br>            )], style={&#39;width&#39;: &#39;50%&#39;, &#39;display&#39;: &#39;inline-block&#39;}),<br>        dcc.Interval(<br>            id=&#39;1-second-interval&#39;,<br>            interval=1000,  # 1000 milliseconds<br>            n_intervals=0<br>        )<br>    ]),<br>])<br><br><br>@app.callback(Output(&#39;figure-1&#39;, &#39;figure&#39;),<br>              Output(&#39;figure-2&#39;, &#39;figure&#39;),<br>              Output(&#39;figure-3&#39;, &#39;figure&#39;),<br>              Output(&#39;figure-4&#39;, &#39;figure&#39;),<br>              Output(&#39;figure-5&#39;, &#39;figure&#39;),<br>              Input(&#39;1-second-interval&#39;, &#39;n_intervals&#39;))<br>def update_layout(n):<br>    figure1 = {<br>        &#39;data&#39;: [<br>            go.Indicator(<br>                mode=&quot;number&quot;,<br>                value=total_amount_usdt(assets, values, token_usdt),<br>            )<br>        ],<br>        &#39;layout&#39;:<br>            go.Layout(<br>                title=&quot;Portfolio Value (USDT)&quot;<br>            )<br>    }<br>    figure2 = {<br>        &#39;data&#39;: [<br>            go.Indicator(<br>                mode=&quot;number&quot;,<br>                value=total_amount_btc(assets, values, token_usdt),<br>                number={&#39;valueformat&#39;: &#39;g&#39;}<br>            )<br>        ],<br>        &#39;layout&#39;:<br>            go.Layout(<br>                title=&quot;Portfolio Value (BTC)&quot;<br>            )<br>    }<br>    figure3 = {<br>        &#39;data&#39;: [<br>            go.Indicator(<br>                mode=&quot;number&quot;,<br>                value=float(token_usdt[&#39;BNBUSDT&#39;]),<br>                number={&#39;valueformat&#39;: &#39;g&#39;}<br>            )<br>        ],<br>        &#39;layout&#39;:<br>            go.Layout(<br>                title=&quot;BNB/USDT&quot;<br>            )<br>    }<br>    figure4 = {<br>        &#39;data&#39;: [<br>            go.Pie(<br>                labels=assets,<br>                values=assets_usdt(assets, values, token_usdt),<br>                hoverinfo=&quot;label+percent&quot;<br>            )<br>        ],<br>        &#39;layout&#39;:<br>            go.Layout(<br>                title=&quot;Portfolio Distribution (in USDT)&quot;<br>            )<br>    }<br>    figure5 = {<br>        &#39;data&#39;: [<br>            go.Bar(<br>                x=assets,<br>                y=values,<br>                name=&quot;Token Quantities For Different Assets&quot;,<br>            )<br>        ],<br>        &#39;layout&#39;:<br>            go.Layout(<br>                showlegend=False,<br>                title=&quot;Tokens distribution&quot;<br>            )<br>    }<br><br>    return figure1, figure2, figure3, figure4, figure5<br><br><br>if __name__ == &#39;__main__&#39;:<br>    app.run_server(host=&#39;127.0.0.1&#39;, port=&#39;8050&#39;, debug=True)</pre><p>Вот и все! Этот код позволяет отслеживать криптовалютный портфель тестового аккаунта. Его можно с легкостью настроить и для реального аккаунта без изменения URL-адреса конечной точки.</p><p>Весь код можно найти в <a href="https://github.com/mayank311996/blog_code/tree/main/building_cryptocurrency_dashboard_plotly_binanceAPI">репозитории</a> на GitHub.</p><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/11553/">Разработка инфраструктуры и торговых ботов для ИИ-трейдинга</a></li><li><a href="https://nuancesprog.ru/p/10826/">4 принципа успешной поисковой системы и не только</a></li><li><a href="https://nuancesprog.ru/p/7378/">Введение в блокчейн — основу криптовалют</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesproghumor">Telegram</a>, <a href="https://vk.com/nuancesprog">VK</a> и <a href="https://zen.yandex.ru/nuancesprog">Яндекс.Дзен</a></p><p><em>Перевод статьи </em><a href="https://medium.com/@mayankvadsola1996">Mayank Vadsola</a>: <a href="https://towardsdatascience.com/building-a-cryptocurrency-dashboard-using-plotly-and-binance-api-352e7f6f62c9">Building a cryptocurrency dashboard using Plotly and Binance API</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b9984dbf9b64" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/%D0%BA%D0%B0%D0%BA-%D1%81%D0%BE%D0%B7%D0%B4%D0%B0%D1%82%D1%8C-%D0%BA%D1%80%D0%B8%D0%BF%D1%82%D0%BE%D0%B2%D0%B0%D0%BB%D1%8E%D1%82%D0%BD%D1%8B%D0%B9-%D0%B4%D0%B0%D1%88%D0%B1%D0%BE%D1%80%D0%B4-%D1%81-%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D1%8C%D1%8E-plotly-%D0%B8-api-binance-b9984dbf9b64">Как создать криптовалютный дашборд с помощью Plotly и API Binance</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Пять направлений применения исследования операций]]></title>
            <link>https://medium.com/nuances-of-programming/%D0%BF%D1%8F%D1%82%D1%8C-%D0%BD%D0%B0%D0%BF%D1%80%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B9-%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F-%D0%B8%D1%81%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-%D0%BE%D0%BF%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D0%B9-1d42bde38dad?source=rss-be7adc13c989------2</link>
            <guid isPermaLink="false">https://medium.com/p/1d42bde38dad</guid>
            <category><![CDATA[computer-science]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[nuances-of-programming]]></category>
            <category><![CDATA[applied-mathematics]]></category>
            <category><![CDATA[optimization]]></category>
            <dc:creator><![CDATA[Daria Sidorova]]></dc:creator>
            <pubDate>Thu, 25 Mar 2021 12:03:04 GMT</pubDate>
            <atom:updated>2021-03-25T12:03:04.114Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*U4b22m5i74R-WRZcxAy7OA.png" /></figure><p>В последние годы область исследования операций процветала наряду с развитием вычислительной мощности. Сейчас многие организации используют этот подход, чтобы разрабатывать оперативные, тактические и даже стратегические решения. В случае успеха компания значительно сокращает затраты или даже увеличивает прибыль. Решаемые проблемы обычно включают распределение, составление графиков и маршрутов, соединение и разделение, а также прочие задачи в рамках определенного времени и/или пространства.</p><p>Здесь мы кратко рассмотрим следующие задачи: выбор маршрута транспорта (Vehicle Routing Problem — VRP), планирование полетов (Airline Planning Problem — APP), составление графика для водителей автобусов (Bus Driver Scheduling Problem — BDSP), распределение локомотивов (Locomotive Assignment Problem — LAP) и составление расписания смен (Shift Scheduling Problem — SSP).</p><h3>Задача выбора маршрута транспорта (VRP)</h3><p>VRP состоит в разработке ряда маршрутов для автопарка, обслуживающего группу клиентов с известными потребностями. Решения должны выполняться с минимальными затратами, а начало и конец пути располагается в центральном депо. Группу клиентов нужно присваивать транспортным средствам только один раз таким образом, чтобы их возможности не были превышены.</p><p>Проблему можно обобщить до VRP с временными интервалами (VRPTW). В таком случае в дополнение к предыдущим условиям обслуживание клиента должно начинаться в интервале, определенном по самому раннему и самому позднему времени начала обслуживания.</p><p>Эта тема продолжает активно изучаться в исследованиях и применяться для решения многих повседневных задач. Для организаций, управляющих автопарком и обслуживающих конкретную группу клиентов, VRP способен предложить наиболее оптимальное решение с минимальными затратами и возможностью повысить прибыль.</p><p>Ниже представлена простая модель.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/714/0*OLMeWC7uUZAiVgsB.png" /></figure><p>VRP решается как эвристически, так и с помощью передовых методов исследования операций, таких как декомпозиции Данцига-Вульфа и Бендера. Кроме того, учитывая большое число переменных и количество ограничений, повысить эффективность решения можно, использую генерацию столбцов.</p><h3>Задача планирования полетов (APP)</h3><p>Это одна из самых сложных задач в области исследования операций. Она состоит из множества подзадач, которые решаются как последовательно, так и одновременно, в зависимости от используемого фреймворка оптимизации.</p><p>Список подзадач включает следующие категории.</p><ul><li><strong>Составление графика рейсов. </strong>Здесь нужно определить набор рейсов с установленным временем вылета и прибытия с целью максимизации ожидаемой прибыли.</li><li><strong>Распределение самолетов.</strong> Каждому регулярному рейсу назначается тип воздушного судна с учетом их возможностей и числа доступных авиасредств, а также максимизации прибыли.</li><li><strong>Составление маршрутов воздушного движения.</strong> Здесь требуется распределить самолеты по рейсам, удовлетворяя требования технического обслуживания.</li><li><strong>Составление графиков работы сотрудников экипажа.</strong> Последним этапом определяется график сотрудников. Он должен охватить все запланированные рейсы и соблюсти необходимые ограничения. Обычно проводится в два этапа: <em>объединение </em>и <em>присвоение</em>. В первом генерируются наборы пар с учетом регулярных рейсов, а во втором — составляется месячный график на каждого члена экипажа с учетом набора пар.</li></ul><p>С увеличением спроса в секторе воздушных перевозок процесс решения APP усложняется все сильнее. Попытки справиться с этой задачей вручную могут не принести желаемых результатов. Исследование операций и вычислительная мощность современных компьютеров помогает автоматизировать этот процесс и сэкономить время, а также снизить затраты и увеличить прибыль. Сейчас практически каждая авиакомпания использует этот метод управления операциями.</p><h3>Задача составления графика для водителей автобусов (BDSP)</h3><p>Ее цель заключается в том, чтобы с минимальными затратами охватить водителями все расписание движения автобусов. Расписание определяет группу транспортных средств, каждый отдельный автобус или конкретный маршрут, который начинается и заканчивается в депо. В рамках такого блока могут располагаться точки смены водителя.</p><p>Участок блока, находящийся между двумя последовательными точками смены и обслуживаемый одним водителем, называется <em>задача</em>. <em>Операция </em>состоит из ряда задач в блоке, которые должны быть выполнены одним водителем. Все детали <em>смены </em>(рабочего дня) и <em>выполнимости графика</em> определяются внутренними правилами автобусной компании, а также коллективным соглашением профсоюза водителей и операторов транзитных перевозок.</p><p>Смена включает одну или несколько операций, выполняемых одним водителем. Если нужно завершить несколько операций, между ними вставляются перерывы. Выполнимость смены зависит от длительности как операций, так и перерывов. При этом также нужно учесть такие ограничения, как число операций на смену, время работы, оплачиваемый период и общий временной разброс.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/556/0*HhvibG5BiZXuaal4.jpeg" /></figure><p>В области исследования операций эта проблема обычно решается с помощью оптимизированных сетей, то есть с минимально возможным количеством дуг и узлов. Это более эффективный способ по сравнению с ручным. Метод декомпозиции Данцига-Вульфа в сочетании с генерацией столбцов позволяет создавать графики очень высокого качества, не требующий ручной корректировки.</p><h3>Задача распределения локомотивов (LAP)</h3><p>Железнодорожные компании часто сталкиваются с такой проблемой, как оптимизация использования доступного числа локомотивов. План распределения оборудования определяет состав для каждого стоящего в графике поезда, а также указывает, какие из них будут задействовать одни и те же единицы оборудования.</p><p>Железнодорожный транспорт обычно использует локомотивы различных типов, которые затем формируют состав поезда<em> — </em>группу совместимых единиц оборудования, которые перемещаются по определенной части физической железнодорожной сети. Цель LAP состоит в том, чтобы присвоить парк локомотивов набору поездов, удовлетворяя при этом обширное число операционных и бюджетных ограничений, а также оптимизируя одну или несколько критически важных задач.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/719/0*iEd_AocCMHeHdmtx.png" /></figure><p>Методы исследования операций также значительно повышают эффективность выполнения этой задачи. Вычислительные эксперименты показывают, что в различных случаях с помощью декомпозиции Бендера, которую можно рассматривать как двойную декомпозицию Данцига-Вульфа, проблема решается гораздо быстрее, чем вручную. Преимущество этого метода еще более весомо в крупных проектах. В частности, по мере увеличения числа типов локомотивов декомпозиция приносит еще более ощутимые результаты.</p><h3>Задача составления расписания смен (SSP)</h3><p>SSP применяется во многих областях: розничная торговля, здравоохранение, почтовые сервисы, транспортное обслуживание и промышленное производство. Процесс составления графика для персонала варьируется, но преследует, как правило, одну и ту же цель.</p><p>Задача включает построение рабочего графика для набора сотрудников на заданный промежуток времени. При этом необходимо удовлетворить спрос на рабочий персонал, вызванный набором задач. Полученный результат должен учитывать рабочие и законодательные ограничения и оптимизироваться по таким критериям, как заработная плата, качество предоставляемых услуг и предпочтения самого сотрудника.</p><p>Нахождение такого графика — сложная задача, которую лучше выполнять с помощью программного обеспечения для оптимизации. Кроме того, на практике расписание может быть очень нестабильно. Иногда сотрудники опаздывают или совсем отсутствуют, а фактический спрос может отличаться от предполагаемого в определенные периоды.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/850/0*5QBwR1lGawz2aU_X.png" /></figure><p>Как и представленные выше задачи, SSP активно изучается и часто применяется в реальной жизни. Чтобы выполнить ее в сложных контекстах, используется как эвристика, так и точные методы. Помимо детерминированного случая, SSP также можно решить быстро в реальном времени, получив при этом оптимальное или близкое к оптимальному решение, которое позволит справиться с неожиданными изменениями. Все это демонстрирует преимущество использования методов исследования операций.</p><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/11765/">Генерируйте реалистичные датасеты с помощью Snowfakery</a></li><li><a href="https://nuancesprog.ru/p/11784/">Анализ социальных сетей: от теории графов до приложений на Python</a></li><li><a href="https://nuancesprog.ru/p/11742/">Обработка естественного языка</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesproghumor">Telegram</a>, <a href="https://vk.com/nuancesprog">VK</a> и <a href="https://zen.yandex.ru/nuancesprog">Яндекс.Дзен</a></p><p><em>Перевод статьи</em> <a href="https://erraqabielmehdi.medium.com/?source=post_page-----a3b9398d4524--------------------------------">ER RAQABI El Mehdi</a>: <a href="https://erraqabielmehdi.medium.com/some-classical-applications-of-operations-research-a3b9398d4524">Some Classical Applications of Operations Research</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1d42bde38dad" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/%D0%BF%D1%8F%D1%82%D1%8C-%D0%BD%D0%B0%D0%BF%D1%80%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B9-%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F-%D0%B8%D1%81%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-%D0%BE%D0%BF%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D0%B9-1d42bde38dad">Пять направлений применения исследования операций</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Анализ социальных сетей: от теории графов до приложений на Python]]></title>
            <link>https://medium.com/nuances-of-programming/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7-%D1%81%D0%BE%D1%86%D0%B8%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D1%85-%D1%81%D0%B5%D1%82%D0%B5%D0%B9-%D0%BE%D1%82-%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8-%D0%B3%D1%80%D0%B0%D1%84%D0%BE%D0%B2-%D0%B4%D0%BE-%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9-%D0%BD%D0%B0-python-93220a17c3d3?source=rss-be7adc13c989------2</link>
            <guid isPermaLink="false">https://medium.com/p/93220a17c3d3</guid>
            <category><![CDATA[network-analysis]]></category>
            <category><![CDATA[nuances-of-programming]]></category>
            <category><![CDATA[data-visualization]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[Daria Sidorova]]></dc:creator>
            <pubDate>Thu, 18 Mar 2021 16:01:09 GMT</pubDate>
            <atom:updated>2021-03-18T16:01:09.871Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*K8vqPPdeI4c9miWBXGklmA.png" /></figure><h3>Теория сетей</h3><p>Начнем с краткого введения в базовые компоненты сети: узлы и ребра.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*Xo2D-p5orbmPPGnU.png" /><figcaption>Пример сети</figcaption></figure><ul><li><strong>Узлы </strong>(например, A,B,C,D,E) обычно представляют объекты в сети и содержат собственные и сетевые свойства. К собственным относятся вес, размер, расположение и прочие атрибуты, а к сетевым — количество соседей (степень) и связная компонента, которой принадлежит узел (кластер).</li><li><strong>Ребра —</strong> это связи между узлами, которые в некоторых случаях также содержат свойства. Например, вес, который определяет силу соединения, направление при ассиметричном отношении, а также время.</li></ul><p>Эти два базовых элемента способны описывать множество явлений: социальные связи, виртуальную сеть маршрутизации, физические электросети, дорожную сеть, сети биологических связей и прочие отношения.</p><h4>Реальные сети</h4><p>Реальные и, в частности, социальные сети обладают уникальной структурой, которая обычно отличает их от случайных математических сетей.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*qDrilXxbZEBiti2t.png" /><figcaption>(а) Сеть “Мир тесен”. (b) Безмасштабная сеть. (с) Случайная сеть. <a href="https://www.semanticscholar.org/paper/Influence-of-Local-Information-on-Social-in-Network-Huang-Sun/f3b6e274634bb6d1ed92ca3276e073244ad57dd1">Источник</a></figcaption></figure><ul><li>Согласно<strong> феномену “Мир тесен”</strong>, в реальных сетях пути между подключенными участниками часто очень коротки. Это применимо как к реальным и виртуальным социальным сетям (теория шести рукопожатий), так и к физическим, например аэропортам и электричеству маршрутизации трафика.</li><li><strong>Безмасштабные сети</strong> со степенным законом распределения (power-law) обладают асимметричной популяцией с несколькими сильно связанными узлами (например, социальное влияние) и множеством слабо связанных узлов.</li><li><strong>Гомофилия </strong>— склонность людей образовывать связи с подобными себе, что приводит к схожести свойств между соседями.</li></ul><h4>Меры центральности</h4><p>Централизованные узлы играют ключевую роль в сети, выступая в качестве центров для различных тенденций. Определение и значимость центральности могут различаться от случая к случаю и ссылаться на различные показатели. Примеры указаны ниже.</p><ul><li><strong>Степень (Degree)</strong> — количество соседей узла.</li><li><strong>Влиятельность (EigenVector/PageRank) </strong>— итеративные циклы соседей.</li><li><strong>Близость (Closeness)</strong> — степень близости ко всем узлам.</li><li><strong>Посредничество (Betweenness)</strong> — количество коротких путей, проходящих через узел.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*Wf2GyjzuFBigN1Ee.png" /><figcaption>Иллюстрация различных мер центральности: (b) высшая степень влиятельности, (h) высшая степень посредничества, (p) лучшая степень близости, (k) высшая степень центральности. <a href="https://www.semanticscholar.org/paper/Discovering-Sets-of-Key-Players-in-Social-Networks-Arroyo/a95793d5ce8e5370f1ef1c1b3d4c66cb02cfea39">Источник</a></figcaption></figure><p>Меры варьируются в зависимости от сценария: ранжирование (page-rank), обнаружение критических точек (betweenness), транспортные узлы (closeness) и прочие.</p><h3>Построение сети</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*b7GYWxc9vHqlzKvy.png" /></figure><p>Для построения сетей подойдет любой набор данных, в котором можно описать связи между узлами. В данном примере мы построим и визуализируем <a href="https://eurovision.tv/story/the-results-eurovision-2018-dive-into-numbers">сеть голосования</a> для Евровидения 2018 на основе официальных данных. Для этого воспользуемся пакетом Python <a href="https://networkx.org/">Networkx</a>.</p><p>Мы прочитаем данные из файла Excel в датафрейм Pandas, чтобы получить табличное представление голосов. Каждая строка включает все голоса из определенной страны. Мы распределим набор так, чтобы в каждой из них был представлен один голос (ребро) между двумя странами (узлы).</p><p>Затем построим ориентированный граф с помощью Networkx из edgelist, с которым мы работаем в формате датафрейма Pandas. И наконец, для визуализации мы применим метод обобщения, как показано во фрагменте кода ниже.</p><pre>votes_data = pd.read_excel(&#39;ESC2018_GF.xlsx&#39;,sheetname=&#39;Combined result&#39;)<br><br>votes_melted = votes_data.melt(<br>    [&#39;Rank&#39;,&#39;Running order&#39;,&#39;Country&#39;,&#39;Total&#39;],<br>    var_name = &#39;Source Country&#39;,value_name=&#39;points&#39;)    <br>    <br>G = nx.from_pandas_edgelist(votes_melted, <br>                            source=&#39;Source Country&#39;,<br>                            target=&#39;Country&#39;,<br>                            edge_attr=&#39;points&#39;,<br>                            create_using=nx.DiGraph())<br>                            <br>nx.draw_networkx(G)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*3iPlZ0lSij5lEsQQ" /><figcaption>Результаты nx.draw_networkx(G) по сети голосования для Евровидения 2018</figcaption></figure><h4>Визуализация</h4><p>Встроенный метод draw выдает очень непонятную фигуру. Он пытается построить сильно связный граф, но без полезных “подсказок” полезную информацию из данных извлечь не получится. Мы улучшим фигуру, разделяя и охватывая различные визуальные аспекты с помощью предварительной информации об этих сущностях.</p><ul><li><strong>Позиция (Position) — </strong>каждая страна присваивается в соответствии с географическим положением.</li><li><strong>Стиль (Style)</strong> — каждая страна распознается по флагу и его цветам.</li><li><strong>Размер (Size)</strong> — размер узлов и ребер представляет количество точек.</li></ul><p>Теперь построим компоненты сети по частям.</p><pre>countries = pd.read_csv(&#39;countries.csv&#39;,index_col=&#39;Country&#39;)<br><br>pos_geo = {  node: <br>           ( max(-10,min(countries.loc[node][&#39;longitude&#39;],55)), # Определение масштаба<br>             max(countries.loc[node][&#39;latitude&#39;],25)) #Определение масштаба<br>               for node in G.nodes() }<br>               pos_geo = {}<br>               <br>for node in G.nodes():<br>    pos_geo[node] = (<br>                    max(-10,min(countries.loc[node][&#39;longitude&#39;],55)), # Определение масштаба<br>                    max(countries.loc[node][&#39;latitude&#39;],25) #Определение масштаба  )<br>    <br>flags = {}<br>flag_color = {}<br>for node in tqdm.tqdm_notebook(G.nodes()):<br>    flags[node] = &#39;flags/&#39;+(countries.loc[node][&#39;cc3&#39;]).lower().replace(&#39; &#39;,&#39;&#39;)+&#39;.png&#39;   <br>    flag_color[node] =  ColorThief(flags[node]).get_color(quality=1)<br>    <br>def RGB(red,green,blue): <br>    return &#39;#%02x%02x%02x&#39; % (red,green,blue)<br><br>ax=plt.gca()<br>fig=plt.gcf()<br>plt.axis(&#39;off&#39;)<br>plt.title(&#39;Eurovision 2018 Final Votes&#39;,fontsize = 24)<br><br>trans = ax.transData.transform<br>trans2 = fig.transFigure.inverted().transform<br><br>tick_params = {&#39;top&#39;:&#39;off&#39;, &#39;bottom&#39;:&#39;off&#39;, &#39;left&#39;:&#39;off&#39;, &#39;right&#39;:&#39;off&#39;,<br>              &#39;labelleft&#39;:&#39;off&#39;, &#39;labelbottom&#39;:&#39;off&#39;} #flag grid params<br><br>styles = [&#39;dotted&#39;,&#39;dashdot&#39;,&#39;dashed&#39;,&#39;solid&#39;] # line styles<br><br>pos = pos_geo<br>    <br># Построение ребер<br>for e in G.edges(data=True):<br>    width = e[2][&#39;points&#39;]/24 #normalize by max points<br>    style=styles[int(width*3)]<br>    if width&gt;0.3: #filter small votes<br>        nx.draw_networkx_edges(G,pos,edgelist=[e],width=width, style=style, edge_color = RGB(*flag_color[e[0]]) )<br>        # in networkx versions &gt;2.1 arrowheads can be adjusted<br><br># Построение узлов    <br>for node in G.nodes():      <br>    imsize = max((0.3*G.in_degree(node,weight=&#39;points&#39;)<br>                  /max(dict(G.in_degree(weight=&#39;points&#39;)).values()))**2,0.03)<br>    <br>    # Размер пропорционален голосам<br>    flag = mpl.image.imread(flags[node])<br>    <br>    (x,y) = pos[node]<br>    xx,yy = trans((x,y)) # Координаты фигуры<br>    xa,ya = trans2((xx,yy)) # Координаты осей<br>    <br>    country = plt.axes([xa-imsize/2.0,ya-imsize/2.0, imsize, imsize ])<br>    country.imshow(flag)<br>    country.set_aspect(&#39;equal&#39;)<br>    country.tick_params(**tick_params)<br>    <br>fig.savefig(&#39;images/eurovision2018_map.png&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*Sykhi4kMQmIHp3Vm" /></figure><p>Новая фигура лучше читается и предоставляет краткий обзор голосов. В качестве общего примечания стоит добавить, что построение сетей — как правило, нелегкий процесс, требующий внимательно выбирать компромиссы между количеством представленных данных и передаваемым сообщением. Вы также можете попробовать другие инструменты визуализации сетей, например <a href="http://gephi.github.io/">Gephi</a> , Pyvis и <a href="https://github.com/GraphChi/graphchi-cpp">GraphChi</a>.</p><h3>Поток информации</h3><p>Для описания этого процесса распространения информации часто используются две популярные базовые модели.</p><p><strong>Линейный порог </strong>определяет поведение, при котором влияние накапливается от нескольких соседей узла и активируется, только если превышает определенный порог. Такое поведение типично для рекомендаций фильмов: совет от одного из друзей может в конечном счете убедить человека посмотреть кино, если он услышит его и от нескольких других людей.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/493/0*C9RkhkNqDb2WMiNz.png" /><figcaption>Функция активации линейного порога. <a href="https://link.springer.com/chapter/10.1007/978-3-319-23105-1_4">Источник</a></figcaption></figure><p>В <strong>модели независимых каскадов</strong> каждый из активных соседей узла может потенциально и независимо активировать его. Этот процесс напоминает распространение вирусной инфекции: каждое социальное взаимодействие может привести к заражению.</p><h4>Пример потока информации</h4><p>Чтобы проиллюстрировать процесс распространения информации, воспользуемся <a href="https://networkofthrones.wordpress.com/">сетью “Буря мечей”</a>, основанной на персонажах сериала “Игра престолов”. Сеть сконструирована на совместных появлениях героев в книге “Песнь льда и огня”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*pO-2Gw1aA9t9vh_H.png" /><figcaption>Схематический процесс создания сети “Игра престолов”</figcaption></figure><p>Опираясь на модель независимых каскадов, мы попытаемся отследить динамику распространения слухов, которые часто встречаются в этом сериале.</p><p><strong>Внимание, спойлер!</strong> Предположим, что в самом начале Джон Сноу ни о чем не знает, а двое его верных друзей Бран Старк и Сэмвел Тарли владеют очень важным секретом о его жизни. Посмотрим, как распространяются слухи по модели независимых каскадов.</p><pre>def independent_cascade(G,t,infection_times):<br>    # Выполнение шага t-&gt;t+1 в симуляции independent_cascade<br>    # Каждый инфекционный узел заражает соседей с пропорциональной весу вероятностью<br>    max_weight = max([e[2][&#39;weight&#39;] for e in G.edges(data=True)])<br>    current_infectious = [n for n in infection_times if infection_times[n]==t]<br>    for n in current_infectious:<br>        for v in G.neighbors(n):<br>            if v not in infection_times:<br>                if  G.get_edge_data(n,v)[&#39;weight&#39;] &gt;= np.random.random()*max_weight:<br>                    infection_times[v] = t+1<br>    return infection_times<br><br><br>infection_times = {&#39;Bran-Stark&#39;:-1,&#39;Samwell-Tarly&#39;:-1,&#39;Jon-Snow&#39;:0}<br><br>for t in range(10):<br>    plot_G(subG,pos,infection_times,t)<br>    infection_times = independent_cascade(subG,t,infection_times)</pre><p>Слух достигает Джона в точке t=1, распространяется на его соседей, а затем и по всей сети, получая широкую огласку.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/0*lNel14g7NYRjr7fM.gif" /><figcaption>Распространение по модели независимых каскадов в сети “Игра престолов”</figcaption></figure><p>Динамика во многом зависит от параметров модели, которые влияют на закономерность процесса распространения.</p><h3>Максимизация влияния</h3><p><strong>Проблема максимизации влияния</strong> описывает маркетинговую (и не только) установку, при которой цель маркетолога состоит в том, чтобы выбрать ограниченный набор узлов в сети, который будет естественным образом распространять влияние как можно большему количеству узлов. Например, пригласить на мероприятие по запуску продукта определенное число влиятельных лиц, которые затем расскажут о нем остальным участникам своей сети.</p><p>Подобных инфлюенсеров можно определить различными методиками, такими как меры центральности, упомянутыми выше. Вот самые центральные узлы в сети “Игра престолов”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/876/0*hVDw-WkpnmVMnADI.png" /><figcaption>Меры центральности в сети “Игра престолов”</figcaption></figure><p>Как видите, некоторые персонажи повторно появляются на верхних позициях различных параметров. В сериале они также хорошо известны своим социальным влиянием.</p><p>Мы видим, что выбор одного узла может покрыть около 50% сети. Вот насколько важными могут быть социальные инфлюенсеры.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*7fv23gfajD_piRhS.png" /><figcaption>Покрытие сети с различными методами и бюджетами</figcaption></figure><p>Однако максимизация влияния — нелегкий процесс и считается NP-трудной задачей. Чтобы найти лучший начальный набор для эффективного расчета, было разработано множество алгоритмов. Мы использовали метод полного перебора, чтобы выбрать лучшую начальную пару узлов (Роберт Баратеон и Кхал Дрого) в нашей сети. Процесс занял 41 минуту, и нам удалось достичь 56% покрытия. Получить такой результат с помощью алгоритмов центральности было бы непросто.</p><h3>Вывод</h3><p>Анализ сетей — сложный, но полезный инструмент, который пригодится в различных областях, особенно в стремительно растущих социальных сетях. Он применяется в маркетинговой максимизации влияния, обнаружении мошенничества и системах рекомендаций. Для работы с наборами данных сетей существует множество инструментов и методик. Выбирать их стоит с учетом уникальных свойств сети.</p><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/11657/">Классы данных в Python и их ключевые особенности</a></li><li><a href="https://nuancesprog.ru/p/11564/">Создание простой нейронной сети на Python</a></li><li><a href="https://nuancesprog.ru/p/11508/">7 библиотек Python для вашего первого проекта по науке о данных</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesproghumor">Telegram</a>, <a href="https://vk.com/nuancesprog">VK</a> и <a href="https://zen.yandex.ru/nuancesprog">Яндекс.Дзен</a></p><p><em>Перевод статьи </em><a href="https://medium.com/@dimgold">Dima Goldenberg</a>: <a href="https://towardsdatascience.com/social-network-analysis-from-theory-to-applications-with-python-d12e9a34c2c7">Social Network Analysis: From Graph Theory to Applications with Python</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=93220a17c3d3" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7-%D1%81%D0%BE%D1%86%D0%B8%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D1%85-%D1%81%D0%B5%D1%82%D0%B5%D0%B9-%D0%BE%D1%82-%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8-%D0%B3%D1%80%D0%B0%D1%84%D0%BE%D0%B2-%D0%B4%D0%BE-%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9-%D0%BD%D0%B0-python-93220a17c3d3">Анализ социальных сетей: от теории графов до приложений на Python</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Нововведения в Apache Airflow 2.0: смогут ли они обеспечить текущие потребности инженерии данных]]></title>
            <link>https://medium.com/nuances-of-programming/%D0%BD%D0%BE%D0%B2%D0%BE%D0%B2%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D1%8F-%D0%B2-apache-airflow-2-0-%D1%81%D0%BC%D0%BE%D0%B3%D1%83%D1%82-%D0%BB%D0%B8-%D0%BE%D0%BD%D0%B8-%D0%BE%D0%B1%D0%B5%D1%81%D0%BF%D0%B5%D1%87%D0%B8%D1%82%D1%8C-%D1%82%D0%B5%D0%BA%D1%83%D1%89%D0%B8%D0%B5-%D0%BF%D0%BE%D1%82%D1%80%D0%B5%D0%B1%D0%BD%D0%BE%D1%81%D1%82%D0%B8-%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D0%B8-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85-6e7648ff0db7?source=rss-be7adc13c989------2</link>
            <guid isPermaLink="false">https://medium.com/p/6e7648ff0db7</guid>
            <category><![CDATA[software-development]]></category>
            <category><![CDATA[nuances-of-programming]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[apache-airflow]]></category>
            <dc:creator><![CDATA[Daria Sidorova]]></dc:creator>
            <pubDate>Mon, 15 Mar 2021 12:03:31 GMT</pubDate>
            <atom:updated>2021-03-15T12:03:31.109Z</atom:updated>
            <content:encoded><![CDATA[<h3>Нововведения в Apache Airflow 2.0: смогут ли они удовлетворить текущие потребности инженерии данных</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*isKaHbJ4NNBoS36Q8l6Pig.png" /></figure><h3>Преимущества Airflow 2.0 по сравнению с предыдущими версиями</h3><h4>Пользовательский интерфейс</h4><p>Интерфейс Airflow 2.0 выглядит свежим и современным по сравнению с предыдущими версиями. Его основное преимущество заключается в функции автоматического обновления. Вам больше не придется постоянно обновлять браузер, чтобы получить статус рабочего процесса — теперь это происходит автоматически. Отключить эту функцию можно всего одним кликом, как показано на изображении ниже.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*0hH0re-Iycypt085.png" /><figcaption>Интерфейс Airflow 2.0. Скриншот: Anna Anisienia</figcaption></figure><h4>Производительность планировщика</h4><p>Вам больше не придется делать перерыв на кофе после запуска DAG, чтобы увидеть прогресс в рабочем процессе. Производительность обновленного планировщика в десятки раз выше, чем в предыдущих версиях Airflow. Согласно <a href="https://www.astronomer.io/blog/airflow-2-scheduler">тесту</a> производительности от Astronomer, в зависимости от случая использования планировщик работает до 17 раз быстрее. Кроме того, он автоматически перезапускается, если не получает обновления более 100 секунд.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*JZC0xEJDI2YbgIkp.png" /><figcaption>Журналы планировщика. Скриншот: Anna Anisienia</figcaption></figure><h4>Полноценный REST API</h4><p>Предыдущие версии Airflow предоставляли лишь экспериментальный API с ограниченными функциями. В релизе 2.0 доступен полный REST API, который можно использовать для создания, чтения, обновления и удаления DagRuns, переменных, соединений и пулов.</p><p>Если Airflow запущен локально, получить доступ к интерфейсу Swagger можно через следующий URL-адрес: <a href="http://localhost:8080/api/v1/ui/">http://localhost:8080/api/v1/ui/</a>. Он предоставляет подробную документацию, которая поможет создавать дополнительные функции поверх Airflow, используя различные языки программирования, а не только Python.</p><h4>Умные сенсоры</h4><p>Сенсоры — очень коварная функция, так как они постоянно отслеживают статус и иногда потребляют много ресурсов. Обновленный релиз Airflow внес изменения в логику сенсоров, благодаря которой они стали не только экономичнее, но и “умнее”.</p><p>И хотя для некоторых действий сенсоры можно заменить на событийно-ориентированные функции AWS Lambda, эта возможность все же пригодится тем, кто хочет сохранить все рабочие процессы в одном месте.</p><h4>Структура проекта</h4><p>Airflow окружает приветливое сообщество, которое до этого момента позволяло вносить дополнения в библиотеку операторов, сенсоров и хуков, не задумываясь об их структуре. Со временем airflow.contrib стал настолько большим, что управление зависимостями, а также планирование и тестирование новых релизов, значительно усложнилось.</p><p>В Airflow 2.0 структура модулей была изменена в соответствии с внешними системами, которые могут использоваться с Airflow. Если вы хотите использовать операторы, связанные с AWS, но не с GCP и Kubernetes, то сможете установить Airflow только с подпакетом Amazon.</p><pre>pip install apache-airflow[amazon]</pre><p>Это изменение позволит разделить ответственности, ускорить циклы выпуска отдельных компонентов и значительно очистить организационную структуру. Убедитесь, что используете правильные импорты при переносе рабочих процессов из предыдущих версий. Например, вместо данного кода:</p><pre>from airflow.contrib.operators.aws_athena_operator import AWSAthenaOperator</pre><p>Стоит использовать следующий:</p><pre>from airflow.providers.amazon.aws.operators.athena import AWSAthenaOperator</pre><h3>Сомнительные обновления</h3><p>С первого взгляда некоторые из новых абстракций кажутся очень полезными, но, возможно, к ним стоит относиться с осторожностью.</p><h4>Функция TaskGroup</h4><p>Эта новая абстракция позволяет работать с группой задач как с одной задачей. Причиной ее создания стало снижение эффективности и ошибки, с которыми сталкивались многие инженеры данных при использовании SubDags. Даже несмотря на то, что эта функция отлично выглядит в пользовательском интерфейсе, она, кажется, не решает реальную проблему разделения ответственностей, которую специалисты пытались решить с помощью SubDags.</p><h4>Обмен данными между задачами через абстракцию TaskFlow</h4><p>Абстракция TaskFlow предоставляет возможность обмена данными и позволяет писать простые функции Python вместо операторов Airflow. Это довольно интересная функция, однако трудно назвать ее как преимуществом, так и недостатком новой версии Airflow, поскольку она вызывает больше вопросов, чем дает ответов.</p><h3>Недостатки Airflow, которые не были устранены в новом релизе</h3><h4>Запутанная логика планирования</h4><p>Airflow по-прежнему запускает планирование рабочих процессов в конце планировочного интервала. Это означает, что DAG не запустится сразу, а только когда execution_date достигнет start_date + schedule_interval.</p><p>Что это значит для конечного пользователя? Если вы видите дату (2020–12–28) последнего запуска (Last Run), установленного на час ночи, как показано на изображении ниже, это не всегда означает, что рабочий процесс был запущен именно в этот период. Это лишь дата выполнения задачи, которая является стартовой отметкой времени запланированного периода рабочего процесса. Само выполнение запускается в конце этого периода. В данном примере задача на самом деле была реализована на день позже. Только у выполняемых вручную задач поле Last Run будет отражать реальное время запуска процесса.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*4qI1CIx8zZcQmgWn.png" /><figcaption>Last Run для запланированной задачи. Дата выполнения не соответствует реальному времени запуска. Скриншот: Anna Anisienia</figcaption></figure><h4>Отсутствие управления версиями конвейеров данных</h4><p>В Airflow 2.0 вы по-прежнему не можете отслеживать историю версий рабочих процессов. Будем надеяться, что эта возможность появится в следующих релизах.</p><h4>Перегрузка конфигурации</h4><p>Airflow разработан для удовлетворения потребностей множества различных групп людей. Он пригодится как для организации контейнерных рабочих процессов в Kubernetes, так и для применения нескольких технологий в качестве предпочтительного брокера сообщений. И все эти возможности объединяются в одном продукте.</p><p>Недостатком этого гибкого подхода является дополнительная сложность и большое число параметров, которые необходимо настроить, чтобы подготовить инструмент для своих нужд. Поэтому новым пользователям приходится изучать множество компонентов и обширную терминологию Airflow, чтобы использовать его должным образом.</p><p>Например, вам потребуется узнать все нюансы вышеупомянутой логики планирования, синтаксис Airflow, логику исполнителей, брокеров сообщений и очередей Celery. Кроме того, необходимы знания операторов, хуков, XComs, базы данных метаданных, а также способов объединения и поддержки всех этих компонентов.</p><p>В некотором смысле это касается любого инструмента. Но в Airflow слишком много специфической терминологии и различных компонентов, что значительно повышает барьер входа. Однако без всех этих знаний не получится эффективно использовать инструмент, а на их получение могут потребоваться временные и денежные затраты. Потенциально всего этого можно избежать, если применять другую платформу с более интуитивными абстракциями.</p><p>Исправить эти проблемы помогло бы абстрагирование некоторых внутренних компонентов, не имеющих значения для конечного пользователя. Например, дата начала и выполнения процесса. Гораздо удобнее было бы определить график и развернуть DAG, а остальные задачи предоставить платформе планирования.</p><h4>Трудности в самостоятельной настройке архитектуры Airflow для производства</h4><p>Чтобы управлять архитектурой такой сложной платформы, как Airflow, требуются постоянные ресурсы DevOps. Это является недостатком для тех, кто хочет внедрить версию с открытым исходным кодом в системы производства.</p><p>Тем не менее некоторые компании могут обеспечить вас необходимыми возможностями, если вы готовы вложиться в их коммерческие предложения Airflow. Организации, принимающие финансовое участие в этом проекте, предоставляют как полностью управляемый сервис для Airflow, так и проводят консультации и обучение. В некоторых случаях все эти услуги предоставляются вместе.</p><ul><li><strong>Astronomer</strong> предлагает управляемый сервис с дополнительными функциями поверх версии с открытым исходным кодом, поддержку предприятий, обучение и консультирование. Также среди сотрудников компании есть несколько членов комитета Airflow PMC, вносящих вклад в open-source проект.</li><li>В <strong>Polidea</strong> также работают несколько членов PMC, но они, похоже, в основном занимаются поддержкой базы кода и предлагают консалтинговые услуги.</li><li><strong>Google</strong> предлагает полностью управляемый сервис: Cloud Composer на GCP.</li><li><strong>Amazon</strong> предоставляет полностью управляемый сервис, а также гибкость (автоматическое масштабирование) рабочего узла: Managed Workflows для Apache Airflow.</li></ul><h4>Локальная разработка</h4><p>Локальная разработка с использованием версии Airflow с открытым исходным кодом вызывает трудности. Как правило, локальная среда полностью отличается от производственной.</p><p>CLI astro от Astronomer значительно упрощает работу. С его помощью можно с легкостью инициализировать локальную среду Airflow, поддерживающую контейнеры Docker, включая базу данных Postgres. Кроме того, коммерческое предложение от Astronomer позволяет развернуть DAG в производственной среде, используя простую команду CLI. Поддержка контейнеров поможет обеспечить соответствие среды разработки и производства, а также избежать неприятных сюрпризов при переносе DAG.</p><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/10095/">Об Apache Spark — интересно и со вкусом!</a></li><li><a href="https://nuancesprog.ru/p/7039/">Apache Spark: гайд для новичков</a></li><li><a href="https://nuancesprog.ru/p/11553/">Разработка инфраструктуры и торговых ботов для ИИ-трейдинга</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesproghumor">Telegram</a>, <a href="https://vk.com/nuancesprog">VK</a> и <a href="https://zen.yandex.ru/nuancesprog">Яндекс.Дзен</a></p><p><em>Перевод статьи </em><a href="https://medium.com/@anna.anisienia">Anna Anisienia</a>: <a href="https://towardsdatascience.com/is-apache-airflow-2-0-good-enough-for-current-data-engineering-needs-6e152455775c">Is Apache Airflow 2.0 good enough for current data engineering needs?</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6e7648ff0db7" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/%D0%BD%D0%BE%D0%B2%D0%BE%D0%B2%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D1%8F-%D0%B2-apache-airflow-2-0-%D1%81%D0%BC%D0%BE%D0%B3%D1%83%D1%82-%D0%BB%D0%B8-%D0%BE%D0%BD%D0%B8-%D0%BE%D0%B1%D0%B5%D1%81%D0%BF%D0%B5%D1%87%D0%B8%D1%82%D1%8C-%D1%82%D0%B5%D0%BA%D1%83%D1%89%D0%B8%D0%B5-%D0%BF%D0%BE%D1%82%D1%80%D0%B5%D0%B1%D0%BD%D0%BE%D1%81%D1%82%D0%B8-%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D0%B8-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85-6e7648ff0db7">Нововведения в Apache Airflow 2.0: смогут ли они обеспечить текущие потребности инженерии данных</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Расширение Jupyter для VS Code]]></title>
            <link>https://medium.com/nuances-of-programming/%D1%80%D0%B0%D1%81%D1%88%D0%B8%D1%80%D0%B5%D0%BD%D0%B8%D0%B5-jupyter-%D0%B4%D0%BB%D1%8F-vs-code-2698ae57c0c7?source=rss-be7adc13c989------2</link>
            <guid isPermaLink="false">https://medium.com/p/2698ae57c0c7</guid>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[jupyter]]></category>
            <category><![CDATA[vscode]]></category>
            <category><![CDATA[nuances-of-programming]]></category>
            <dc:creator><![CDATA[Daria Sidorova]]></dc:creator>
            <pubDate>Tue, 09 Mar 2021 12:03:31 GMT</pubDate>
            <atom:updated>2021-03-09T12:03:31.003Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Ju55wOF6EyGt9D13p7c55g.png" /></figure><p>Блокноты — отличный инструмент для инкрементальной разработки концепций ПО. С их помощью специалисты по данным отслеживают структуру своей работы, исследуют алгоритмы, быстро набрасывают новые подходы и сразу просматривают результаты.</p><p>Платформа <a href="https://jupyter.org/">Jupyter Notebooks</a> произвела революцию в компиляции проектов по обработке данных. Она позволяет анализировать набор данных, задействуя концепцию грамотного программирования. Затем был разработан пользовательский интерфейс нового поколения под названием <a href="http://jupyterlab.readthedocs.io/en/stable/">JupyterLab</a>, который восполнял некоторые недостатки Jupyter Notebooks.</p><p>Сегодня у разработчиков есть еще один вариант, а именно Visual Studio Code. Новое расширение <a href="https://marketplace.visualstudio.com/items?itemName=ms-toolsai.jupyter">Jupyter</a> для VS Code полностью поддерживает файлы .ipynb и привносит в редактор интерактивное программирование. Разберем, как оно работает.</p><h3>Создаем Jupyter Notebook</h3><p>Удобная палитра команд VS Code позволяет выполнять все действия прямо с клавиатуры.</p><p>Чтобы создать новый Jupyter Notebook, запустите палитру команд (<em>Ctrl+Shift+P</em>) и выполните поиск new notebook. Первый результатом должен быть Jupyter: Create New Blank Jupyter Notebook. Вы также можете создать его, нажав на новый файл .ipynb, но горячие клавиши значительно повышают эффективность работы.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/708/0*ITsofQfwfhD8M3qB.png" /></figure><p>Обратите внимание, что блокноты, созданные VS Code, по умолчанию являются доверенными (trusted). С другой стороны, любые импортированные помечаются как not trusted, чтобы защитить пользователя от выполнения вредоносного кода. Таким образом, ставить пометку trust нужно вручную по запросу редактора перед выполнением.</p><p>После создания блокнота нажмите на иконку save на верхней части панели инструментов, чтобы сохранить его в рабочем пространстве.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/320/0*KR0xS6MwEe8Dsqub.png" /></figure><p>Теперь можно экспортировать созданный блокнот как скрипт Python или файл HTML/PDF, используя соответствующую иконку.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/320/0*C70wGwGsElnVm79W.png" /></figure><h3>Работаем в редакторе</h3><p>По умолчанию в новом блокноте появится пустая ячейка. Добавьте в нее код и выполните его с помощью <em>ctrl+enter</em>. Эта команда запустит выделенную ячейку. <em>shift+enter</em> выполняет то же действие, но при этом создает и выделяет новую ячейку ниже, а <em>alt+enter</em> выполняет выделенную, создает еще одну ниже, но при этом сохраняет метку на предыдущей.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*qjw6e4eLn2geDoL-.png" /></figure><p>Иконка + добавляет новую ячейку для кода, а bin удаляет ее. Чтобы перемещать фрагменты вверх и вниз, воспользуйтесь соответствующими стрелками.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*v-NxUGI1qRmHNTu3.png" /></figure><p>Изменить тип ячейки на markdown довольно просто: просто нажмите на иконку M, расположенную над кодом. Чтобы снова установить значение code, выберите значок {}. Выполнить эти действия также можно с помощью клавиш M и Y.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*NKf3ll22BuMJiOWn.png" /></figure><h3>Выполняем задачи</h3><p>Встроенное автодополнение Intelligence — очень полезная функция VS Code. Редактор способен отображать списки членов, документацию методов и подсказки параметров.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/780/0*casD6FBuxLEF_8Kt.png" /></figure><p>Отслеживать находящиеся в памяти переменные помогают Variable Explorer и Data Viewer. Они позволяют просматривать, проверять и фильтровать переменные в текущей сессии Jupyter. Это сокращает проблемы, связанные с внеочередным исполнением, которые часто встречаются в блокнотах. Функция не решает их полностью, но выдает предупреждение.</p><p>После запуска кода нажмите на иконку Variables на верхней части панели инструментов. Вы увидите список текущих переменных, который будет обновляться автоматически при их использовании в коде.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*G0izqZ6y3GVgk6K3.png" /></figure><p>Теперь рассмотрим опции отладки. Во-первых, расширение Jupyter для VS Code поддерживает построчное выполнение кода в ячейке. Просто нажмите на кнопку, расположенную рядом с иконкой play.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/516/0*UDkElQxZlAj1Y_As.png" /></figure><p>Вторая возможность для отладки дает весомую причину использовать Jupyter в VS Code. Вы можете просто экспортировать блокнот как скрипт Python и работать с ним прямо в отладчике VS Code, не переходя в другую среду.</p><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/7583/">Как Jupyter превратился в полноценную IDE</a></li><li><a href="https://nuancesprog.ru/p/8372/">В поисках лучшей среды для Julia: Juno или Jupyter?</a></li><li><a href="https://nuancesprog.ru/p/7206/">Интерактивные отчеты в Jupyter Notebook</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesproghumor">Telegram</a>, <a href="https://vk.com/nuancesprog">VK</a> и <a href="https://zen.yandex.ru/nuancesprog">Яндекс.Дзен</a></p><p><em>Перевод статьи </em><a href="https://medium.com/@dpoulopoulos">Dimitris Poulopoulos</a>: <a href="https://towardsdatascience.com/jupyter-is-taking-a-big-overhaul-in-visual-studio-code-d9dc621e5f11">Jupyter in VS Code: Pros and Cons</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2698ae57c0c7" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/%D1%80%D0%B0%D1%81%D1%88%D0%B8%D1%80%D0%B5%D0%BD%D0%B8%D0%B5-jupyter-%D0%B4%D0%BB%D1%8F-vs-code-2698ae57c0c7">Расширение Jupyter для VS Code</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[7 библиотек Python для вашего первого проекта по науке о данных]]></title>
            <link>https://medium.com/nuances-of-programming/7-%D0%B1%D0%B8%D0%B1%D0%BB%D0%B8%D0%BE%D1%82%D0%B5%D0%BA-python-%D0%B4%D0%BB%D1%8F-%D0%B2%D0%B0%D1%88%D0%B5%D0%B3%D0%BE-%D0%BF%D0%B5%D1%80%D0%B2%D0%BE%D0%B3%D0%BE-%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82%D0%B0-%D0%BF%D0%BE-%D0%BD%D0%B0%D1%83%D0%BA%D0%B5-%D0%BE-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85-d32785d74c27?source=rss-be7adc13c989------2</link>
            <guid isPermaLink="false">https://medium.com/p/d32785d74c27</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[nuances-of-programming]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[Daria Sidorova]]></dc:creator>
            <pubDate>Sun, 21 Feb 2021 16:07:46 GMT</pubDate>
            <atom:updated>2021-02-21T16:07:46.520Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nPuHlS4lSFSeJDenOwC5XA.png" /></figure><h3>Pandas</h3><p>Данные играют первостепенную роль в разработке продуктов, задействующих науку о данных и машинное обучение. Однако информация часто нуждается в предварительной очистке и некоторых манипуляциях, прежде чем попасть в проект.</p><p>Библиотека Pandas позволяет загружать, очищать и обрабатывать данные. Для этих целей подойдут и такие альтернативы, как SQL, но Pandas намного проще и удобнее.</p><ul><li>Установить библиотеку и узнать о ней подробнее можно <a href="https://pandas.pydata.org/"><strong>здесь</strong></a>.</li></ul><h3>Numpy</h3><p>Во многих проектах по науке о данных, в том числе и в компьютерном зрении, наиболее важным типом являются массивы. Numpy, библиотека Python, позволяет обрабатывать их и эффективно применять к ним различные алгоритмы. Этот инструмент потребуется для работы с некоторыми другими библиотеками, упомянутыми в статье.</p><ul><li>Установить Numpy и изучить ее подробнее можно <a href="https://numpy.org/"><strong>здесь</strong></a>.</li></ul><h3>SciKitLearn</h3><p>Эта библиотека представляет собой набор инструментов для большинства типов моделей машинного обучения. Если вы работаете над проектом по МО, скорее всего, вам пригодится SciKitLearn.</p><ul><li><a href="https://scikit-learn.org/stable/"><strong>Здесь</strong></a> можно узнать подробную информацию об этой библиотеке и установить ее.</li></ul><h3>Keras и PyTorch</h3><p>В науке о данных и МО популярны такие модели, как простые и глубокие нейронные сети. Они используются для разработки технологий компьютерного зрения и обработки естественного языка. Некоторые библиотеки Python предоставляют инструменты, необходимые для создания нейронных сетей.</p><p>Самый популярный из них — TensorFlow — может оказаться довольно трудным для новичков. Поэтому начать изучение лучше с Keras, интерфейса (API) для Tensorflow, который упрощает тестирование различных архитектур нейронных сетей и даже позволяет создавать собственные. В последнее время также набирает популярность PyTorch.</p><ul><li>Изучить и установить эти инструменты можно по ссылкам: <a href="https://keras.io/"><strong>Keras</strong></a> и <a href="https://pytorch.org/"><strong>PyTorch</strong></a>.</li></ul><h3>Requests</h3><p>Большинство современных приложений, связанных с данными, работают с API (Application Programming Interface — интерфейс программирования приложений). Простыми словами, с его помощью можно запросить у сервера приложений доступ к базе данных или попросить его выполнить какую-либо задачу. Например, вы предоставляете API Карты Google два местоположения, а он возвращает продолжительность поездки между ними.</p><p>Библиотека Requests предназначена для связи с API и пригодится любому специалисту по данным.</p><ul><li>Подробности о Requests и установочный файл находятся <a href="https://requests.readthedocs.io/en/master/"><strong>здесь</strong></a>.</li></ul><h3>Plotly</h3><p>Важную часть в проектах по науке о данных составляет построение различных графиков. И хотя matplotlib — самая популярная библиотека Python, предназначенная для этих целей, более профессиональным, простым и гибким вариантом является Plotly. В ней доступно огромное количество типов графиков и инструментов для отображения. Кроме того, у Plotly более приятный дизайн.</p><ul><li>Изучить и установить Plotly можно <a href="https://plotly.com/"><strong>здесь</strong></a>.</li></ul><h3>ipywidgets</h3><p>Когда дело доходит до пользовательского интерфейса, разработчику часто приходится выбирать между традиционным и сетевым вариантами. Первый можно создать с помощью таких библиотек, как PyQT и TkInter. Однако в большинстве случаев лучше разрабатывать веб-приложения, работающие в браузерах. Для этого понадобится библиотека, предоставляющая набор виджетов, например ipywidgets для Jupyter Notebook.</p><ul><li>Инструкция по использованию и установке ipywidgets находится <a href="https://ipywidgets.readthedocs.io/en/stable/"><strong>здесь</strong></a>.</li></ul><h3>Jupyter Notebook и Voila</h3><p>В завершение разберем одни из самых простых инструментов.</p><p>Набор ipywidgets работает Jupyter Notebook, который потребуется для создания приложения. Скорее всего, вы уже используете Jupyter Notebook для построения моделей и исследовательского анализа. Однако его можно применять и для фронтенд-разработки.</p><p>Также вам понадобится сторонний инструмент Voila, который скрывает весь код из Jupyter Notebook. При запуске проекта Jupyter Notebook через Voila он приобретает вид обычного веб-приложения. Вы также можете запустить эти инструменты через сервис AWS EC2 и получить доступ к своему продукту через интернет.</p><ul><li>Изучить и установить Voila можно <a href="https://github.com/voila-dashboards/voila"><strong>здесь</strong></a>.</li></ul><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/11460/">80 практических вопросов по Python для собеседования</a></li><li><a href="https://nuancesprog.ru/p/11440/">Насколько С++ быстрее Python</a></li><li><a href="https://nuancesprog.ru/p/11356/">Библиотеки Python для машинного обучения</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesproghumor">Telegram</a>, <a href="https://vk.com/nuancesprog">VK</a> и <a href="https://zen.yandex.ru/nuancesprog">Яндекс.Дзен</a></p><p><em>Перевод статьи </em><a href="https://nasertamimi.com/">Naser Tamim</a>i: <a href="https://towardsdatascience.com/build-your-first-data-science-application-9f1b816a5d67">Build Your First Data Science Application</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d32785d74c27" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/7-%D0%B1%D0%B8%D0%B1%D0%BB%D0%B8%D0%BE%D1%82%D0%B5%D0%BA-python-%D0%B4%D0%BB%D1%8F-%D0%B2%D0%B0%D1%88%D0%B5%D0%B3%D0%BE-%D0%BF%D0%B5%D1%80%D0%B2%D0%BE%D0%B3%D0%BE-%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82%D0%B0-%D0%BF%D0%BE-%D0%BD%D0%B0%D1%83%D0%BA%D0%B5-%D0%BE-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85-d32785d74c27">7 библиотек Python для вашего первого проекта по науке о данных</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Набор инструментов Go для работы с микросервисами]]></title>
            <link>https://medium.com/nuances-of-programming/%D0%BD%D0%B0%D0%B1%D0%BE%D1%80-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2-go-%D0%B4%D0%BB%D1%8F-%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%8B-%D1%81-%D0%BC%D0%B8%D0%BA%D1%80%D0%BE%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D0%B0%D0%BC%D0%B8-b5b3fe277ba3?source=rss-be7adc13c989------2</link>
            <guid isPermaLink="false">https://medium.com/p/b5b3fe277ba3</guid>
            <category><![CDATA[go]]></category>
            <category><![CDATA[nuances-of-programming]]></category>
            <category><![CDATA[rest]]></category>
            <category><![CDATA[grpc]]></category>
            <category><![CDATA[microservices]]></category>
            <dc:creator><![CDATA[Daria Sidorova]]></dc:creator>
            <pubDate>Fri, 19 Feb 2021 16:02:12 GMT</pubDate>
            <atom:updated>2021-02-19T16:02:12.882Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PxthMu8oIF6HrF0AEzRLFw.png" /></figure><h3><strong>REST и gRPC: идеальное сочетание</strong></h3><p>Микросервисы обычно работают на фреймворках HTTP и RPC, таких как REST и gRPC<em>.</em></p><p>REST построен на основе объектно-ориентированного проектирования — подхода, который представляет собой строительный блок HTTP-протокола.<strong><em> </em></strong>Операции CRUD<strong><em> </em></strong>(Create Read Update Delete — Создание, чтение, обновление, удаление) определяют набор поведений объекта. API REST задействуют поднабор методов HTTP, чтобы выполнять операции CRUD над элементом, который обычно представлен/сериализован в формате JSON.</p><p>gRPC — высокопроизводительный фреймворк RPC. С помощью API RPC можно получить доступ к распределенным процедурам или методам, которые синтаксически неотличимы от централизованных. Это позволяет скрыть сложность сериализации и передачи данных по сети. gRPC предлагает клиентскую, серверную и двунаправленную потоковую передачу.</p><p>Под капотом gRPC использует HTTP/2 для передачи и буферы протокола для эффективной сериализации, чтобы достичь невероятной производительности уровня REST+JSON. Он предлагает первоклассную поддержку генерации кода. Компилятор <a href="https://developers.google.com/protocol-buffers/docs/gotutorial">protobuf</a> создает код как для клиента, так и для сервера, что ускоряет разработку приложений и сокращает уровень усилий, необходимый для доставки нового сервиса.</p><p>Сочетание REST и gRPC позволяет создавать распределенные высокопроизводительные сервисы с двухканальным режимом доступа, а также сохранить преимущества объектно-ориентированного проектирования.</p><p>Рассмотрим на примере. Определим сервис gRPC, который будет размещать заказы (order) объектно-ориентированным образом с помощью спецификации protobuf. Поскольку order является объектом, определенные методы RPC должны соответствовать операциям CRUD, которые будет поддерживать сервис. Мы также добавим List — дополнительный метод RPC, чтобы поддерживать списки и фильтрацию существующих заказов.</p><pre>syntax = &quot;proto3&quot;;<br>package orders;<br><br>import &quot;google/protobuf/timestamp.proto&quot;;<br><br>// Сервис заказов с определениями rpc-метода CRUD + List<br>service OrderService {<br>  <br>  // Создает новый заказ<br>  rpc Create (CreateOrderRequest) returns (CreateOrderResponse);<br>  <br>  // Извлекает существующий заказ<br>  rpc Retrieve (RetrieveOrderRequest) returns (RetrieveOrderResponse);<br>  <br>  // Изменяет существующий заказ<br>  rpc Update (UpdateOrderRequest) returns (UpdateOrderResponse);<br>  <br>  // Отменяет существующий заказ<br>  rpc Delete (DeleteOrderRequest) returns (DeleteOrderResponse);<br>  <br>   // Выдает список текущих заказов<br>  rpc List (ListOrderRequest) returns (ListOrderResponse);<br>}<br><br>// Сообщение с деталями заказа (это и есть объект)<br>message Order {<br>  // Представляет различные состояния заказа<br>  enum Status {<br>    PENDING = 0;<br>    PAID = 1;<br>    SHIPPED = 2;<br>    DELIVERED = 3;<br>    CANCELLED = 4;<br>  }<br>  int64 order_id = 1;<br>  repeated Item items = 2;<br>  float total = 3;<br>  google.protobuf.Timestamp order_date = 5;<br>  Status status = 6;<br>}<br><br>// Сообщение с информацией об оплате<br>message PaymentMethod {<br>    enum Type {<br>    NOT_DEFINED = 0;<br>    VISA = 1;<br>    MASTERCARD = 2;<br>    PAYPAL = 3;<br>    APPLEPAY = 4;<br>  }<br>   Type payment_type = 1;<br>   string pre_authorization_token = 2; <br>}<br><br>// Сообщение с подробной информацией о товаре, который может быть включен в заказ<br>message Item {<br>  string description = 1;<br>  float price = 2;<br>}<br><br>// Запрос на создание заказа<br>message CreateOrderRequest {<br>  repeated Item items = 1;<br>  PaymentMethod payment_method = 2;<br>}<br><br>// Ответ на создание заказа<br>message CreateOrderResponse {<br>  Order order = 1;<br>}<br><br>// Запрос на получение заказа<br>message RetrieveOrderRequest {<br>  int64 order_id = 1;<br>}<br><br>// Ответ на получение заказа<br>message RetrieveOrderResponse {<br>  Order order = 1;<br>}<br><br>// Запрос на изменение существующего заказа<br>message UpdateOrderRequest {<br>  int64 order_id = 1;<br>  repeated Item items = 2;<br>  PaymentMethod payment_method = 3;<br>}<br><br>// Запрос на обновление существующего заказа<br>message UpdateOrderResponse {<br>  Order order = 1;<br>}<br><br>// Запрос на отмену существующего заказа<br>message DeleteOrderRequest {<br>  int64 order_id = 1;<br>}<br><br>// Ответ на отмену существующего заказа<br>message DeleteOrderResponse {<br>  Order order = 1;<br>}<br><br>// Запрос на выдачу списка текущих заказов<br>message ListOrderRequest {<br>  repeated int64 ids = 1;<br>  Order.Status statuses = 2;<br>}<br><br>// Ответ со списком заказов<br>message ListOrderResponse {<br>  repeated Order orders = 1;<br>}</pre><p>Затем компилируем order.proto<em> </em>с помощью protoc с необходимыми опциями Go.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*-NoLt8KxsVMPLHP8.png" /><figcaption>Компиляция order.proto</figcaption></figure><p>Команда выше создаст два файла: order.pb.go и order_grpc.pb.go. Первый содержит структуру для каждого типа protobuf message, определенного в order.proto.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*gF8_4dH9g53fthco.png" /><figcaption>Сгенерированный код структуры заказа</figcaption></figure><p>Файл order_grpc.pb.go предоставляет клиентский и серверный код для взаимодействия с сервисом заказов. Он содержит OrderServiceServer<em> </em>— перевод интерфейса OrderService.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*7wiV3PlZsN1mFEk6.png" /><figcaption>Сгенерированный код интерфейса OrderServiceServer</figcaption></figure><p>Чтобы запустить сервер gRPC, нужно реализовать интерфейс OrderServiceServer. Для этого можно применить UnimplementedOrderServiceServer (поверхностная реализация, представленная в сгенерированном коде).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*cRjTQs_qqThXKwJL.png" /><figcaption>Сгенерированный код UnimplementedOrderServiceServer</figcaption></figure><p>Метод RegisterOrderServiceServer принимает grpc.Server и интерфейс OrderServiceServer. Он оборачивает grpc.Server вокруг реализации интерфейса сервиса заказов и должен вызываться перед серверным методом Serve(). Пример представлен ниже.</p><pre>import(<br>  &quot;log&quot;<br>  &quot;net&quot;<br>  &quot;google.golang.org/grpc&quot;<br>)<br><br>const (<br>  grpcPort = &quot;50051&quot;<br>)<br><br>func main() {<br>  grpcServer := grpc.NewServer()<br>  orderService := UnimplementedOrderServiceServer{}<br>  RegisterOrderServiceServer(grpcServer, &amp;orderService)<br><br>  lis, err := net.Listen(&quot;tcp&quot;, &quot;:&quot; + grpcPort)<br>  if err != nil {<br>    log.Fatalf(&quot;failed to listen: %v&quot;, err)<br>  }<br><br>  if err := grpcServer.Serve(lis); err != nil {<br>    log.Fatalf(&quot;failed to start gRPC server: %v&quot;, err)<br>  }<br>}</pre><p>На этом этапе сервис заказов gRPC запускается всего несколькими строками кода. Осталось только разработать сервер REST. Внедрив в него интерфейс OrderServiceServer, мы полностью объединим REST и gRPC.</p><pre>import (<br>	&quot;net/http&quot;<br><br>	&quot;github.com/gin-gonic/gin&quot;<br>	&quot;github.com/golang/protobuf/jsonpb&quot;<br>	&quot;google.golang.org/grpc&quot;<br>)<br><br>// RestServer реализует сервер REST для сервиса заказов<br>type RestServer struct {<br>	server       *http.Server<br>	orderService OrderServiceServer // Тот же сервис заказов, что и в сервере gRPC<br>}<br><br>// Функция NewRestServer отлично подходит для создания RestServer<br>func NewRestServer(orderService OrderServiceServer, port string) RestServer {<br>	rs := RestServer{<br>		server: &amp;http.Server{<br>			Addr:    &quot;:&quot; + port,<br>			Handler: router,<br>		},<br>		orderService: orderService,<br>	}<br><br>	// Регистрация маршрутов<br>	router.POST(&quot;/order&quot;, rs.create)<br>	router.GET(&quot;/order/:id&quot;, rs.retrieve)<br>	router.PUT(&quot;/order&quot;, rs.update)<br>	router.DELETE(&quot;/order&quot;, rs.delete)<br>	router.GET(&quot;/order&quot;, rs.list)<br><br>	return rs<br>}<br><br>// Start запускает сервер<br>func (r RestServer) Start() error {<br>	return r.server.ListenAndServe()<br>}<br><br>// Функция-обработчик create создает заказ из запроса (тело JSON)<br>func (r RestServer) create(c *gin.Context) {<br>	var req CreateOrderRequest<br><br>	// Демаршализация запроса<br>	err := jsonpb.Unmarshal(c.Request.Body, &amp;req)<br>	if err != nil {<br>		c.String(http.StatusInternalServerError, &quot;error creating order request&quot;)<br>	}<br><br>	// Использует сервис заказов, чтобы создать заказ из запроса<br>	resp, err := r.orderService.Create(c.Request.Context(), &amp;req)<br>	if err != nil {<br>		c.String(http.StatusInternalServerError, &quot;error creating order&quot;)<br>	}<br>	m := &amp;jsonpb.Marshaler{}<br>	if err := m.Marshal(c.Writer, resp); err != nil {<br>		c.String(http.StatusInternalServerError, &quot;error sending order response&quot;)<br>	}<br>}<br><br>func (r RestServer) retrieve(c *gin.Context) {<br>	c.String(http.StatusNotImplemented, &quot;not implemented yet&quot;)<br>}<br><br>func (r RestServer) update(c *gin.Context) {<br>	c.String(http.StatusNotImplemented, &quot;not implemented yet&quot;)<br>}<br><br>func (r RestServer) delete(c *gin.Context) {<br>	c.String(http.StatusNotImplemented, &quot;not implemented yet&quot;)<br>}<br><br>func (r RestServer) list(c *gin.Context) {<br>	c.String(http.StatusNotImplemented, &quot;not implemented yet&quot;)<br>}</pre><p>Обновляем метод main, и сочетание REST и gRPC будет готово.</p><pre>import(<br>  &quot;log&quot;<br>  &quot;net&quot;<br>  &quot;google.golang.org/grpc&quot;<br>)<br><br>const (<br>  grpcPort = &quot;50051&quot;<br>  restPort = &quot;8080&quot;<br>)<br><br>func main() {<br>  grpcServer := grpc.NewServer()<br>  orderService := UnimplementedOrderServiceServer{}<br>  RegisterOrderServiceServer(grpCServer, &amp;orderService)<br><br>  lis, err := net.Listen(&quot;tcp&quot;, &quot;:&quot; + grpcPort)<br>  if err != nil {<br>    log.Fatalf(&quot;failed to listen: %v&quot;, err)<br>  }<br><br>  go func() {<br>    <br>    // Serve() - это блокирующий вызов, поэтому помещаем его<br>    // в горутину.<br>    grpcServer.Serve(lis)<br>  }()<br>  <br>  restServer := NewRestServer(orderService, restPort)<br><br>  // Start() - тоже блокирующий вызов, но на данный момент его можно оставить,<br>  // чтобы избежать внезапного выхода main(). Ниже мы переделаем эту логику!<br>  restServer.Start()<br>  <br>}</pre><p>Теперь сервера gRPC и REST запущены и работают с одной реализацией сервиса заказов. Обратите внимание, что в вышеизложенные фрагменты кода можно внести несколько оптимизаций относительно обработки ошибок, параллелизма, удобочитаемости и так далее.</p><p>Как было сказано выше, фреймворк gRPC предоставляет обширный набор инструментов для работы с protobuf. Он ускоряет разработку приложений и позволяет генерировать клиентский и серверный код, а также интерфейс сервиса, который можно использовать для объединения gRPC с REST и другими API HTTP.</p><h3>Параллелизм — горутины и каналы</h3><p>Goroutine — это функция, которая выполняется одновременно с другими функциями. Это некий фоновый процесс, который не блокирует текущий поток выполнения. За кадром эти легкие потоки мультиплексируются с один или несколькими (много:1) потоками ОС. Это позволяет программе Go справляться с миллионами горутин, где количество futures, которые может обрабатывать Java, будет ограничено число доступных потоком ОС (так как потоки Java соотносятся 1:1 с потоками ОС).</p><p>Оговорка такого повышения производительности состоит в том, что потоки Go совместно используют пространство памяти, доступ к которому должен быть синхронизирован. От состояния гонки и попадания в тупик могут спасти каналы.</p><p>Channel — это канал с примитивными типами, который позволяет горутинам безопасно обмениваться данными без мьютексов (блокировок). Процесс чтения и записи канала блокирует текущий поток выполнения до тех пор, пока отправитель и получатель не будут готовы.</p><p>Вот несколько задач, в которых могут пригодиться горутины.</p><ul><li><strong>Задачи приложения</strong>: запуск веб-серверов, пулы соединения с базами данных, демоны, извлечение API, очереди обработки данных.</li><li><strong>Запросы/события</strong>: обработка входящих HTTP-запросов, выполнение дорогостоящих подзадач (например, несколько сетевых вызовов), публикация новых сообщений в Kafka.</li><li><strong>Задачи Fire &amp; Forget</strong>: логирование, оповещение, метрики.</li></ul><p>Веб-сервер — это процесс уровня приложения, который обычно включает метод start<em>/</em>serve, блокирующий текущий поток выполнения до тех пор, пока сервер не завершит обслуживание запросов. Если вам интересно, как HTTP-сервер Go обрабатывает запросы, загляните в <a href="https://github.com/golang/go/blob/520f3b72db7befab2028d9a47376267cf2d274a9/src/net/http/server.go#L3013">исходный код</a> (для каждого входящего HTTP-запроса создается горутина).</p><p>Так как grpcServer.Serve() и restServer.Start() — блокирующие вызовы, лишь один из них может быть запущен в основном (main) потоке выполнения. Другой должен работать в фоновом режиме. Методы start<em>/</em>serve серверов REST &amp; gRPC также возвращают ошибки, требующие аккуратной обработки.</p><p><strong>Совет</strong>: оберните каждый сервер в структуру, которая представляет канал ошибки. Вызовите метод start/serve в горутину, записывающую ошибку в канал. Это позволит использовать <a href="https://tour.golang.org/concurrency/5">select</a>, чтобы активировать ожидание завершения операций нескольких каналов.</p><p>Ниже показано, как оптимизировать серверы REST и gRPC для фоновой обработки и распространения ошибок по каналам.</p><p>RestServer:</p><pre>import (<br>	&quot;net/http&quot;<br><br>	&quot;github.com/gin-gonic/gin&quot;<br>	&quot;github.com/golang/protobuf/jsonpb&quot;<br>	&quot;google.golang.org/grpc&quot;<br>)<br><br>// RestServer реализует сервер REST для сервиса заказов.<br>type RestServer struct {<br>	server       *http.Server<br>	orderService OrderServiceServer // Тот же сервис заказов, что и в сервере gRPC<br>	errCh        chan error<br>}<br><br>// Функция NewRestServer отлично подходит для создания RestServer<br>func NewRestServer(orderService OrderServiceServer, port string) RestServer {<br>	router := gin.Default()<br><br>	rs := RestServer{<br>		server: &amp;http.Server{<br>			Addr:    &quot;:&quot; + port,<br>			Handler: router,<br>		},<br>		orderService: orderService,<br>		errCh:        make(chan error),<br>	}<br><br>	// Регистрация маршрутов<br>	router.POST(&quot;/order&quot;, rs.create)<br>	router.GET(&quot;/order/:id&quot;, rs.retrieve)<br>	router.PUT(&quot;/order&quot;, rs.update)<br>	router.DELETE(&quot;/order&quot;, rs.delete)<br>	router.GET(&quot;/order&quot;, rs.list)<br><br>	return rs<br>}<br><br>// Start запускает сервер REST в фоновом режиме, отправляя ошибку в канал ошибок<br>func (r RestServer) Start() {<br>	go func() {<br>		r.errCh &lt;- r.server.ListenAndServe()<br>	}()<br>}<br><br>// Stop останавливает сервер<br>func (r RestServer) Stop() error {<br>	return r.server.Close()<br>}<br><br>// Error возвращает канал ошибок сервера<br>func (r RestServer) Error() chan error {<br>	return r.errCh<br>}</pre><p>GrpcServer:</p><pre>import (<br>	&quot;net&quot;<br><br>	&quot;google.golang.org/grpc&quot;<br>)<br><br>// GrpcServer реализует сервер gRPC для сервиса заказов<br>type GrpcServer struct {<br>	server   *grpc.Server<br>	errCh    chan error<br>	listener net.Listener<br>}<br><br>// Функция NewRestServer отлично подходит для создания RestServer<br>func NewGrpcServer(service OrderServiceServer, port string) (GrpcServer, error) {<br>	lis, err := net.Listen(&quot;tcp&quot;, &quot;:&quot;+port)<br>	if err != nil {<br>		return GrpcServer{}, err<br>	}<br>	server := grpc.NewServer()<br>	RegisterOrderServiceServer(server, service)<br><br>	return GrpcServer{<br>		server:   server,<br>		listener: lis,<br>		errCh:    make(chan error),<br>	}, nil<br>}<br><br>// Start запускает сервер REST в фоновом режиме, отправляя ошибку в канал ошибок<br>func (g GrpcServer) Start() {<br>	go func() {<br>		g.errCh &lt;- g.server.Serve(g.listener)<br>	}()<br>}<br><br>// Stop останавливает сервер<br>func (g GrpcServer) Stop() {<br>	g.server.GracefulStop()<br>}<br><br>// Error возвращает канал ошибок сервера<br>func (g GrpcServer) Error() chan error {<br>	return g.errCh<br>}</pre><p>Не забывайте о том, что приложение Go стоит рассматривать как единую структуру. Разработчики часто пишут надежный код на уровне сервиса, а затем засоряют методы main множеством условных выражений log.Fatal() и другой сложной логикой.</p><p>Постарайтесь создать структуру приложения, которая включает конфигурации, серверы и прочие зависимости на уровне приложения. И хотя Go предоставляет возможность создавать несколько функций <a href="https://golang.org/doc/effective_go.html#init">init</a>, по возможности старайтесь их избегать по причине некоторых недостатков. К примеру, они возвращают пустые значения. Среда выполнения Go ищет функции уровня пакета со следующей сигнатурой.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*dD1VyLkgKE33mdjf.png" /></figure><p>Соответственно возвращать значения из функции init не получится. Если в процессе инициализации переменной возникает ошибка, возможно, вам потребуется выйти из приложения или написать логику recover.</p><p>Функции init могут усложнить код. Поэтому лучше попробуйте создать собственную функцию, подобную конструктору, которая создает новое приложение, выполняет все необходимые для него инициализации и затем возвращает его. Если на втором этапе возникнут сбои, просто измените сигнатуру return с возврата функции на экземпляр приложения и ошибки.</p><p>Ниже представлена оптимизированная версия main, которая создает структуру приложения, использует select для прослушивания ошибок серверов REST &amp; gRPC, а также обрабатывает запуск и остановку, включая сигналы завершения работы ОС.</p><pre>import (<br>	&quot;log&quot;<br>	&quot;os&quot;<br>	&quot;os/signal&quot;<br>	&quot;syscall&quot;<br>)<br><br>const (<br>	grpcPort = &quot;50051&quot;<br>	restPort = &quot;8080&quot;<br>)<br><br>// Оболочка app отлично подходит для всех элементов, необходимых для запуска<br>// и завершения работы микросервиса Order<br>type app struct {<br>	restServer RestServer<br>	grpcServer GrpcServer<br>	/* Listens for an application termination signal<br>	   Ex. (Ctrl X, Docker container shutdown, etc) */<br>	shutdownCh chan os.Signal<br>}<br><br>// start запускает сервера REST и gRPC в фоновом режиме<br>func (a app) start() {<br>	a.restServer.Start() // non blocking now<br>	a.grpcServer.Start() // also non blocking :-)<br>}<br><br>// stop останавливает сервера<br>func (a app) shutdown() error {<br>	a.grpcServer.Stop()<br>	return a.restServer.Stop()<br>}<br><br>// newApp создает новое приложение с серверами REST и gRPC<br>// Эта функция выполняет все необходимые для приложения инициализации<br>func newApp() (app, error) {<br>	orderService := UnimplementedOrderServiceServer{}<br><br>	gs, err := NewGrpcServer(orderService, grpcPort)	<br>	if err != nil {<br>		return app{}, err<br>	}<br><br>	quit := make(chan os.Signal, 1)<br>	signal.Notify(quit, os.Interrupt, syscall.SIGTERM)<br>	<br>	return app{<br>		restServer: NewRestServer(orderService, restPort),<br>		grpcServer: gs,<br>		shutdownCh: quit,<br>	}, nil<br>}<br><br>// run запускает приложение, обрабатывая любые ошибки серверов REST и gRPC<br>// и сигналы завершения работы<br>func run() error {<br>	app, err := newApp()<br>	if err != nil {<br>		return err<br>	}<br><br>	app.start()<br>	defer app.shutdown()<br><br>	select {<br>	case restErr := &lt;-app.restServer.Error():<br>		return restErr<br>	case grpcErr := &lt;-app.grpcServer.Error():<br>		return grpcErr<br>	case &lt;-app.shutdownCh:<br>		return nil<br>	}<br>}<br><br>func main() {<br>	if err := run(); err != nil {<br>		log.Fatal(err)<br>	}<br>}</pre><p>Прежде чем создать или обновить заказ (order), нужно предварительное одобрить метод оплаты, а также подтвердить, что товары есть в наличии. Предположим, что эти подзадачи могут вызвать ошибку (сбой или таймаут) и выполняться независимо. Есть несколько способов обработки параллелизма на уровне запросов. Можно использовать стандартные горутины и каналы, но есть и более подходящие варианты.</p><p>Группы ожидания (Waitgroup) позволяют запускать набор горутин и ожидать завершения их работы. Однако при их использовании также нужно управлять счетчиком <a href="https://golang.org/pkg/sync/#example_WaitGroup">waitGroup</a>. <a href="https://godoc.org/golang.org/x/sync/errgroup">ErrGroup</a> отлично подходит для выполнения набора подзадач. Этот элемент состоит из коллекции горутин, которые реализуют подзадачи и обрабатывают распространение ошибок. errGroup ожидает (блокирует) до тех пор, пока все подзадачи не будут завершены.</p><p>Применяйте <a href="https://golang.org/pkg/context/">Context</a> для входящих и исходящих серверных запросов. Он позволяет распространять ограниченные запросом значения, сроки и сигналы отмены между клиентами и серверами. В Context есть канал Done(), с помощью которого горутины могут получать уведомления о его отмене. Так они могут раньше выполнить выход и освободить ресурсы системы. Когда используется errgroup.WithContext(), полученный контекст отменяется при первой обнаруженной ошибке подзадачи или при возвращении wait().</p><p>В примере ниже validateOrder создает errGroup, которая порождает две параллельные подзадачи: preAuthorizePayment для авторизации способа оплаты и checkInventory для проверки наличия товаров. Функции, вызываемые в обеих подзадачах, принимают Context и могут вернуться раньше в случае его отмены (или задержки запроса).</p><pre>import (<br>	&quot;context&quot;<br>	&quot;errors&quot;<br>	&quot;time&quot;<br><br>	&quot;golang.org/x/sync/errgroup&quot;<br>)<br>var (<br>	ErrPreAuthorizationTimeout = errors.New(&quot;pre-authorization request timeout&quot;)<br>	ErrInventoryRequestTimeout = errors.New(&quot;check inventory request timeout&quot;)<br>	ErrItemOutOfStock = errors.New(&quot;sorry one or more items in your order is out of stock&quot;)<br>)<br><br>// preAuthorizePayment выполняет предварительную авторизацию метода оплаты<br>// и возвращает ошибку. nil возвращается при успешной предварительной авторизации<br>func preAuthorizePayment(ctx context.Context, payment *PaymentMethod, orderAmount float32) error {<br><br>	// Здесь выполняется дорогостоящая логика авторизации - для этого примера задействуем режим сна :-)<br>	// и вернем nil, чтобы указать успешную авторизацию<br>	timer := time.NewTimer(3 * time.Second)<br><br>	select {<br>	case &lt;-timer.C:<br>		return nil<br>	case &lt;-ctx.Done():<br>		return ErrPreAuthorizationTimeout<br>	}<br>}<br><br>// checkInventory возвращает логическое значение и ошибку, указывающую,<br>// есть ли все товары на складе. (true, nil) возвращается, если<br>// все товары есть на складе, и не возникло никаких ошибок<br>func checkInventory(ctx context.Context, items []*Item) (bool, error) {<br><br>	// Здесь выполняется дорогостоящая логика инвентаризации - для этого примера задействуем режим сна :-)<br>	timer := time.NewTimer(2 * time.Second)<br><br>	select {<br>	case &lt;-timer.C:<br>		return true, nil<br>	case &lt;-ctx.Done():<br>		return false, ErrInventoryRequestTimeout<br>	}<br>}<br><br>// getOrderTotal высчитывает общую сумму заказа<br>func getOrderTotal(items []*Item) float32 {<br>	var total float32<br><br>	for _, item := range items {<br>		total += item.Price<br>	}<br><br>	return total<br>}<br><br>func validateOrder(ctx context.Context, items []*Item, payment *PaymentMethod) error {<br>	g, errCtx := errgroup.WithContext(ctx)<br><br>	g.Go(func() error {<br>		return preAuthorizePayment(errCtx, payment, getOrderTotal(items))<br>	})<br><br>	g.Go(func() error {<br>		itemsInStock, err := checkInventory(errCtx, items)<br>		if err != nil {<br>			return err<br>		}<br>		if !itemsInStock {<br>			return ErrItemOutOfStock<br>		}<br>		return nil<br>	})<br><br>	return g.Wait()<br>}</pre><p>В большинстве складов и хранилищ есть системы управления заказами, что обеспечивает их эффективное и экономичное выполнение. Аналогичным образом, управление параллелизмом также важно для поддержания качества приложения. В примере ниже применяется waitgroup и каналы, чтобы ограничить количество заказов, которое склад может обрабатывать одновременно.</p><pre>import (<br>	&quot;fmt&quot;<br>	&quot;sync&quot;<br>	&quot;time&quot;<br>)<br><br>// OrderDispatcher - это процесс-демон, который создает набор обработчиков с помощью sync.waitGroup, чтобы параллельно<br>// обрабатывать и отправлять заказы<br>type OrderDispatcher struct {<br>	ordersCh   chan *Order<br>	orderLimit int // maximum number of orders the pool will process concurrently<br>}<br><br>// NewOrderDispatcher создает новый OrderDispatcher<br>func NewOrderDispatcher(orderLimit int, bufferSize int) OrderDispatcher {<br>	return OrderDispatcher{<br>		ordersCh:   make(chan *Order, bufferSize), // initiliaze as a buffered channel<br>		orderLimit: orderLimit,<br>	}<br>}<br><br>// SubmitOrder отправляет заказ на обработку<br>func (d OrderDispatcher) SubmitOrder(order *Order) {<br>	go func() {<br>		d.ordersCh &lt;- order<br>	}()<br>}<br><br>// Start запускает диспетчера в фоновом режиме<br>func (d OrderDispatcher) Start() {<br>	go d.processOrders()<br>}<br><br>// Shutdown отключает OrderDispatcher путем закрытия канала заказов<br>// Примечание: эта функция должна выполняться только после того, как последний заказ<br>// попадет в канал заказов. Отправка заказа в закрытый канал вызовет панику.<br>func (d OrderDispatcher) Shutdown() {<br>	close(d.ordersCh)<br>}<br><br>// processOrders обрабатывает все входящие заказы в фоновом режиме с помощью<br>// for-range и sync.waitGroup<br>func (d OrderDispatcher) processOrders() {<br>	limiter := make(chan struct{}, d.orderLimit)<br>	var wg sync.WaitGroup<br><br>	// Непрерывная обработка заказов, полученных из канала заказов<br>	// Этот цикл завершится после закрытия канала<br>	for order := range d.ordersCh {<br>		limiter &lt;- struct{}{}<br>		wg.Add(1)<br><br>		go func(order *Order) {<br>			// Что нужно сделать: запустить процесс выполнения, чтобы собрать заказ в пакет и отправить<br>			// Пока используем спящий режим и печать<br>			time.Sleep(50 * time.Millisecond)<br>			fmt.Printf(&quot;Order (%v) has shipped \n&quot;, order)<br>			&lt;-limiter<br>			wg.Done()<br>		}(order)<br>	}<br>	wg.Wait()<br>}<br><br>func main() {<br>	dispatcher := NewOrderDispatcher(3, 100)<br>	dispatcher.Start()<br>	defer dispatcher.Shutdown()<br><br>	dispatcher.SubmitOrder(&amp;Order{Items: []*Item{{Description: &quot;iPhone Screen Protector&quot;, Price: 9.99}}})<br>	dispatcher.SubmitOrder(&amp;Order{Items: []*Item{{Description: &quot;iPhone Case&quot;, Price: 19.99}}})<br>	dispatcher.SubmitOrder(&amp;Order{Items: []*Item{{Description: &quot;Pixel Case&quot;, Price: 14.99}}})<br>	dispatcher.SubmitOrder(&amp;Order{Items: []*Item{{Description: &quot;Bluetooth Speaker&quot;, Price: 29.99}}})<br>	dispatcher.SubmitOrder(&amp;Order{Items: []*Item{{Description: &quot;4K Monitor&quot;, Price: 159.99}}})<br>	dispatcher.SubmitOrder(&amp;Order{Items: []*Item{{Description: &quot;Inkjet Printer&quot;, Price: 79.99}}})<br>	<br>	time.Sleep(5 * time.Second) // just for testing<br>}</pre><h3>Эффективное модульное тестирование</h3><p>Несколько советов по модульному тестированию в Go.</p><ul><li><strong>Используйте чистые функции, а не методы. </strong>Это одна из самых простых единиц кода в плане тестирования. Чистая функция детерминирована и не требует инициализации для проверки. Метод — это функция, определенная по типу (type), например структуре. Чтобы его протестировать, нужно инициализировать его родительский тип. Пример показан ниже.</li></ul><pre>// Избегайте этого<br>type OrderTotaler struct {         <br>  items []*Item<br>}<br><br>// Это метод. Привязка его к структуре не приносит никакой пользы<br>// Структура должна быть инициализирована перед тестированием<br>// этого метода<br>func (t OrderTotaler) getOrderTotal() float32 {<br>	var total float32<br><br>	for _, item := range t.items {<br>		total += item.Price<br>	}<br><br>	return total<br>}<br><br>// Лучше попробуйте этот вариант. Это чистая функция<br>func getOrderTotal(items []*Item) float32 {<br>	var total float32<br><br>	for _, item := range items {<br>		total += item.Price<br>	}<br><br>	return total<br>}</pre><ul><li><strong>Создавайте функциональные зависимости.</strong><em> </em>Любую внешнюю зависимость (база данных, вызов веб-сервиса, производитель событий и прочие), которая позволяет функции выполнить задачу, можно внедрить в нее в качестве параметра. Но такие функции сложно тестировать. Обычно это обходится путем использования фреймворка тестирования, который способен изменять (имитировать) значения внешних зависимостей во время выполнения (с помощью отражения). Посмотрите еще раз на функцию validateOrder в одном из фрагментов кода выше и вы обнаружите, что внешние зависимости preAuthorizePayment и verifyInventory встроены. Протестировать ее будет непросто. Поскольку Go поддерживает функции первого класса, исправить это можно, превратив validateOrder в функцию более высокого порядка.</li></ul><pre>var (<br>  	ErrPreAuthorizationTimeout = errors.New(&quot;pre-authorization request timeout&quot;)<br>	ErrInventoryRequestTimeout = errors.New(&quot;check inventory request timeout&quot;)<br>	ErrItemOutOfStock = errors.New(&quot;sorry one or more items in your order is out of stock&quot;)<br>)<br><br>// Создает псевдонимы для внешних зависимостей<br>type preAuthorizePaymentFunc func(context.Context, *PaymentMethod, float32) error<br>type checkInventoryFunc func (context.Context, []*Item) (bool, error)<br><br><br>// Внедряет зависимости в качестве параметров в validateOrder<br>func validateOrder(ctx context.Context, items []*Item, payment *PaymentMethod,<br>     preAuthorizePayment preAuthorizePaymentFunc, checkInventory checkInventoryFunc) error {<br>	g, errCtx := errgroup.WithContext(ctx)<br><br>	g.Go(func() error {<br>		return preAuthorizePayment(errCtx, payment, getOrderTotal(items))<br>	})<br><br>	g.Go(func() error {<br>		itemsInStock, err := checkInventory(errCtx, items)<br>		if err != nil {<br>			return err<br>		}<br>		if !itemsInStock {<br>			return ErrItemOutOfStock<br>		}<br>		return nil<br>	})<br><br>	return g.Wait()<br>}</pre><p>Ниже показан пример тестового случая, в котором объединены все эти детали.</p><pre>import (<br>	&quot;context&quot;<br>	&quot;errors&quot;<br>	&quot;testing&quot;<br>)<br><br>func TestVerifyOrder(t *testing.T) {<br>	ctx := context.Background()<br>	iphoneScreenProtector := Item{Description: &quot;iPhone Screen Protector&quot;, Price: 9.99}<br>	iphoneCase := Item{Description: &quot;iPhone Case&quot;, Price: 19.99}<br><br>	// mock-функция внешней зависимости #1<br>	preAuth := func(ctx context.Context, payment *PaymentMethod, amount float32) error {<br>		if amount &lt;= 0 || payment.PaymentType == PaymentMethod_UNDEFINED {<br>			return errors.New(&quot;invalid pre authorization request&quot;)<br>		}<br>		return nil<br>	}<br><br>	// mock-функция внешней зависимости #2<br>	checkInv := func(ctx context.Context, items []*Item) (bool, error) {<br>		if len(items) == 0 {<br>			return false, errors.New(&quot;no items to check&quot;)<br>		}<br>		if len(items) == 1 &amp;&amp; items[0] == &amp;iphoneScreenProtector {<br>			return true, nil<br>		}<br>		return false, nil<br>	}<br><br>	t.Run(&quot;payment pre-authorization and inventory checks are successful&quot;, func(t *testing.T) {<br>		visaPayment := PaymentMethod{<br>			PaymentType:           PaymentMethod_VISA,<br>			PreAuthorizationToken: &quot;fooBarToken&quot;}<br><br>		// Здесь не нужны мок-фреймворки<br>		if err := validateOrder(ctx, []*Item{&amp;iphoneScreenProtector}, &amp;visaPayment, preAuth, checkInv); err != nil {<br>			t.Error(&quot;Expected nil, got &quot;, err)<br>		}<br>	})<br><br>	t.Run(&quot;error during payment pre-authorization&quot;, func(t *testing.T) {<br>		invalidPayment := PaymentMethod{<br>			PaymentType:           PaymentMethod_UNDEFINED,<br>			PreAuthorizationToken: &quot;fooBarToken&quot;}<br><br>		if err := validateOrder(ctx, []*Item{&amp;iphoneScreenProtector}, &amp;invalidPayment, preAuth, checkInv); err == nil {<br>			t.Error(&quot;Expected error, got nil&quot;)<br>		}<br>	})<br><br>	t.Run(&quot;item is out of stock&quot;, func(t *testing.T) {<br>		visaPayment := PaymentMethod{<br>			PaymentType:           PaymentMethod_VISA,<br>			PreAuthorizationToken: &quot;fooBarToken&quot;}<br><br>		if err := validateOrder(ctx, []*Item{&amp;iphoneCase}, &amp;visaPayment, preAuth, checkInv); err == nil {<br>			t.Error(&quot;Expected error, got nil&quot;)<br>		}<br>	})<br><br>	// Определите другие тестовые примеры и напишите их :-)<br>}</pre><ul><li><strong>Мок-фреймворки полезны, если использовать их как инструмент, а не основу. </strong>Несмотря на то, что внешние зависимости можно имитировать без сторонних библиотек, эти фреймворки все же значительно помогают в процессе модульного тестирования, например при выполнении тестовых утверждений.</li><li><strong>Пишите чистый код. </strong>Учитывайте, что его будут читать другие члены команды. Чистый код легко писать, понимать и тестировать. Как говорил Роб Пайк: “Чистый лучше, чем умный”.</li></ul><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/10711/">Опыт работы с Golang: путь проб и ошибок</a></li><li><a href="https://nuancesprog.ru/p/10447/">Обработка ошибок в Go</a></li><li><a href="https://nuancesprog.ru/p/11239/">Создание простого клиента RabbitMQ с помощью Go</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesproghumor">Telegram</a>, <a href="https://vk.com/nuancesprog">VK</a> и <a href="https://zen.yandex.ru/nuancesprog">Яндекс.Дзен</a></p><p><em>Перевод статьи</em><a href="https://georgefrancisjr.medium.com/">George Francis Jr</a>: <a href="https://levelup.gitconnected.com/the-golang-microservice-toolkit-7521516ee4b">The Go Microservice Toolkit</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b5b3fe277ba3" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/%D0%BD%D0%B0%D0%B1%D0%BE%D1%80-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2-go-%D0%B4%D0%BB%D1%8F-%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%8B-%D1%81-%D0%BC%D0%B8%D0%BA%D1%80%D0%BE%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D0%B0%D0%BC%D0%B8-b5b3fe277ba3">Набор инструментов Go для работы с микросервисами</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>