<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Olga Sayfudinova on Medium]]></title>
        <description><![CDATA[Stories by Olga Sayfudinova on Medium]]></description>
        <link>https://medium.com/@morningita?source=rss-7de5e942a449------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*rw82nDlUc9SrjXtu3R_21Q.jpeg</url>
            <title>Stories by Olga Sayfudinova on Medium</title>
            <link>https://medium.com/@morningita?source=rss-7de5e942a449------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 16:38:08 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@morningita/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Как ускорить навигацию командной строки ЖУРНАЛ]]></title>
            <link>https://medium.com/nuances-of-programming/%D0%BA%D0%B0%D0%BA-%D1%83%D1%81%D0%BA%D0%BE%D1%80%D0%B8%D1%82%D1%8C-%D0%BD%D0%B0%D0%B2%D0%B8%D0%B3%D0%B0%D1%86%D0%B8%D1%8E-%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D0%BE%D0%B9-%D1%81%D1%82%D1%80%D0%BE%D0%BA%D0%B8-%D0%B6%D1%83%D1%80%D0%BD%D0%B0%D0%BB-83a02f959f92?source=rss-7de5e942a449------2</link>
            <guid isPermaLink="false">https://medium.com/p/83a02f959f92</guid>
            <category><![CDATA[linux]]></category>
            <category><![CDATA[nuances-of-programming]]></category>
            <category><![CDATA[bash]]></category>
            <dc:creator><![CDATA[Olga Sayfudinova]]></dc:creator>
            <pubDate>Mon, 28 Feb 2022 12:02:55 GMT</pubDate>
            <atom:updated>2022-02-28T12:02:55.997Z</atom:updated>
            <content:encoded><![CDATA[<h3>Как ускорить навигацию командной строки</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Hywl-p0anbRwpVTUcqEs9w.png" /></figure><p>Знание полезных команд может творить чудеса. Мне часто приходится возиться с командными строками, помогая другим с отладкой кода и навигацией серверов, поэтому я прекрасно понимаю, каким огорчительным и трудоемким может оказаться этот процесс без знания полезных комбинаций.</p><p>Ниже вы найдете подборку полезных команд и их описание. Эти комбинации позволяют ускорить работу с командной строкой.</p><h3><strong>Повторный запуск под root — sudo !!</strong></h3><pre>user@host: cat /var/log/messages<br>cat /var/log/messages: Permission denied.</pre><p><strong>Как не надо:</strong> Вверх. Влево. Влево. Влево. …. sudo Enter. Рррр.<br><strong>Как надо: </strong>sudo !!</p><p>Это работает потому, что !! является командным символом-заполнителем для последней выполненной команды. Получается, что так вы сможете запустить последнюю команду под root без лишних нажатий на стрелки вверх и влево. Кстати, эта же команда прекрасно работает и без sudo. Но почему-то только для повторного запуска последней команды без изменений.</p><h3><strong>Повторный ввод последнего аргумента — Alt+</strong></h3><p>Вы захотели еще раз воспользоваться только что написанным аргументом? Например, созданной директорией?</p><p><strong>Как не надо: </strong>mkdir MyNewDirectory; cd MyNewDirectory<br><strong>Как надо:</strong></p><pre>mkdir MyNewDirectory<br>cd &lt;Alt+.&gt;</pre><h3><strong>Поиск запущенной команды — Ctrl+R</strong></h3><p>Какую же команду я только что запускал? Вверх. Вверх. Вверх. Вверх. О, вот и она!</p><p>Снова и снова вам приходится копаться в истории, ведь вы не знаете более подходящих альтернатив. Но что, если я скажу вам о том, что есть… поиск?</p><p><strong>Как не надо:</strong> Вверх. Вверх. Вверх. Enter.<br><strong>Как надо: </strong>Ctrl+R</p><p>Просто нажмите Ctrl+R и введите первые буквы нужной команды. Если поиск не выдал нужную команду сразу, то нажмите Ctrl+R еще раз. Повторное нажатие используется для прокрутки результатов. Ниже приведен поиск для cat.</p><pre>(reverse-i-search)cat: sudo cat /var/log/messages</pre><h3><strong>Переход в начальную директорию — cd</strong></h3><p>Вы не на шутку удивитесь, узнав, сколько людей не знают этого способа! cd. Да, так просто. Без лишних аргументов вы сразу попадете в начальную директорию.</p><h3><strong>Возвращение в последнюю директорию — </strong>cd -</h3><p>Иногда простой способ — самый лучший. Допустим, вы были в директории /var/www/foo, а теперь оказались в /etc . Простая команда cd — вернет вас обратно в /var/www/foo .</p><p><strong>Как не надо:</strong> cd /var/www/foo<br><strong>Как надо:</strong> cd -</p><h3><strong>Контроль работы: передний план, фоновый режим и проч.</strong></h3><p>Возможно, вам потребуется какое-то время, чтобы привыкнуть, но оно того стоит. Допустим, вы редактируете файл в vim (вы же не будете этого делать в nano, да?!). И вот вам вдруг захотелось что-то найти в директории /var/www/html. Конечно же, вы можете выйти из vim, перейти в нужную директорию, а потом вдруг решить, что неплохо было бы вернуться к редактированию. Есть и другой вариант — перевести vim в фоновый режим и вернуться к нему позже.</p><p><strong>Напишите:</strong> Ctrl+Z. Эта комбинация переводит все текущие задачи с переднего плана в фоновый режим. Полезно как минимум для: less, cat, man, vim и т.д.</p><p>«И куда же отправится моя активная задача?» — спросите вы. Напишите jobs и сами узнаете.</p><pre>user@host: jobs<br>[1] Stopped vim</pre><p>Супер. Теперь можно заняться чем-то другим. А как только вы решите вернуться к задаче, напишите fg. Эта команда возвращает фоновую задачу (vim) на передний план. Обратите внимание, что фоновые процессы приостанавливаются. Поэтому если в файле вы выполняли что-то из разряда tail, то для завершения команды потребуется какое-то время. Если же в фоновом режиме запущено несколько задач, то напишите fg 3 , где 3 — это номер задачи для возобновления. Увидеть список задач можно по команде jobs.</p><h3><strong>Ярлыки для часто используемых команд — eg netstatx</strong></h3><p>Если вы часто запускаете команду с одинаковыми аргументами, то сделайте для нее собственный ярлык. У меня таких ярлыков уже много. Как правило, в названии ярлыков я придерживаюсь следующей схемы &lt;название_команды&gt;x. То есть сначала идет обычное название команды, а потом добавляется x. Допустим, есть команда netstat. Я всегда выполняю ее с -n (только числовой адрес), -t (протокол TCP), -a (все), -u (протокол UDP) и -e (расширенный вывод). Получается легко читаемая команда netstat -ntaupe. А поскольку я — существо ленивое и могу забывать аргументы команды, то ярлык для netstatx я предпочту записать вот так:</p><pre>alias netstatx=”netstat -ntaupe”</pre><p>Опробуйте этот способ на всем, чем пользуетесь регулярно.</p><p><strong>Как не надо:</strong> netstat -ntaupe<br><strong>Как надо:</strong> netstatx (или любая другая команда, которой вы часто пользуетесь)</p><h3><strong>Заключение</strong></h3><p>Потратьте немного времени сейчас, чтобы экономить его в будущем. Это действительно упрощает жизнь :-)</p><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/11018/">Шпаргалка по основным командам Bash</a></li><li><a href="https://nuancesprog.ru/p/14153/">В чем Windows превосходит Linux</a></li><li><a href="https://nuancesprog.ru/p/12762/">5 Команд Linux, заставляющих ахнуть от удивления</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesprog">Telegram</a>, <a href="https://vk.com/nuancesprog">VK</a></p><p><em>Перевод статьи </em><a href="https://medium.com/@james.read"><em>James Read</em></a><em>: </em><a href="https://medium.com/james-reads-public-cloud-technology-blog/speed-up-your-command-line-navigation-d4050207f02c"><em>Speed up your command line navigation</em></a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=83a02f959f92" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/%D0%BA%D0%B0%D0%BA-%D1%83%D1%81%D0%BA%D0%BE%D1%80%D0%B8%D1%82%D1%8C-%D0%BD%D0%B0%D0%B2%D0%B8%D0%B3%D0%B0%D1%86%D0%B8%D1%8E-%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D0%BE%D0%B9-%D1%81%D1%82%D1%80%D0%BE%D0%BA%D0%B8-%D0%B6%D1%83%D1%80%D0%BD%D0%B0%D0%BB-83a02f959f92">Как ускорить навигацию командной строки ЖУРНАЛ</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Продвинутое функциональное программирования для науки о данных: создание архитектур кода с помощью…]]></title>
            <link>https://medium.com/nuances-of-programming/%D0%BF%D1%80%D0%BE%D0%B4%D0%B2%D0%B8%D0%BD%D1%83%D1%82%D0%BE%D0%B5-%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5-%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-%D0%B4%D0%BB%D1%8F-%D0%BD%D0%B0%D1%83%D0%BA%D0%B8-%D0%BE-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85-%D1%81%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5-%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80-%D0%BA%D0%BE%D0%B4%D0%B0-%D1%81-%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D1%8C%D1%8E-b38bbcbae022?source=rss-7de5e942a449------2</link>
            <guid isPermaLink="false">https://medium.com/p/b38bbcbae022</guid>
            <category><![CDATA[functional-programming]]></category>
            <category><![CDATA[nuances-of-programming]]></category>
            <category><![CDATA[jupyter-notebook]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[code-architecture]]></category>
            <dc:creator><![CDATA[Olga Sayfudinova]]></dc:creator>
            <pubDate>Mon, 17 Jan 2022 12:02:38 GMT</pubDate>
            <atom:updated>2022-01-17T12:02:38.571Z</atom:updated>
            <content:encoded><![CDATA[<h3>Создание архитектур кода с помощью функциональных операторов</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CpWoDwQ-uzsoCjPaS4Ksfg.png" /></figure><h3><strong>Введение</strong></h3><p>Из всех парадигм программирования для науки о данных лучше всего подходит функциональное программирование (ФП). Ключевая концепция функционального программирования — это <em>функция. </em>Отсюда же произошло и название парадигмы. Каждая функция принимает данные на вход, а на выходе возвращает их измененную версию. Например, функция mean берет серию чисел и возвращает их среднее значение. Главное здесь то, что функция не имеет <em>побочных эффектов</em>. То есть результат функции не меняет состояние за пределами функции, а внешнее состояние не влияет на результат. Все это делает функции ФП очень предсказуемыми: при определенных входных значениях результат всегда одинаков.</p><p>Так что, по идее, наши блокноты могут ограничиться двумя компонентами: данными и функциями, которые выполняют действия с данными. В большинстве случаев этих пунктов достаточно для создания блокнотов. Однако при написании более сложного кода (скажем, библиотеки sklearn) нам пригодятся и другие концепции ФП. Наша статья посвящена одной из таких концепций, а именно — функциональным операторам, которые являются функциями высшего порядка. Функциональный оператор принимает одну или несколько функций на вход, а на выходе возвращает новую функцию. Наглядным примером служит оператор индикатора прогресса. Этот оператор добавляет информацию о ходе процесса в любую функцию, обрабатывающую данные. Такие функциональные операторы расширяют наши возможности, позволяя создавать гибкий и повторно используемый код ФП.</p><p>Основная тема статьи — это создание функционального оператора vectorize, который может векторизовать любую существующую невекторизованную функцию. Вы узнаете:</p><ul><li>как создавать функциональные операторы в Python через замыкание;</li><li>как передавать любые входные параметры из одной функции в другую через *args и **kwargs;</li><li>как создавать функциональный оператор для векторизации;</li><li>как пользоваться операторами для создания четкой иерархии функций и функциональных операторов(по аналогии с иерархией классов в объектно-ориентированном программировании);</li><li>как использование функциональных операторов помогает писать чистый код в блокнотах.</li></ul><p>В первой части статьи мы создадим простой функциональный оператор и расширим его до векторизатора. В завершении статьи я поделюсь своими соображениями о том, как пользоваться функциональными операторами для создания архитектуры кода.</p><h3><strong>Создаем свой первый функциональный оператор</strong></h3><p>Чтобы облегчить себе задачу, создадим очень простой функциональный оператор. Он добавляет счетчик в функцию ввода и подсчитывает частоту вызова этой функции:</p><pre>def do_nothing():<br>    pass<br><br>def count_times_called(input_function):<br>    number_of_times_called = 0<br>    def internal_function(*args, **kwargs):<br>        nonlocal number_of_times_called, input_function<br>        print(number_of_times_called, end=&#39;.&#39;)<br>        number_of_times_called += 1<br>        return input_function(*args, **kwargs)<br>    return internal_function<br><br>do_nothing_times_called = count_times_called(do_nothing)<br>nothing = [do_nothing_times_called() for i in range(10)]</pre><p>Главная фишка в том, чтобы обернуть input_function в internal_function. При возвращении internal_function происходит вызов функции ввода, поэтому результат новой функции равен результату input_function. Поведение функции отличается лишь в паре строк: на экран выводится частота вызова функции, а счетчик увеличивается на единицу. Обратите внимание, что переменная number_of_times_called определяется вне области видимости internal_function. При использовании нелокальной перемененной мы можем получить к ней доступ за пределами функции. number_of_times_called является постоянной при всех вызовах функции, поскольку internal_function «помнит» свою начальную область видимости — count_times_called. В функциональном программировании такая техника называется <em>замыканием</em>.</p><p>Теперь у нас есть два класса функций: функция, которая выполняет операцию (do_nothing), и функциональный оператор, который изменяет свое поведение (count_times_called). Такой набор операторных функций и функциональных операторов позволяет выстраивать довольно сложную и гибкую иерархию функций, которую можно смешивать и сопоставлять при создании блокнотов. Наглядные примеры возможных функциональных операторов:</p><ul><li>индикатор прогресса. Для завершения операции берет функцию и количество ее вызовов. Например, у вас есть 25 файлов, которые нужно прочесть, и вы хотите видеть, сколько файлов уже прочитано. Кстати, такой функциональный оператор уже реализован в пакете <a href="https://github.com/tqdm/tqdm">tqdm</a>;</li><li>замедляющий функциональный оператор. Само по себе замедление кода кажется чем-то нелогичным. Но эта опция оказывается как нельзя кстати при изменении функции, которая вызывает API с ограниченным количеством вызовов в минуту;</li><li>функциональный оператор кэширования. Он хранит комбинации входных и выходных значений и возвращает кэшированную версию входного значения, если в кэше уже сохранен результат этой функции. Такой процесс называется <em>мемоизацией</em>;</li><li>оптимизация гиперпараметров через функциональный оператор перекрестной проверки (кросс-валидации). Такой оператор оборачивает подходящую функцию и ищет оптимальное значение заданных параметров. По сути, этим уже занимается <a href="https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html">GridSearchCV</a> в sklearn.</li></ul><h3><strong>Создание функционального оператора векторизации</strong></h3><p>При векторизации вы можете передать в качестве входного аргумента функции вектор, и эта функция выполнит нужное действие. Например, если вы передадите список файлов в функцию, которая поддерживает CSV, то она распознает все файлы. К сожалению, в pandas.read_csv такой поддержки нет. В данном разделе мы создадим функциональный оператор векторизации, который позволит нам обновить pandas.read_csv для передачи векторных файлов на вход.</p><p>Для начала создадим базовую версию функционального оператора векторизации. Во многом он будет похож на R-функцию <a href="https://stat.ethz.ch/R-manual/R-devel/library/base/html/Vectorize.html">Vectorize</a>:</p><pre>def vectorize(input_function, which_arg):<br>    def internal_function(**kwargs):<br>        nonlocal input_function, which_arg<br>        arg_vector = kwargs[which_arg]<br>        del kwargs[which_arg]<br>        return [input_function(**{which_arg: vector_element}, **kwargs) for vector_element in arg_vector]<br>    return internal_function</pre><p>Важнейшая часть кода — это генератор списка в конце internal_function. Именно он векторизует input_function за счет перебора входного значения в виде списка. Обратите внимание, что для создания правильного генератора списка, мы должны четко понимать, какие входные переменные необходимо векторизовать. Поэтому сначала берем подходящий аргумент из входного словаря (kwargs), а затем удаляем его из списка через del. Это позволяет нам корректно прописать вызов input_function с помощью генератора списка.</p><p>Применяем процедуру к read_csv:</p><pre>import glob<br>import pandas as pd<br><br>read_csv_vec = vectorize(pd.read_csv, &#39;filepath_or_buffer&#39;)<br>read_csv_vec(filepath_or_buffer = glob.glob(&#39;data/*&#39;))</pre><p>В этом коде мы получаем версию pandas.read_csv, в которую можно передать список файлов, а функция вернет список DataFrame с содержимым шести CSV-файлов. В отличие от Vectorize на R, здесь есть ряд ограничений:</p><ul><li>результат функции поддерживает только именованные аргументы. Это важно, поскольку аргумент для векторизации выбирается по названию;</li><li>функция не может векторизовать сразу несколько аргументов;</li><li>агрегация выходных значений не производится. Например, для автоматической конкатенации списка DataFrame в один большой фрейм данных.</li></ul><p>Код ниже добавляет этот последний пункт:</p><pre>def simplifier_pandas_DataFrame(list_of_dataframes):<br>    return pd.concat(list_of_dataframes)<br><br>def try_to_simplify(results):<br>    if all([isinstance(el, pd.DataFrame) for el in results]):<br>        return simplifier_pandas_DataFrame(results)<br>    else:<br>        return results<br><br>def vectorize(input_function, which_arg, simplify=True):<br>    def internal_function(**kwargs):<br>        nonlocal input_function, which_arg<br>        arg_vector = kwargs[which_arg]<br>        del kwargs[which_arg]<br>        results = [input_function(**{which_arg: vector_element}, **kwargs) for vector_element in arg_vector]<br>        if simplify:<br>            return try_to_simplify(results)<br>        else:<br>            return results<br>    return internal_function<br><br># новый векторизованный код <br>read_csv_vec(filepath_or_buffer = glob.glob(&#39;data/*&#39;))<br># vs <br>pd.concat([pd.read_csv(path) for path in glob.glob(&#39;data/*&#39;)])</pre><p>Теперь наш функциональный оператор добавляет векторизацию и агрегацию результата в один большой DataFrame. На мой взгляд, это придает большую выразительность pandas.read_csv: тот же результат, но меньше кода. Такая выразительность делает код в блокнотах более читабельным и точным.</p><p>Как вы уже заметили, код выше — куда более подробный, чем это требуется по канону. С тем же успехом я мог бы запросто воспользоваться pd.concat напрямую без функции try_to_simplify. Но текущая форма кода поддерживает различное упрощение, в зависимости от того, что возвращает функция.</p><h3><strong>Создание архитектуры кода через функциональный оператор</strong></h3><p>Использование данных, функций, выполняющих операции с данными, и функциональных операторов, выполняющих операции с функциями, помогает нам создавать весьма сложные архитектуры кода. Например, у нас есть функция read_csv, читающая данные, и функциональный оператор vectorize, который позволяет читать сразу несколько файлов. А если применить функциональный оператор индикатора прогресса к векторизованной функции read_csv, то можно следить за прогрессом чтения большого количества CSV-файлов:</p><pre>read_data = add_progress_bar(vectorize(pd.read_csv))</pre><p>В этом примере read_data является сложной функцией, которая сочетает в себе все свойства функции и функциональных операторов. Из большого набора функций и функциональных операторов можно создавать сложные функции. Это позволяет нам создавать простые и понятные компоненты, которые можно объединять в более сложный код. Архитектура кода, основанная на функциональных операторах, служит мощным инструментом в науке о данных.</p><p>Просмотреть код из статьи можно на <a href="https://github.com/PaulHiemstra/function_operator_article">странице GitHub</a></p><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/12019/">4 типа архитектуры программного обеспечения</a></li><li><a href="https://nuancesprog.ru/p/13047/">5 ведущих шаблонов проектирования распределенных систем</a></li><li><a href="https://nuancesprog.ru/p/3539/">Шаблоны функционального программирования. Рецепты</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesprog">Telegram</a>, <a href="https://vk.com/nuancesprog">VK</a> и <a href="https://zen.yandex.ru/nuancesprog">Яндекс.Дзен</a></p><p><em>Перевод статьи </em><a href="https://towardsdatascience.com/@p.h.hiemstra?source=post_page-----dd989cc3b0da----------------------"><em>Paul Hiemstra</em></a><em>: </em><a href="https://towardsdatascience.com/advanced-functional-programming-for-data-science-building-code-architectures-with-function-dd989cc3b0da"><em>Advanced functional programming for data science: building code architectures with function operators</em></a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b38bbcbae022" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/%D0%BF%D1%80%D0%BE%D0%B4%D0%B2%D0%B8%D0%BD%D1%83%D1%82%D0%BE%D0%B5-%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5-%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-%D0%B4%D0%BB%D1%8F-%D0%BD%D0%B0%D1%83%D0%BA%D0%B8-%D0%BE-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85-%D1%81%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5-%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80-%D0%BA%D0%BE%D0%B4%D0%B0-%D1%81-%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D1%8C%D1%8E-b38bbcbae022">Продвинутое функциональное программирования для науки о данных: создание архитектур кода с помощью…</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[GitHub-репозитории, о которых должен знать каждый разработчик]]></title>
            <link>https://medium.com/nuances-of-programming/github-%D1%80%D0%B5%D0%BF%D0%BE%D0%B7%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%B8-%D0%BE-%D0%BA%D0%BE%D1%82%D0%BE%D1%80%D1%8B%D1%85-%D0%B4%D0%BE%D0%BB%D0%B6%D0%B5%D0%BD-%D0%B7%D0%BD%D0%B0%D1%82%D1%8C-%D0%BA%D0%B0%D0%B6%D0%B4%D1%8B%D0%B9-%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%87%D0%B8%D0%BA-2ac938f54771?source=rss-7de5e942a449------2</link>
            <guid isPermaLink="false">https://medium.com/p/2ac938f54771</guid>
            <category><![CDATA[nuances-of-programming]]></category>
            <category><![CDATA[programming]]></category>
            <category><![CDATA[github]]></category>
            <category><![CDATA[repositories]]></category>
            <category><![CDATA[git]]></category>
            <dc:creator><![CDATA[Olga Sayfudinova]]></dc:creator>
            <pubDate>Thu, 06 Aug 2020 16:01:01 GMT</pubDate>
            <atom:updated>2020-08-06T16:01:01.075Z</atom:updated>
            <content:encoded><![CDATA[<h4>Подборка репозиториев, которые помогут вам стать разноплановым разработчиком</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*33XhCFg9gQc6SV2Y.png" /></figure><p>В данной статье мы поговорим о GitHub-репозиториях для разработчиков на любом языке. Здесь найдется все: от подкастов до бесплатных книг и иллюстраций для «дорожных карт».</p><h3><strong>1. Awesome Resources RoadMap</strong></h3><p><a href="https://github.com/lauragift21/awesome-learning-resources">Этот репозиторий</a> неспроста возглавляет мой список, ведь он — настоящий оплот знаний для любого разработчика. Здесь можно найти бесплатные книги по программированию, подкасты и даже онлайн-уроки по различным направлениям разработки и языкам программирования.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Ff7F4Bmywe1KtZeNGHvggQ.png" /></figure><p>Если вы хотите изучить новый язык или концепцию программирования, то этот репозиторий просто обязателен для посещения.</p><h3><strong>2. free-programming-books</strong></h3><p>Как следует из названия, <a href="https://github.com/EbookFoundation/free-programming-books">здесь</a> можно найти список бесплатных книг по любому языку или концепции программирования. Причем список этот весьма увесистый. Он уже набрал 143 000 звезд и 34 900 форков. Репозиторий доступен на многих языках и состоит, в основном, из книг по программированию.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*odq02EiYzhO9wURXZDjh6w.png" /></figure><h3><strong>3. Best-websites-a-programmer-should-visit</strong></h3><p>В процессе своего обучения вы посещаете множество сайтов, на которых получаете новые знания или углубляете уже существующие. <a href="https://github.com/sdmg15/Best-websites-a-programmer-should-visit">В этом репозитории</a> выложен просто гигантский список полезных сайтов. Здесь можно найти подкасты, новостные сайты, ресурсы по спортивному программированию, советы о том, чем заняться, когда скучно и т.д.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jNx-q-nIL4M-S0-6w6vx3A.png" /></figure><h3><strong>4. Project Guidelines</strong></h3><p>В <a href="https://github.com/elsewhencode/project-guidelines">этом репозитории</a> выложены лучшие примеры JS-проектов. Эти подсказки облегчат вашу работу по написанию и поддержке проектов и сократят объем возможных трудностей. Здесь же можно найти лучшие практики по Git, документации, окружению, зависимостям, тестированию и т.д.</p><p>Если вы хотите поделиться качественным примером или считаете, что какую-то рекомендацию следует удалить, то смело создавайте pull request.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zU5ZZr4mjfcgkTqWWZ4Qew.png" /></figure><h3><strong>5. App Ideas Collection</strong></h3><p>Бывало ли так, что вам хотелось создать что-то этакое, но вы не знали, как? Иногда писатели испытывают творческий кризис, но ему подвержены и разработчики. <a href="https://github.com/florinpop17/app-ideas">Этот репозиторий</a> предлагает список идей для приложений. Все идеи делятся на три категории, в зависимости от опыта в разработке.</p><p>Приложения из этой подборки помогают усовершенствовать навыки в программировании и познакомиться с новыми технологиями.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dqLt5dasm6P-gU8B1fnV2A.png" /></figure><h3><strong>6. JavaScript Algorithms and Data Structures</strong></h3><p>В мире технологий сейчас модно говорить об алгоритмах. Так что в них нужно разбираться. В этом <a href="https://github.com/trekhleb/javascript-algorithms">потрясающем репозитории</a> можно найти исчерпывающую информацию по теме.</p><p>Самое классное то, что каждый алгоритм написан на JavaScript и протестирован, поэтому изучать их стало еще проще.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/880/1*LE3bjsOEtO-okVf0ZZ1uxQ.png" /></figure><h3><strong>7. Web Developer Road Map</strong></h3><p>В <a href="https://github.com/kamranahmedse/developer-roadmap">этом репозитории</a> хранятся визуальные схемы для «дорожной карты» веб-разработчика. Такая карта нужна для того, чтобы вы понимали, как все устроено и куда двигаться дальше на случай, если запутаетесь в программе обучения.</p><p>Упрощенная версия для новичков находится в стадии разработки. Сама схема обновляется каждый год и отражает все новые тренды. Так что можно не сомневаться в актуальности информации.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TuChU6F0sin_9IgrpvaPrg.png" /></figure><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/8922/">Пять алиасов Git, без которых мне не прожить</a></li><li><a href="https://nuancesprog.ru/p/8891/">Способы публикации библиотеки JavaScript: CDN, NPM, GitHub</a></li><li><a href="https://nuancesprog.ru/p/8760/">Прекращайте пользоваться Git CLI</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesprog">телеграмме</a>, <a href="https://vk.com/nuancesprog">vk </a>и <a href="https://zen.yandex.ru/profile/editor/id/5ac0d9177ddde86d7b4d096a">Яндекс.Дзен</a></p><p><em>Перевод статьи</em><a href="https://medium.com/@mahdhirezvi"><em> Mahdhi Rezvi</em></a><em>: </em><a href="https://medium.com/better-programming/github-repos-that-every-developer-should-know-about-3f0bc8c316ba"><em>GitHub Repos That Every Developer Should Know About</em></a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2ac938f54771" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/github-%D1%80%D0%B5%D0%BF%D0%BE%D0%B7%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%B8-%D0%BE-%D0%BA%D0%BE%D1%82%D0%BE%D1%80%D1%8B%D1%85-%D0%B4%D0%BE%D0%BB%D0%B6%D0%B5%D0%BD-%D0%B7%D0%BD%D0%B0%D1%82%D1%8C-%D0%BA%D0%B0%D0%B6%D0%B4%D1%8B%D0%B9-%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%87%D0%B8%D0%BA-2ac938f54771">GitHub-репозитории, о которых должен знать каждый разработчик</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Сможете ли вы решить эти 3 «простые» задачи на Python?]]></title>
            <link>https://medium.com/nuances-of-programming/%D1%81%D0%BC%D0%BE%D0%B6%D0%B5%D1%82%D0%B5-%D0%BB%D0%B8-%D0%B2%D1%8B-%D1%80%D0%B5%D1%88%D0%B8%D1%82%D1%8C-%D1%8D%D1%82%D0%B8-3-%D0%BF%D1%80%D0%BE%D1%81%D1%82%D1%8B%D0%B5-%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%D0%B8-%D0%BD%D0%B0-python-d478ee8b75c9?source=rss-7de5e942a449------2</link>
            <guid isPermaLink="false">https://medium.com/p/d478ee8b75c9</guid>
            <category><![CDATA[nuances-of-programming]]></category>
            <category><![CDATA[coding]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[programming]]></category>
            <dc:creator><![CDATA[Olga Sayfudinova]]></dc:creator>
            <pubDate>Tue, 28 Jul 2020 12:01:01 GMT</pubDate>
            <atom:updated>2020-07-28T12:01:01.505Z</atom:updated>
            <content:encoded><![CDATA[<h4>Правильное решение вас удивит</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Wi2OA9FKd_wnvVJg.png" /></figure><p>Попробуйте решить эти задачи самостоятельно, а потом проверьте себя по готовым ответам.</p><p><strong>Подсказка:</strong> У всех задач есть нечто общее. Так что если разобраться в решении первой задачи, то решать остальные будет гораздо проще.</p><h3><strong>Задача 1</strong></h3><p>Представьте, что у вас есть несколько переменных:</p><pre>x = 1<br>y = 2<br>l = [x, y]<br>x += 5</pre><pre>a = [1]<br>b = [2]<br>s = [a, b]<br>a.append(5)</pre><p>Какой результат вам даст вывод l и s?</p><h3><strong>Задача 2</strong></h3><p>Давайте определим простую функцию:</p><pre>def f(x, s=set()):<br>    s.add(x)<br>    print(s)</pre><p>Что произойдет при вызове:</p><pre>&gt;&gt;f(7)<br>&gt;&gt;f(6, {4, 5})<br>&gt;&gt;f(2)</pre><p>?</p><h3><strong>Задача 3</strong></h3><p>Давайте определим две простые функции:</p><pre>def f():<br>    l = [1]<br>    def inner(x):<br>        l.append(x)<br>        return l<br>    return inner</pre><pre>def g():<br>    y = 1<br>    def inner(x):<br>        y += x<br>        return y<br>    return inner</pre><p>Какой результат вы получите при выполнении следующих команд?</p><pre>&gt;&gt;f_inner = f()<br>&gt;&gt;print(f_inner(2))</pre><pre>&gt;&gt;g_inner = g()<br>&gt;&gt;print(g_inner(2))</pre><p>Насколько вы уверены в своих ответах? Давайте узнаем правильное решение.</p><h3><strong>Решение задачи 1</strong></h3><pre>&gt;&gt;print(l)<br>[1, 2]</pre><pre>&gt;&gt;print(s)<br>[[1, 5], [2]]</pre><p>Почему второй список реагирует на изменение своего первого элемента a.append(5), а первый список полностью игнорирует похожее изменение x+=5?</p><h3><strong>Решение задачи 2</strong></h3><p>Давайте узнаем, что произойдет:</p><pre>&gt;&gt;f(7)<br>{7}</pre><pre>&gt;&gt;f(6, {4, 5})<br>{4, 5, 6}</pre><pre>&gt;&gt;f(2)<br>{2, 7}</pre><p>Стоп, а разве последний вывод не должен быть {2}?</p><h3><strong>Решение задачи 3</strong></h3><p>Результаты будут следующими:</p><pre>&gt;&gt;f_inner = f()<br>&gt;&gt;print(f_inner(2))<br>[1, 2]</pre><pre>&gt;&gt;g_inner = g()<br>&gt;&gt;print(g_inner(2))<br>UnboundLocalError: local variable ‘y’ referenced before assignment</pre><p>Но почему g_inner(2) не выводит 3? Как так вышло, что внутренняя функция f() запоминает свою внешнюю область видимости, а внутренняя функция g() — нет? Они же практически одинаковые!</p><h3><strong>Объяснение</strong></h3><p>Что, если я скажу вам, что столь странное поведение обусловлено разницей между <strong>изменяемыми</strong> и <strong>неизменяемыми</strong> объектами в Python?</p><p><strong>Изменяемые объекты </strong>(списки, наборы или словари) <strong>могут изменяться </strong>(мутировать) на месте. <strong>Неизменяемые объекты </strong>(целые числа, строки и кортежи) <strong>не могут изменяться</strong>. «Изменение» таких объектов приводит к созданию нового объекта.</p><h4><strong>Объяснение задачи 1</strong></h4><pre>x = 1<br>y = 2<br>l = [x, y]<br>x += 5</pre><pre>a = [1]<br>b = [2]<br>s = [a, b]<br>a.append(5)</pre><pre>&gt;&gt;print(l)<br>[1, 2]</pre><pre>&gt;&gt;print(s)<br>[[1, 5], [2]]</pre><p>Поскольку x является неизменяемым объектом, операция x+=5 не меняет исходный объект, а создает новый. Первый элемент списка все еще указывает на первоначальный объект, поэтому его значение остается прежним.</p><p>a — это изменяемый объект. Поэтому a.append(5) изменяет исходный объект, а список s «видит» эти изменения.</p><h4><strong>Объяснение задачи 2</strong></h4><pre>def f(x, s=set()):<br>    s.add(x)<br>    print(s)</pre><pre>&gt;&gt;f(7)<br>{7}</pre><pre>&gt;&gt;f(6, {4, 5})<br>{4, 5, 6}</pre><pre>&gt;&gt;f(2)<br>{2, 7}</pre><p>Первые два результата очевидны: сначала значение 7 добавляется к пустому множеству по умолчанию, и в результате получается {7}. Потом значение 6 добавляется к набору {4, 5}, и на выходе получается {4, 5, 6}.</p><p>Но затем происходит нечто странное: значение 2 добавляется не к стандартному пустому множеству, а к набору {7}. Почему? <strong>Стандартное значение необязательного параметра </strong><strong>s вычисляется только один раз, </strong>ведь только при первом вызове s запускается как пустое множество. А поскольку s является <strong>изменяемым объектом</strong>, то после вызова f(7) он изменяется на месте. Второй вызов f(6, {4, 5}) не влияет на исходный параметр, поскольку представленное множество {4, 5} скрывает его. Иначе говоря, {4, 5} является другой переменной. Третий вызов f(2) использует ту же переменную s, которая была в первом вызове. Но в этот раз s вызывается не как пустое множество, а со своим предыдущим значением {7}.</p><p>Вот почему <strong>вам не следует использовать изменяемые аргументы по умолчанию</strong>. В таком случае функция будет изменяться следующим образом:</p><pre>def f(x, s=None):<br><strong>    if s is None:<br>        s = set()</strong><br>    s.add(x)<br>    print(s)</pre><h4><strong>Объяснение задачи 3</strong></h4><pre>def f():<br>    l = [1]<br>    def inner(x):<br>        l.append(x)<br>        return l<br>    return inner</pre><pre>def g():<br>    y = 1<br>    def inner(x):<br>        y += x<br>        return y<br>    return inner</pre><pre>&gt;&gt;f_inner = f()<br>&gt;&gt;print(f_inner(2))<br>[1, 2]</pre><pre>&gt;&gt;g_inner = g()<br>&gt;&gt;print(g_inner(2))<br>UnboundLocalError: local variable ‘y’ referenced before assignment</pre><p>В этой задаче мы имеем дело с <strong>замыканием</strong>, при котором внутренние функции запоминают, как выглядело их внешнее пространство имен в момент определения. По крайней мере, они должны это делать. А вторая функция с завидной невозмутимостью делает вид, что никогда не слышала про внешнюю область видимости.</p><p>Почему так? Когда мы выполняем l.append(x), <strong>изменяемый </strong>объект, созданный в момент определения, <strong>изменяется</strong>, но переменная продолжает указывать на тот же адрес в памяти. Однако попытка изменить <strong>неизменяемую </strong>переменную во второй функции y += x приводит к тому, что y начинает указывать на другой адрес в памяти. Исходная y больше не запоминается, и возникает ошибка UnboundLocalError.</p><h3><strong>Заключение</strong></h3><p>В Python очень важно разграничивать изменяемые и неизменяемые объекты. Во избежание странного поведения кода (как в примерах выше) нужно помнить о главном:</p><ul><li><strong>не используйте изменяемые аргументы по умолчанию;</strong></li><li><strong>не пытайтесь изменять неизменяемые замкнутые переменные во внутренних функциях.</strong></li></ul><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/8875/">Как создавать и публиковать консольные приложения на Python</a></li><li><a href="https://nuancesprog.ru/p/8707/">Проверка типов в Python</a></li><li><a href="https://nuancesprog.ru/p/8572/">Attr — одна из лучших практик объектно-ориентированного Python</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesprog">телеграмме</a>, <a href="https://vk.com/nuancesprog">vk </a>и <a href="https://zen.yandex.ru/profile/editor/id/5ac0d9177ddde86d7b4d096a">Яндекс.Дзен</a></p><p><em>Перевод статьи</em><a href="https://levelup.gitconnected.com/@tomelisse"><em> Maria Fabiańska</em></a><em>: </em><a href="https://levelup.gitconnected.com/can-you-solve-these-3-seemingly-easy-python-problems-2c793967cd2c"><em>Can you solve these 3 (seemingly) easy Python problems?</em></a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d478ee8b75c9" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/%D1%81%D0%BC%D0%BE%D0%B6%D0%B5%D1%82%D0%B5-%D0%BB%D0%B8-%D0%B2%D1%8B-%D1%80%D0%B5%D1%88%D0%B8%D1%82%D1%8C-%D1%8D%D1%82%D0%B8-3-%D0%BF%D1%80%D0%BE%D1%81%D1%82%D1%8B%D0%B5-%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%D0%B8-%D0%BD%D0%B0-python-d478ee8b75c9">Сможете ли вы решить эти 3 «простые» задачи на Python?</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Как создавать и публиковать консольные приложения на Python]]></title>
            <link>https://medium.com/nuances-of-programming/%D0%BA%D0%B0%D0%BA-%D1%81%D0%BE%D0%B7%D0%B4%D0%B0%D0%B2%D0%B0%D1%82%D1%8C-%D0%B8-%D0%BF%D1%83%D0%B1%D0%BB%D0%B8%D0%BA%D0%BE%D0%B2%D0%B0%D1%82%D1%8C-%D0%BA%D0%BE%D0%BD%D1%81%D0%BE%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5-%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F-%D0%BD%D0%B0-python-6cb6a6513aa0?source=rss-7de5e942a449------2</link>
            <guid isPermaLink="false">https://medium.com/p/6cb6a6513aa0</guid>
            <category><![CDATA[programming]]></category>
            <category><![CDATA[web-scraping]]></category>
            <category><![CDATA[nuances-of-programming]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[python-programming]]></category>
            <dc:creator><![CDATA[Olga Sayfudinova]]></dc:creator>
            <pubDate>Sat, 25 Jul 2020 12:01:01 GMT</pubDate>
            <atom:updated>2020-07-25T12:01:01.037Z</atom:updated>
            <content:encoded><![CDATA[<h4><em>Подробное руководство по созданию и публикации консольных приложений на Python</em></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/1*kul_7yXP5IdmYnHWPCH3EA.png" /></figure><p>Консольные приложения — это те, которые вы запускаете в терминале. Скорее всего, вы уже пытались их создать. Или, по крайней мере, думали об их создании.</p><p>Но создание консольного приложения — это одно, а публикация его в репозиторий с открытым кодом (например, <a href="https://pypi.org/">PyPI</a>) — совсем другое. Хотя ни первое, ни второе не является чем-то запредельно трудным.</p><p>В этой статье я подробно расскажу, как можно создать простой CLI на Python и опубликовать его в PyPI.</p><h3><strong>Начало</strong></h3><p>Не так давно я занялся изучением уязвимостей open-source кода и понял, что хочу иметь в арсенале инструмент командной строки, который мог бы находить уязвимости напрямую из терминала. Уязвимости open-source кода обычно публикуются в открытых базах данных. Их можно найти на таких сайтах, как <a href="https://cve.mitre.org/">CVE</a>, <a href="https://nvd.nist.gov/">NVD</a>, <a href="http://vuln.whitesource.com/">WhiteSource Vuln</a> и т.д.</p><p>В этой статье мы создадим примитивный скрейпер для поиска и просмотра уязвимостей с сайта <a href="https://cve.mitre.org/">CVE</a>, обернем его в простое консольное приложение и опубликуем на PyPI.</p><p>Для начала нужно настроить среду разработки и установить необходимые модули. Я предлагаю установить виртуальную среду. Это простое решение, которое позволит избежать конфликтов между версиями модулей.</p><p>Для создания виртуальной среды можно воспользоваться командой python -m venv &lt;path/name&gt; (для Python 3) либо установить virtualenvwrapper с помощью pip install virtualenvwrapper и создать виртуальную среду virtualenv через mkvirtualenv -p /path/topython &lt;path/name&gt;.</p><p>После того, как виртуальная среда настроена и активирована, вы можете создать папку проекта и установить необходимые модули:</p><pre>mkvirtualenv -p /usr/bin/python cvecli-env<br>mkdir cvecli &amp;&amp; cd cvecli<br>mkdir cver &amp;&amp; touch setup.py &amp;&amp; touch README.md &amp;&amp; touch cver/__init__.py &amp;&amp; touch .gitignore<br>pip install requests beautifulsoup4 lxml twine click<br>pip freeze &gt; requirements.txt</pre><p>Как только все успешно запустилось, откройте свой проект в любом редакторе кода. Вы увидите похожую структуру:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/404/1*tON1iShxeiHzny2tzkLlog.png" /></figure><h3><strong>Создание веб-скрейпера</strong></h3><p>Для того, чтобы искать и просматривать уязвимости на сайте CVE, потребуется веб-скрейпер. Он поможет нам собирать информацию об уязвимостях. Мы создаем скрейпер в Requests и BeautifulSoup. Вот что будет делать наш скрейпер:</p><p>1. искать уязвимости;</p><p>2. получать информацию об уязвимости по ее названию на CVE.</p><p>Теперь откроем папку cver и создадим в ней файл под названием cve_scraper. Затем пропишем его базовые настройки:</p><pre>import requests<br>from bs4 from BeautifulSoup</pre><pre>SEARCH_URL = &quot;<a href="https://cve.mitre.org/cgi-bin/cvekey.cgi?keyword=python">https://cve.mitre.org/cgi-bin/cvekey.cgi?keyword=</a>&quot;</pre><pre>CVE_URL = &quot;<a href="https://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2020-8492">https://cve.mitre.org/cgi-bin/cvename.cgi?name=</a>&quot;</pre><pre>def get_html(url):<br>    request = requests.get(url)<br>    if request.status_code == 200:<br>        return request.content<br>    else:<br>        raise Exception(&quot;Bad request&quot;)</pre><pre>def search(s):<br>    pass</pre><pre>def lookup_cve(name):<br>    pass</pre><h4><strong>Поиск уязвимостей</strong></h4><p>Для поиска уязвимостей на CVE используется URL в следующем формате: <a href="https://cve.mitre.org/cgi-bin/cvekey.cgi?keyword=python">https://cve.mitre.org/cgi-bin/cvekey.cgi?keyword</a>=&lt;ключевое_слово&gt;. Такой формат позволяет извлекать список уязвимостей, соответствующих ключевому слову.</p><p>Например, через URL можно получить список всех уязвимостей, связанных с Python:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qIDzicYHz7sKll7yJ0wa4w.png" /></figure><p>Для извлечения данных открываем инструменты разработчика (Developer Console) и исследуем DOM-элемент с нужным представлением. Для этого кликните правой кнопкой по любому месту на странице и выберите “исследовать элемент” (inspect element) либо нажмите Ctrl + F12.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*szQAlrFE3lyn5hKBN0dfGQ.png" /></figure><p>Если вы присмотритесь к DOM-структуре выше, то увидите, что результаты представлены в виде таблицы, а каждое значение указано в отдельной строке под таблицей. Такие данные можно запросто извлечь:</p><pre>def search(s):    <br>    <br>    url = f&quot;{SEARCH_URL}{s}&quot;<br>    results=[]    <br>    html = get_html(url)<br>    soup = BeautifulSoup(html, &quot;lxml&quot;)<br>    result_rows = soup.select(&quot;#TableWithRules table tr&quot;)</pre><pre>    for row in result_rows: <br>        _row = {}    <br>        name = row.select_one(&quot;td a&quot;)<br>        description = row.select_one(&quot;td:nth-child(2)&quot;)</pre><pre>        if all([name, description]):</pre><pre>            _row[&quot;name&quot;] = name.text<br>            _row[&quot;url&quot;] = name.get(&quot;href&quot;)<br>            _row[&quot;description&quot;] = description.text</pre><pre>            results.append(_row)<br>    <br>    return results</pre><p>В коде выше мы:</p><p>1. отправляем запрос в SEARCH_URL с помощью Requests и получаем DOM-содержимое;</p><p>2. преобразуем DOM-содержимое в объекты BeautifulSoup. Это позволит нам выделять DOM-элементы с помощью CSS-селекторов, XPATH и других методов;</p><p>3. выделяем все tr под таблицей #TableWithRules. Выделяем первый столбец строки в качестве названия, а в качестве описания берем второй. Затем извлекаем текст.</p><h4><strong>Просмотр информации об уязвимостях</strong></h4><p>Чтобы просмотреть информацию об уязвимости, нужно взять ее CVE-ID и передать по этому адресу: <a href="https://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2020-8315">https://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-ID</a>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yaXkKYsEQfiyEVV_lLohig.png" /></figure><p>Откройте инструменты разработчика и исследуйте DOM-структуру.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nSLxGuzKR7QFgyMJ-IYGWw.png" /></figure><p>Такая структура чуть сложнее, поскольку в строках таблицы отсутствует ID или название класса. Поэтому нам нужно пройтись циклом по каждой строке и проверить, не является ли она подзаголовком. Если да, то следующий элемент берется в качестве содержимого-потомка. Каждый подзаголовок отображается в th, а его содержимое — в td.</p><pre>def lookup_cve(name):<br>    url = f&quot;{CVE_URL}{name}&quot;<br>    html = get_html(url)<br>    soup = BeautifulSoup(html, &quot;lxml&quot;)<br>    result_rows = soup.select(&quot;#GeneratedTable table tr&quot;)</pre><pre>subtitle = &quot;&quot;<br>    description = &quot;&quot;</pre><pre>raw_results = {}</pre><pre>for row in result_rows:<br>        head = row.select_one(&quot;th&quot;)<br>        if head:<br>           subtitle = head.text<br>        else:<br>            body = row.select_one(&quot;td&quot;)<br>            description = body.text.strip().strip(&quot;\n&quot;)<br>            raw_results[subtitle.lower()] = description   <br>            <br>    return raw_results</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dgWM1qNhoWfWUiMFnBhQug.png" /></figure><p>Готово! Мы успешно создали веб-скрейпер с CVE. Теперь добавим в него две функции (search и lookup_sve), которые будут искать уязвимости и получать информацию по ним через CVE-ID.</p><pre>import requests<br>from bs4 import BeautifulSoup<br><br>SEARCH_URL = &quot;https://cve.mitre.org/cgi-bin/cvekey.cgi?keyword=&quot;<br>CVE_URL = &quot;https://cve.mitre.org/cgi-bin/cvename.cgi?name=&quot;<br><br><br>def get_html(url):<br>    request = requests.get(url)<br>    if request.status_code == 200:<br>        return request.content<br>    else:<br>        raise Exception(&quot;Bad request&quot;)<br><br><br>def search(s):<br>    url = f&quot;{SEARCH_URL}{s}&quot;<br>    results=[]    <br>    html = get_html(url)<br>    soup = BeautifulSoup(html, &quot;lxml&quot;)<br>    result_rows = soup.select(&quot;#TableWithRules table tr&quot;)<br><br><br>    for row in result_rows: <br>        _row = {}    <br>        name = row.select_one(&quot;td a&quot;)<br>        description = row.select_one(&quot;td:nth-child(2)&quot;)<br>        if all([name, description]):<br><br>            _row[&quot;name&quot;] = name.text<br>            _row[&quot;url&quot;] = name.get(&quot;href&quot;)<br>            _row[&quot;description&quot;] = description.text<br><br>            results.append(_row)<br><br>    return results<br><br><br>def lookup_cve(name):<br>    url = f&quot;{CVE_URL}{name}&quot;<br>    html = get_html(url)<br>    soup = BeautifulSoup(html, &quot;lxml&quot;)<br>    result_rows = soup.select(&quot;#GeneratedTable table tr&quot;)<br><br>    subtitle = &quot;&quot;<br>    description = &quot;&quot;<br><br>    raw_results = {}<br><br>    for row in result_rows:<br>        head = row.select_one(&quot;th&quot;)<br>        if head:<br>           subtitle = head.text<br>        else:<br>            body = row.select_one(&quot;td&quot;)<br>            description = body.text.strip().strip(&quot;\n&quot;)<br>            raw_results[subtitle.lower()] = description   <br>            <br>    return raw_results</pre><h3><strong>Создание консольного приложения</strong></h3><p>Наш следующий шаг — структурирование и создание консольного приложения через библиотеку Click.</p><p>Click — это Python-пакет для создания красивых интерфейсов командной строки с минимальным количеством кода и возможностью компоновки. Это один из лучших Python-пакетов для создания CLI, и с ним очень удобно работать.</p><p>Click позволяет создавать интерфейсы командной строки любого уровня — от самых простых до навороченных (например, Heroku).</p><p>В нашем CLI мы реализуем две команды:</p><p>1. поиск уязвимости;</p><p>2. просмотр уязвимости.</p><p>В папке cver создаем файл под названием __main__.py и прописываем его базовые настройки:</p><pre>import sys<br>import click</pre><pre><a href="http://twitter.com/click">@click</a>.group()<br><a href="http://twitter.com/click">@click</a>.version_option(&quot;1.0.0&quot;)<br>def main():<br>    &quot;&quot;&quot;A CVE Search and Lookup CLI&quot;&quot;&quot;<br>    print(&quot;Hye&quot;)<br>    pass</pre><pre><a href="http://twitter.com/main">@main</a>.command()<br><a href="http://twitter.com/click">@click</a>.argument(&#39;keyword&#39;, required=False)<br>def search(**kwargs):<br>    &quot;&quot;&quot;Search through CVE Database for vulnerabilities&quot;&quot;&quot;<br>    click.echo(kwargs)<br>    pass</pre><pre><a href="http://twitter.com/main">@main</a>.command()<br><a href="http://twitter.com/click">@click</a>.argument(&#39;name&#39;, required=False)<br>def look_up(**kwargs):<br>    &quot;&quot;&quot;Get vulnerability details using its CVE-ID on CVE Database&quot;&quot;&quot;<br>    click.echo(kwargs)<br>    pass</pre><pre>if __name__ == &#39;__main__&#39;:<br>    args = sys.argv<br>    if &quot;--help&quot; in args or len(args) == 1:<br>        print(&quot;CVE&quot;)<br>    main()</pre><h4><strong>Поиск уязвимостей</strong></h4><p>Здесь мы будем импортировать функцию поиска search из веб-скрейпера и передавать ей аргумент keyword из командной строки. Таким образом, приложение будет искать уязвимости, совпадающие с ключевым словом:</p><pre>from scraper import search as cve_search, lookup_cve</pre><pre><a href="http://twitter.com/main">@main</a>.command()<br><a href="http://twitter.com/click">@click</a>.argument(&#39;keyword&#39;, required=False)<br>def search(**kwargs):<br>    &quot;&quot;&quot;Search through CVE Database for vulnerabilities&quot;&quot;&quot;<br>    results = cve_search(kwargs.get(&quot;keyword&quot;))<br>    for res in results:<br>        click.echo(f&#39;{res[&quot;name&quot;]} - {res[&quot;url&quot;]} \n{res[&quot;description&quot;]}&#39;)</pre><p>Для запуска этой команды:</p><pre>python cver/__main__.py search python</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SWDyoATv-4JrVAz2-ZBJtA.png" /></figure><h4><strong>Просмотр уязвимости</strong></h4><p>Принцип тот же: используем lookup_cve из веб-скрейпера и передаем туда аргумент name из команды look_up.</p><pre><a href="http://twitter.com/main">@main</a>.command()<br><a href="http://twitter.com/click">@click</a>.argument(&#39;name&#39;, required=False)<br>def look_up(**kwargs):<br>    &quot;&quot;&quot;Get vulnerability details using its CVE-ID on CVE Database&quot;&quot;&quot;<br>    details = lookup_cve(kwargs.get(&quot;name&quot;))<br>    click.echo(f&#39;CVE-ID \n\n{details[&quot;cve-id&quot;]}\n&#39;)<br>    click.echo(f&#39;Description \n\n{details[&quot;description&quot;]}\n&#39;)<br>    click.echo(f&#39;References \n\n{details[&quot;references&quot;]}\n&#39;)<br>    click.echo(f&#39;Assigning CNA \n\n{details[&quot;assigning cna&quot;]}\n&#39;)<br>    click.echo(f&#39;Date Entry \n\n{details[&quot;date entry created&quot;]}&#39;)</pre><p>Для запуска этой команды:</p><pre>python cver/__main__.py look-up CVE-2013–4238</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GLPgrZOHirHPq8C3fc8JIA.png" /></figure><p>Готово! Мы успешно создали инструмент командной строки по поиску с CVE.</p><h3><strong>Публикация консольного приложения на PyPI</strong></h3><p>После того, как мы создали консольное приложение и убедились в его работоспособности, можно опубликовать его на PyPI в публичном доступе.</p><p>PyPI — это хранилище приложений для пакетов Python. Там можно найти практически все пакеты, которые устанавливаются через pip. Для публикации пакета потребуется аккаунт на PyPI. Если он у вас уже есть, то смело читайте дальше.</p><h4><strong>Настройка пакета</strong></h4><p>Следующий шаг — это настройка Python-пакета с помощью setup.py. Если вы хотите, чтобы ваш пакет попал на PyPI, то нужно снабдить его базовым описанием. Эта информация указывается в файле setup.py.</p><p>Откройте setup.py в основной директории проекта и поместите в начало файла следующий код:</p><pre>from setuptools import setup, find_packages<br>from io import open<br>from os import path</pre><pre>import pathlib<br># Директория, в которой содержится этот файл<br>HERE = pathlib.Path(__file__).parent</pre><pre># Текст README-файла<br>README = (HERE / &quot;README.md&quot;).read_text()</pre><pre># Автоматически собирает в requirements.txt все модули для install_requires, а также настраивает ссылки на зависимости<br>with open(path.join(HERE, &#39;requirements.txt&#39;), encoding=&#39;utf-8&#39;) as f:<br>    all_reqs = f.read().split(&#39;\n&#39;)</pre><pre>install_requires = [x.strip() for x in all_reqs if (&#39;git+&#39; not in x) and (<br>    not x.startswith(&#39;#&#39;)) and (not x.startswith(&#39;-&#39;))]<br>dependency_links = [x.strip().replace(&#39;git+&#39;, &#39;&#39;) for x in all_reqs \<br>                    if &#39;git+&#39; not in x]</pre><p>В примере выше мы преобразовали содержимое файла README.md в одну строку для дальнейшего использования. Кроме того, мы перечислили все необходимые модули из requirements.txt и сгенерировали ссылки на их зависимости.</p><p>Ваш файл requirements.txt выглядит примерно так:</p><pre>click<br>requests<br>beautifulsoup4<br>lxml<br>twine</pre><p>Теперь давайте рассмотрим параметры настроек:</p><pre>setup (<br> name = &#39;cver&#39;,<br> description = &#39;A simple commandline app for searching and looking up opensource vulnerabilities&#39;,<br> version = &#39;1.0.0&#39;,<br> packages = find_packages(), # list of all packages<br> install_requires = install_requires,<br> python_requires=&#39;&gt;=2.7&#39;, # any python greater than 2.7<br> entry_points=&#39;&#39;&#39;<br>        [console_scripts]<br>        cver=cver.__main__:main<br>    &#39;&#39;&#39;,<br> author=&quot;Oyetoke Toby&quot;,<br> keyword=&quot;cve, vuln, vulnerabilities, security, nvd&quot;,<br> long_description=README,<br> long_description_content_type=&quot;text/markdown&quot;,<br> license=&#39;MIT&#39;,<br> url=&#39;<a href="https://github.com/CITGuru/cver/&#39;">https://github.com/CITGuru/cver&#39;</a>,</pre><pre> download_url=&#39;<a href="https://github.com/CITGuru/cver/archive/1.0.0.tar.gz&#39;">https://github.com/CITGuru/cver/archive/1.0.0.tar.gz&#39;</a>,<br>  dependency_links=dependency_links,<br>  <a href="/service/mailto:author_email=&#39;oyetoketoby80@gmail.com">author_email=&#39;oyetoketoby80@gmail.com</a>&#39;,<br>  classifiers=[<br>        &quot;License :: OSI Approved :: MIT License&quot;,<br>        &quot;Programming Language :: Python :: 2.7&quot;,<br>        &quot;Programming Language :: Python :: 3&quot;,<br>        &quot;Programming Language :: Python :: 3.7&quot;,<br>    ]<br>)</pre><p>В коде выше мы добавили множество строк. Но подробнее обсудим только те из них, которые нужны для установки.</p><p>1. name — название пакета, которое появится на PyPI;</p><p>2. version — текущая версия пакета;</p><p>3. packages — пакеты и подпакеты с исходным кодом. В ходе установки мы пользуемся модулем find_packages. Он автоматически находит все подпакеты;</p><p>4. install_requires — используется для перечисления всех зависимостей или сторонних библиотек пакета. В cver мы пользуемся Requests, Beautifulsoup 4 и Click. Их нужно включить в требования к установке install_requires. Нам не нужно добавлять эту информацию вручную, поскольку она присутствует в requirements.txt;</p><p>5. entry_points — используется для создания скриптов, которые вызывают функцию внутри пакета. В данном случае мы создаем новый скрипт cver, который вызывает main() внутри файла cver/__main__.py. Наш основной элемент — это __main__.py, который вызывает функцию main() для запуска Click.</p><p>До того, как опубликовать пакет на PyPI или выложить в открытый доступ, необходимо снабдить его документацией. То, как будет выглядеть документация, целиком и полностью зависит от самого проекта. Это может быть как простой файл README.md, так и Readme.rst.</p><p>Пример хорошо оформленного README.md:</p><pre># CVER</pre><pre>A simple commandline app for searching and looking up opensource vulnerabilities</pre><pre># Установка</pre><pre>## Через Pip</pre><pre>```bash<br>  $ pip install cver<br>```</pre><pre>## Вручную</pre><pre>```bash<br>  $ git clone <a href="https://github.com/citguru/cevr">https://github.com/citguru/cevr</a><br>  $ cd cver<br>  $ python setup.py install<br>```</pre><pre># Использование</pre><pre>```bash<br>$ cver<br>```</pre><pre>## Поиск<br>`search &lt;keyword&gt;`</pre><pre>```bash<br>$ cver search python<br>```<br>## Просмотр</pre><pre>`search &lt;name&gt;`</pre><pre>```bash<br>$ cver look-up CVE-2020-2121<br>```</pre><p>Кроме того, не забудьте создать файл .gitignore:</p><pre># Байтовая компиляция / оптимизация / DLL-файлы<br>__pycache__/<br>*.py[cod]<br>*$py.class<br><br># C-расширения<br>*.so<br><br># Сборка дистрибутива / пакета<br>.Python<br>build/<br>develop-eggs/<br>dist/<br>downloads/<br>eggs/<br>.eggs/<br>lib/<br>lib64/<br>parts/<br>sdist/<br>var/<br>wheels/<br>*.egg-info/<br>.installed.cfg<br>*.egg<br>MANIFEST<br><br># PyInstaller<br># Обычно такие файлы пишутся Python-скриптом по шаблону<br># до того, как PyInstaller создаст exe. Это нужно для добавления в файл даты и прочей информации.<br>*.manifest<br>*.spec<br><br># Логи установщика<br>pip-log.txt<br>pip-delete-this-directory.txt<br><br># Модульные тесты / отчеты по покрытию<br>htmlcov/<br>.tox/<br>.coverage<br>.coverage.*<br>.cache<br>nosetests.xml<br>coverage.xml<br>*.cover<br>.hypothesis/<br>.pytest_cache/<br><br># Переводы<br>*.mo<br>*.pot<br><br># Всякое на Django:<br>*.log<br>local_settings.py<br>db.sqlite3<br><br># Всякое на Flask:<br>instance/<br>.webassets-cache<br><br># Всякое на Scrapy:<br>.scrapy<br><br># Sphinx-документация<br>docs/_build/<br><br># PyBuilder<br>target/<br><br># Jupyter Notebook<br>.ipynb_checkpoints<br><br># pyenv<br>.python-version<br><br># Schedule-файл Celery Beat <br>celerybeat-schedule<br><br># Проанализированные файлы SageMath<br>*.sage.py<br><br># Окружения<br>.env<br>.venv<br>env/<br>venv/<br>ENV/<br>env.bak/<br>venv.bak/<br><br># Настройки Spyder Project<br>.spyderproject<br>.spyproject<br><br># Настройки Rope Project<br>.ropeproject<br><br># Документация mkdocs<br>/site<br><br># mypy<br>.mypy_cache/</pre><p>Вот и все.</p><pre>from setuptools import setup, find_packages<br>from io import open<br>from os import path<br><br>import pathlib<br># Директория, в которой содержится этот файл<br>HERE = pathlib.Path(__file__).parent<br><br># Текст README-файла<br>README = (HERE / &quot;README.md&quot;).read_text()<br><br># Автоматически собирает в requirements.txt все модули для install_requires<br>with open(path.join(HERE, &#39;requirements.txt&#39;), encoding=&#39;utf-8&#39;) as f:<br>    all_reqs = f.read().split(&#39;\n&#39;)<br><br>install_requires = [x.strip() for x in all_reqs if (&#39;git+&#39; not in x) and (<br>    not x.startswith(&#39;#&#39;)) and (not x.startswith(&#39;-&#39;))]<br>dependency_links = [x.strip().replace(&#39;git+&#39;, &#39;&#39;) for x in all_reqs \<br>                    if &#39;git+&#39; not in x]<br>setup (<br> name = &#39;cver&#39;,<br> description = &#39;A simple commandline app for searching and looking up opensource vulnerabilities&#39;,<br> version = &#39;1.0.0&#39;,<br> packages = find_packages(), # list of all packages<br> install_requires = install_requires,<br> python_requires=&#39;&gt;=2.7&#39;, # any python greater than 2.7<br> entry_points=&#39;&#39;&#39;<br>        [console_scripts]<br>        cver=cver.__main__:main<br>    &#39;&#39;&#39;,<br> author=&quot;Oyetoke Toby&quot;,<br> keyword=&quot;cve, vuln, vulnerabilities, security, nvd&quot;,<br> long_description=README,<br> long_description_content_type=&quot;text/markdown&quot;,<br> license=&#39;MIT&#39;,<br> url=&#39;https://github.com/CITGuru/cver&#39;,<br> download_url=&#39;https://github.com/CITGuru/cver/archive/1.0.0.tar.gz&#39;,<br>  dependency_links=dependency_links,<br>  author_email=&#39;oyetoketoby80@gmail.com&#39;,<br>  classifiers=[<br>        &quot;License :: OSI Approved :: MIT License&quot;,<br>        &quot;Programming Language :: Python :: 2.7&quot;,<br>        &quot;Programming Language :: Python :: 3&quot;,<br>        &quot;Programming Language :: Python :: 3.7&quot;,<br>    ]<br>)</pre><h4><strong>Публикация на PyPI</strong></h4><p>Теперь ваш пакет готов к публикации на PyPI. Еще раз проверьте, есть ли у вас уже аккаунт на PyPI. Добавьте к нему тестовый аккаунт на <a href="https://test.pypi.org/">тестовом сервере PyPI</a>. Этот аккаунт нужен для тестирования пакетов перед публикацией их на рабочем сервере.</p><p>Загружать Python-пакеты на PyPI мы будем с помощью специального инструмента — <a href="https://packaging.python.org/tutorials/packaging-projects/">Twine</a>. По идее, вы уже установили его на одном из предыдущих этапов. Если нет, то это можно сделать через pip install twine.</p><h4><strong>Создание и локальное тестирование пакета на тестовом сервере</strong></h4><p>Python-пакеты, опубликованные на PyPI, не распространяются в виде «голого» кода. Они оборачиваются в дистрибутивы. Самыми распространенными форматами дистрибутивов в Python являются Wheels и Source Archives.</p><p>Wheels — это zip-архив с кодом и готовыми расширениями. Source Archives содержит исходный код и вспомогательные файлы, упакованные в tar-архив.</p><p>Для локального тестирования пакета выполните:</p><pre>python setup.py install</pre><p>Теперь мы можем использовать его как:</p><pre>cver search python</pre><p>Для проверки пакета на тестовом сервере PyPI нужно сгенерировать сборку для локального тестирования. При создании этой сборки сгенерируются архивы Wheels и Source Archives.</p><p>Создание сборки:</p><pre>python setup.py sdist bdist_wheel</pre><p>Код ниже сгенерирует два файла в директории dist:</p><pre>cvecli/<br>│<br>└── dist/<br>    ├── cver-1.0.0-py3-none-any.whl<br>    └── cver-1.0.0.tar.gz</pre><p>Затем воспользуемся Twine. Теперь мы можем загрузить пакет на тестовый сервер PyPI:</p><pre>twine upload — repository-url <a href="https://test.pypi.org/legacy/">https://test.pypi.org/legacy/</a> dist/*</pre><p>Затем у вас спросят логин и пароль.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KuVLs6joJC8HFtZ_IW2bJw.png" /></figure><p>Если пакет загружается на тестовый сервер без ошибок, то он готов к публикации на рабочем сервере. Проверить можно <a href="https://test.pypi.org/project/cver/1.0.0/">здесь</a>.</p><p>Для установки из TestPyPI выполните следующую команду:</p><pre>pip install -i <a href="https://test.pypi.org/simple/">https://test.pypi.org/simple/</a> cver==1.0.0</pre><p>В тестовой среде вы можете проверить все команды и убедиться в их правильности перед публикацией пакета на рабочем сервере.</p><p>Протестировав все команды локально, переходите к публикации пакета на рабочем сервере:</p><pre>twine upload dist/*</pre><p>В процессе загрузки укажите свой логин и пароль. Вот и все!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*r96UkFQnAD-FAQjOYRJoCg.png" /></figure><p>Теперь пакет можно установить через:</p><pre>pip install cver</pre><p>Поздравляю! Ваш пакет был опубликован на PyPI. Просмотреть его можно <a href="https://pypi.org/project/cver/1.0.0/">здесь</a>!</p><h3><strong>Заключение</strong></h3><p>В этой статье я пошагово объяснил процесс создания и публикации консольного приложения на Python.</p><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/8707/">Проверка типов в Python</a></li><li><a href="https://nuancesprog.ru/p/8572/">Attr — одна из лучших практик объектно-ориентированного Python</a></li><li><a href="https://nuancesprog.ru/p/8407/">15 Python пакетов, которые нужно попробовать</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesprog">телеграмме</a>, <a href="https://vk.com/nuancesprog">vk </a>и <a href="https://zen.yandex.ru/profile/editor/id/5ac0d9177ddde86d7b4d096a">Яндекс.Дзен</a></p><p><em>Перевод статьи</em> <a href="https://towardsdatascience.com/@oyetoketoby80">Oyetoke Tobi Emmanuel</a>: <a href="https://towardsdatascience.com/how-to-build-and-publish-command-line-applications-with-python-96065049abc1">How to Build And Publish Command-Line Applications With Python</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6cb6a6513aa0" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/%D0%BA%D0%B0%D0%BA-%D1%81%D0%BE%D0%B7%D0%B4%D0%B0%D0%B2%D0%B0%D1%82%D1%8C-%D0%B8-%D0%BF%D1%83%D0%B1%D0%BB%D0%B8%D0%BA%D0%BE%D0%B2%D0%B0%D1%82%D1%8C-%D0%BA%D0%BE%D0%BD%D1%81%D0%BE%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5-%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F-%D0%BD%D0%B0-python-6cb6a6513aa0">Как создавать и публиковать консольные приложения на Python</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Прекращайте пользоваться Git CLI]]></title>
            <link>https://medium.com/nuances-of-programming/%D0%BF%D1%80%D0%B5%D0%BA%D1%80%D0%B0%D1%89%D0%B0%D0%B9%D1%82%D0%B5-%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D1%82%D1%8C%D1%81%D1%8F-git-cli-155609fdcafe?source=rss-7de5e942a449------2</link>
            <guid isPermaLink="false">https://medium.com/p/155609fdcafe</guid>
            <category><![CDATA[github]]></category>
            <category><![CDATA[nuances-of-programming]]></category>
            <category><![CDATA[cli]]></category>
            <category><![CDATA[git]]></category>
            <category><![CDATA[programming]]></category>
            <dc:creator><![CDATA[Olga Sayfudinova]]></dc:creator>
            <pubDate>Tue, 14 Jul 2020 16:01:01 GMT</pubDate>
            <atom:updated>2020-07-14T16:01:01.891Z</atom:updated>
            <content:encoded><![CDATA[<h4>Переходите на Git GUI, узнавайте больше о Git и забудьте о случайных отправках в master</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9NSsS72HDD_JtTvpHVHOZQ.jpeg" /></figure><p>Если вы разработчик, то, должно быть, уже пользуетесь Git. Если нет, то, надеюсь, используете другой инструмент для контроля версий!</p><p>При работе с Git обычно пользуются CLI или GUI, в который заворачивается весь нужный функционал. Тут стоит добавить: пользоваться <em>хорошим </em>GUI в разы лучше.</p><h3><strong>О, мои глаза…</strong></h3><p>Первый плюс GUI заключается в том, что вы получаете <em>Graphical User Interface</em> — настоящий графический интерфейс, созданный специально для вас. Разработчики написали GUI, чтобы облегчить жизнь других разработчиков. С этим не поспоришь. Как только вы приловчитесь работать с GUI, то сможете по-новому взглянуть на свою базу кода.</p><p>Поэтому мне бы хотелось познакомить вас с моим любимым Git GUI — GitKraken:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KC8q_visIN55Uhrikne8Pg.gif" /><figcaption><a href="https://support.gitkraken.com/start-here/interface/">GitKraken Support</a></figcaption></figure><p>Если вы уже не первый день работаете с Git, то, надеюсь, этот GUI станет усладой для ваших глаз. С ним вы сможете просмотреть все коммиты из базы кода, удаленные ветки, слияния и теги.</p><p>И сделано это очень красиво. С таким представлением видны любые изменения, в т.ч. критические (например, в ветке master).</p><p>Возможность быстро увидеть все изменения в коде сильно повлияла на эффективность моей работы. Так сложилось, что в нашей компании все слияния с master выделялись в виде новой сборки. И вдруг мы перестали получать эти сборки. Вместо этого, тестировщик запостил изменения в публичном канале. Я смог перейти к последнему тегу с нашей рабочей сборкой, а затем очень быстро прошелся по всем коммитам — строчка за строчкой. Очень важно было найти критическое изменение. Я открыл pull request, быстро все исправил и заслужил свои пять минут славы. Но все это было заслугой GitKraken!</p><h3><strong>Не шутите с командами</strong></h3><p>Кроме того, я не трачу время на написание названий веток и запоминание (или не запоминание!) Git-команд.</p><p>Еще один плюс GUI в том, что он более устойчив к ошибкам. Вам проще видеть, в какой ветке вы находитесь, и была ли она закоммичена. Тем самым снижается вероятность случайной отправки изменений в master! Я прекрасно знаю, как круто писать всякие команды в CLI. Но каждый раз при печати вы можете допустить ошибку или забыть, в какой ветке находитесь.</p><h3><strong>Узнайте больше об инструментах</strong></h3><p>К слову о Git, когда вы в последний раз открывали документацию или изучали что-то новое? Я — почти никогда. Хотя до сих пор учусь… но делаю это с помощью GitKraken. Например, вот что появится, если кликнуть правой кнопкой по коммиту:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/356/1*ZssSo7fC_twKD2BMdDvGsQ.png" /></figure><p>Знаете ли вы, что означает каждая из этих опций? А вы вообще в курсе, что Git все это умеет? Git — это крайне мощный инструмент с гигантской областью применения. Но при работе в CLI вы ограничиваетесь лишь парочкой нужных команд (commit, push, branch), забывая об остальных возможностях Git.</p><p>Быть может, тонкости Git вам не до конца понятны?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/594/1*p4CF0_Yk6B5P-ctn5GcEbA.png" /><figcaption>Чем отличаются эти четыре опции?</figcaption></figure><p>В UI доступны разные способы для получения кода с удаленного репозитория. Вы можете запросто погуглить отдельные типы отправок изменений (pull). Я и сам не знал, что такие типы существуют! Если вам интересно, почитайте <a href="https://git-scm.com/docs/git-pull">документацию</a>.</p><p>Узнав, на что действительно способен Git, я научился переносить коммиты в другие ветки (cherry-pick), создавать ветки demo, проводить слияния веток и вообще работать без опасений все испортить.</p><h3><strong>Долой стереотипы</strong></h3><p>Надеюсь, вам самим захотелось поработать с GUI. Если вы дочитали до этого места, то, скорее всего, уже готовы попробовать. Однако для большинства разработчиков момент еще не настал. Почему-то у таких людей существует некий блок, мешающий им перейти на Git GUI. Например, стереотипы о том, что это не «круто». Все мы хотим чувствовать себя этакими мега-крутыми хакерами. Ведь это — одна из причин, почему мы вообще связали свою жизнь с программированием.</p><p>Однако не стоит загонять себя в строгие рамки. В конце концов, вы же не будете писать все на древнем языке программирования только в силу привычки. Хорошие инженеры так не поступают!</p><p>Еще мне кажется, что люди смотрят на GUI свысока, видя в нем «танцы с бубном». Профи работают с CLI. Ну, профессионалы не допускают ошибок. И это, пожалуй, самый главный плюс GUI.</p><p>Рискну даже сказать, что освоить Git на приличном уровне — в разы важнее, чем выучить новый язык программирования. Все-таки управление исходным кодом — это навык, который используется во всей разработке, вне зависимости от языка.</p><p>Не поддавайтесь влиянию общественности и не загоняйте себя в рамки. Пользоваться GUI — это нормально. Пользоваться CLI — это тоже нормально. Просто признайте, что вам нравится CLI, потому что писать команды в разы веселее.</p><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/8627/">Использование хуков Git для улучшения процесса разработки</a></li><li><a href="https://nuancesprog.ru/p/8563/">Воссоздание графика вклада GitHub с помощью Flask и Google Sheets</a></li><li><a href="https://nuancesprog.ru/p/8276/">4 новых продукта GitHub, которые изменят код</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesprog">телеграмме</a>, <a href="https://vk.com/nuancesprog">vk </a>и <a href="https://zen.yandex.ru/profile/editor/id/5ac0d9177ddde86d7b4d096a">Яндекс.Дзен</a></p><p><em>Перевод статьи </em><a href="https://medium.com/@steven.popovich">Steven Popovich</a>: <a href="https://medium.com/better-programming/stop-using-the-git-cli-d9cbee32cc27">Stop Using the Git CLI</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=155609fdcafe" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/%D0%BF%D1%80%D0%B5%D0%BA%D1%80%D0%B0%D1%89%D0%B0%D0%B9%D1%82%D0%B5-%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D1%82%D1%8C%D1%81%D1%8F-git-cli-155609fdcafe">Прекращайте пользоваться Git CLI</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Как избавиться от операторов switch — малоизвестный способ]]></title>
            <link>https://medium.com/nuances-of-programming/%D0%BA%D0%B0%D0%BA-%D0%B8%D0%B7%D0%B1%D0%B0%D0%B2%D0%B8%D1%82%D1%8C%D1%81%D1%8F-%D0%BE%D1%82-%D0%BE%D0%BF%D0%B5%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%BE%D0%B2-switch-%D0%BC%D0%B0%D0%BB%D0%BE%D0%B8%D0%B7%D0%B2%D0%B5%D1%81%D1%82%D0%BD%D1%8B%D0%B9-%D1%81%D0%BF%D0%BE%D1%81%D0%BE%D0%B1-45f192709e56?source=rss-7de5e942a449------2</link>
            <guid isPermaLink="false">https://medium.com/p/45f192709e56</guid>
            <category><![CDATA[programming]]></category>
            <category><![CDATA[javascript]]></category>
            <category><![CDATA[coding]]></category>
            <category><![CDATA[nuances-of-programming]]></category>
            <category><![CDATA[react]]></category>
            <dc:creator><![CDATA[Olga Sayfudinova]]></dc:creator>
            <pubDate>Fri, 03 Jul 2020 12:01:00 GMT</pubDate>
            <atom:updated>2020-07-03T12:01:00.959Z</atom:updated>
            <content:encoded><![CDATA[<h3>Как избавиться от операторов switch — малоизвестный способ</h3><h4>Простой способ облагородить свой код</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*EplkrKoS7SuLIrTgVuxUdA.png" /></figure><p>Скорее всего, вы, как и я, научились не перегружать исходный код операторами if . <strong>Они трудно читаются. Такой код сложно проверить и выглядит он совсем не ахти.</strong></p><p>Только взгляните:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WbJO3e1xICMm-bYoXUfCaw.png" /><figcaption>Ужасный набор условий</figcaption></figure><p>Конечно же, это абстрактный пример, вырванный из контекста реального приложения. Только представьте себе, как мы выполняем вызовы функций внутри операторов. Или проверяем большое количество условий.</p><h4><strong>Каким решением разработчики пользуются чаще?</strong></h4><p>Давайте рассмотрим следующий пример. Сначала мы сравниваем выражение с набором значений, а затем выполняем код, когда одно из значений становится true. Все ли вы понимаете? Может, будет проще воспользоваться оператором switch ?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FE-Zm7n6sOF0XVtHxc6qYw.png" /><figcaption>Еще более ужасный набор условий</figcaption></figure><p>Я специально не убрал отбивку, пусть даже она не особо нужна при операторе return.</p><p>А сможете сразу понять, что не так с этим примером?</p><p><strong>Написав такое, вы ничуть не сократите детализацию кода. Да и сложность кода никуда не денется. Такой код по-прежнему странно выглядит и с трудом поддерживается</strong>. Хотя теперь легче понять, что же вы пытаетесь в нем сделать.</p><h4><strong>Решение</strong></h4><p>Думаю, вам должно быть интересно, как работает рефакторинг. И почему этот пример может быть поучительным. Большинство людей привыкло писать код в такой хронологии:</p><ul><li>подумать о проблеме;</li><li>реализовать черновое решение или прототип;</li><li>написать код;</li><li>подкорректировать части кода, чтобы он выглядел/выполнялся/работал лучше.</li></ul><p>Последняя часть обычно считается <em>рефакторингом. </em>И она не должна быть «разовой акцией». <strong>Не проводите рефакторинг впопыхах сразу после написания кода, чтобы затем позабыть о файле</strong>.</p><p>Это так не работает. Рефакторинг похож на замкнутый круг. Вы что-то реализуете, затем стараетесь это дело улучшить, потом сокращаете, а после — избавляетесь от проблемных мест.</p><blockquote><strong>“Код должен быть гибким. И вы поддерживаете эту гибкость своим непрерывным вниманием к деталям ”.</strong></blockquote><p>Поэтому постарайтесь еще глубже погрузиться в процесс <em>рефакторинга. </em>Не останавливайтесь на первом этапе. А если работаете с уже готовым кодом, то пытайтесь улучшить его сразу. Плавно и без лишней спешки.</p><p>Давайте закончим с проверкой условий. Почему бы не воспользоваться функцией вместо switch?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*00XQ6oil_UBNDfATJ6OeWg.png" /><figcaption>Более правильный способ выполнения нескольких условий</figcaption></figure><p>Обратите внимание, как мы определяем объект ingredients. Так мы избегаем его создания при каждом вызове getIngredients. А || используется для управления стандартными случаями, когда мы возвращаем lemon.</p><p><strong>Проще, красивее и легче поддерживается. Это как раз то, что может сделать хороший рефакторинг. Но не останавливайтесь после первой попытки.</strong></p><p>И помните, что вы можете пользоваться Map:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DqmB7qHjpPhXCtq8q849Og.png" /></figure><h3><strong>Заключение</strong></h3><p>Целью данной статьи было не просто показать вам, как можно улучшить код, но и пролить свет на процесс рефакторинга, а также объяснить, почему многие из нас его делают неправильно. Надеюсь, эта информация была вам полезной.</p><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/5321/">Альтернатива switch в Python</a></li><li><a href="https://nuancesprog.ru/p/8559/">Добро пожаловать в ад…зависимостей JavaScript</a></li><li><a href="https://nuancesprog.ru/p/8398/">Движок JavaScript: что внутри</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesprog">телеграмме</a>, <a href="https://vk.com/nuancesprog">vk </a>и <a href="https://zen.yandex.ru/profile/editor/id/5ac0d9177ddde86d7b4d096a">Яндекс.Дзен</a></p><p><em>Перевод статьи </em><a href="https://medium.com/@pieroborrellidev"><em>Piero Borrelli</em></a><em>: </em><a href="https://medium.com/javascript-in-plain-english/a-little-unknown-way-to-get-rid-of-switch-statements-15c2584f51b9"><em>Little Unknown Way To Get Rid Of Switch Statements</em></a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=45f192709e56" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/%D0%BA%D0%B0%D0%BA-%D0%B8%D0%B7%D0%B1%D0%B0%D0%B2%D0%B8%D1%82%D1%8C%D1%81%D1%8F-%D0%BE%D1%82-%D0%BE%D0%BF%D0%B5%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%BE%D0%B2-switch-%D0%BC%D0%B0%D0%BB%D0%BE%D0%B8%D0%B7%D0%B2%D0%B5%D1%81%D1%82%D0%BD%D1%8B%D0%B9-%D1%81%D0%BF%D0%BE%D1%81%D0%BE%D0%B1-45f192709e56">Как избавиться от операторов switch — малоизвестный способ</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Прикольные Flutter-анимации для приложений]]></title>
            <link>https://medium.com/nuances-of-programming/%D0%BF%D1%80%D0%B8%D0%BA%D0%BE%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5-flutter-%D0%B0%D0%BD%D0%B8%D0%BC%D0%B0%D1%86%D0%B8%D0%B8-%D0%B4%D0%BB%D1%8F-%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9-fa9613549487?source=rss-7de5e942a449------2</link>
            <guid isPermaLink="false">https://medium.com/p/fa9613549487</guid>
            <category><![CDATA[nuances-of-programming]]></category>
            <category><![CDATA[mobile-development]]></category>
            <category><![CDATA[flutter-animation]]></category>
            <category><![CDATA[flutter-widget]]></category>
            <category><![CDATA[flutter]]></category>
            <dc:creator><![CDATA[Olga Sayfudinova]]></dc:creator>
            <pubDate>Sat, 27 Jun 2020 12:01:01 GMT</pubDate>
            <atom:updated>2020-06-27T12:01:01.353Z</atom:updated>
            <content:encoded><![CDATA[<h3>Прикольные анимации для Flutter-приложений</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/846/1*PB-Celv_PEPnzT87IBlKpg.jpeg" /></figure><p>Я покажу вам 6 прикольных анимационных эффектов, которые можно попробовать в своих приложениях. Добавлять анимацию с Flutter — одно удовольствие. И делать это можно по-разному. Например, можно скачать пакет с dart pub или воспользоваться виджетом AnimatedBuilder, который позволяет настроить каждую деталь анимации.</p><p>В этой статье я буду работать с виджетом AnimatedBuilder. Если вы не знакомы с ним, то почитайте <a href="https://api.flutter.dev/flutter/widgets/AnimatedBuilder-class.html">документацию</a>. Раз мы решили поработать с AnimatedBuilder, то нам потребуются два дополнительных виджета:</p><p>1. AnimationController — задает длительность анимации;</p><p>2. Animation — определяет тип и стиль анимации.</p><p>Проще говоря, эти виджеты используются для настройки и обработки анимации. Не забудьте протестировать анимацию в виджете изменяемых состояний StatefulWidget. А в определение класса обязательно добавьте SingleTickerProviderStateMixin. Он нужен для управления временем в анимации.</p><p>Готовы начать? Поехали.</p><h3><strong>Базовый макет</strong></h3><p>Я создал базовый макет, на котором вы можете потренироваться в настройке и переключении анимации. Выглядит он вот так:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/272/1*qpXj84ZWn4Wb1pCxIHYMww.jpeg" /><figcaption>Базовый макет</figcaption></figure><p>В процессе работы мы будем пользоваться разными изображениями. Вы можете добавить свои изображения или другие виджеты.</p><p>Триггером для анимации у нас служит плавающая кнопка снизу. Я буду активировать анимацию через вызов _controller.forward().</p><p>Не пугайтесь кода ниже. Пользуйтесь им для настройки контроллера и виджета анимации.</p><p>Теперь я познакомлю вас с разными типами анимации в двух блоках кода — для <strong>определения </strong>и <strong>использования</strong> анимации. Все очень просто: сначала выбираете понравившийся тип анимации, а затем копируете и вставляете два блока кода. Первый нужен для запуска контроллера, а второй — для работы с анимацией.</p><pre>import &#39;package:flutter/material.dart&#39;;<br><br>class MyHomePage extends StatefulWidget {<br>  @override<br>  _MyHomePageState createState() =&gt; _MyHomePageState();<br>}<br><br>class _MyHomePageState extends State&lt;MyHomePage&gt; with SingleTickerProviderStateMixin{<br><br>  //*-----определяем Animation и AnimationController-----*<br>  AnimationController _controller;<br>  Animation _myAnimation;<br><br>  //*-----запускаем Animation и AnimationController-----*<br>  @override<br>  void initState() {<br>    super.initState();<br><br>  }<br><br>  @override<br>  void dispose() {<br>    super.dispose();<br>    //-disposing the animation controller-<br>    _controller.dispose();<br>  }<br><br>  @override<br>  Widget build(BuildContext context) {<br>    return Scaffold(<br>      appBar: AppBar(<br>        title: Text(&quot;Flutter Animations&quot;),<br>      ),<br><br>      body: Center(<br>          child:<br>          Container(<br>            width: 250,<br>            height: 250,<br>            decoration: BoxDecoration(<br>                image: new DecorationImage(<br>                    image: new AssetImage(<br>                      &#39;assets/images/sample-image.png&#39;,<br>                    )<br>                )<br>            ),<br>          )<br>      ),<br><br>      floatingActionButtonLocation:<br>      FloatingActionButtonLocation.centerFloat,<br><br>      floatingActionButton:<br>      FloatingActionButton(<br>        child: Icon(Icons.play_arrow),<br>        onPressed: (){<br>          //*------включаем анимацию-----*<br>          _controller.forward();<br>        },<br>      ),<br>    );<br>  }<br>}</pre><h3><strong>01. Появление/исчезновение</strong></h3><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FhSdkhXHGBETx0dT63E%2Ftwitter%2Fiframe&amp;display_name=Giphy&amp;url=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2FhSdkhXHGBETx0dT63E%2Fsource.mp4&amp;image=https%3A%2F%2Fi.giphy.com%2Fmedia%2FhSdkhXHGBETx0dT63E%2Fgiphy.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="244" frameborder="0" scrolling="no"><a href="https://medium.com/media/97e063f5856e344241cbc7972a3b2037/href">https://medium.com/media/97e063f5856e344241cbc7972a3b2037/href</a></iframe><p>Воспользуйтесь кодом ниже для определения анимации. Лучше всего это делать через метод initState. Теперь он будет запускаться только при отображении StatefulWidget.</p><pre>AnimationController _controller;<br>Animation _myAnimation;<br><br>void initState() {<br>  // TODO: implement initState<br>  super.initState();<br>  _controller = AnimationController(<br>    vsync: this,<br>    duration: Duration(milliseconds: 1200),<br><br>  );<br>  _myAnimation = CurvedAnimation(parent: _controller, curve: Curves.easeIn);<br>  <br>}</pre><p>Во Flutter уже есть встроенный виджет под названием FadeTransition. Таким образом, мы можем обернуть наш виджет-контейнер в FadeTransition, а затем настроить динамические значения для непрозрачности.</p><pre>body: Center(<br>        child:<br>        FadeTransition(<br>          opacity: _myAnimation,<br>          child: Container(<br>            width: 100,<br>            height: 100,<br>            decoration: BoxDecoration(<br>                image: new DecorationImage(<br>                    image: new AssetImage(<br>                      &#39;assets/images/ghost.png&#39;,<br>                    )<br>                )<br>            ),<br>          ),<br>        )<br>    ),</pre><h3><strong>02. Изменение размера/пульсация</strong></h3><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FQZOtGCbBUT0EiA3XsD%2Ftwitter%2Fiframe&amp;display_name=Giphy&amp;url=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2FQZOtGCbBUT0EiA3XsD%2Fsource.mp4&amp;image=https%3A%2F%2Fi.giphy.com%2Fmedia%2FQZOtGCbBUT0EiA3XsD%2Fgiphy.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="244" frameborder="0" scrolling="no"><a href="https://medium.com/media/0a3499fe578f622a82f24186f9b1d572/href">https://medium.com/media/0a3499fe578f622a82f24186f9b1d572/href</a></iframe><p>Это тоже простая разновидность анимации. Для начала, зададим нужные параметры.</p><pre>AnimationController _controller;<br>Animation&lt;Size&gt; _myAnimation;<br><br>@override<br>void initState() {<br>  // TODO: implement initState<br>  super.initState();<br>  _controller = AnimationController(<br>    vsync: this,<br>    duration: Duration(milliseconds: 1000),<br><br>  );<br>  _myAnimation = Tween&lt;Size&gt;(<br>      begin: Size(100, 100),<br>      end:  Size(120, 120)<br>  ).animate(<br>      CurvedAnimation(parent: _controller, curve: Curves.bounceIn)<br>  );<br><br>  _controller.addStatusListener((AnimationStatus status) {<br>    if (status == AnimationStatus.completed) {<br>      _controller.repeat();<br>    }<br>  });<br>}</pre><p>Возможно, сейчас вы заметите что-то новое. Например, мы используем _controller.addStatusListener() каждый раз, когда хотим повторить анимацию. После определения анимации в AnimationController она готова к использованию в виджете-контейнере.</p><pre>body: Center(<br>        child:<br>        AnimatedBuilder(animation: _myAnimation,<br>            builder: (ctx, ch) =&gt;  Container(<br>              width: _myAnimation.value.width,<br>              height: _myAnimation.value.height,<br><br>              decoration: BoxDecoration(<br>                  image: new DecorationImage(<br>                      image: new AssetImage(<br>                        &#39;assets/images/heart.png&#39;,<br>                      )<br>                  )<br>              ),<br>            )<br>        )<br>    ),</pre><h3><strong>03. Скольжение</strong></h3><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FH1Z6UhsMFsqxyYT21V%2Ftwitter%2Fiframe&amp;display_name=Giphy&amp;url=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2FH1Z6UhsMFsqxyYT21V%2Fsource.mp4&amp;image=https%3A%2F%2Fi.giphy.com%2Fmedia%2FH1Z6UhsMFsqxyYT21V%2Fgiphy.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="244" frameborder="0" scrolling="no"><a href="https://medium.com/media/d0ce8a4970579bc474c858c097116315/href">https://medium.com/media/d0ce8a4970579bc474c858c097116315/href</a></iframe><p>Slide-анимация — это еще одна встроенная функция Flutter. Вот, как ее можно определить.</p><pre>AnimationController _controller;<br>Animation&lt;Offset&gt; _myAnimation;<br><br>@override<br>void initState() {<br>  // TODO: implement initState<br>  super.initState();<br>  _controller = AnimationController(<br>    duration: const Duration(seconds: 2),<br>    vsync: this,<br>  );<br><br>  _myAnimation = Tween&lt;Offset&gt;(<br>    begin: Offset.zero,<br>    end: const Offset(1.5, 0.0),<br><br>  ).animate(CurvedAnimation(<br>    parent: _controller,<br>    curve: Curves.elasticIn,<br>  ));<br>}</pre><p>Чтобы воспользоваться анимацией, оберните ее в виджет SlideTransition. Проще простого, не так ли?</p><pre>body: Center(<br>      child:<br>      SlideTransition(<br>        position: _myAnimation,<br>        child: const Padding(<br>          padding: EdgeInsets.all(8.0),<br>          child: FlutterLogo(size: 150.0),<br>        ),<br>      ),<br>    ),</pre><h3><strong>04. Прыгающая анимация</strong></h3><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FgHioJTT63Voz78BkL4%2Ftwitter%2Fiframe&amp;display_name=Giphy&amp;url=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2FgHioJTT63Voz78BkL4%2Fsource.mp4&amp;image=https%3A%2F%2Fi.giphy.com%2Fmedia%2FgHioJTT63Voz78BkL4%2Fgiphy.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="244" frameborder="0" scrolling="no"><a href="https://medium.com/media/64aec411766dc60961b832a71a555a19/href">https://medium.com/media/64aec411766dc60961b832a71a555a19/href</a></iframe><p>Еще одна забавная разновидность, которую можно попробовать. Во многом она похожа на анимацию пульсации. Только помните, что в этот раз нам нужно будет изменить отступы контейнера. Давайте определим параметры.</p><pre>AnimationController _controller;<br>  Animation&lt;double&gt; _slideAnimation;<br><br>  @override<br>  void initState() {<br>    // TODO: implement initState<br>    super.initState();<br>    _controller = AnimationController(<br>      vsync: this,<br>      duration: Duration(milliseconds: 1000),<br>    );<br><br>    _slideAnimation = Tween(begin: 200.0, end: 120.0).animate(<br>      CurvedAnimation(<br>        parent: _controller,<br>        curve: Interval(0.0, 1.0, curve: Curves.elasticIn),<br>      ),<br>    )..addStatusListener((AnimationStatus status) {<br>      if (status == AnimationStatus.completed) {<br>        _controller.repeat(reverse: true);<br>      }<br>    });<br>  }</pre><p>Будьте осторожны — мы играем с огнем. Если я выставлю граничное значение 0.0, то появится ошибка. Для тех, кто уже работал с Flutter, это совсем не новость. Да, перед вами — ошибка переполнения, она же — overflow error. Мы не можем быть уверенными в том, что значения в этих границах будут меняться. Особенно в случае, если эффект анимации (эластичный) выйдет за пределы границ. Запомните, что отступы не могут иметь отрицательного значения.</p><p>Теперь, когда мы настроили все необходимые параметры, самое время воспользоваться анимацией.</p><pre>body:<br>      AnimatedBuilder(animation: _slideAnimation,<br>          builder: (ctx, ch) =&gt;  Container(<br>            width: 100,<br>            height: 100,<br>            margin: EdgeInsets.only(<br>                top: _slideAnimation.value,<br>                left: 125<br>            ),<br>            decoration: BoxDecoration(<br>                image: new DecorationImage(<br>                    image: new AssetImage(<br>                      &#39;assets/images/bounce-ball.png&#39;,<br>                    )<br>                )<br>            ),<br>          )<br>      ),</pre><h3><strong>05. 3D-переворот</strong></h3><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FkfWb2FRTe7gqT7Fhfh%2Ftwitter%2Fiframe&amp;display_name=Giphy&amp;url=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2FkfWb2FRTe7gqT7Fhfh%2Fsource.mp4&amp;image=https%3A%2F%2Fi.giphy.com%2Fmedia%2FkfWb2FRTe7gqT7Fhfh%2Fgiphy.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="244" frameborder="0" scrolling="no"><a href="https://medium.com/media/48241e22289bbdda87d21333ff817f4e/href">https://medium.com/media/48241e22289bbdda87d21333ff817f4e/href</a></iframe><p>Flip-анимация — это простой и прикольный эффект, который легко добавить в приложение. (Одна из моих любимых анимаций). Давайте посмотрим, как все реализовать.</p><pre>AnimationController _controller;<br>  Animation _myAnimation;<br>  AnimationStatus _animationStatus = AnimationStatus.dismissed;<br><br>  @override<br>  void initState() {<br><br>    super.initState();<br>    _controller =<br>        AnimationController(vsync: this, duration: Duration(seconds: 1));<br>    _myAnimation = Tween(end: 1.0, begin: 0.0).animate(_controller)<br>      ..addListener(() {<br>        setState(() {});<br>      })<br>      ..addStatusListener((status) {<br>        _animationStatus = status;<br>      });<br>  }</pre><p>Здесь появляется кое-что новенькое — AnimationStatus. Им я пользовался для реализации прямых и обратных функций. Этот дополнительный виджет помогает мне получить текущий статус анимации.</p><p>Тут я воспользовался простым контейнером, чтобы показать flip-анимацию в действии.</p><pre>body: Center(<br>          child: Transform(<br>            alignment: FractionalOffset.center,<br>            transform: Matrix4.identity()<br>              ..setEntry(3, 2, 0.002)<br>              ..rotateX(pi*(_myAnimation.value)),<br>            child: Container(<br>              color: Colors.blueAccent,<br>              width: 200,<br>              height: 200,<br>              child: Icon(<br>                Icons.accessibility_new,<br>                color: Colors.white,<br>                size: 50,<br>              ),<br>            ),<br>          )<br>      ),</pre><h3><strong>06. Вращение с падением</strong></h3><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FVHfRHJlBCLdUd5CaFQ%2Ftwitter%2Fiframe&amp;display_name=Giphy&amp;url=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2FVHfRHJlBCLdUd5CaFQ%2Fsource.mp4&amp;image=https%3A%2F%2Fi.giphy.com%2Fmedia%2FVHfRHJlBCLdUd5CaFQ%2Fgiphy.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="244" frameborder="0" scrolling="no"><a href="https://medium.com/media/054b348a7a9a0d6fe491bf0f109f62c2/href">https://medium.com/media/054b348a7a9a0d6fe491bf0f109f62c2/href</a></iframe><p>Перейдем к более сложным примерам. Здесь я объединил сразу несколько эффектов. Мы называем это последовательностью анимации. Посмотрите, как можно определить анимацию врещения.</p><pre>AnimationController _controller;<br><br>  Animation _rotateAnimation;<br>  Animation&lt;double&gt; _slideAnimation;<br>  Animation&lt;double&gt; _opacityAnimation;<br><br>  @override<br>  void initState() {<br>    // TODO: implement initState<br>    super.initState();<br>    _controller = AnimationController(<br>      vsync: this,<br>      duration: Duration(milliseconds: 3000),<br>    );<br><br>    _rotateAnimation = Tween(end: 0.15, begin: 0.0)<br>        .animate(<br>      CurvedAnimation(<br>          parent: _controller,<br>          curve: Interval(0.0, 0.5, curve: Curves.bounceInOut),<br>      ),<br>    );<br><br>    _slideAnimation = Tween(begin: 100.0, end: 600.0).animate(<br>      CurvedAnimation(<br>        parent: _controller,<br>        curve: Interval(0.5, 1.0, curve: Curves.fastOutSlowIn),<br>      ),<br>    );<br><br>    _opacityAnimation = Tween(begin: 1.0, end: 0.0).animate(<br>      CurvedAnimation(<br>        parent: _controller,<br>        curve: Interval(0.5, 1.0, curve: Curves.fastOutSlowIn),<br>      ),<br>    );<br><br>  }</pre><p>Обратите внимание, что при определении анимации мы пользуемся 3 отдельными виджетами Animation. И для всех них берется один AnimationController. А еще я передавал разные значения для каждого виджета Interval. Именно так и задается последовательность анимации.</p><p>Теперь давайте посмотрим, как работает последовательность анимации:</p><pre>body:<br>      AnimatedBuilder(<br>        animation: _slideAnimation,<br>        builder: (ctx, ch) =&gt; Container(<br>          width: 200,<br>          height: 100,<br>          padding: EdgeInsets.all(0),<br>          margin: EdgeInsets.only(<br>            left: 75,<br>            top: _slideAnimation.value,<br>          ),<br>          child: RotationTransition(<br>            turns: _rotateAnimation,<br>            child: Center(<br>              child: Text(&#39;Animation&#39;, style: TextStyle(<br>                  fontSize: 40,<br>                  fontWeight: FontWeight.bold,<br>                  color: Color.fromRGBO(0, 0, 128, _opacityAnimation.value)<br>              ),),<br>            ),<br>          ),<br>        ),<br>      ),</pre><p>Все правильно! Нам нужен еще один виджет –AnimatedBuilder. Затем мы можем поменять значения контейнера. В этом примере я изменял отступы (для смены положения объекта) и непрозрачность.</p><p>Примеры анимации можно посмотреть на <a href="https://github.com/SahanAmarsha/MyFlutterAnimations">Github</a></p><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/7433/">5 причин выбрать Flutter в 2020 году</a></li><li><a href="https://nuancesprog.ru/p/6765/">Как использовать Flutter с SQLite</a></li><li><a href="https://nuancesprog.ru/p/4991/">React Native vs Flutter</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesprog">телеграмме</a>, <a href="https://vk.com/nuancesprog">vk </a>и <a href="https://zen.yandex.ru/profile/editor/id/5ac0d9177ddde86d7b4d096a">Яндекс.Дзен</a></p><p><em>Перевод статьи</em><a href="https://medium.com/@sahanamarsha"><em> Sahan Amarsha</em></a><em>: </em><a href="https://medium.com/swlh/cool-flutter-animations-that-you-can-try-794467eb59e7"><em>Cool Flutter Animations That You Can Try</em></a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=fa9613549487" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/%D0%BF%D1%80%D0%B8%D0%BA%D0%BE%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5-flutter-%D0%B0%D0%BD%D0%B8%D0%BC%D0%B0%D1%86%D0%B8%D0%B8-%D0%B4%D0%BB%D1%8F-%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9-fa9613549487">Прикольные Flutter-анимации для приложений</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[3 простых шага для оптимизации гиперпараметров в любом Python-скрипте]]></title>
            <link>https://medium.com/nuances-of-programming/3-%D0%BF%D1%80%D0%BE%D1%81%D1%82%D1%8B%D1%85-%D1%88%D0%B0%D0%B3%D0%B0-%D0%B4%D0%BB%D1%8F-%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8-%D0%B3%D0%B8%D0%BF%D0%B5%D1%80%D0%BF%D0%B0%D1%80%D0%B0%D0%BC%D0%B5%D1%82%D1%80%D0%BE%D0%B2-%D0%B2-%D0%BB%D1%8E%D0%B1%D0%BE%D0%BC-python-%D1%81%D0%BA%D1%80%D0%B8%D0%BF%D1%82%D0%B5-abd268deed34?source=rss-7de5e942a449------2</link>
            <guid isPermaLink="false">https://medium.com/p/abd268deed34</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[hyperparameter-tuning]]></category>
            <category><![CDATA[nuances-of-programming]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Olga Sayfudinova]]></dc:creator>
            <pubDate>Fri, 26 Jun 2020 12:01:01 GMT</pubDate>
            <atom:updated>2020-06-26T12:01:01.351Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*35jON21GuMhT01WrwAZVUQ.jpeg" /></figure><p>Итак, вы написали Python-скрипт, который обучает и оценивает модель машинного обучения. И теперь вам хочется оптимизировать гиперпараметры и повысить производительность модели.</p><p>Я помогу!</p><p>В данной статье я покажу вам, как преобразовать скрипт в целевую функцию, которую можно оптимизировать через любую библиотеку оптимизации гиперпараметров.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*D-_AVOFaR1YHQEppi33gmg.png" /><figcaption>Гиперпараметры -&gt; целевая функция train_evaluate.py -&gt; оценка</figcaption></figure><p>Весь процесс состоит из 3 шагов, изучив которые вы научитесь оптимизировать параметры моделей так, как будто знали это всегда.</p><p>Готовы?</p><p>Поехали!</p><p>Полагаю, ваш скрипт main.py выглядит примерно так:</p><pre>import pandas as pd<br>import lightgbm as lgb<br>from sklearn.model_selection import train_test_split<br><br>data = pd.read_csv(&#39;data/train.csv&#39;, nrows=10000)<br>X = data.drop([&#39;ID_code&#39;, &#39;target&#39;], axis=1)<br>y = data[&#39;target&#39;]<br>(X_train, X_valid, <br>y_train, y_valid )= train_test_split(X, y, test_size=0.2, random_state=1234)<br><br>train_data = lgb.Dataset(X_train, label=y_train)<br>valid_data = lgb.Dataset(X_valid, label=y_valid, reference=train_data)<br><br>params = {&#39;objective&#39;: &#39;binary&#39;,<br>          &#39;metric&#39;: &#39;auc&#39;,<br>          &#39;learning_rate&#39;: 0.4,<br>          &#39;max_depth&#39;: 15,<br>          &#39;num_leaves&#39;: 20,<br>          &#39;feature_fraction&#39;: 0.8,<br>          &#39;subsample&#39;: 0.2}<br><br>model = lgb.train(params, train_data,<br>                  num_boost_round=300,<br>                  early_stopping_rounds=30,<br>                  valid_sets=[valid_data],<br>                  valid_names=[&#39;valid&#39;])<br><br>score = model.best_score[&#39;valid&#39;][&#39;auc&#39;]<br>print(&#39;validation AUC:&#39;, score)</pre><h4>Шаг 1: отделяем параметры поиска от кода</h4><p>Возьмите параметры, которые хотите оптимизировать, и поместите их в словарь в начало скрипта. Это действие позволит вам эффективно отделить параметры поиска от остального кода.</p><pre>import pandas as pd<br>import lightgbm as lgb<br>from sklearn.model_selection import train_test_split<br><br>SEARCH_PARAMS = {&#39;learning_rate&#39;: 0.4,<br>                 &#39;max_depth&#39;: 15,<br>                 &#39;num_leaves&#39;: 20,<br>                 &#39;feature_fraction&#39;: 0.8,<br>                 &#39;subsample&#39;: 0.2}<br><br>data = pd.read_csv(&#39;../data/train.csv&#39;, nrows=10000)<br>X = data.drop([&#39;ID_code&#39;, &#39;target&#39;], axis=1)<br>y = data[&#39;target&#39;]<br>X_train, X_valid, y_train, y_valid = train_test_split(X, y, test_size=0.2, random_state=1234)<br><br>train_data = lgb.Dataset(X_train, label=y_train)<br>valid_data = lgb.Dataset(X_valid, label=y_valid, reference=train_data)<br><br>params = {&#39;objective&#39;: &#39;binary&#39;,<br>          &#39;metric&#39;: &#39;auc&#39;,<br>          **SEARCH_PARAMS}<br><br>model = lgb.train(params, train_data,<br>                  num_boost_round=300,<br>                  early_stopping_rounds=30,<br>                  valid_sets=[valid_data],<br>                  valid_names=[&#39;valid&#39;])<br><br>score = model.best_score[&#39;valid&#39;][&#39;auc&#39;]<br>print(&#39;validation AUC:&#39;, score)</pre><h4>Шаг 2: заворачиваем логику обучения и оценки в функцию</h4><p>Теперь вы можете поместить всю логику обучения и оценки внутрь функции train_evaluate. Эта функция принимает параметры на вход, а на выходе выдает результат проверки.</p><pre>import pandas as pd<br>import lightgbm as lgb<br>from sklearn.model_selection import train_test_split</pre><pre>SEARCH_PARAMS = {&#39;learning_rate&#39;: 0.4,<br>                 &#39;max_depth&#39;: 15,<br>                 &#39;num_leaves&#39;: 20,<br>                 &#39;feature_fraction&#39;: 0.8,<br>                 &#39;subsample&#39;: 0.2}<br></pre><pre>def train_evaluate(search_params):<br>    data = pd.read_csv(&#39;../data/train.csv&#39;, nrows=10000)<br>    X = data.drop([&#39;ID_code&#39;, &#39;target&#39;], axis=1)<br>    y = data[&#39;target&#39;]<br>    X_train, X_valid, y_train, y_valid = train_test_split(X, y, test_size=0.2, random_state=1234)</pre><pre>    train_data = lgb.Dataset(X_train, label=y_train)<br>    valid_data = lgb.Dataset(X_valid, label=y_valid, reference=train_data)</pre><pre>    params = {&#39;objective&#39;: &#39;binary&#39;,<br>              &#39;metric&#39;: &#39;auc&#39;,<br>              **search_params}</pre><pre>    model = lgb.train(params, train_data,<br>                      num_boost_round=300,<br>                      early_stopping_rounds=30,<br>                      valid_sets=[valid_data],<br>                      valid_names=[&#39;valid&#39;])</pre><pre>    score = model.best_score[&#39;valid&#39;][&#39;auc&#39;]<br>    return score<br></pre><pre>if __name__ == &#39;__main__&#39;:<br>    score = train_evaluate(SEARCH_PARAMS)<br>    print(&#39;validation AUC:&#39;, score)</pre><h4>Шаг 3: запускаем скрипт оптимизации гиперпараметров</h4><p>Осталось совсем немного.</p><p>Теперь мы используем train_evaluate в качестве цели в любой библиотеке оптимизации неизвестной функции («черного ящика»).</p><p>Я предпочитаю <a href="https://neptune.ai/blog/scikit-optimize">Scikit Optimize</a>, но вы можете выбрать другую библиотеку.</p><p>Процедура следующая:</p><ul><li>задаем область поиска SPACE;</li><li>создаем целевую функцию objective для минимизации;</li><li>запускаем оптимизацию через функцию forest_minimize.</li></ul><p>В данном примере я опробую <strong>100 </strong>различных конфигураций и начну с <strong>10 </strong>случайно выбранных наборов параметров.</p><pre>import skopt<br><br>from script_step2 import train_evaluate<br><br>SPACE = [<br>    skopt.space.Real(0.01, 0.5, name=&#39;learning_rate&#39;, prior=&#39;log-uniform&#39;),<br>    skopt.space.Integer(1, 30, name=&#39;max_depth&#39;),<br>    skopt.space.Integer(2, 100, name=&#39;num_leaves&#39;),<br>    skopt.space.Real(0.1, 1.0, name=&#39;feature_fraction&#39;, prior=&#39;uniform&#39;),<br>    skopt.space.Real(0.1, 1.0, name=&#39;subsample&#39;, prior=&#39;uniform&#39;)]<br><br><br>@skopt.utils.use_named_args(SPACE)<br>def objective(**params):<br>    return -1.0 * train_evaluate(params)<br><br><br>results = skopt.forest_minimize(objective, SPACE, n_calls=30, n_random_starts=10)<br>best_auc = -1.0 * results.fun<br>best_params = results.x<br><br>print(&#39;best result: &#39;, best_auc)<br>print(&#39;best parameters: &#39;, best_params)</pre><p>Вот и все.</p><p>Объект results содержит информацию о <strong>лучшей оценке и комбинации параметров</strong> для ее получения.</p><h4><em>Примечание:</em></h4><p>Если вы хотите <strong>визуализировать процесс обучения</strong>, а затем <strong>сохранить диагностические диаграммы</strong>, то добавьте обратный вызов и вызов функции, которые будут <strong>записывать каждый поиск значения гиперпараметра </strong>в Neptune. С этим вам поможет <a href="https://neptune-contrib.readthedocs.io/_modules/neptunecontrib/monitoring/skopt.html#NeptuneMonitor">вспомогательная функция из библиотеки </a><a href="https://neptune-contrib.readthedocs.io/_modules/neptunecontrib/monitoring/skopt.html#NeptuneMonitor">neptune-contrib</a>.</p><pre>import neptune<br>import neptunecontrib.monitoring.skopt as sk_utils<br>import skopt<br><br>from script_step2 import train_evaluate<br><br>neptune.init(&#39;jakub-czakon/blog-hpo&#39;)<br>neptune.create_experiment(&#39;hpo-on-any-script&#39;, upload_source_files=[&#39;*.py&#39;])<br><br>SPACE = [<br>    skopt.space.Real(0.01, 0.5, name=&#39;learning_rate&#39;, prior=&#39;log-uniform&#39;),<br>    skopt.space.Integer(1, 30, name=&#39;max_depth&#39;),<br>    skopt.space.Integer(2, 100, name=&#39;num_leaves&#39;),<br>    skopt.space.Real(0.1, 1.0, name=&#39;feature_fraction&#39;, prior=&#39;uniform&#39;),<br>    skopt.space.Real(0.1, 1.0, name=&#39;subsample&#39;, prior=&#39;uniform&#39;)]<br><br><br>@skopt.utils.use_named_args(SPACE)<br>def objective(**params):<br>    return -1.0 * train_evaluate(params)<br><br><br>monitor = sk_utils.NeptuneMonitor()<br>results = skopt.forest_minimize(objective, SPACE, n_calls=100, n_random_starts=10, callback=[monitor])<br>sk_utils.log_results(results)<br><br>neptune.stop()</pre><p>Теперь при запуске вариации параметров вы увидите следующее:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*d4Ruze3iCPi5Op-JXUKw-w.gif" /></figure><p>Посмотреть весь код, графики и результаты можно в <a href="https://ui.neptune.ai/jakub-czakon/blog-hpo/e/BLOG-369/charts">эксперименте </a><a href="https://ui.neptune.ai/jakub-czakon/blog-hpo/e/BLOG-369/charts">skopt по вариации гиперпараметров</a>.</p><h3>Заключение</h3><p>В данной статье вы научились оптимизировать гиперпараметры любого Python-скрипта в 3 шага.</p><p>Надеюсь, эти знания помогут вам создавать качественные модели машинного обучения быстрее и проще.</p><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/8407/">15 Python пакетов, которые нужно попробовать</a></li><li><a href="https://nuancesprog.ru/p/8358/">Избегайте этих нелепых ошибок при работе с Python</a></li><li><a href="https://nuancesprog.ru/p/8341/">Перестаньте использовать range() в цикле for в Python</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesprog">телеграмме</a>, <a href="https://vk.com/nuancesprog">vk </a>и <a href="https://zen.yandex.ru/profile/editor/id/5ac0d9177ddde86d7b4d096a">Яндекс.Дзен</a></p><p><em>Перевод статьи </em><a href="https://www.linkedin.com/in/jakub-czakon-2b797b69/?originalSubdomain=pl"><em>Jakub Czakon</em></a><em>:</em><a href="https://www.kdnuggets.com/2020/04/hyperparameter-tuning-python.html"><em>How to Do Hyperparameter Tuning on Any Python Script in</em></a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=abd268deed34" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/3-%D0%BF%D1%80%D0%BE%D1%81%D1%82%D1%8B%D1%85-%D1%88%D0%B0%D0%B3%D0%B0-%D0%B4%D0%BB%D1%8F-%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8-%D0%B3%D0%B8%D0%BF%D0%B5%D1%80%D0%BF%D0%B0%D1%80%D0%B0%D0%BC%D0%B5%D1%82%D1%80%D0%BE%D0%B2-%D0%B2-%D0%BB%D1%8E%D0%B1%D0%BE%D0%BC-python-%D1%81%D0%BA%D1%80%D0%B8%D0%BF%D1%82%D0%B5-abd268deed34">3 простых шага для оптимизации гиперпараметров в любом Python-скрипте</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Пользователь Linux пробует Windows в 2020]]></title>
            <link>https://medium.com/nuances-of-programming/%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8C-linux-%D0%BF%D1%80%D0%BE%D0%B1%D1%83%D0%B5%D1%82-windows-%D0%B2-2020-4e7dd94c692?source=rss-7de5e942a449------2</link>
            <guid isPermaLink="false">https://medium.com/p/4e7dd94c692</guid>
            <category><![CDATA[programming]]></category>
            <category><![CDATA[windows]]></category>
            <category><![CDATA[nuances-of-programming]]></category>
            <category><![CDATA[linux]]></category>
            <dc:creator><![CDATA[Olga Sayfudinova]]></dc:creator>
            <pubDate>Wed, 24 Jun 2020 12:01:01 GMT</pubDate>
            <atom:updated>2020-06-24T12:01:01.286Z</atom:updated>
            <content:encoded><![CDATA[<h4>Неужели WSLv2, новый терминал и PowerToys переманят меня в другой лагерь?</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/653/1*FJxoGsG4ZjsPhcfg9qFwjQ.png" /></figure><p>Я сижу на Linux уже 2 года и последние полгода проработал на Arch. И вот, что я думаю о Windows 10, посидев на нем неделю.</p><h3><strong>WSL v2</strong></h3><p>Возможно, вы уже слышали о том, что Windows 10 собрался поставлять в новых версиях <strong>настоящее ядро Linux</strong>. Никаких больше Cygwin или виртуальных Linux-машин.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/918/1*vgYqA31bNgyxLRwJ3m1UZQ.png" /></figure><p>Он на удивление мало весит, поскольку работает на Hyper-V, практически не потребляет RAM и не нагружает ЦП. WSL v2 запускается быстро и даже интегрируется с VS Code.</p><p>Так в чем подвох? Неужто он тормозит в работе? Давайте проведем анализ производительности.</p><h4><strong>Производительность WSL</strong></h4><p><a href="https://linuxconfig.org/how-to-benchmark-your-linux-system">https://linuxconfig.org/how-to-benchmark-your-linux-system</a></p><p>Я провел несколько тестов на реальных примерах в Ubuntu 20.04 и в WSL 2.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/766/1*hdBEDctWoVEtfEKP8Ez3dA.png" /><figcaption><a href="https://tdom.dev/win10-review">https://tdom.dev/win10-review</a></figcaption></figure><p>Как вы видите, производительность WSL близка к естественной среде Ubuntu (в среднем, WSL оказался медленнее на 8%).</p><h3><strong>GUI-приложения Linux на Windows</strong></h3><p>Microsoft недавно объявил о полной поддержке запуска GUI-приложений для Linux под WSL — через <strong>Wayland</strong>, и даже с поддержкой <strong>аппаратного ускорения</strong>.</p><p>Даже в NVIDIA <a href="https://news.developer.nvidia.com/microsoft-and-nvidia-announce-june-preview-for-gpu-acceleration-support-for-wsl/">анонсировали</a> поддержку GPU в CUDA, которая выйдет в составе программы <em>Insider Preview</em> в июне.</p><p>Это круто. К сожалению, больше ничего не могу добавить, поскольку программа еще недоступна.</p><h3><strong>Терминал Windows</strong></h3><p>Несмотря на то, что Windows 1.0 вышел в 1985 году, в нем так и не появилось хорошего терминального приложения. Терминалы CMD и Powershell во многом уступали всем современным решениям.</p><p>Это продолжалось до тех пор, пока в прошлом году не вышел Windows Terminal.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tOv3ZkeZBX3qv9bW9c9s7g.png" /></figure><p>Ну как, лучше? Windows Terminal поддерживает многие современные возможности:</p><ul><li>эмодзи;</li><li>GPU-ускорение;</li><li>акриловое размытие (включая пользовательские темы);</li><li>Tmux (плитка, несколько вкладок);</li><li>несколько профилей (cmd, PowerShell, bash и т.д.).</li></ul><h3><strong>WinGet — новый менеджер пакетов</strong></h3><p>У <strong>Apple</strong> есть Homebrew, у <strong>Linux </strong>— … (<em>впишите сюда свой любимый менеджер пакетов</em>), а у <strong>Windows </strong>появился <strong>WinGet</strong>. За окном — 2020 год, а в Microsoft наконец-то решили догнать конкурентов и выпустить собственный менеджер пакетов.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NV33N616K-rHit7ICKZBwg.png" /></figure><p>С той лишь оговоркой, что WinGet оказался не так уж и хорош. Пока что. Устанавливаемые приложения часто требуют пользовательского взаимодействия с GUI-установщиками, из-за чего, по сути, необходимость в хорошем менеджере пакетов теряется.</p><p>Кроме того, вы будете уверены в том, что менеджер пакетов может как <em>устанавливать</em>, так и <em>удалять </em>приложения. Но, конечно же, удалять их придется самостоятельно.</p><h3><strong>Полезные утилиты</strong></h3><h4><strong>PowerToys</strong></h4><p>На мой взгляд, если говорить об организации окон на большом экране, то Windows весьма ограничен. Некоторые ярлыки либо отсутствуют, либо просто неудобны в работе. PowerToys — очередное приложение от Microsoft, которое пытается решить эту проблему.</p><p>Например, мне пришлось изменить Alt+F4 на Win+W. К сожалению, здесь вы не сможете с помощью клавиатуры переместить окно на другой виртуальный Рабочий стол. Такое плиточное распределение окон не идет ни в какое сравнение с i3 или bspwm в Linux.</p><h3><strong>Буфер обмена, скриншоты и проч.</strong></h3><p>Вот еще несколько полезных опций, которые появились со времен моей последней работы с Windows:</p><ul><li>менеджер буфера обмена (Win+V);</li><li>инструмент для создания скриншотов (Win+Shift+S);</li><li>запись экрана без явного снижения производительности (Win+G);</li><li>поиск стал намного быстрее (Win+S);</li><li>каким-то образом VS Code кажется быстрее/плавнее, чем на Linux.</li></ul><h3><strong>Использование ресурсов</strong></h3><p>Конечно же, идеальных не бывает. И все имеет свою цену. В данном случае — это RAM. Запуск нескольких вкладок в Firefox, WSL, VS Code и простой NPM-сервер займет 6 ГБ RAM. Запуск того же набора на Linux отнимет не более 3 ГБ RAM.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/547/1*hH4KywEPoQkhUdktfaPy_g.png" /></figure><p>Windows и Linux используют ресурсы ЦП примерно одинаково. Но, на мой взгляд, Windows дольше сохраняет жизнь батареи и позволяет при необходимости прибегать к аппаратному ускорению (смотреть видео в 4k на Linux — просто <strong>ужасно</strong>). А если говорить про использование диска, то, как выяснилось, Windows «потребляет» больший объем, чем Linux. Причем цифры настолько велики, что я бы даже не взглянул в сторону Windows с разделом в 120 ГБ. Здесь нужно по меньшей мере 250 ГБ, а лучше — 500 ГБ.</p><h3><strong>Общее впечатление</strong></h3><p>Я всегда считал Windows крайне медленным для разработки. Но теперь мое мнение изменилось. Возможно, сыграло роль и покупка новой 6-ядерной машины с SSD-накопителем NVMe. Но не секрет, что в Microsoft проделали колоссальную работу для того, чтобы разработчики переходили с MacOS/Linux на Windows.</p><h4><strong>И что теперь?</strong></h4><p>Перейду ли я снова на Linux? Пока что я пользуюсь мультисистемной загрузкой и жду возможности протестировать GUI-поддержку под WSL. Кроме того, я бы хотел опробовать поддержку VS Code в WSL, когда GUI запускается под Windows, а все бинарные файлы (языковые серверы и компиляторы) прогоняются под WSL.</p><p>Читайте также:</p><ul><li><a href="https://nuancesprog.ru/p/8246/">5 настроек рабочего стола Linux для разработчиков</a></li><li><a href="https://nuancesprog.ru/p/3949/">Невероятная история Tux: наш любимый талисман Linux!</a></li><li><a href="https://nuancesprog.ru/p/3805/">6 месяцев без Windows: ужасная правда об играх на Linux</a></li></ul><p>Читайте нас в <a href="https://t.me/nuancesprog">телеграмме</a>, <a href="https://vk.com/nuancesprog">vk </a>и <a href="https://zen.yandex.ru/profile/editor/id/5ac0d9177ddde86d7b4d096a">Яндекс.Дзен</a></p><p><em>Перевод статьи </em><a href="https://levelup.gitconnected.com/@td0m"><em>Dominik Tarnowski</em></a><em>: </em><a href="https://levelup.gitconnected.com/linux-user-tries-windows-in-2020-682e5eca7778"><em>Linux user tries Windows in 2020</em></a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4e7dd94c692" width="1" height="1" alt=""><hr><p><a href="https://medium.com/nuances-of-programming/%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8C-linux-%D0%BF%D1%80%D0%BE%D0%B1%D1%83%D0%B5%D1%82-windows-%D0%B2-2020-4e7dd94c692">Пользователь Linux пробует Windows в 2020</a> was originally published in <a href="https://medium.com/nuances-of-programming">NOP::Nuances of Programming</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>