<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by IRELA team: NLP &amp; data analysis on Medium]]></title>
        <description><![CDATA[Stories by IRELA team: NLP &amp; data analysis on Medium]]></description>
        <link>https://medium.com/@irela?source=rss-deba2f9b97cc------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*atuNFK4Z-p4e54ahbmS5YQ.png</url>
            <title>Stories by IRELA team: NLP &amp;amp; data analysis on Medium</title>
            <link>https://medium.com/@irela?source=rss-deba2f9b97cc------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 20:30:03 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@irela/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Тематическая сегментация документов]]></title>
            <link>https://medium.com/@irela/%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F-%D1%81%D0%B5%D0%B3%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D1%86%D0%B8%D1%8F-%D0%B4%D0%BE%D0%BA%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2-ced2308156dc?source=rss-deba2f9b97cc------2</link>
            <guid isPermaLink="false">https://medium.com/p/ced2308156dc</guid>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[irela]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[сегментация-текста]]></category>
            <dc:creator><![CDATA[IRELA team: NLP & data analysis]]></dc:creator>
            <pubDate>Mon, 26 Nov 2018 10:19:23 GMT</pubDate>
            <atom:updated>2018-11-26T10:21:46.774Z</atom:updated>
            <content:encoded><![CDATA[<p>Привет! Мы тут подумали: а почему бы нам не рассказать подробнее о технологиях, которые используем в нашей платформе? Во-первых, так аудитория сможет лучше понять принципы работы <a href="https://irela.ru/">IRELA</a>, а во-вторых, это может быть интересно и нашим коллегам по Data Science: у нас накопилось много полезных ссылок, статей и книг, а также — рассказов из собственного опыта, историй потрясающих побед и провалов о том, почему внедрение решений Data Science это долго/дорого/и не всегда эффективно.</p><p>Всем этим мы будем понемногу делиться здесь, а начнём сегодня с <strong>тематической сегментации документов</strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qv_D4kpisxjv_RgQAF-Qww.png" /></figure><p><strong>Тематическое сегментирование документов</strong>, то есть деление на такие отрывки текста, в которых речь идет об одном и том же, может быть полезно в разных задачах обработки естественного языка. К таким задачам, например, относится анализ больших документов или поиск по содержанию документа.</p><p>С точки зрения прикладного машинного обучения сегментация длинных текстов обоснована, так как на коротких текстах обычно лучше работают различные методы векторизации. Это логично, ведь чем больше текст, тем больше в нем разных смыслов и тем сложнее сагрегировать все эти смыслы в некоторое общее векторное представление.</p><p>В наших инструментах мы используем метод, основанный на подходе аддитивной регуляризации тематических моделей (additive regularization of topic models, ARTM) и алгоритме TopicTiling. В этой статье мы кратко опишем его суть простыми словами. Подробнее этот метод описан<strong> </strong><a href="http://www.dialog-21.ru/media/4331/skachkovna_vorontsovkv.pdf"><strong>в этой статье</strong></a>. Она написана Константином Воронцовым в соавторстве со студентом его научной группы Николаем Скачковым.</p><p><strong>ARTM </strong>— это подход к построению тематических моделей. Он отличается от других, более старых и известных алгоритмов тематического моделирования (LDA, pLSA) тем, что он не чисто вероятностный, а предполагает возможность наложения дополнительных ограничений на модель — внешних лингвистических или специфических для конкретной задачи критериев. Эти критерии формулируются в виде регуляризаторов.</p><p><strong>TopicTiling</strong> — это алгоритм, позволяющий использовать любую имеющуюся тематическую модель для определения границ сегментов в текстах.</p><blockquote>Таким образом, в нашем подходе мы сначала строим тематическую модель с помощью аддитивной регуляризации, а затем используем ее для выделения сегментов с помощью TopicTiling.</blockquote><p>На первом шаге при построении тематической модели помимо стандартных для ARTM регуляризаторов разреживания и сглаживания, мы используем также дополнительный регуляризатор, который учитывает сегментную структуру текста. Мы ожидаем, что в текстовом сегменте содержится небольшое число тем, причем в двух соседних сегментах не должно быть много общих тем. Это предположение можно сформулировать математически в виде регуляризатора (он применяется на каждом E-шаге EM-алгоритма, с помощью которого строится модель). Для построения такой модели мы используем инструмент <a href="http://bigartm.org/"><strong>BigARTM</strong></a><strong>.</strong></p><p>На втором шаге мы определяем сегментные границы с помощью алгоритма Topic Tiling. Для каждой границы между предложениями алгоритм считает расстояние между левым и правым предложением от границы (то есть расстояние между их тематическими представлениями, полученными с помощью модели с первого шага). Получившиеся расстояния сглаживаются, затем считается порог. Порог определяется как среднее от всех сглаженных расстояний минус корень из их стандартного отклонения, умноженный на коэффициент, величина которого влияет на крупность сегментации. Чем меньше значение коэффициента, тем большего размера получаются сегменты. В конце те границы предложений, для которых сглаженное расстояние получилось больше, чем рассчитанный порог, выбираются как итоговые границы сегментов.</p><p>Мы используем тематическую сегментацию текстов в том числе и в <a href="http://www.irela.ru/modules/multi"><strong>кросс-язычном поиске</strong></a>: все длинные документы делятся на тематически связанные сегменты, которые формируют общую “коллекцию смыслов” (мы называем их смыслами именно потому, что это небольшие отрывки текста, описывающие обычно что-то одно).</p><blockquote>Недавно мы написали научную статью на эту тему, с экспериментами на реальных данных, показывающих, что сегментация действительно полезна в задаче информационного поиска. Почитать ее можно <a href="https://yadi.sk/i/qAc8HitnfaaaSw"><strong>здесь</strong></a>.</blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ced2308156dc" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Разработка решений data science: плюсы, минусы и подводные камни]]></title>
            <link>https://medium.com/@irela/%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0-%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D0%B9-data-science-%D0%BF%D0%BB%D1%8E%D1%81%D1%8B-%D0%BC%D0%B8%D0%BD%D1%83%D1%81%D1%8B-%D0%B8-%D0%BF%D0%BE%D0%B4%D0%B2%D0%BE%D0%B4%D0%BD%D1%8B%D0%B5-%D0%BA%D0%B0%D0%BC%D0%BD%D0%B8-3f46a2585db5?source=rss-deba2f9b97cc------2</link>
            <guid isPermaLink="false">https://medium.com/p/3f46a2585db5</guid>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[naturallanguageprocessing]]></category>
            <category><![CDATA[машинное-обучение]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[IRELA team: NLP & data analysis]]></dc:creator>
            <pubDate>Mon, 12 Nov 2018 17:08:23 GMT</pubDate>
            <atom:updated>2018-11-13T09:39:55.952Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*f0R8i7Kv-yk9gke_YY_Qfg.jpeg" /><figcaption><em>Фото на обложке: </em><a href="https://unsplash.com/photos/mrIaqKh9050"><em>Unsplash</em></a></figcaption></figure><p><strong>Привет! В предыдущих статьях </strong><a href="https://irela.ru/"><strong>мы</strong></a><strong> продемонстрировали, что методы data science могут быть полезны в самых разных прикладных задачах. Однако сами методы — лишь верхушка айсберга. Сейчас мы попробуем показать, как проходит процесс разработки data science-решения и почему чаще всего это происходит не идеально.</strong></p><p><strong><em>Авторы: </em></strong><em><br></em><a href="https://rb.ru/author/nikitinskij/"><em>Никита Никитинский</em></a><em>, глава R&amp;D в </em><a href="http://irela.ru/"><em>IRELA</em></a><em>, <br>Полина Казакова, Data Scientist в IRELA.</em></p><h3>Условный стандарт</h3><p>В чем заключается основная проблема data science-проектов? В отличие от «традиционной» разработки, универсальная методология их ведения еще не до конца сформировалась.</p><p>Одна из самых известных методологий такого рода называется CRISP-DM (Cross-Industry Standard Process for Data Mining, межотраслевой стандарт анализа данных). Она уже кажется несколько устаревшей, однако новые методологии, появившиеся в последние несколько лет, пока не стали столь же популярными. CRISP-DM делит процесс DS-разработки на шесть составляющих: понимание задачи, понимание данных, подготовка данных, построение модели, оценка и деплой (или развертывание) системы. Методология предусматривает почти свободный возврат к предыдущим этапам или их подпунктам.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*A361ZgsntU_VWbEa.jpg" /></figure><p>Давайте коротко рассмотрим, что включает в себя каждый блок, а также какие опасности подстерегают нас на каждом шаге.</p><h4>Понимание задачи</h4><p>В первую очередь необходимо определиться с целью проекта. Причем самое важное — установить максимально строгие критерии достижения этой цели: как вы поймете, что проект принесет пользу вашей организации, какими бизнес-метриками можно эту пользу измерить.</p><p>Проектирование, разработка и внедрение DS-решений — это дорогое удовольствие. Поэтому еще до начала проекта стоит оценить, способно ли вложение окупиться. Необходимо также взвесить, а нужно ли вам вообще все это машинное обучение и прочий датасаенс. Машинное обучение хорошо подходит для автоматизации конвейерных, рутинных процессов, которые при этом ведут к накоплению значительного количества данных.</p><blockquote><em>К примеру, большие компании часто вынуждены содержать большой штат службы поддержки, обрабатывающей внешние заявки. Расходы на оплату труда можно значительно сократить, если поручить это дело алгоритмам. Если у вас разовая или нерегулярная задача, скорее всего, дешевле будет обойтись без автоматизации.</em></blockquote><p>После того, как бизнес-задача поставлена, необходимо сформулировать ее в виде формальной задачи анализа данных и снова определить метрики оценки качества, на этот раз математически. Например, при классификации такой метрикой может быть точность (accuracy): доля объектов, которые модель угадывает правильно. Определитесь, какого минимального формального значения метрики качества должна достичь модель, чтобы обеспечить выполнение поставленной бизнес-цели.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*6REl6WfE03yXzUbf.jpg" /></figure><p>На этом этапе также набрасывается первоначальный план проекта и выбирается предварительный набор инструментов анализа данных. Желательно сразу оценить ваши возможности и ограничения: нужна ли вам сложная модель, требующая большого количества ресурсов и денежных вложений (например, нейросетевая), или, возможно, будет достаточно простого, но надежного традиционного алгоритма?</p><p>Учитывайте, что вероятность непонимания между заказчиком и исполнителем в проектах data science выше, чем при разработке традиционных систем, — в силу того, что заказчики чаще всего имеют довольно слабое представление о возможностях и ограничениях DS-методов. Поэтому по ходу проекта необходимо регулярно давать друг другу обратную связь, при этом важна способность специалистов со стороны исполнителя популярно объяснять сложные вещи. Понимание задачи — важный этап, в большой степени определяющий успех проекта.</p><h4>Понимание данных</h4><p>На следующем шаге исполнитель получает данные и подробно их анализирует. Можно строить модели и без понимания того, с какими данными приходится иметь дело, но тогда они становятся «черным ящиком» не только для заказчика, но и для самих аналитиков и разработчиков — это не жизнеспособно. На практике очень важно знать природу и устройство данных и то, какие закономерности они обнаруживают. Это позволяет не только корректно сформировать признаки, но и лучше понять, как работает модель, почему она может давать верный ответ в одном случае и ошибаться в другом.</p><p>Главная проблема этого этапа заключается в том, что в данных компаний чаще всего встречаются ошибки, и когда их доля во всей выборке существенная, это может стать серьезной помехой. Например, вы разрабатываете систему автоматического ответа на заявки пользователей в службу поддержки. Модель обучается на текстах ответов реальных операторов этой службы. Очевидно, здесь срабатывает человеческий фактор: все люди ошибаются, а иногда еще и халтурят. Если специальным образом не подойти к решению этой проблемы, то на этапе построения модели может случиться затык, когда не удастся никакими способами достичь желаемого качества.</p><p><strong>Есть несколько возможных способов с этим справиться.</strong></p><ol><li>Первый (и самый надежный): посадить специалистов со стороны заказчика заново размечать данные, то есть проставлять ответы. Минусов у такого подхода два. Это дорого, потому что сотрудники отвлекаются от основных обязанностей, и долго, ведь данные, которые копились годами, не разметить за один день, и хотя нередко бывает достаточно обработать лишь их часть, все равно это очень большой объем.</li><li>Второй способ: посадить размечать внешних людей или самих аналитиков. Проблемы все те же, плюс к ним добавляется то, что качество разметки ухудшается — из-за отсутствия у людей вне компании специальных знаний, даже при наличии детальных инструкций.</li><li>Третий вариант: использовать алгоритмы машинного обучения (помните, мы уже обсуждали поиск аномалий?). Однако этот вариант подходит только для ситуации, когда ошибок в данных не слишком много, ведь если ошибок будет большинство, алгоритм просто выкинет все правильные случаи и станет только хуже.</li><li>Еще может так случиться, что заказчик вообще даст неправильные данные (у нас такое бывало). Это еще одна причина, по которой данные нужно исследовать очень внимательно. И вероятнее всего, это звоночек, символизирующий, что заказчик и исполнитель не поняли друг друга и необходимо вернуться к первому этапу.</li></ol><p>Наконец, у заказчика может вообще не быть никаких данных, — и делайте, как хотите. А ведь именно качество и количество данных определяет успех алгоритмов машинного обучения. Поэтому в последнее время говорят о важности аналитической культуры, подразумевающей особое отношение компаний к своим данным как к ресурсу, который необходимо накапливать и структурировать. У DS-проектов в таких компаниях шансы на успех значительно повышаются.</p><h4>Подготовка данных</h4><p>Этот этап включает в себя формирование нужных выборок, очистку данных от ненужной информации, приведение их к необходимому формату и конструирование признаков.</p><p>Небольшая сложность, которая может возникнуть на этом шаге, кроется в слиянии и агрегировании данных из нескольких источников, если заказчик хранит информацию в разных базах данных (а так бывает почти всегда).</p><h4>Моделирование</h4><p>Процесс моделирования происходит примерно так. Сначала выбирается потенциально подходящий алгоритм или чаще всего набор алгоритмов. Затем определяется метод оценки качества модели. Например, для классификации самый простой способ — измерение какой-либо метрики качества (например, точности) на тестовой выборке.</p><p>Тестовая выборка — это отдельная часть данных, на которой НЕ обучался алгоритм, то есть та часть, которую алгоритм «видит» впервые. Проверка на тестовой выборке не всегда возможна, как, к примеру, при кластеризации, когда правильных ответов просто нет. После проводится само обучение моделей и их настройка, то есть подбор таких параметров, которые дают самое высокое возможное качество или близкое к нему. Наконец, из всего пула моделей выбираются наилучшие.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*bX2Dfe2uMF54lWxJ.jpg" /></figure><p>Провал, поджидающий на данном шаге, возможно, самый болезненный для исследователя, потому что в этот момент теория встречается с реальностью. Модель, которая первоначально казалась идеальной для вашего кейса, может на практике показать возмутительно низкие результаты. Оказывается, цитируемые научные статьи от признанных светил машинного обучения, где их модели бьют все рекорды на полуискусственных данных, — не гарантия успеха. Вот совет для минимизации таких рисков: всегда (!) начинайте с простых, проверенных временем техник и переходите к более сложным по мере необходимости.</p><h4>Оценка</h4><p>Перед тем, как пускать модель в бой, необходимо удостовериться, что она действительно эффективна в поставленной бизнес-задаче. Для этого часто используют метод A/B-тестирования: потенциальные пользователи системы (или их часть) делятся на две группы — одной дается новый инструмент, в другой все остается, как было.</p><p>Например, одна половина службы поддержки продолжает обрабатывать заявки вручную, другая — пользуется прототипом, предлагающим значения нужных полей. Через некоторое время для обеих групп измеряются бизнес-метрики (например, среднее время обработки одной заявки) и делается вывод.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*Lbvhg68HlwR99UEa.jpg" /></figure><p>Иногда разделение на две группы не подходит, и тогда можно показывать обе версии одному и тому же пользователю. Например, вы разрабатываете новую поисковую модель на замену существующей. Можно показывать оба результата выдачи пользователю и спрашивать, какой из них, на его взгляд, лучше.</p><p>Заказчик может захотеть пренебречь этим этапом, так как он стоит дополнительных денег, времени и усилий, ведь нужно все-таки создать минимально функционирующий прототип. Однако лучше потратиться на прототипирование и тестирование, чем в итоге заплатить еще больше денег за систему, которая бесполезна в достижении установленных целей.</p><h4>Развертывание</h4><p>Процесс написания финального кода, построения итоговой модели и дальнейшего развертывания DS-решений в чем-то схож с обычной разработкой, но имеет дополнительные сложности.</p><p>В частности, необходимо прописывать не только стандартные тесты, проверяющие, что система в принципе функционирует, но и тесты для проверки адекватности финальной модели, которые не всегда можно реализовать стандартным способом.</p><blockquote><em>Можно сравнивать значение метрики качества на тестовой выборке со значением, полученным на этапе моделирования. Если ситуация такова, что тестовой выборки нет, придется придумывать что-то специфическое в каждом конкретном случае.</em></blockquote><p>Например, если вы разрабатываете поисковую систему и тестовой выборки у вас нет, можно проверить, находит ли модель в ответ на запрос «как поймать единорога» страницы, содержащие слово «единорог». Это нужно для того, чтобы если по каким-то причинам итоговая модель построилась неправильно, вы узнали об этом раньше, чем она начнет выдавать некорректные ответы пользователям или сломает всю систему.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*8_C5Nw-n9PZ_9oj3.jpg" /></figure><p>Тестирование важно не столько чтобы проверить, что на первой итерации все работает как надо (в этом можно и глазами убедиться), но в первую очередь чтобы упростить дальнейший процесс поддержки и развития.</p><h3>За рамками методологии</h3><p>Описанная методология — самоочевидная, слишком верхнеуровневая, не описывает, как распределяются процессы по ролям в команде, и необоснованно разделяет этапы исследования данных и их подготовки, хотя на практике это скорее один процесс. Но основная наша претензия к ней заключается в том, что она не учитывает этапа поддержки, в то время как именно этот процесс доставляет серьезную головную боль как исполнителям, так и заказчикам. Трудности проистекают из того, что реальность постоянно меняется, и необходимо, чтобы модель подстраивалась под эти изменения. С добавлением новых данных может измениться структура признаков, могут добавиться новые признаки или новые значения зависимой переменной.</p><blockquote><em>У этой проблемы нет универсального решения. Можно периодически переобучать модель, но и это ведет к некоторым сложностям. К примеру, новая модель может на старых объектах давать ответы, отличные от ответов предыдущей модели.</em></blockquote><p>Помимо поддержки, после развертывания желательно продолжать мониторить полезность системы: проводить A/B-тесты, собирать отклики пользователей.</p><p>Если вы дочитали до этого абзаца, то у вас, вероятно, сформировалось ощущение, что лучше вообще не браться за эти новомодные технологии. Мы считаем, что это не так :) Наука о данных не была бы так популярна, если бы не позволяла справляться со многими проблемами более эффективно. Однако помните, что анализ данных в бизнесе — это не только модели, эксперименты и проверка гипотез. Безусловно, само моделирование очень и очень важно. Но в отрыве от всех остальных блоков при решении прикладных задач оно может оказаться бессмысленным.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3f46a2585db5" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Машинное обучение: как оно применяется в жизни]]></title>
            <link>https://medium.com/@irela/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5-%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5-%D0%BA%D0%B0%D0%BA-%D0%BE%D0%BD%D0%BE-%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D0%BD%D1%8F%D0%B5%D1%82%D1%81%D1%8F-%D0%B2-%D0%B6%D0%B8%D0%B7%D0%BD%D0%B8-7d9436c4d0e5?source=rss-deba2f9b97cc------2</link>
            <guid isPermaLink="false">https://medium.com/p/7d9436c4d0e5</guid>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[искусственный-интеллект]]></category>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[машинное-обучение]]></category>
            <dc:creator><![CDATA[IRELA team: NLP & data analysis]]></dc:creator>
            <pubDate>Tue, 25 Sep 2018 10:34:19 GMT</pubDate>
            <atom:updated>2018-09-25T10:34:54.690Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VoDPtHgSb3B2pZafOlNyZA.jpeg" /><figcaption><em>Фото на обложке: </em><a href="https://unsplash.com/photos/y3FkHW1cyBE"><em>Unsplash</em></a></figcaption></figure><p><strong>В первой </strong><a href="https://medium.com/@irela/%D1%87%D1%82%D0%BE-%D1%82%D0%B0%D0%BA%D0%BE%D0%B5-data-science-%D0%B8-%D0%BA%D0%B0%D0%BA-%D1%8D%D1%82%D0%BE-%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%B0%D0%B5%D1%82-2c9c6455ae4d"><strong>колонке </strong></a><strong>серии о машинном обучении для </strong><a href="https://rb.ru/opinion/mashinnoe-obuchenie/"><strong>Rusbase</strong></a><strong> мы подробно рассказали, что такое data science. Сегодня объясним, как машинное обучение используется на практике.</strong></p><p><strong><em>Авторы: </em></strong><em><br></em><a href="https://rb.ru/author/nikitinskij/"><em>Никита Никитинский</em></a><em>, глава R&amp;D в </em><a href="http://irela.ru/"><em>IRELA</em></a><em>, <br>Полина Казакова, Data Scientist в IRELA.</em></p><p>В прошлый раз мы обсудили, что такое Data Science и выяснили, что одна из важнейших составляющих науки о данных — это машинное обучение. Мы уже знаем, что идея машинного обучения достаточно проста: найти закономерность в имеющихся данных, чтобы затем распространить ее на новые объекты. В этой статье мы чуть подробнее расскажем о том, каким бывает машинное обучение, какие типы задач оно решает и как применяется в жизни.</p><h3>Типология и терминология</h3><p>Два базовых типа задач, встречающихся в машинном обучении, — это задачи обучения с учителем и обучения без учителя. Прежде чем обсуждать их подробнее, давайте введем некоторые базовые термины.</p><p>Объекты в машинном обучении описываются набором признаков. Вернемся к примеру с кофе из прошлой статьи: там объектами были люди, и мы описывали их единственным признаком — количеством сна. Признаки иначе называются независимыми переменными. Важно заметить, что признаки должны быть представлены в численном виде, потому что только так ими можно оперировать математически и обрабатывать компьютерно. Совокупность объектов, которые используются для того, чтобы построить модель, называется обучающей выборкой: десять синих точек на первом графике и были нашей обучающей выборкой.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/696/0*WE3h4mlr95WPLJNq.jpg" /></figure><h3>Обучение с учителем</h3><p>Методы обучения с учителем применяются тогда, когда для имеющихся объектов обучающей выборки мы знаем так называемые ответы, а для новых объектов мы хотим их предсказать. Ответы также называются зависимой переменной. В этом классе задач в свою очередь выделяется несколько типов.</p><p>В первом типе ответами являются значения некоторой численной величины, как было в нашей истории с кофе: для каждого объекта обучающей выборки мы знали количество выпитого кофе, а для нового объекта Никиты модель это значение предсказывала. Этот тип задач, когда зависимая переменная является вещественным числом (то есть может принимать любые значения на всей числовой прямой), называется задачей регрессии.</p><blockquote><em>В реальной жизни к такому типу задач относится, например, предсказание температуры, прогнозирование выручки, предсказание цены квартиры по параметрам типа площади, расположения, наличия мебели.</em></blockquote><p>В задачах второго типа ответы принадлежат ограниченному набору возможных категорий (или классов). Продолжим наши офисные аналогии: представьте, что офис-менеджер Михаил закупил два вида подарков для коллег к Новому году — футболки и блокноты. Чтобы не испортить сюрприз, Михаил хочет построить модель, которая предсказывала бы, какой подарок хочет получить сотрудник, на основе данных из личных профилей (внимательный читатель заметит, что в реальности для построения модели Михаилу все же пришлось бы спросить о желаемом подарке у части коллег, чтобы сформировать обучающую выборку). Такой тип задач, когда необходимо относить объекты к одной из нескольких возможных категорий, то есть когда зависимая переменная принимает конечное число значений, называется задачей классификации. Пример с подарками относится к бинарной классификации: классов всего два — «футболки» и «блокноты»; в противном случае, когда классов больше, говорят о многоклассовой классификации.</p><p>Пожалуй, самый актуальный пример классификации — задача кредитного скоринга. Принимая решение, выдать вам кредит или нет, ваш банк ориентируется на предсказание модели, натренированной по множеству признаков определять, способны ли вы вернуть запрашиваемую сумму. Такими признаками являются возраст, уровень заработной платы, различные параметры кредитной истории.</p><p>Еще один тип обучения с учителем — задача ранжирования. Она решается, когда вы ищете что-то в поисковике вроде <a href="https://rb.ru/tag/google/">Google</a>: есть множество документов и необходимо отсортировать их в порядке их релевантности (смысловой близости) запросу.</p><h3>Обучение без учителя</h3><p>Методы обучения без учителя используются, когда никаких правильных ответов нет, есть только объекты и их признаки, а задача заключается в том, чтобы определить структуру множества этих объектов.</p><p>К таковым относится задача кластеризации: есть совокупность объектов, и необходимо разбить их на группы так, чтобы в одной группе находились объекты, похожие друг на друга. Это может быть полезно, например, когда есть большая коллекция текстов и необходимо ее как-то автоматически структурировать, разделить тексты по темам. Кластеризация может применяться для разделения пользователей сайта интернет-магазина на сегменты, к примеру, чтобы разным группам предлагать разные товары исходя из их интересов.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/611/0*8ekRC8d3A-cRZeen.png" /></figure><p>Другой пример обучения без учителя — задача поиска аномалий, которую мы упоминали в прошлый раз: есть множество объектов, и необходимо выделить в нем такие, которые сильно отличаются от большинства. Методы поиска аномалий используют для обнаружения нетипичных транзакций, нетипичного поведения на сайте с целью предотвращения мошенничества. Они также помогают определять поломки в различных системах на основании показателей множества датчиков.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/629/0*8jj9fv01KapSQ6SB.jpg" /></figure><p>Помимо обучения с учителем и без учителя, существуют и более изысканные типы задач. Например, в частичном обучении ответы известны только для части объектов выборки.</p><h3>Алгоритмы машинного обучения</h3><p>Внутри вышеописанных типов задач в машинном обучении существуют различные алгоритмы. С одним из них мы уже познакомились: это линейная регрессия — именно ее мы применяли в задаче предсказания количества кофе. Линейная регрессия является одним из самых хорошо изученных методов статистики и машинного обучения. Она подходит для описания линейных зависимостей, то есть таких, которые можно хорошо приблизить прямой линией.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*h3dswKh1Blv6gLGq.png" /></figure><p>Еще один простой алгоритм машинного обучения — решающее дерево. Он напоминает набор последовательно задаваемых вопросов с (чаще всего) двумя возможными ответами. Подобный алгоритм использует офис-менеджер Михаил, когда решает, подходит ли кофе из новой поставки для приверед из отдела анализа данных. Это задача бинарной классификации, где ответы принимают значение «кофе подходит» и «кофе не подходит». Михаил последовательно отвечает на ряд вопросов, перемещаясь по веткам дерева: какой вид кофе? какая обжарка кофе? какой регион произрастания кофе? В итоге Михаил оказывается в одном из листьев (так называются «конечные» вершины) дерева, где находится предсказание.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/0*8t1A5JWW3sC9x5XQ.jpg" /></figure><p>Конечно, решающие деревья в чистом виде слишком просты и поэтому не очень подходят для решения сложных задач, однако их композиции (совокупности большого числа деревьев) оказываются неожиданно эффективными.</p><h3>Глубинное обучение</h3><p>Сейчас алгоритмы машинного обучения можно условно разделить на традиционные и методы глубинного обучения (это общее название для разного вида многослойных нейронных сетей). Для успешной работы традиционных алгоритмов очень важен такой этап предобработки данных, как feature engineering (для этого термина нет конвенционального перевода на русский язык; грубо его можно перевести как конструирование признаков). Это процесс формирования и отбора признаков. Как правило, работа с признаками — это трудоемкий, времязатратный процесс, который требует глубокого погружения в предметную область решаемой задачи.</p><p>Джереми Говард, один из авторов известного курса про глубинное обучение fast.ai, приводит следующий пример. Команда специалистов из Стенфорда во главе с ученым Эндрю Бэком занималась исследованием рака молочной железы. Чтобы построить модель, способную предсказывать выживет пациентка с опухолью или нет, им пришлось изучить огромное количество снимков биопсий молочной железы. Таким образом они определили, какие паттерны на снимках могут быть связаны со смертью пациентки и сформировали сотни сложных признаков, таких как связь между соседними эпителиальными клетками. Затем команда программистов разработала алгоритмы для правильного распознавания этих признаков со снимков.</p><blockquote><em>На базе этих признаков была построена логистическая регрессия — достаточно простой алгоритм машинного обучения. Получившаяся модель действительно предсказывала лучше, чем живые патологи, но на ее разработку ушли годы работы целой команды экспертов из разных сфер.</em></blockquote><p>Принципиальное отличие глубинного обучения в том, что оно способно взять большую часть работы по формированию признаков на себя, используя только единообразно представленные входные данные без вручную выделенных сложных признаков. В случае прогнозирования смерти от рака молочной железы медицинские снимки можно представлять просто в виде последовательности яркостей отдельных пикселей. Многослойные нейросети с каждым слоем способны объединять пиксели во все более полезные уровни абстракции. Таким образом они получают представление об изображении в целом, а также о его частях, влияющих на конечное предсказание (например, опухоль и ее размеры).</p><h3>Необходимые навыки и варианты курсов</h3><p>Если вам хочется глубже разобраться в теме машинного обучения и научиться решать с его помощью реальные задачи, для этого желательно иметь хотя бы базовые знания в таких областях математики как математический анализ, линейная алгебра, статистика. Пригодятся и базовые навыки программирования — в первую очередь на языке Python. Полезным будет знание английского языка, так как большинство хорошей литературы и курсов по машинному обучению — на английском.</p><p>В остальном все в ваших руках. Сейчас в интернете можно найти множество онлайн-курсов по теме, в том числе и бесплатных. Из таких для начала мы рекомендуем «<a href="https://www.coursera.org/learn/vvedenie-mashinnoe-obuchenie">Введение в машинное обучение</a>» от НИУ ВШЭ, <a href="https://www.coursera.org/learn/machine-learning">Machine Learning</a> от известного ученого из Стенфорда Эндрю Ына (правда, для сдачи заданий по программированию потребуется MATLAB/Octave) и уже упомянутый нами выше <a href="http://course.fast.ai/">fast.ai</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7d9436c4d0e5" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Что такое data science и как это работает?]]></title>
            <link>https://medium.com/@irela/%D1%87%D1%82%D0%BE-%D1%82%D0%B0%D0%BA%D0%BE%D0%B5-data-science-%D0%B8-%D0%BA%D0%B0%D0%BA-%D1%8D%D1%82%D0%BE-%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%B0%D0%B5%D1%82-2c9c6455ae4d?source=rss-deba2f9b97cc------2</link>
            <guid isPermaLink="false">https://medium.com/p/2c9c6455ae4d</guid>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[машинное-обучение]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[big-data]]></category>
            <dc:creator><![CDATA[IRELA team: NLP & data analysis]]></dc:creator>
            <pubDate>Tue, 25 Sep 2018 10:07:11 GMT</pubDate>
            <atom:updated>2018-09-25T10:35:19.074Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ivNG9hjnoMSdH0IMGti2DA.jpeg" /></figure><p><strong>Data science, big data, машинное обучение — вы наверняка слышали эти громкие слова, но насколько понятным был для вас их смысл? Для кого-то они являются красивыми маркетинговыми приманками. Кто-то думает, что data science — это магия, которая бесплатно заставит машину делать, что прикажут. Другие и вовсе полагают, что это легкий способ зарабатывать огромные деньги. Мы в своей авторской колонке на Rusbase расскажем, что это такое простым и понятным языком.</strong></p><p><strong><em>Авторы: </em></strong><em><br></em><a href="https://rb.ru/author/nikitinskij/"><em>Никита Никитинский</em></a><em>, глава R&amp;D в </em><a href="http://irela.ru/"><em>IRELA</em></a><em>, <br>Полина Казакова, Data Scientist в IRELA.</em></p><p>Я работаю в сфере автоматической обработки естественного языка, одного из приложений data science, и часто наблюдаю, как люди не совсем корректно употребляют эти термины, поэтому мне захотелось внести немного ясности. Эта статья для тех, кто плохо представляет себе, что такое data science и хочет разобраться в понятиях.</p><h3>Определимся с терминологией</h3><p>Начнем с того, что на самом деле никто точно не знает, что такое data science, и строгого определения не существует — это очень широкий и междисциплинарный концепт. Поэтому здесь я поделюсь своим видением, которое совсем не обязательно совпадает с мнением других.</p><p>Термин data science на русский переводят как «наука о данных», а в профессиональной среде часто просто транслитерируют — «дата сайенс». Формально это набор некоторых взаимосвязанных дисциплин и методов из области информатики и математики. Звучит слишком абстрактно, правда? Давайте разбираться.</p><h3>Первая часть: data</h3><p>Первая составляющая науки о данных, то, без чего весь дальнейший процесс невозможен, — это, собственно, сами данные: как их собирать, хранить и обрабатывать, а также как выделять из общего массива данных полезную информацию. Именно очистке данных и приведению их к нужному виду специалисты посвящают до 80% своего рабочего времени.</p><p>Важная часть этого пункта — как обращаться с данными, для которых не подходят стандартные способы хранения и обработки из-за их огромного объема и/или разнообразия — так называемые большие данные, big data. Кстати, не дайте себя запутать: big data и data science — не синонимы: скорее, первое подраздел второго. При этом не всегда специалистам по анализу данных на практике приходится работать именно с большими данными — полезными могут быть и маленькие.</p><h3>Соберем данные</h3><p>Чтобы не быть голословным, я приведу простой пример. Соберем какие-нибудь данные.</p><p>Представьте, что нас интересует, есть ли какая-то взаимосвязь между тем, сколько ваши коллеги по работе выпивают кофе за день, и тем, сколько они спали накануне. Запишем доступную нам информацию: допустим, ваш коллега Григорий сегодня спал 4 часа, так что ему пришлось выпить 3 чашки кофе; Эллина спала 9 часов и не пила кофе вообще; а Полина спала все 10 часов, но выпила 2,5 чашки кофе — и так далее.</p><p>Изобразим полученные данные на графике (визуализация — тоже немаловажный элемент любого data science-проекта). Отложим по оси X время в часах, а по оси Y — кофе в миллилитрах. Получим что-то вроде такого:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*0GlmKb2njYTb6HWg.png" /></figure><h3>Вторая часть: science</h3><p>У нас есть данные, что теперь с ними можно делать? Правильно, анализировать, извлекать полезные закономерности и как-то их использовать. Тут нам помогут такие дисциплины, как статистика, машинное обучение, оптимизация.</p><p>Они формируют следующую и, возможно, самую важную составляющую data science — анализ данных. Машинное обучение позволяет находить закономерности в существующих данных, чтобы затем предсказывать нужную информацию для новых объектов.</p><h3>Проанализируем данные</h3><p>Вернемся к нашему примеру. На глаз кажется, что два параметра как-то взаимосвязаны: чем меньше человек спал, тем больше он выпьет кофе на следующий день. При этом у нас есть и выбивающийся из этой тенденции пример — любительница поспать и попить кофе Полина. Тем не менее можно попытаться приблизить полученную закономерность некоторой общей прямой линией так, чтобы она максимально близко подходила ко всем точкам:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*2LrVjyvO5V8TH216.png" /></figure><p>Зеленая линия — и есть наша модель машинного обучения, она обобщает данные и ее можно описать математически. Теперь с помощью нее мы можем определять значения для новых объектов: когда мы захотим предсказать, сколько кофе сегодня выпьет вошедший в кабинет Никита, мы поинтересуемся, сколько он спал. Получив в качестве ответа значение в 7,5 часов, подставим его в модель — ему соответствует количество выпитого кофе в объеме чуть менее 300 мл. Красная точка обозначает наше предсказание.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*ayEDJz36putuiVsX.png" /></figure><p>Примерно так и работает машинное обучение, идея которого очень проста: найти закономерность и распространить ее на новые данные. На самом деле, в машинном обучении выделяется еще один класс задач, когда нужно не предсказывать какие-то значения, как в нашем примере, а разбивать данные на некоторые группы. Но об этом мы подробнее поговорим в другой раз.</p><h3>Применим результат</h3><p>Однако на мой взгляд, data science не заканчивается на выявлении закономерностей в данных. Любой data science-проект — это прикладное исследование, где важно не забывать о таких вещах, как постановка гипотезы, планирование эксперимента и, конечно, оценка результата и его пригодности для решения конкретного кейса.</p><p>Последнее очень важно в реальных бизнес-задачах, когда необходимо понять, принесет ли найденное data science решение пользу вашему проекту или нет. Какова могла бы быть полезность построенной модели в нашем примере? Возможно, с ее помощью мы могли бы оптимизировать доставку кофе в офис. При этом нам нужно оценить риски и определить, лучше наша ли наша модель справлялась бы с этим, чем существующее решение — офис-менеджер Михаил, ответственный за закупку продукта.</p><h3>Найдем исключения</h3><p>Конечно, наш пример максимально упрощен. В реальности можно было бы построить более сложную модель, которая учитывала бы какие-то другие факторы, например, любит ли человек кофе в принципе. Или модель могла бы находить более сложные, чем представляемые прямой линией, взаимосвязи.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*JWDKGrm_xlpBZw7u.png" /></figure><p>Можно было бы сперва найти в наших данных выбросы — объекты, которые, как Полина, сильно непохожи на большинство других. Дело в том, что при реальной работе такие примеры могут плохо повлиять на процесс построения модели и ее качество, и их имеет смысл обрабатывать как-то иначе. А иногда такие объекты представляют первостепенный интерес, например, в задаче обнаружения аномальных банковских транзакций с целью предотвращения мошенничества.</p><p>Кроме того, Полина демонстрирует нам еще одну важную идею — несовершенство алгоритмов машинного обучения. Наша модель прогнозирует всего 100 мл кофе для человека, который спал 10 часов, в то время как на самом деле Полина выпила аж целых 500. В это никогда не поверят заказчики data science-решений, но пока еще невозможно научить машину идеально предсказывать все на свете: как бы хорошо мы ни выделяли закономерности в данных, всегда найдутся непредсказуемые элементы.</p><h3>Продолжим рассказ</h3><p>Итак, data science — это набор методов обработки и анализа данных и применение их к практическим задачам. При этом надо понимать, что у каждого специалиста свой взгляд на эту сферу и мнения могут отличаться.</p><p>В основе data science лежат достаточно простые идеи, однако на практике часто обнаруживается много неочевидных тонкостей. Как data science окружает нас в повседневной жизни, какие существуют методы анализа данных, из кого состоит команда data science и какие сложности могут возникнуть в процессе исследования — об этом мы расскажем в следующих статьях.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2c9c6455ae4d" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>