<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Kolesa Group - Medium]]></title>
        <description><![CDATA[Наши продукты Kolesa.kz, Krisha.kz, Avtoelon.uz помогают 12 миллионам пользователям в Казахстане и Узбекистане покупать и продавать машины и квартиры. - Medium]]></description>
        <link>https://medium.com/kolesa-group?source=rss----1a54fa6c5d0e---4</link>
        <image>
            <url>https://cdn-images-1.medium.com/proxy/1*TGH72Nnw24QL3iV9IOm4VA.png</url>
            <title>Kolesa Group - Medium</title>
            <link>https://medium.com/kolesa-group?source=rss----1a54fa6c5d0e---4</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 11:00:58 GMT</lastBuildDate>
        <atom:link href="https://medium.com/feed/kolesa-group" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Kotlin Delegation и наш пример его использования]]></title>
            <link>https://medium.com/kolesa-group/kotlin-delegation-%D0%B8-%D0%BD%D0%B0%D1%88-%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80-%D0%B5%D0%B3%D0%BE-%D0%B8%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-2ee167f2b518?source=rss----1a54fa6c5d0e---4</link>
            <guid isPermaLink="false">https://medium.com/p/2ee167f2b518</guid>
            <category><![CDATA[development]]></category>
            <category><![CDATA[kotlin-multiplatform]]></category>
            <category><![CDATA[android-app-development]]></category>
            <category><![CDATA[kotlin]]></category>
            <category><![CDATA[android]]></category>
            <dc:creator><![CDATA[Madi Dulatov]]></dc:creator>
            <pubDate>Fri, 09 Feb 2024 12:29:18 GMT</pubDate>
            <atom:updated>2024-02-12T07:04:35.015Z</atom:updated>
            <content:encoded><![CDATA[<p>Я Мади Дулатов, Android-разработчик в Kolesa Group. Занимаюсь поддержкой и добавлением новых фич в команде Kolesa.kz. Сегодня расскажу, как мы сэкономили время сборки проекта и облегчили работу QA с помощью Kotlin Delegation.</p><p>Содержание статьи:</p><ul><li>Проблема долгих сборок и её решение;</li><li>От каких ошибок защищает Kotlin Delegation;</li><li>Итоги.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-D9u58JmHflB46s4w7FoaQ.jpeg" /><figcaption>Мади Дулатов</figcaption></figure><h3>Сократить время сборки</h3><p>Мы в Kolesa Group всегда ищем варианты оптимизации инструментов разработки для достижения лучшего опыта работы. Что на выходе дает качественный продукт нашим пользователям. Поэтому команда в лице QA-инженеров и разработчиков решила сократить время сборок в нашей системе CI/CD. Достичь этого хотели за счет сокращения количество собираемых апк при билде проекта.</p><p>У нас были отдельные билд-варианты — с тестовым окружением и боевым. Они назывались developDebug и developDebugRelease. Чтобы проверить задачи в тестовом окружении, тестировщики вначале скачивали сборку developDebug. Если нужно проверить функционал с боевыми ссылками, то скачивали уже сборку developDebugRelease. Это не очень удобно. К тому же developDebugRelease увеличивало время сборки в CI/CD.</p><p>Для решения задачи мы придумали внести пару изменений в dev options. Это наше меню возможностей для удобства тестирования, где можно менять ссылки, добавлять хэдеры в запросы и многое другое. Мой коллега Аманжол Тулепбаев <a href="https://www.youtube.com/watch?v=udSM9Soj0fs&amp;t=56s">подробно рассказал про эту реализацию</a> на Kolesa Android Meetup.</p><p>Идея была простой:</p><ul><li>сделать переключение между окружениями внутри меню нашего dev options;</li><li>оставить возможность менять тестовые ссылки из dev options;</li><li>удалить ненужный билд-вариант developDebugRelease;</li></ul><p>Ещё мы учли, что ссылки тестового окружения будут лишними в боевой сборке. Чтобы они не мешали тестировщикам и случайно не ушли к пользователям, добавили требование:</p><ul><li>убрать ссылки тестового окружения из боевой сборки.</li></ul><p>Реализовать решили через слияние source set-ов. Создали два класса с одинаковым названием: один из них содержит ссылки тестового окружения, а другой — боевые. Причём только в тестовой версии должна быть возможность менять ссылки в рантайме.</p><p>Мы назвали классы BuildConfigController и положили их в папки <strong>debug</strong> и <strong>release</strong> внутри корневой директории. Так при сборке билд-варианта developDebug берётся класс из пути <strong>debug</strong> пространства, а при сборке боевого приложения используется класс из <strong>release</strong>. Важный нюанс: классы должны быть идентичны по названию и переменным, но можно менять их содержимое.</p><p>Дальше прикрутили переключатель между двумя окружениями внутри dev options. И вуаля — всё работает, тестировщики рады, время сборки уменьшено.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/380/0*Qppqg-tNGfbdGdqj" /></figure><p>Но у этого подхода есть большой минус. Предположим, мы добавляем новую ссылку внутрь BuildConfigController<em>,</em> лежащего в <strong>debug</strong>-папке. Тогда нужно добавить боевую ссылку с таким же названием и в класс, который лежит в <strong>release</strong>-папке. Это правило действует также для случая, когда первым меняем класс, лежащий в директории для боевой сборки. Разработчики в основном пишут код и тестируют в билд-варианте developDebug. Если мы забудем добавить ссылку в релизный класс, то Android Studio нам об этом, к сожалению, не подскажет.</p><p>Держать эти тонкости в голове неудобно. В первой же задаче, где нужно было добавить новую ссылку, забыли продублировать её в релизный класс. Не собралась сборка, которая идёт в магазин приложений. Ошибка была примерно такой:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Z5wbnjb_l0vjix7I" /></figure><p>Ниже показана эта реализация:</p><pre>// путь до класса - src/**debug**/java/kz/kolesa/core<br><br>object BuildConfigController :<br>        ConfigController,<br>        EndpointConfig {<br>    override var webviewEndpoint: String<br>        get() = sharedPrefences.getString(WEB_VIEW_URL, BuildConfig.WEBVIEW_ENDPOINT)<br>        set(value) = sharedPrefences.putString(WEB_VIEW_URL, value)<br><br>    override var websiteEndoint: String<br>        get() = sharedPrefences.getString(KEY_WEBSITE_URL, BuildConfig.WEBSITE_URL)<br>        set(value) = sharedPrefences.putString(KEY_WEBSITE_URL, value)<br>}<br><br>// путь до класса - src/**release**/java/kz/kolesa/core<br><br>object BuildConfigController :<br>        ConfigController,<br>        EndpointConfig {<br><br>    override var webviewEndpoint: String = BuildConfig.WEBVIEW_ENDPOINT<br>        set(value) = Unit<br><br>    override var websiteEndoint: String = BuildConfig.WEBSITE_URL<br>        set(value) = Unit<br>}</pre><p>Здесь наш синглтон BuildConfigController наследует два интерфейса — ConfigController, EndpointConfig. Эти интерфейсы внутри себя описывают ссылки и другие конфиги. Для простоты я упоминаю в этой статье только две переменные. На самом деле переменных, как и кода, больше.</p><p>Промежуточный итог: мы придумали, как решить поставленную задачу. Но реализация получилась не совсем удобной.</p><h3>На помощь приходит Kotlin Delegation</h3><h4>Паттерн делегирования в Kotlin</h4><p><strong>Kotlin Delegation</strong> — одна из крутых особенностей языка Kotlin. Она помогает нам уменьшить бойлерплейтный код, реализуя нативную поддержку паттерна делегирования.</p><p>Суть паттерна делегирования сводится к тому, что некий объект отдает работу или ответственность другому объекту. Благодаря этому шаблону повышается читаемость кода.</p><p>Kotlin предоставляет поддержку делегирования с помощью делегатов для классов и свойств. Сегодня мы остановимся на делегатах классов. Вся эта магия достигается через ключевое слово <strong>by</strong>.</p><p>Давайте рассмотрим быстрый пример. Семья ждёт гостей. Мама делегирует задачи по уборке сыну, а по готовке — дочке.</p><pre>interface Cleaning {<br> fun doCleaning()<br>}<br><br>interface Cooking {<br> fun doCooking()<br>}<br><br>class Son : Cleaning {<br> override fun doCleaning() {<br>  println(&quot;Son did the cleaning&quot;)<br> }<br>}<br><br>class Daughter : Cooking {<br> override fun doCooking() {<br>  println(&quot;Daughter did the cooking&quot;)<br> }<br>}<br><br>class Mother(<br> son: Son,<br> daughter: Daughter<br>) : Cleaning by son, Cooking by daughter {<br><br> fun setTable() {<br>  println(&quot;Mom set the table&quot;)<br> }<br>}<br><br>fun main() {<br> val mother = Mother(Son(), Daughter())<br> // waiting guests<br> mother.doCleaning()<br> mother.doCooking()<br> mother.setTable()<br>}</pre><p>В коде выше написаны два интерфейса — Cleaning и Cooking. Их наследуют классы Son и Daughter. Если мы посмотрим класс Mother, то увидим, что уборку и готовку мама делегирует сыну и дочке через ключевое слово <strong>by</strong>. Можно делегировать больше одного интерфейса. А вот абстрактные классы и открытые для наследования классы делегировать не получится.</p><p>Запускаем код из нашего примера. Мы вызвали у матери функции doCleaning() и doCooking(), и соответствующие функции запустились у сына и дочки.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*eeiqvU5aet84YBf8" /></figure><p>Давайте посмотрим, как это всё работает под капотом. Нам нужна декомпиляция в эквивалент java. Для этого переходим в Tools → Kotlin → Show Kotlin Bytecode → Decompile в Android Studio.</p><pre>public final class Mother implements Cleaning, Cooking {<br>   // $FF: synthetic field<br>   private final Son $$delegate_0;<br>   // $FF: synthetic field<br>   private final Daughter $$delegate_1;<br><br>   public final void setTable() {<br>      String var1 = &quot;Mom set the table&quot;;<br>      System.out.println(var1);<br>   }<br><br>   public Mother(@NotNull Son son, @NotNull Daughter daughter) {<br>      Intrinsics.checkNotNullParameter(son, &quot;son&quot;);<br>      Intrinsics.checkNotNullParameter(daughter, &quot;daughter&quot;);<br>      super();<br>      this.$$delegate_0 = son;<br>      this.$$delegate_1 = daughter;<br>   }<br><br>   public void doCleaning() {<br>      this.$$delegate_0.doCleaning();<br>   }<br><br>   public void doCooking() {<br>      this.$$delegate_1.doCooking();<br>   }<br>}</pre><p>В коде видно, что класс Mother держит ссылки на объекты классов Son, Daughter под переменными <em>$$delegate_0</em> и <em>$$delegate_1</em>. Компилятор в классе Mother реализовал функции обертки doCleaning()<em>,</em> doCooking()<em>,</em> внутри которых идёт вызов одноименных функций у сохранённых объектов делегатов. Здесь компилятор Kotlin использует другой паттерн под названием <em>декоратор</em> для поддержки делегирования в сгенерированном коде.</p><p>Теперь давайте посмотрим, как нам пригодился шаблон делегирования.</p><h4>Наша реализация</h4><p>Итак, мы удалили developDebugRelase и сделали переключатель в debug-меню. Это привело к появлению типичной ошибки.</p><p>Чтобы ошибки не повторялись, решили положить классы c релиз-конфигурациями в папку main и переиспользовать их из debug и release пространств. Для удобства сделали это через Kotlin Delegation.</p><p>Для начала изменили интерфейс ConfigController и добавили EditableConfigController внутри папки main.</p><p>ConfigController теперь содержит ссылки и другие конфигурации. По сути предыдущие два интерфейса объединили в один. В EditableConfigController описываем ссылки и конфиги, которые будут изменяться из dev options.</p><pre>// путь до файла - src/**main**/java/kz/kolesa/core<br><br>interface ConfigController {<br> val websiteUrl: String<br> val webviewMobileEndpoint: String<br>}<br><br>interface EditableConfigController {<br> fun setWebsiteUrl(url: String)<br> fun setWebviewMobileEndpoint(url: String)<br> fun reset()<br>}</pre><p>Дальше создали реализацию ProdConfigController внутри папки main. Это синглтон, и он содержит боевые ссылки внутри себя. Еще нам нужно создать класс-пустышку EmptyEditableConfigController для боевой сборки, потому что в боевой сборке мы не хотим уметь менять ссылки.</p><pre>// путь до файла - src/**main**/java/kz/kolesa/core<br><br>object ProdConfigController : ConfigController {<br>    override val websiteUrl: String = &quot;&lt;https://kolesa.kz&gt;&quot;<br>    override val webviewMobileEndpoint: String = &quot;&lt;https://m.kolesa.kz&gt;&quot;<br>}<br><br>class EmptyEditableConfigController : EditableConfigController {<br>    override fun setWebsiteUrl(url: String) = Unit<br>    override fun setWebviewMobileEndpoint(url: String) = Unit<br>    override fun reset() = Unit<br>}</pre><p>Теперь нужно создать классы для <strong>debug</strong>-окружения.</p><pre>// путь до файла - src/**debug**/java/kz/kolesa/core<br><br>object DebugConfigController : ConfigController {<br>    override val websiteUrl: String = BuildConfig.WEBSITE_URL<br>    override val webviewMobileEndpoint: String = BuildConfig.WEBVIEW_MOBILE_ENDPOINT<br>}<br><br>    class DefaultConfigController : ConfigController {<br>    private val debugEndpointConfig: ConfigController = DebugConfigController<br><br>    override val websiteUrl: String<br>    get() = sharedPrefences.getString(WEBSITE_ENDPOINT_PROPERTY, debugEndpointConfig.websiteUrl)<br><br>    override val webviewMobileEndpoint: String<br>    get() = sharedPrefences.getString(WEBVIEW_MOBILE_ENDPOINT_PROPERTY, debugEndpointConfig.webviewMobileEndpoint)<br>}</pre><p>Здесь мы создали класс DebugConfigController. Это синглтон, содержащий ссылки тестового окружения. Реализовали класс DefaultConfigController, который наследуется от ConfigController. Он умеет возвращать сохранённые ссылки из хранилища преференсов.</p><p>Далее реализуем класс DefaultEditableConfigController. Это наследник интерфейса EditableConfigController. Он сохраняет ссылки в преференсы.</p><pre>class DefaultEditableConfigController: EditableConfigController {<br><br>    override fun setWebsiteUrl(url: String) {<br>        sharedPreferences.putString(WEBSITE_ENDPOINT_PROPERTY, url)<br>    }<br>  <br>    override fun setWebviewMobileEndpoint(url: String) {<br>        sharedPreferences.putString(WEBVIEW_MOBILE_ENDPOINT_PROPERTY, url)<br>    }<br><br>    override fun reset() {<br>        sharedPreferences.remove(WEBSITE_ENDPOINT_PROPERTY)<br>        sharedPreferences.remove(WEBVIEW_MOBILE_ENDPOINT_PROPERTY)<br>    }<br>}</pre><p>Осталось изменить наши классы BuildConfigController, лежащие в папках <strong>debug</strong> и <strong>release</strong>.</p><pre>// версия для дебаг реализации, путь до файла - src/**debug**/java/kz/kolesa/core<br>object BuildConfigController :<br>        ConfigController by DefaultConfigController(),<br>        EditableConfigController by DefaultEditableConfigController()</pre><p>В <strong>debug</strong>-версии наш класс теперь наследует интерфейсы ConfigController и EditableConfigController, но реализует их через делегирование работы классам DefaultConfigController<em>,</em> DefaultEditableConfigController<em>.</em></p><pre>// версия для релиз-реализации, путь до файла - src/**release**/java/kz/kolesa/core<br>object BuildConfigController :<br>        ConfigController by ProdConfigController,<br>        EditableConfigController by EmptyEditableConfigController()</pre><p>Для <strong>release</strong>-версии вышеуказанные интерфейсы реализуются классами ProdConfigController и EmptyEditableConfigController.</p><p>А вот как выглядит структура папок и файлов после наших доработок.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*yXTyUsAYaj9muc6V" /></figure><p>Наш класс BuildConfigController стал более простым. Мы можем обращаться к нужным нам переменным и методам так же, как и раньше.</p><p>Давайте опишем схему вызовов метода, когда мы собрали сборку в билд-варианте <strong>developDebug:</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*77iMgXz7gXEkFwoM" /></figure><p>Схема для <strong>release</strong>-сборок:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*pVTfbTWyOR0mKyNm" /></figure><h3>Итоги</h3><p>Такие у нас получились выводы:</p><ol><li>Разработчики чаще всего пишут код, используя билд тип <strong>developDebug.</strong></li><li>Добавление или улучшение ссылок осуществляется через внесение изменений в интерфейсы ConfigController и EditableConfigController.</li><li>Так как реализация для release-сборок лежит в main папке проекта, Android Studio нам подскажет об отсутствующих функциях в дебаг- и релиз-классах BuildConfigController.</li></ol><p>Результаты:</p><ol><li>Мы сократили количество собираемых APK-файлов — убрали те, что не нужны при сборке.</li><li>При этом подстраховались от ошибок с помощью Kotlin Delegation.</li></ol><p>3. По оценкам QA-инженера, <strong>время сборки сократилось на 3 минуты</strong>. И конечно, это облегчило работу нашим тестировщикам.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2ee167f2b518" width="1" height="1" alt=""><hr><p><a href="https://medium.com/kolesa-group/kotlin-delegation-%D0%B8-%D0%BD%D0%B0%D1%88-%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80-%D0%B5%D0%B3%D0%BE-%D0%B8%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-2ee167f2b518">Kotlin Delegation и наш пример его использования</a> was originally published in <a href="https://medium.com/kolesa-group">Kolesa Group</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Как внедрить Machine Learning и не упереться в тупик]]></title>
            <link>https://medium.com/kolesa-group/%D0%BA%D0%B0%D0%BA-%D0%B2%D0%BD%D0%B5%D0%B4%D1%80%D0%B8%D1%82%D1%8C-machine-learning-%D0%B8-%D0%BD%D0%B5-%D1%83%D0%BF%D0%B5%D1%80%D0%B5%D1%82%D1%8C%D1%81%D1%8F-%D0%B2-%D1%82%D1%83%D0%BF%D0%B8%D0%BA-5ffc99cc91ac?source=rss----1a54fa6c5d0e---4</link>
            <guid isPermaLink="false">https://medium.com/p/5ffc99cc91ac</guid>
            <category><![CDATA[it]]></category>
            <category><![CDATA[backend]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[mlops]]></category>
            <category><![CDATA[data]]></category>
            <dc:creator><![CDATA[Khambar Dussaliyev]]></dc:creator>
            <pubDate>Tue, 14 Nov 2023 12:42:36 GMT</pubDate>
            <atom:updated>2023-11-14T12:42:36.777Z</atom:updated>
            <content:encoded><![CDATA[<p>Меня зовут Хамбар Дусалиев, я руковожу ML &amp; Operations в Kolesa Group. Технологии Machine Learning используются в нашей компании уже несколько лет. В своё время мы столкнулись с нехваткой практической информации по проблемам внедрения ML. Хочу помочь тем, кто сейчас в начале этого пути. Для этого расскажу, на какие грабли мы наступили и как можно их обойти.</p><p>Этот материал поможет:</p><ul><li>подготовить вашу компанию к внедрению ML-решений;</li><li>правильно запустить ML;</li><li>избежать типичных ошибок менеджмента на этом пути.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KbT2KorWJDzmcLk22FfBSw.jpeg" /><figcaption>Хамбар Дусалиев</figcaption></figure><h3>Machine Learning в Kolesa Group</h3><p>Первые ML-модели мы начали внедрять в 2017 году. Довольно быстро возникла потребность перестраивать внутренние процессы. Я уже рассказывал, <a href="https://medium.com/kolesa-group/%D0%BA%D0%B0%D0%BA-%D0%BF%D0%BE%D0%B4%D1%80%D1%83%D0%B6%D0%B8%D1%82%D1%8C-backend-%D1%81-ml-a916cab8fba5">как мы подружили ML и бэкенд</a>. Но технические сложности — это ещё не всё. Изменилась и организационная структура компании. Теперь она включает в себя отдел ML &amp; Operations, а в нём — 3 ML-инженера и 2 MLOps-инженера, силами которых в наших продуктах крутится больше 60 моделей.</p><p>На этом пути мы не раз заходили в тупик. Конечно, это происходит со многими командами. Однажды мне попалось исследование консалтинговой компании McKinsey под названием <a href="https://www.mckinsey.com/capabilities/quantumblack/our-insights/global-survey-the-state-of-ai-in-2020">State of Machine Learning in 2020</a>. Из приведённой статистики мы узнали:</p><ul><li>При внедрении ML только 36% опрошенных смогли выйти за пределы MVP;</li><li>У 50% опрошенных запуск модели на сервере занимает от трёх недель до трёх месяцев;</li><li>А 18% пожаловались, что сроки ещё дольше — от трёх месяцев до года.</li></ul><p>Очевидно, что внедрение ML даётся бизнесу нелегко, особенно на этапе деплоя в продакшен. На мой взгляд, главная причина этого — неправильное видение в самом начале.</p><p><em>«Наймём ML-инженеров, и будем надеяться, что они сами всё сделают»</em> — не самый подходящий фундамент для построения ML в организации. На самом деле в основе должны быть ответы на вопросы, которые неизбежно встанут перед менеджментом.</p><ul><li>Откуда ML-инженеры возьмут данные?</li><li>Кто займётся разметкой?</li><li>Сколько времени нужно на разработку модели?</li><li>Кто ответственен за доведение до production этих моделей?</li><li>Кто отвечает за поддержку сервисов на основе моделей?</li><li>Кто отрабатывает кейсы, когда модель не справилась?</li><li>Кто ответственен за покупку и эксплуатацию оборудования?</li><li>Как мы отличим успех от неудачи?</li><li>Что будем делать, если результаты неудовлетворительны?</li></ul><p>На первый взгляд, на плечи руководителя ложится ворох сложных решений. Хорошая новость в том, что не нужно будет принимать их все одновременно. Дальше я покажу, что подготовка и внедрение ML происходит в три этапа. Речь пойдёт о компаниях, в которых ML не лежит в основе бизнеса, а используется для оптимизации процессов, как у нас.</p><h3>Первый этап. Принятие решений на основе данных</h3><p>Компания будет готова к внедрению ML только тогда, когда решения в ней принимаются на основе данных. Сейчас набрала обороты концепция Data-driven decision-making (DDDM). Качество решений зависит от того, откуда компания берёт данные и как «глубоко копает», чтобы их добыть.</p><p>Я предлагаю небольшой тест, чтобы оценить DDDM в вашей организации.</p><ul><li>Вы опираетесь на данные при найме и увольнении людей?</li><li>Проекты стартуют и сворачиваются на основе данных?</li><li>Новые фичи пилят, потому что их необходимость доказана данными?</li></ul><p>Допустим, на все три вопроса вы ответили скорее отрицательно. В этом случае у топ-менеджмента есть соблазн нанять бизнес-аналитика и делегировать ему всю работу. Это не приведёт к результату, если ваша цель — по-настоящему изменить процесс decision-making в компании.</p><p>Если на вопросы вы ответили «скорее да», в вашей компании умеют собирать и хранить данные. Вы даже можете проводить исследования по требованию, чтобы прояснить какую-то информацию. Например, компетентный сотрудник задаётся вопросом: «Почему произошло событие X?» и знает, как найти ответ.</p><p>Кроме того, важно нащупать метрики, которые отражают здоровье бизнеса. Например, Kolesa Group — это четыре продукта формата «доска объявлений», то есть четыре классифайда. И мы отслеживаем целый ряд метрик, которые показывают, как себя чувствует этот бизнес. Любой эффект от наших действий, в том числе для ML-сервисов, стараемся видеть через эти метрики.</p><p>Если вы тоже отслеживаете метрики, скорее всего, вы уже работаете с предиктивной аналитикой: можете предсказать снижение или повышение бизнес-показателей, оцениваете влияние своих действий на будущее.</p><p>Для меня предиктивная аналитика — это маркер того, что компания уже прошла первый этап и готова к внедрению ML:</p><ul><li>Здесь собирают и хранят данные;</li><li>Есть процессы оценки сроков/стоимости для решений;</li><li>Сотрудники уже работают с «классическим» ML.</li></ul><p>Убедившись в этом, можно переходить к следующему этапу.</p><h3>Второй этап. Сначала простые решения, потом модели</h3><p>Например, мы в Kolesa Group используем модели для оптимизации вспомогательных процессов и для помощи пользователям.</p><ul><li>Есть ли на этой фотографии что-то, чего не должно быть видно?</li><li>Есть ли в этом сообщении запрещённые слова или приватная информация?</li></ul><p>Подобные задачи потом научится решать модель, а сначала лучше поручить их людям. В большинстве случаев это проще и дешевле, но дело не только в экономической выгоде.</p><p>Давайте посмотрим, как устроен процесс модерации:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*YFQpMCRy5syvAJVr" /><figcaption><em>В продуктах Kolesa Group есть не только ручная, но и автоматическая модерация</em></figcaption></figure><p>Контент попадает к модератору. Тот ищет нарушения, опираясь на правила. При этом, если нарушения обнаружены, модератор может принять решение, как их исправить. Обеспечив этот процесс, мы строим систему работы с данными, которая ляжет в основу будущей модели:</p><p>а) Есть админка, в которую в нужный момент поступает контент.</p><p>б) Данные перетекают дальше, это поддерживает инфраструктура продукта.</p><p>в) Нанимая модераторов, мы учимся оценивать их работу, ставить KPI.</p><p>г) Накапливается опыт работы с ошибками и жалобами пользователей.</p><p>Благодаря этому мы не строим с нуля процесс автомодерации, он идёт параллельно. И здесь уже можно обучать модель — кстати, для разметки данных мы часто задействуем тех же модераторов.</p><blockquote>Суть моей рекомендации: оттягивайте внедрение ML настолько, насколько это возможно. Запускаем модели только тогда, когда процессы хорошо работают без них.</blockquote><p>В этом случае вы оцените, во сколько обходится компании этот процесс, и установите baseline для расчёта костов внедрения ML.</p><p>Итог второго этапа: у вас выработан продуктовый флоу, построен процесс контроля качества и налажена обработка ошибок/жалоб. И самое главное — вы знаете стоимость процессов и понимаете, стоит ли овчинка выделки. Если ML существенно сэкономит человеко-часы, можно двигаться дальше.</p><h3>Третий этап. Интегрируем ML-инженеров в процессы разработки</h3><p>Итак, вы наладили процессы работы с данными и построили продуктовую аналитику в компании. Часть задач, которые выполняют люди, было бы быстрее и дешевле закрывать с помощью технологий ML.</p><p>Теперь нужно найти ML-инженеров, которые этим займутся. Есть два варианта, где их искать. Во-первых, в этом направлении могут расти те сотрудники компании, которые уже занимаются аналитикой. Во-вторых, можно нанять «готовых» специалистов с рынка.</p><p>Так или иначе, многим руководителям кажется очевидной идея создать изолированную команду ML «на пробу». Мы тоже совершали эту ошибку. Казалось, это так продуманно: сейчас инженеры наладят процессы, докажут свою пользу компании, и только тогда мы изменим процессы под нужды ML.</p><h3>Почему обособленная ML-команда — не лучшая идея</h3><p>Напомню, что по аналогии с известным понятием «технический долг» есть «организационный долг». Он накапливается, когда мы вовремя не устраняем проблемы, не исправляем несовершенства в процессах. Компания становится неповоротливой, нерешённые организационные вопросы мешают жить.</p><p>Создание изолированной команды — верный способ накопить организационный долг. Представьте: все процессы раздваиваются, каждая команда варится сама по себе, действия специалистов не согласованы.</p><p>«Организации проектируют системы, которые копируют структуру коммуникаций в этой организации» — так звучит Закон Конвея.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*_oGrEvW5C5ObHdfO" /></figure><p>Это значит, что <strong>техническая структура IT-продуктов всегда похожа на организационную структуру IT-компании</strong>. Усложните коммуникации, удвойте количество команд — получите сложный, громоздкий продукт. Например, одну и ту же проблему админы будут решать по-своему, а разработчики — по своему. Со временем использование разных инструментов приведёт к ещё большей обособленности команд и сложности поддержки.</p><h3>Как избежать организационных проблем</h3><p>Теперь расскажу, как я сразу строил бы процессы, если бы мог вернуться во времени.</p><p>Лучше заранее нарисовать схему организации и утвердить со всеми своё видение. Когда вы откроете несколько новых позиций ML-инженеров, кто будет отвечать за то, что всё работает? Кто будет заниматься разметкой? Где будут обрабатываться жалобы? Скорее всего, в компании уже есть такие сотрудники. Можно перераспределить обязанности между ними.</p><p>Пример 1. Мы пришли к тому, что в Kolesa Group нет отдела разметки. Вместо этого задействовали уже существующий отдел модерации. Когда мы тренируем модель, обычно его сотрудники размечают данные, ведь именно они лучше всего знают правила наших продуктов.</p><p>Пример 2. Нет чёткой грани, какие вопросы относятся к внедрению ML, а какие нет. Так, мы работаем с видеокартами. Кто должен отвечать за их эксплуатацию? Это точка пересечения зон ответственности админов и разработчиков. Пришлось организовать их работу так, чтобы они говорили на одном языке и решали вопросы с оборудованием без посторонней помощи.</p><p>По этим примерам можно получить представление о том, как мы решали целый ряд похожих проблем.</p><p>В начале наша команда ML была частью отдела RND и процесс разработки шёл изолированно — а значит, в некоторых моментах ML и backend взаимно блокировали процессы. Это затрудняло коммуникации, рос технический долг. Мы решили, что унифицировать процессы получится, если <a href="https://medium.com/kolesa-group/%D0%BA%D0%B0%D0%BA-%D0%BF%D0%BE%D0%B4%D1%80%D1%83%D0%B6%D0%B8%D1%82%D1%8C-backend-%D1%81-ml-a916cab8fba5">«подружить» ML и backend</a>. Нашли на первый взгляд нелогичное решение — команда перешла в ведение руководителя backend-разработки. В нашем случае это сработало.</p><p>Выше я приводил печальную статистику компаний, которые годами ведут ML до продакшена. В какой-то момент мы испытали на себе все эти проблемы.</p><p>Чтобы выбраться, нам пришлось действовать быстро и решительно. Мои коллеги провернули несколько масштабных проектов, которые изменили процессы. Это был стресс для системы, но в результате:</p><ol><li><a href="https://www.youtube.com/watch?v=u5SVe7RsZYM&amp;t=805s">Автоматизировали генерацию сервисов вокруг моделей</a>;</li><li>Вывод модели в продакшн занимает около 20 минут;</li><li>В отдельных случаях — — сократили TTM больше, чем в два раза;</li></ol><p>4. <a href="https://www.youtube.com/watch?v=qXre7e6tQ68&amp;t=4746s">Автоматизируем сбор данных</a>;</p><p>5. Оптимизируем косты на GPU.</p><p>6. Общий цикл тренировки модели сократился, но это сильно зависит от конкретного случая.</p><h3>Четыре совета для первых релизов</h3><p>После долгой подготовки вы построите процессы и найдёте нужных людей. Магия сработает, и первые модели начнут крутиться на проде.</p><p>На что нужно обратить внимание:</p><ol><li>Избегайте вложений в дорогое оборудование, где возможно. Скорее всего, для работы вам понадобится не то оборудование, которое хочется закупить в самом начале.</li><li>Эффективность ваших ML-сервисов должна быть завязана на продуктовые метрики. Это более показательно, чем специфические ML-метрики.</li><li>Сдерживайте организационный долг, в новых командах он копится с ускорением.</li><li>Не изолируйте команду ML от DevOps-практик. Технический долг будет накапливаться быстрее, чем в «классической» разработке.</li></ol><p>Как мы победили растущий backlog задач с помощью MLOps, можно прочитать <a href="https://medium.com/kolesa-group/%D0%BE%D0%B4%D0%B8%D1%81%D1%81%D0%B5%D1%8F-ml-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8-%D0%BE%D1%82-%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D1%8F-%D0%B4%D0%BE-%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D0%BA%D1%88%D0%B5%D0%BD%D0%B0-f3d40f9e1622">в статье моего коллеги Миржана Иркегулова</a>.</p><h3>Roadmap для менеджера</h3><p>В начале статьи мы рассуждали, почему многим компаниям так сложно даётся внедрение ML. Помните ворох вопросов, на которые нужно ответить на подготовительной стадии?</p><p>Теперь это сделать легче, потому что так или иначе каждый вопрос относится к одному из этапов, про которые я рассказал:</p><p>Принятие решений на основе данных:</p><ul><li>Откуда ML-инженеры возьмут данные?</li><li>Как мы отличим успех от неудачи?</li><li>Что будем делать, если результаты неудовлетворительны?</li></ul><p>Сначала простые решения, потом модели:</p><ul><li>Кто займется разметкой?</li><li>Кто отрабатывает кейсы, когда модель не справилась?</li></ul><p>Процессы разработки:</p><ul><li>Сколько времени нужно на разработку модели?</li><li>Кто ответственен за доведение этих моделей до продакшна?</li><li>Кто отвечает за поддержку сервисов на основе моделей?</li><li>Кто ответственен за покупку и эксплуатацию оборудования?</li></ul><p>Так в нашем случае выглядит дорожная карта внедрения ML. По аналогии можно составить свою — для любого бизнеса, в котором технологии Machine Learning помогают оптимизировать процессы.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/894/0*qcPo0rL_mZZIKpmF" /></figure><p>Каждый этап продлится столько, сколько нужно вашей компании. Если какой-то шаг растянется на длительное время — это нормально, главное двигаться в общем направлении.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5ffc99cc91ac" width="1" height="1" alt=""><hr><p><a href="https://medium.com/kolesa-group/%D0%BA%D0%B0%D0%BA-%D0%B2%D0%BD%D0%B5%D0%B4%D1%80%D0%B8%D1%82%D1%8C-machine-learning-%D0%B8-%D0%BD%D0%B5-%D1%83%D0%BF%D0%B5%D1%80%D0%B5%D1%82%D1%8C%D1%81%D1%8F-%D0%B2-%D1%82%D1%83%D0%BF%D0%B8%D0%BA-5ffc99cc91ac">Как внедрить Machine Learning и не упереться в тупик</a> was originally published in <a href="https://medium.com/kolesa-group">Kolesa Group</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Наш опыт внедрения Compose в большой проект]]></title>
            <link>https://medium.com/kolesa-group/%D0%BD%D0%B0%D1%88-%D0%BE%D0%BF%D1%8B%D1%82-%D0%B2%D0%BD%D0%B5%D0%B4%D1%80%D0%B5%D0%BD%D0%B8%D1%8F-compose-%D0%B2-%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%BE%D0%B9-%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82-3bd61e297c07?source=rss----1a54fa6c5d0e---4</link>
            <guid isPermaLink="false">https://medium.com/p/3bd61e297c07</guid>
            <category><![CDATA[compose]]></category>
            <category><![CDATA[android]]></category>
            <category><![CDATA[development]]></category>
            <category><![CDATA[mobile]]></category>
            <category><![CDATA[composer]]></category>
            <dc:creator><![CDATA[Maxim]]></dc:creator>
            <pubDate>Thu, 26 Oct 2023 12:04:12 GMT</pubDate>
            <atom:updated>2023-11-05T12:23:50.193Z</atom:updated>
            <content:encoded><![CDATA[<p>Меня зовут Максим Рыбалов, я Android-разработчик в Kolesa Group. Расскажу, как мы постепенно внедрили в приложение Kolesa.kz новый инструмент от Google для разработки интерфейсов — Jetpack Compose.</p><p>Во многих командах понимают, что это перспективная технология. Но начать использовать Compose мешает нехватка знаний и опыта.</p><p>В этой статье расскажу:</p><ul><li>Как мы внедрили Compose в большой проект и ничего не сломали;</li><li>Что помогло команде разобраться с этой технологией.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/797/1*ZDRYMychY7lhFa4OyxPHdw.jpeg" /><figcaption>Максим Рыбалов</figcaption></figure><p>Jetpack Compose — это рекомендуемый Google набор инструментов для создания пользовательского интерфейса. Есть вероятность, что через несколько лет эта технология заместит XML. Поэтому команде Android-разработки нужно прокачивать экспертизу уже сейчас.</p><h3>Плюсы и минусы Jetpack Compose</h3><p>Команде предстояло разработать новую интересную фичу. Ответственный за задачу сотрудник предложил руководству использовать Compose. Мы рассчитывали потренироваться и в случае успеха начать внедрение Compose в проект. Тимлид и техлид Android-разработки дали добро.</p><p>Дальше нужно было защитить идею перед менеджером. Как это нередко бывает с новыми технологиями, в начале пути их использование скорее затратно, чем выгодно. Растягиваются сроки, возможны поломки.</p><p>Мы не хотели играть в новые технологии. У Compose есть объективные плюсы:</p><ol><li><strong>Декларативный UI.</strong> Даёт сконцентрироваться на том, <em>что</em> должно быть отражено, а не <em>как</em>. Это делает код более читаемым, компактным и понятным.</li><li><strong>Гибкость и модульность.</strong> Упрощает создание и настройку компонентов пользовательского интерфейса для более лёгкого масштабирования, переиспользования и обслуживания кода.</li><li><strong>Интерактивность. </strong>Предлагает удобный инструментарий для работы с анимацией.</li><li><strong>Поддержка со стороны разработчиков ОС.</strong> Они рекомендуют использовать Compose в Android-разработке и будут поддерживать эту технологию в будущем.</li><li><strong>Быстрое превью.</strong> Показывает изменения в реальном времени.</li><li><strong>Расширение стека. </strong>Позволяет заинтересовать команду и в будущем нанимать скилловых специалистов.</li></ol><h4>Минусы Compose:</h4><ol><li><strong>Декларативный UI. </strong>Отличная штука, но сначала надо привыкнуть к ней и научиться так работать.</li><li><strong>Нестабильность.</strong> Технология всё ещё новая.</li><li><strong>Зависимость от поддержки.</strong> Любая технология, которую вы не контролируете, влияет на ваш продукт.</li><li><strong>Отсутствие компонентов.</strong> Некоторых компонентов пока нет, или они в альфа/бета-версии.</li></ol><p>Добавим к этим минусам и нехватку знаний у команды. Нужно было выучить новые классы, теги, аннотации и прочее.</p><p>Мы поняли, что время сыграет нам на руку: постепенно Compose усовершенствуется, а XML будет использоваться всё меньше. Команда Android-разработки должна развиваться в направлении, которое задаёт Google. Значит, <strong>в долгосрочной перспективе освоение Compose не только важно для нас, но и выгодно компании.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*bCGlkDM6t8y7pHwH" /><figcaption><em>В Kolesa App множество экранов, каждый содержит уникальную фичу и анимацию</em></figcaption></figure><p>Возник вопрос: с чего начать? Сразу начинать писать новые фичи на Compose — рискованно, есть риск создать баги и неоптимизированный интерфейс. К тому же в нашей немаленькой команде никто не имел опыта работы с Compose.</p><h3>Как построить процесс разработки?</h3><p>У нас было три условия:</p><ol><li>Время — деньги. Нужно найти способ практиковаться без отрыва от работы, прямо на наших продуктах.</li><li>Научиться работать с Compose должна вся команда.</li><li>Нельзя нанести ущерб пользователям приложения.</li></ol><p>В итоге мы продумали плавный процесс перехода с XML на Compose, который устроил и разработку, и бизнес.</p><h3>Начали с изменений на non-critical экранах</h3><p>Это экраны, которые пользователь либо не видит, или открывает крайне редко. Вносить изменения здесь безопасно — в случае ошибки лишь малая часть пользователей столкнётся с трудностями.</p><p>Переход с XML на Compose проходил плавно. Начали с тех экранов, которые пользователь не видит. Постепенно перешли на экраны, которые видит пользователь, например «О приложении». В таких случаях вводили новый вариант с помощью А/B-тестов. На случай поломки у нас был экспериментальный вариант.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*4WJjDxZrXmIQfku5" /><figcaption><em>Эти экраны находятся в глубине приложения</em></figcaption></figure><h3>Использовали Compose для новых компонентов в дизайн-системе</h3><p>Крутой способ наработать навыки создания Compose-элементов — реализовать компонент с нуля.</p><p>Например, нам дали задачу создать вот такую кнопку:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*MT8xBa5keANm7CA6" /><figcaption><em>У кнопки могут быть разные состояния, цвета и контент</em></figcaption></figure><p>Мы взяли стандартный элемент из библиотеки Compose — Button. Понадобилось несколько изменений кода под наши нужды, поэтому мы написали свою реализацию базовой кнопки — CustomButton. Далее прописали DefaultButton и объявили в этом компоненте логику всех кнопок в нашем приложении.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*d8Zajoni5AxOSZkp" /><figcaption><em>Здесь объявили дефолтную логику для всех кнопок в приложении</em></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*bbA-KYSCeKpCBJk3" /><figcaption><em>Внутри DefaultButton вызов передаётся в CustomButton</em></figcaption></figure><p>Внутрь пробросили ButtonContent — информацию о том, какой контент содержится в кнопке.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*PJFEEbQYcMIhvvuH" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*tF-NcqJuO7gwbwbt" /><figcaption><em>Информация ButtonContent соотносится с перечнем состояний кнопки</em></figcaption></figure><p>ButtonState — информация о состоянии кнопки. В нашем случае это три варианта — Normal, Disabled и Loading.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*4amwvN9R2Zo263TR" /></figure><p>А здесь — набор цветов для конкретного состояния кнопки:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*AIGDvYpX2dZJaa3y" /></figure><p>Теперь, если нам нужна конкретная реализация кнопки — например, красная или синяя с иконкой — вот как она будет выглядеть:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*bZoki8hE8BLII4bO" /></figure><p>Создаём Composable функцию BlueButton, внутри используем DefaultButton и передаём состояние кнопки с соответствующим набором цветов.</p><p>Теперь, если мы хотим где-то использовать BlueButton, то мы просто делаем так:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*DW9GUKHlCi6rT4Bx" /></figure><p>Если в нашей кнопке нам понадобится любая иконка, то в качестве ButtonContent указываем TextAndIcon. Аналогично и для любого другого контента.</p><p>В итоге у нас получилась такая иерархия классов кнопок:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*L3H-C2hGHbO7NkPY" /></figure><p>На первом уровне базовая реализация самой простой кнопки, затем реализация кнопки с логикой для всех наших кнопок, и снизу — разные конкретные варианты, используемые в приложении.</p><p>Переписывать все элементы, уже созданные с помощью XML, не нужно. Мы можем прямо в XML вызвать BlueButtonView, и это будет прекрасно работать.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*AbdA9PXtSh2y0N_B" /></figure><p>Сделали мы это при помощи AbstractComposeView. Он служит мостиком между классической системой Android Views и Jetpack Compose. Это абстрактный класс, который позволяет интегрировать контент, написанный с использованием Compose, в традиционное дерево представлений Android (View).</p><p>Вот как это реализуется у нас:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*VnaaVAFSZ6LeJ5UE" /></figure><p>Есть ButtonView, он наследуется у AbstractComposeView. В этом случае вы обязаны заоверрайдить метод Content. В нём мы передаём вызов ButtonComponent — абстрактную функцию нашего абстрактного класса.</p><p>Для реализации BlueButtonView создаём этот класс, наследуем его от ButtonView и оверрайдим метод ButtonComponent. Внутри делегируем вызов компоненту BlueButton, написанный нами на Compose.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*iqTmnoozj2l8aZXE" /><figcaption><em>Реализация BlueButtonView</em></figcaption></figure><p>Теперь в иерархии кнопок появился вариант для реализации их XML-вариантов:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*ukJZoHPOW4tvItzH" /></figure><h3>Со временем взялись за продуктовые экраны</h3><p>Компетенция разработчиков росла. Ребята поопытнее, поработав с non-critical экранами и компонентами, стали пилить несложные продуктовые экраны. Часть приложения, с которой множество пользователей взаимодействуют каждый день, требует более ответственного отношения.</p><p>Вот пример такого экрана:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/594/0*MUKqTv3IIwOsmWoF" /><figcaption><em>Состояние экрана без данных</em></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/783/0*sG96zVR7PsFZ5f3d" /><figcaption><em>Состояние экрана, когда в нём есть данные</em></figcaption></figure><p>Здесь нам понадобилось реализовать функцию refresh: пользователь тянет за шторку вниз, и содержание экрана обновляется. Эта фича появилась в более поздней версии Compose, и функционал успешно внедрили.</p><p>Такие задачи удалось закрывать без ошибок, и и с точки зрения пользователей переход происходил бесшовно.</p><h3>Научился — передай опыт коллеге</h3><p>Итак, разработчики практикуются с Compose, когда переписывают non-critical экраны и создают новые элементы дизайн-системы. После этого опытные разработчики смело берутся за важные фичи и популярные экраны.</p><p>Но количество задач ограничено, при этом обучить нужно всю команду.</p><p>У нас сложилась такая система распределения задач:</p><p>1. Non-critical задачи даём тем, кто не работал с Compose вообще или работал меньше всех. Даже если здесь будут ошибки, это не критично.</p><p>2. Простые задачи назначаем на человека, у которого опыта с Compose меньше, чем у других ребят, но он не допустит критических багов.</p><p>3. Сложные, комплексные задачи даём более опытному специалисту. Он декомпозирует задачу и передаёт сабтаски менее опытным сотрудникам. Так можно задействовать несколько человек.</p><p>В команде kolesa.kz восемь Android-разработчиков. Спустя несколько месяцев такого подхода каждый из них успел поработать с Compose на «боевых» задачах, при этом не выкраивал дополнительное время на обучение.</p><h3>Итоги и выводы</h3><ul><li>Элементы Сompose есть на 70% экранов приложения Kolesa.kz.</li><li>Благодаря плавному подходу не возникло ни одной поломки.</li><li>Вырос средний уровень технической подкованности команды.</li><li>Стек технологий стал более актуальным. Если в будущем Compose заменит XML, мы сможем нанимать скилловых специалистов и предлагать им интересные задачи.</li></ul><p>Да, мы внедрили новую технологию — помогли нашему продукту сделать шаг в будущее. Ещё важнее, что команда осваивала Compose в рабочее время, разработчики не тратили на это личное время.</p><p>Каждый из нас получил стимул изучить новую технологию. При этом соблюдаем баланс работы и отдыха, и остаётся «мыслетопливо» для сложных задач.</p><p>Когда задействована вся команда, радует, что ты не останешься один на один с проблемой. В любой момент можно посоветоваться с коллегами, а если сам научился делать что-то новое — делишься с командой и зарабатываешь очки репутации.</p><p>Дальше — больше. В планах:</p><ul><li>Повышать экспертизу в Compose;</li><li>Пилить всё больше элементов на Compose разного уровня сложности;</li><li>Сделать крутую дизайн-систему.</li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3bd61e297c07" width="1" height="1" alt=""><hr><p><a href="https://medium.com/kolesa-group/%D0%BD%D0%B0%D1%88-%D0%BE%D0%BF%D1%8B%D1%82-%D0%B2%D0%BD%D0%B5%D0%B4%D1%80%D0%B5%D0%BD%D0%B8%D1%8F-compose-%D0%B2-%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%BE%D0%B9-%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82-3bd61e297c07">Наш опыт внедрения Compose в большой проект</a> was originally published in <a href="https://medium.com/kolesa-group">Kolesa Group</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Security Assurance в Kolesa Group: наш путь обеспечения безопасности]]></title>
            <link>https://medium.com/kolesa-group/security-assurance-%D0%B2-kolesa-group-%D0%BD%D0%B0%D1%88-%D0%BF%D1%83%D1%82%D1%8C-%D0%BE%D0%B1%D0%B5%D1%81%D0%BF%D0%B5%D1%87%D0%B5%D0%BD%D0%B8%D1%8F-%D0%B1%D0%B5%D0%B7%D0%BE%D0%BF%D0%B0%D1%81%D0%BD%D0%BE%D1%81%D1%82%D0%B8-07de8830e954?source=rss----1a54fa6c5d0e---4</link>
            <guid isPermaLink="false">https://medium.com/p/07de8830e954</guid>
            <category><![CDATA[security-services]]></category>
            <category><![CDATA[it]]></category>
            <category><![CDATA[security]]></category>
            <category><![CDATA[quality-assurance]]></category>
            <category><![CDATA[qa]]></category>
            <dc:creator><![CDATA[Abilkhayir Akhet]]></dc:creator>
            <pubDate>Wed, 18 Oct 2023 13:19:30 GMT</pubDate>
            <atom:updated>2023-10-19T04:17:40.984Z</atom:updated>
            <content:encoded><![CDATA[<p>Меня зовут Абылхаир, я директор по QA в Kolesa Group. Мой путь в компании: тестировщик Krisha.kz в 2015 → руководитель отдела автоматизации тестирования в 2017 → CQO с 2019 года. Сегодня хочу поделиться историей, как мы построили эффективную систему Security Assurance.</p><p>В месяц нашими продуктами — Kolesa.kz, Krisha.kz и Avtoelon.uz — суммарно пользуются 12 млн уникальных пользователей в Казахстане и Узбекистане. Для такой крупной компании безопасность особенно важна.</p><p>Если пренебрегать уязвимостями и допустить кибератаки, компанию могут настигнуть:</p><p>1. Утрата репутации — потеря доверия пользователей и инвесторов.<br>2. Юридические последствия — судебные иски, штрафы.<br>3. Финансовые потери — расходы на восстановление данных, компенсации клиентам, упущенная прибыль.</p><p>Расскажу про:</p><p>• первые кейсы уязвимостей;<br>• опыт пентестинга;<br>• выход на Bug Bounty-площадку;<br>• полученные результаты.</p><p>В этой статье вы узнаете лайфхаки и практические советы, которые могут помочь улучшить процессы обеспечения безопасности в вашей компании.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*X2tTO6QpcWIX54GYB1kVfQ.jpeg" /><figcaption>Абылхаир Ахет, директор по QA в Kolesa Group</figcaption></figure><h3>Первый этап. Боремся с уязвимостями своими силами</h3><p>Мы с самого начала занимались вопросами обеспечения безопасности. В 2013–2019 годах в основном опирались на письма-репорты об уязвимостях в наших продуктах. Местные и зарубежные хакеры присылали информацию об уязвимостях, в основном это были XSS и CSRF. Мы точечно чинили их.</p><p>В 2020 году важность безопасности возросла из-за пандемии. Поэтому мы запустили свою закрытую своего рода Bug Bounty-программу — призывали пользователей искать уязвимости. Она была максимально простой: без Scope, Triage, отдельного лендинга и т.д. Наш CTO добавил почту <a href="/service/mailto:bugs@kolesa.kz">bugs@kolesa.kz</a> в заголовок ответа от сервера. Исследователи находили баги, репорты продолжали прилетать, и мы продолжали их чинить. В основном это были всё те же XSS-ки, CSRF-ки, редиректы.</p><p>Накопив базу закрытых задач, мы с командой QA проанализировали их. На основе этих знаний периодически сами проводили тестирование наших приложений на безопасность.</p><p>Кроме того, попробовали подключить сканер безопасности OWASP-ZAP. Пользоваться им на постоянной основе не стали: первый запуск показал, что уязвимостей нет. Нагружать лишней работой админов и разработчиков, чтобы развивать сканер дальше, не хотелось.</p><p>Конечно, мы задумывались о создании инхаус-команды, которая полностью занималась бы тестированием безопасности. С одной стороны, начали обучение сотрудников. С другой стороны, присмотрелись к рынку труда. Оказалось, что специалистов в этом направлении мало и нанимать их довольно дорого.</p><h3>Второй этап. Поручаем поиск уязвимостей профессионалам</h3><p>В конце 2020 года мы обратились к команде ЦАРКА. Это казахстанская компания по анализу и расследованию кибератак, лидер в Центральной Азии в своей сфере. Следующие полтора года ЦАРКА проводила пентестинг наших продуктов.</p><p>В процессе пентестинга, то есть penetration testing, профессиональные специалисты по безопасности тестируют продукты на наличие «дыр». Цель пентестера — понять, может ли гипотетический злоумышленник взломать систему.</p><p>Раз в месяц мы получали отчёт от компании ЦАРКА. Спойлер: в наших продуктах так и не были найдены критические уязвимости.</p><p>Приведу пару примеров.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*uVbbtChMI1OqopuR" /></figure><p><em>Так в отчёте отображается конкретная уязвимость</em></p><p>Первый пример посвящён ошибке IDOR (Insecure direct object references). Хакер мог добавить фото в чужое объявление, перехватив запрос добавления.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/924/0*1wc_ANhZtvRqgomz" /></figure><p>Второй пример. Хакер смог воспроизвести XSS-уязвимость при создании объявления, заполняя заголовок объявления XSS-пейлоадами.</p><p>По итогам работы с командой ЦАРКА мы создали чуть больше ста задач. Помимо примеров выше встречались уязвимости открытого редиректа. Большинство мы починили.</p><p>В результате пентеста силами ЦАРКА в течение 18 месяцев в продуктах Kolesa Group <strong>не было найдено ни одной «дыры», которая угрожала бы работе приложений и сайтов или пользователям.</strong> Мы обрадовались, что уровень безопасности так высок, но не стали останавливаться на достигнутом.</p><h3>Третий этап. Kolesa Group на HackerOne</h3><p>Летом 2022 наш CTO вдохновил команду QA выйти на международную Bug Bounty-площадку. Принцип их работы очень прост: технологические компании предлагают вознаграждение за найденные в их продуктах уязвимости.</p><p>При всех плюсах пентестинга нам понравилось, что именно Bug Bounty позволяет платить «по факту» — за валидированные уязвимости, а не за процесс их поиска. Кроме того, гораздо интереснее и эффективнее, когда твой продукт ломают не сотрудники одной организации, а хакеры по всему миру. Причём время тестирования не ограничено.</p><p>С 2010-х годов появилось немало посредников, которые помогают заказчикам и хакерам найти друг друга. Мы рассмотрели разные варианты и выбрали крупнейшую в мире Bug Bounty-площадку — HackerOne. На ней зарегистрировано более миллиона этичных хакеров — тех, кто обязуется не использовать найденные уязвимости во вред пользователям, продуктам и бизнесу. К HackerOne обращались Zoom, Nintendo, Paypal и ещё 1000 глобальных бренд-клиентов. Только в 2022 году было найдено 65 000 уязвимостей, ну а хакеры заработали на этом 230 млн долларов.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*cS7RwfEyXYuR0yx1" /></figure><p>Одна из функций площадки в том, чтобы помочь компании-заказчику составить подробную Bug Bounty-программу. Сюда входит:</p><p>- список продуктов, которые надо проверить на безопасность;<br>- классификация интересующих уязвимостей;<br>- ценовая политика.</p><p>Кроме того, площадка проверяет репорты от хакеров и делает так, что к заказчику попадают только реальные, воспроизводимые уязвимости.</p><p>После недолгих переговоров с площадкой мы составили план работ:</p><ol><li>Выбрать режим подписки. Договориться насчёт цены и защитить проект перед руководством.</li><li>Разработать программу: составить скоуп продуктов, классифицировать уязвимости, определиться с ценой вознаграждения.</li><li>Решить, что делать с теми багами, которые нам уже известны.</li><li>Подготовить учётки для хакеров.</li><li>Организовать внутреннюю команду триажа — то есть сортировки и валидирования найденных багов.</li></ol><p>А теперь — подробнее о том, как мы справились с каждым пунктом.</p><h4>Подписка и бюджет</h4><p>Мы думали, что ребята из HackerOne будут брать с нас процент за каждый выплаченный хакеру гонорар. Оказалось, что платить нужно только за подписку. Цена подписки на площадку зависит от того, сколько денег компания готова заплатить хакерам за год в качестве вознаграждения. Например, $ 25 тысяч, $ 50 тысяч и выше. Как вы помните, наши продукты показали свою безопасность, к тому же это была первая попытка взаимодействия с хакерами. Поэтому мы решили начать с уровня 1, где сумма вознаграждения хакерам составляет максимум $ 25 тысяч долларов. А организаторы по нашей просьбе сделали скидку за подписку.</p><h4>Лайфхак №1. Не стесняйтесь просить у организаторов площадки скидку :)</h4><p>Далее мы представили проект топ-менеджменту Kolesa Group. Руководство компании осознаёт важность безопасности продуктов для пользователей и бизнеса, поэтому эту идею апрувнули быстро.</p><h4>Программа</h4><p>Это ваш главный документ на площадке, в котором вы описываете свою политику Bug Bounty.</p><p>Документ очень важный, требует серьёзной работы. На составление у нас ушло несколько недель. Вот самые важные пункты:</p><p><strong>Scope</strong> — это список тех продуктов, которые вы хотели бы проверить на безопасность. Мы решили в наш скоуп включить Kolesa.kz, Krisha.kz, Avtoelon.uz — десктопные и мобильные сайты, API этих продуктов и мобильные приложения. Некоторые заказчики предоставляют и репозитории продуктов, но мы решили этого не делать.</p><p>Важно не забыть и про список Out of scope, чтобы умные хакеры не писали репорты на продукты, за которые вы не готовы платить :) Но не переживайте, скоуп — гибкая вещь, мы пересматривали его несколько раз за время работы с площадкой.</p><p><strong>Классификация уязвимостей.</strong> Разные уязвимости представляют разный уровень угрозы (severity) для бизнеса. Посмотреть общепринятую позицию на этот счёт можно, например, <a href="https://owasp.org/www-project-top-ten/">здесь</a>.</p><p>При запуске своей программы вам обязательно нужно будет определить список уязвимостей, которые вам интересны, и распределить их по уровню severity с точки зрения вашего бизнеса.</p><p>Например, для нас критическими уязвимостями считаются RCE, SQL Injection и подобные им. High Severity уязвимости — это Broken Access Control, IDOR, XSS. Medium Severity присвоили Reflected XSS, IDOR и так далее, а Redirects — пример уязвимости Low Severity.</p><p><strong>Размер вознаграждения</strong> — это гонорар для хакера за каждый вид уязвимости. Чем критичнее найденная ошибка для безопасности вашего продукта, тем больше будьте готовы за неё заплатить. Мы начали с разброса от 100 до 1000 долларов за один кейс, но со временем пересмотрели этот пункт и даже подняли «цену» некоторых уязвимостей в три раза!</p><h4>Известные баги</h4><p>Как вы помните, до Bug Bounty мы проводили пентестинг. С тех пор осталось несколько открытых багов. Они не представляли серьёзную угрозу уязвимости, к тому же платить за их обнаружение второй раз не хотелось.</p><p>Площадка HackerOne предоставляет специальный функционал known issues, где указывают список уже известных багов. Для этого вам надо будет составить и загрузить CSV-файл в определённом формате. Если хакер найдет уязвимость из списка, аналитики на стороне HackerOne сами закроют репорт как дубликат.</p><h4>Учётки для хакеров</h4><p>Важно позаботиться об учётных записях для работы на платформе. Чтобы отличать хакеров от обычных пользователей, понадобятся креденшиалс — учётные данные. Мы для этого разработали скрипт, который генерирует CSV-файл. Дальше файл загружается на платформу и даёт хакерам доступ к учётным записям.</p><h4>Внутренняя команда триажа</h4><p>И завершающий пункт — это создание команды, которая будет коммуницировать с хакерами и с аналитиками HackerOne, и обрабатывать готовые репорты. Поначалу мы создали эту группу своими силами. В нашу команду Triage входили 4 человека: я, web QA-инженер и два mobile QA-инженера.</p><p>Задачи внутренней команды по взаимодействию с HackerOne:</p><ul><li>валидировать полученные репорты от хакеров;</li><li>оценивать серьёзность уязвимости для продукта;</li><li>определять уровень вознаграждения;</li><li>создавать понятные задачи для продуктовой команды;</li><li>контролировать починку багов, особенно в случае высокой критичности уязвимости;</li><li>помогать продуктовой команде по вопросам уязвимости, в том числе тестировать фиксы уязвимостей.</li></ul><p>За полтора месяца мы выполнили весь план работ и были готовы начинать нашу первую Bug Bounty-программу. Стартовали с приватного запуска — сами приглашали хакеров, без публичного доступа к программе. Это разумно, если ожидается большой наплыв репортов.</p><blockquote><strong>Так в ноябре 2022 года Kolesa Group запустила свою собственную BugBounty-программу и, насколько мне известно, стала первой казахстанской компанией на топовой мировой площадке HackerOne!</strong></blockquote><h3>Наш опыт работы с HackerOne</h3><p>После запуска в закрытом режиме мы приглашали 50 хакеров в неделю, на пике их было 600. Scope тоже расширяли постепенно, добавляя всё новые наши продукты. Всё шло спокойно, мы отлично справлялись и спустя семь месяцев решились на публичный запуск.</p><p>Количество репортов тут же выросло в десятки раз. Но через пару недель всё нормализовалось.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/720/0*ZEhMmCp64ffv1yGs" /></figure><p><em>На графике виден момент, когда программа стала публичной</em></p><p>Давайте посмотрим интересные примеры найденных уязвимостей.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SvbD0yxHVE027mjHVYwiUA.jpeg" /></figure><p><em>Первый пример</em>: отраженный XSS, который алёртит куки на страничке. По итогам триажа на стороне HackerOne нам посоветовали выплатить 500 долларов в качестве вознаграждения хакеру. Но внутренний триаж показал, что проблема не так критична, поэтому стоимость найденной уязвимости снизили до 100 долларов.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*WRRopAktWrTqBN4f" /></figure><p><em>Второй пример</em>: изменение привилегии учётной записи. Хакер смог поменять свой тип аккаунта с помощью post-запроса. Аналитик HackerOne счёл уязвимость критической и запросил баунти, то есть вознаграждение для хакера, в 900 долларов.</p><p>Как вы догадались, внутренний триаж помог нам и тут: мы аргументированно доказали, что для нашей системы это практически безрисковая ситуация. В итоге репорт не валидировали вовсе. Но в благодарность за старания хакеру выплатили 50 долларов.</p><h4>Лайфхак 2: Перепроверяйте решения аналитиков, это поможет вам оптимизировать расходы!</h4><p>Некоторые цифры по Bug Bounty-программе:</p><ul><li>Сейчас у нас в программе есть 20 ассетов для тестирования: сайты (мобильная и десктоп-версия), API, приложения (iOS, Android) наших продуктов Kolesa.kz, Krisha.kz, Avtoelon.uz;</li><li>470 репортов от хакеров;</li><li>213 непринятых репортов;</li><li>142 репорта закрыли как дубликат;</li><li>приняли и выплатили баунти для 40 репортов.</li></ul><p>Но самое главное — <strong>за весь период программы на площадке HackerOne ещё не было найдено ни одной критической уязвимости.</strong> Ни один из найденных багов не может серьёзно повредить нашим пользователям.</p><p>Ссылка на нашу программу: <a href="https://hackerone.com/kolesagroup">https://hackerone.com/kolesagroup</a></p><h3>Итоги</h3><p>К чему же привёл команду этот путь?</p><ol><li>Мы выстроили процессы обеспечения безопасности. Сотни хакеров 24 часа в сутки тестируют наши продукты. Есть внутренняя команда триажа, которая взаимодействует с ребятами с HackerOne.</li><li>На основе этого опыта запущены позитивные изменения в процессах разработки и тестирования. Например:</li></ol><ul><li>если приходит репорт по одному продукту, мы сразу проверяем все остальные, чтобы найти баги раньше хакеров;</li><li>мы не только делаем фиксы, но и тут же покрываем код исправления автотестами, чтобы не платить за один и тот же баг дважды;</li><li>наши разработчики проанализировали репорты от хакеров и на основе результата анализа создали рекомендации по безопасному кодингу.</li></ul><p>Для тех, кто в начале пути по организации Security Assurance, у нас есть три простых совета:</p><ol><li>Обязательно тестируйте продукты и ищите уязвимости. В зависимости от масштаба компании это можно сделать:</li></ol><ul><li>своими силами;</li><li>обратившись к профессионалам (например ЦАРКА);</li><li>или с помощью Bug Bounty-площадки.</li></ul><p>2. Копите опыт и составляйте рекомендации для безопасного кода. Баг, попавший в продакшен, будет стоить гораздо дороже.</p><p>3. Делайте выводы и меняйте процессы разработки, тестирования, анализа, постановки задач. Пентестинг и BugBounty без последующей оптимизации — деньги на ветер.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=07de8830e954" width="1" height="1" alt=""><hr><p><a href="https://medium.com/kolesa-group/security-assurance-%D0%B2-kolesa-group-%D0%BD%D0%B0%D1%88-%D0%BF%D1%83%D1%82%D1%8C-%D0%BE%D0%B1%D0%B5%D1%81%D0%BF%D0%B5%D1%87%D0%B5%D0%BD%D0%B8%D1%8F-%D0%B1%D0%B5%D0%B7%D0%BE%D0%BF%D0%B0%D1%81%D0%BD%D0%BE%D1%81%D1%82%D0%B8-07de8830e954">Security Assurance в Kolesa Group: наш путь обеспечения безопасности</a> was originally published in <a href="https://medium.com/kolesa-group">Kolesa Group</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Одиссея ML-модели: от обучения до продакшена]]></title>
            <link>https://medium.com/kolesa-group/%D0%BE%D0%B4%D0%B8%D1%81%D1%81%D0%B5%D1%8F-ml-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8-%D0%BE%D1%82-%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D1%8F-%D0%B4%D0%BE-%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D0%BA%D1%88%D0%B5%D0%BD%D0%B0-f3d40f9e1622?source=rss----1a54fa6c5d0e---4</link>
            <guid isPermaLink="false">https://medium.com/p/f3d40f9e1622</guid>
            <category><![CDATA[mlops]]></category>
            <category><![CDATA[backend]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[classifieds]]></category>
            <category><![CDATA[it]]></category>
            <dc:creator><![CDATA[Irkegulov]]></dc:creator>
            <pubDate>Wed, 06 Sep 2023 03:06:17 GMT</pubDate>
            <atom:updated>2023-09-06T03:06:17.152Z</atom:updated>
            <content:encoded><![CDATA[<p>Меня зовут Миржан Иркегулов, я MLOps-инженер в Kolesa Group. В этой статье я расскажу о том, как мы внедряли подход MLOps: c какими проблемами столкнулись и как их решали.</p><p>MLOps в последнее время всё больше на слуху, и обычно про него говорят: «Ну, это как DevOps, только для ML». Но возникает закономерный вопрос: а зачем нужен какой-то особый DevOps для ML? Да, у ML-инженеров свои алгоритмы, свои библиотеки, будь то PyTorch или TensorFlow, они должны знать линейную алгебру и статистику. Но в конечном счёте они всё равно пишут код и коммитят в Git-репозитории, они такие же программисты, как и backend-разработчики.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*QXNoy4Kbsc4ehaXpjIMa6Q.jpeg" /><figcaption>Миржан Иркегулов, MLOps-инженер Kolesa Group</figcaption></figure><p>Но любой человек, который занимался ML, ответит, что деплоймент ML-модели — штука нетривиальная. Исследование <a href="https://cdn2.hubspot.net/hubfs/2631050/0284%20CDAO%20FS/Algorithmia_2020_State_of_Enterprise_ML.pdf">2020 state of enterprise machine learning</a> показывает, что у половины компаний деплоймент одной ML-модели занимает от недели до 3 месяцев, а у 13% — от трёх месяцев до года.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*hnxDziU85WtqRNMp" /></figure><p>Как-то раз меня спросили: «Что такое MLOps? Расскажи нам, звучит интересно, но мы не понимаем, что это». И у меня в голове всплыла эпическая поэма Гомера «Одиссея».</p><p>Главный герой Одиссей хочет вернуться домой, на остров Итака, где его ждёт невеста Пенелопа. Одиссей — участник Троянской войны; греки побеждают в Троянской войне, и Одиссей, как победитель, отправляется в плавание. Но у него уходит десять лет, чтобы добраться до дома, потому что греческие боги бросают ему на пути бесчисленные препятствия.</p><p>Мы не хотим, чтобы путешествие ML-модели, как у Одиссея, длилось десять лет. Как помочь ML-модели преодолеть все препятствия на пути к production?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*CUJUGitf6HmG6UY5" /></figure><h3>История: как всё было устроено в 2022 году</h3><p>У Kolesa Group четыре продукта: Kolesa.kz, Krisha.kz, Avtoelon.uz, Объявления на Kaspi.kz (ранее Market.kz). Над каждым из них работают свои продуктовые команды: backend-, frontend-, mobile-разработчики, QA-инженеры и product-менеджеры.</p><p>Два основных языка в нашей компании — PHP и Go. Когда мы пишем код, мы коммитим его в Git, и для этого мы используем сервис Bitbucket от компании Atlassian. У Atlassian есть инструмент для continuous integration / continuous delivery: Bamboo</p><p>Bamboo видит какие-то изменения в Git, подхватывает их и тут же собирает, чтобы отправить на deployment. Для этого он собирает их в Docker-контейнер. Получается изолированная среда со встроенными зависимостями, чтобы этот Docker-контейнер запускался везде одинаково. Всё это отправляется в Kubernetes, который для нас как абстракция над железом, позволяющая распределить сервисы на машинах и сделать их доступными друг другу.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/786/0*tOQ6yb0AZGkkC2Y1" /></figure><p>И здесь важное замечание: у нас своё железо, в большинстве случаев мы не пользуемся облачными решениями. В дата-центрах у нас свои стойки с процессорами, жёсткими дисками и, в частности, видеокартами — это важно для некоторых моделей ML.</p><p>ML в разработке наших продуктов мы начали внедрять в 2018 году, и первое время дела шли хорошо. Компания сформировала экспериментальную команду Research &amp; Development, одним из фокусов которой был deep learning: они обучали ML-модели, достигали хороших показателей, решали проблемы бизнеса.</p><p>За основу они взяли Python и библиотеку PyTorch. Модель обучается с помощью PyTorch, но как к обученной модели обращаться? Нужно обернуть её в микросервис и дать её endpoints. Раз уже начали писать на Python, микросервис тоже сделали на Python, потому что это показалось простым и логичным.</p><p>И тут возникла проблема: ML-инженер отвечал за весь процесс. Сбор данных, проектирование архитектуры нейронной сети, обучение модели, написание нетривиальной бизнес-логики вокруг модели, написание микросервиса с endpoints, оборачивание в Docker, настройку Bamboo, написание манифестов для Kubernetes.</p><p>Стал расти Time to Market (TTM): время от постановки задачи до деплоймента на production. ML-сервисы стало труднее и дольше сопровождать и улучшать. Начал расти backlog задач.</p><h3>Препятствие №1: Между Сциллой и Харибдой</h3><p><em>Одиссей отправляется в плавание. Ничего не предвещает беды, как тут он сталкивается с могучими морскими чудищами — Сциллой и Харибдой. Корабль неосторожного мореплавателя они могут запросто проглотить, и победить их силой невозможно. Одиссей догадывается, что единственный способ избежать опасности, это найти маленький пролив между ними.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*fGSC0WKNHA3XpF5_" /></figure><p>Для нас Сциллой и Харибдой оказались бизнес-процессы и технологические процессы.</p><p>Если ML-инженеры берут на себя слишком много ответственности, то они физически не смогут быстро создавать новые сервисы и улучшать старые. Более того, они блокируют другие команды: backend-разработчики не могут начать привязывать ML-сервисы к своим приложениям, пока работа не будет готова от и до.</p><p>ML-инженеров мало, backend-разработчиков намного больше. Но в компетенцию backend-разработчиков не входит Python и ML. Нужно было распределить работу так, чтобы ML-инженеры занимались только ML: сбором данных, подбором алгоритмов, тренировкой моделей. Backend-разработчики пусть отвечают за бизнес-логику, которую можно писать на Go и PHP.</p><p>Но если отдать всю бизнес-логику, которая не относится напрямую к работе нейросети, в руки backend-разработчика, то ML-микросервис становится тривиальным. ML-модель по сути это одна большая функция, к которой нужно обратиться и получить от неё результат. Для этого достаточно одного endpoint. Можно ли в таком случае это автоматизировать?</p><p>На рынке существовало много инструментов MLOps: MLflow, MLEM, Seldon, NVIDIA Triton и так далее. Каждый из них решал немного разные задачи и занимал разные ниши. Они не были взаимозаменяемыми, и нужно было подобрать тот, что больше всех решал именно нашу проблему.</p><p>Мы выбрали MLflow. Он решал для нас 2 задачи.</p><p>Во-первых, он стандартизировал рабочий процесс самих ML-инженеров. В нём есть трекинг экспериментов: из простого веб-интерфейса ML-инженер мог следить за тем, как разные итерации обучения модели улучшали или ухудшали её метрики. Он позволял откатываться на предыдущие версии и следить за тем, на каких данных обучалась та или иная версия модели. Он отслеживал, по какому адресу на удалённом хранилище лежат сгенерированные артефакты. И MLflow очень просто интегрировался в PyTorch.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*4hlkl5toz6BdiXmW" /></figure><p>Во-вторых, MLflow мог автоматически обернуть модель в микросервис с двумя endpoints: /invocations — по которому можно обращаться к модели, и /health — обычный healthcheck. Более того, он мог тут же обернуть это в готовый Docker-образ, который можно задеплоить.</p><p>Подробнее о том, как мы внедряли MLflow можно почитать в статье руководителя отдела ML &amp; Operations Kolesa Group Хамбара Дусалиева <a href="https://medium.com/kolesa-group/%D0%BA%D0%B0%D0%BA-%D0%BF%D0%BE%D0%B4%D1%80%D1%83%D0%B6%D0%B8%D1%82%D1%8C-backend-%D1%81-ml-a916cab8fba5">«Как подружить backend с ML»</a> и посмотреть в докладе ML-инженера Kolesa Group Тимура Беремкулова <a href="https://youtu.be/U00e2_G1Fsk?list=PL3q8gXVayhpcN_O-SqdA7AXk8az3orvvI">«Как я перестал бояться и полюбил продукт»</a>.</p><h3>Препятствие №2: Сирены</h3><p><em>Одиссей находит безопасный путь между Сциллой и Харибдой и отправляется дальше. Но вскоре он натыкается на сирен. Сирены известны тем, что красивым пением заманивают моряков к себе, которые направляют свои корабли к ним и разбивают их о скалы.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*l9u0yMXCj76JVsDc" /></figure><p>Для нас сиренами оказался сам MLflow. Он заманил нас красивыми обещаниями. И большинство он выполнил. Но мы все знаем: всякий раз, когда внедряешь новый инструмент, обязательно возникают непредвиденные трудности — те самые скалы, о которых может разбиться твой корабль.</p><p>Казалось бы, MLflow автоматизирует большую часть этапов, нужных для деплоймента. Ты даёшь ему модель, он оборачивает его в микросервис внутри Docker-образа. Просто возьми и отправь в Kubernetes. Но по какой-то причине, когда мы запускаем контейнер из Docker-образа, который собрал MLflow, наша модель не садится на видеокарту на нашем железе.</p><p>В наших датацентрах на нескольких машинах установлены видеокарты NVIDIA. У видеокарт NVIDIA есть программная обёртка CUDA, которая позволяет запускать процессы, в том числе нейросети, на видеокартах. Скорость возрастает в десятки раз по сравнению с CPU, поэтому для больших моделей не использовать GPU не вариант.</p><p>Мы и так пробуем, и сяк — модель по умолчанию использует только CPU. Но когда мы собираем Docker-образ без MLflow, модель исправно загружается в GPU. Мы хотим сказать MLflow: «По какой-то причине твой образ не дружит с нашим железом. Не собирай готовый Docker-образ, отдай нам Dockerfile, мы подкрутим его под наши нужды и соберём образ сами». Но MLflow не даёт такой возможности, в нём нет такой гибкости.</p><p>Поэтому мы открываем <a href="https://github.com/mlflow/mlflow/pull/6591">pull request</a> в MLflow, и начиная с версии MLflow 1.29 можно просто попросить отдать Dockerfile и сгенерированный микросервис через команду generate-dockerfile.</p><p>Подробнее о возможностях и ограничениях MLflow можно посмотреть в докладе Хамбара Дусалиева <a href="https://youtu.be/0nFz01h4UCg">«Автоматизация деплоя ML-моделей с помощью MLFlow»</a>.</p><p><em>Одиссей побеждает сирен тем, что затыкает морякам уши воском, а сам приказывает привязать себя к мачте. Моряки не ведутся на пение сирен, и корабль идёт дальше в целости.</em></p><h3>Препятствие №3: Циклопы</h3><p><em>На горизонте виднеется остров. Моряки просят Одиссея спустить якорь и высадиться на остров. Они устали и хотят разбить ненадолго лагерь. На острове растут деревья с сочными плодами, пасутся животные, течёт чистая вода. Но вскоре выясняется, что это остров циклопов. Циклопы — могучие существа. Даже такому сильному герою, как Одиссей, в схватке их не одолеть. Победить циклопов можно только смекалкой и умом.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*mQYCgQw7RcnkiZ0O" /></figure><p>MLflow прекрасно стандартизирует рабочий процесс ML-инженера. Он даёт версионирование моделей, простой веб-интерфейс, позволяет всю информацию о тренировке моделей хранить в одном месте.</p><p>Но MLflow ничего не знает про деплоймент. На сборке Docker-образа её возможности заканчиваются.</p><p>MLflow не знает, что такое CI/CD. Он не понимает Bamboo, Jenkins или GitHub Actions. Он плохо дружит с Kubernetes и не умеет генерировать манифесты для деплоймента.</p><p>Между MLflow и нашим стандартным CI/CD зияющая дыра.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*mZbWIw6dyWl77QzD" /></figure><p>Но мы заметили, что в MLflow есть понятие «реестр моделей». В веб-интерфейсе MLflow можно «зарегистрировать» модель и указать TODO.</p><p>Но дело вот в чём: реестр моделей в контексте MLflow не более, чем информационное табло. Если модели присвоить статус «Production», ничего не произойдёт. Ничего не стригеррится, ничего не запустится.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*LTDL-5wepM5vMw7k" /></figure><p>И мы задались вопросом: а что если к реестру моделей прикрутить функционал? Что если при нажатии кнопки ML-инженером как-то запустится наш процесс CI/CD?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*uk4MBgVqnNMqwO2b" /></figure><p>Более того, в реестре моделей можно указывать дополнительную информацию в виде тегов (пар ключей-значений). Почему не указывать там информацию, которая будет подставляться в манифесты для Kubernetes?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*tBDXVDvGAC5D6XWB" /></figure><p>Мы написали три микросервиса на Go, которые соединяют MLflow с нашим CI/CD.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*PuLfWIOqgae37Rmh" /></figure><p>Первым вступает в бой «отправитель вебхуков» (webhook sender). Каждые 10 секунд он отправляет запрос (поллит) MLflow и спрашивает, не изменилось ли состояние какой-нибудь модели в реестре моделей, не нажал ли ML-инженер какую-нибудь кнопку? Если да, то он отправляет вебхук с этой информацией второму сервису.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*iYaGx9827-5wzji1" /></figure><p>Второй сервис это «обработчик вебхуков» (webhook handler). У него две задачи: сгенерировать манифесты для Kubernetes в формате YAML и положить эти манифесты в Git-репозиторий ML-проекта. Сначала он отправляет информацию, полученную из вебхука, третьему сервису.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*6XsSf25S3-GzForS" /></figure><p>Третий сервис это «генератор манифестов» (manifest generator). У него есть набор шаблонов, куда он подставляет полученную от «обработчика вебхуков» информацию из MLflow, и на выходе получается YAML-манифест.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Ep5fBmS4mgaqYd6O" /></figure><p>Для подстановки информации из тегов в шаблон используется пакет `text/template` из стандартной библиотеки Go. Так выглядит отрывок из типичного шаблона:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/381/0*BTlP-Vjl8U5maJ2u" /></figure><p>У нас принято манифесты складывать в папку `deploy` в Git-репозиториях проектов. Наш «обработчик вебхуков» выполняет последнюю задачу: он размещает полученные манифесты в эту папку.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*tn_7lo3ALDa4-B2f" /></figure><p>Но как он это делает?</p><p>«Обработчик вебхуков» использует open-source библиотеку go-git, которая разрабатывается компанией gitsight. Суть библиотеки в том, что она реализует стандарт Git с нуля, без использования приложения Git.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/856/0*pXxcCnWxstC7aO-W" /></figure><p>В Git больше тысячи контрибьюторов и десятки тысяч коммитов. Неужели go-git реализует весь функционал? К сожалению нет. go-git не умеет делать merge или rebase. Но нам нужно всего лишь закоммитить манифесты в репозиторий.</p><p>Когда манифесты появляются в папке deploy, Bamboo видит изменение в Git-репозитории и запускает процесс сборки. Он обращается к MLflow, получает сгенерированные Docker-файл и ML-сервис, и деплоит их в Kubernetes.</p><p>И весь процесс триггерится из реестра моделей в MLflow, по нажатию кнопки в веб-интерфейсе.</p><p><em>Одиссей наконец добирается до родного острова Итака. Он изгоняет непрошенных гостей, поселившихся у него дома в его отсутствие, женится на своей невесте Пенелопе, заводит детей, и живёт долго и счастливо.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*saOtxK_XyjxPEp1A" /></figure><h3>Итог</h3><p>Мы автоматизировали всё, что могли, и перераспределили работу между ML-инженерами и backend-разработчиками. Что это нам дало?</p><p>1. Снизился bus-фактор. Любой код, не относящийся напрямую к тренировке модели, теперь написан на Go. И поэтому backend-разработчики больше интегрированы в процесс и могут друг друга подменить при необходимости.</p><p>2. Резко снизился TTM: деплоймент делается по нажатию кнопки из веб-интерфейса. ML-инженеры не блокируют backend-разработчиков. ML-инженер может задеплоить предварительную версию модели, дать разработчикам URL, чтобы те начали с ним интегрироваться, а сам может продолжать тренировать модель дальше.</p><p>3. Больше не возникает ситуации, когда разработка нового ML-сервиса растягивается на недели и даже месяцы.</p><p>4. За последний год в отделе ML &amp; Operations было 3 ML-инженера и 2 MLOps-инженера. Мы перестали тратить время на тушение пожаров, у нас появилось еще больше новых интересных проектов, при этом нет необходимости увеличивать количество людей в отделе.</p><h3>Кто такой MLOps-инженер?</h3><p>Для меня MLOps-инженер в первую очередь хороший backend-разработчик. Писать код придётся, нужно хорошо разбираться в своём языке программирования и в микросервисной архитектуре.</p><p>1. Глубокого погружения в machine learning не требуется, но нужно иметь общее представление о том, что такое веса и зачем нейронным сетям тренировочные данные.</p><p>2. Нужно разбираться в DevOps. Может быть не разворачивать кластер Kubernetes самому, но уметь пользоваться Docker, настраивать CI/CD, писать манифесты для Kubernetes — без этого никак.</p><p>3. Придётся погружаться и в низкоуровневые вещи. Нужно понимать, для чего нейронным сетям GPU и что такое CUDA.</p><p>MLOps-инженер — мастер на все руки. Задачи никогда не будут однотипными, и придётся регулярно погружаться в разные области.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f3d40f9e1622" width="1" height="1" alt=""><hr><p><a href="https://medium.com/kolesa-group/%D0%BE%D0%B4%D0%B8%D1%81%D1%81%D0%B5%D1%8F-ml-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8-%D0%BE%D1%82-%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D1%8F-%D0%B4%D0%BE-%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D0%BA%D1%88%D0%B5%D0%BD%D0%B0-f3d40f9e1622">Одиссея ML-модели: от обучения до продакшена</a> was originally published in <a href="https://medium.com/kolesa-group">Kolesa Group</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ETL-пайплайны на Airflow: как наш опыт внедрения и использования помог бизнесу]]></title>
            <link>https://medium.com/kolesa-group/etl-%D0%BF%D0%B0%D0%B9%D0%BF%D0%BB%D0%B0%D0%B9%D0%BD%D1%8B-%D0%BD%D0%B0-airflow-%D0%BA%D0%B0%D0%BA-%D0%BD%D0%B0%D1%88-%D0%BE%D0%BF%D1%8B%D1%82-%D0%B2%D0%BD%D0%B5%D0%B4%D1%80%D0%B5%D0%BD%D0%B8%D1%8F-%D0%B8-%D0%B8%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-%D0%BF%D0%BE%D0%BC%D0%BE%D0%B3-%D0%B1%D0%B8%D0%B7%D0%BD%D0%B5%D1%81%D1%83-6ee46bd8ea06?source=rss----1a54fa6c5d0e---4</link>
            <guid isPermaLink="false">https://medium.com/p/6ee46bd8ea06</guid>
            <category><![CDATA[airflow]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[etl-pipeline]]></category>
            <category><![CDATA[it]]></category>
            <category><![CDATA[pipeline]]></category>
            <dc:creator><![CDATA[Aidyn Issatayev]]></dc:creator>
            <pubDate>Thu, 11 May 2023 06:19:24 GMT</pubDate>
            <atom:updated>2023-05-11T06:19:24.792Z</atom:updated>
            <content:encoded><![CDATA[<p>Я Айдын Исатаев — data-инженер в отделе аналитики Kolesa Group. Отвечаю за получение и хранение данных по всем продуктам компании: Kolesa.kz, Krisha.kz и Avtoelon.uz. Разрабатываю ETL-процессы, развиваю хранилище данных и занимаюсь интеграцией информации с другими командами. Моя основная задача — предоставлять качественные и готовые данные для бизнеса.</p><p>В этой статье вы узнаете:</p><p>- Что было на старте<br>- Какие были проблемы<br>- Что такое Apache Airflow<br>- Внедрение Airflow в наш контур DWH<br>- Мониторинг<br>- Что это дало бизнесу</p><p>Мы в Kolesa Group всегда работали, ориентируясь на данные. И чтобы управлять ими было проще и эффективнее, перешли на Apache Airflow в качестве ETL-инструмента. Приведу наш опыт внедрения и использования Airflow, позволяющий проектировать и легко масштабировать Data Pipelines — конвейеры данных.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Pe4B7DM-F-AhkbVa6mGVUw.jpeg" /><figcaption>Айдын Исатаев</figcaption></figure><h4><strong>Что было на старте</strong></h4><p>В 2017 году, самом начале пути становления отдела аналитики в Kolesa Group, в качестве облачного хранилища данных DWH/Data Lake использовали Google BigQuery. Аналитики сами загружали данные в BigQuery, в основном это были разовые выгрузки. Если возникала необходимость постоянного обновления данных, то каждый аналитик сам занимался этим и сам выбирал способ реализации. Подключались Python-разработчики, инженеры, которые внедрили оркестратор luigi, cronjob и scheduled queries — запланированные запросы в BigQuery (ETL).</p><p>По мере роста команды и данных появилась потребность в команде Data-инженеров, чтобы:<br>1. Построить необходимую архитектуру DWH-аналитики.<br>2. Выстроить Data Pipelines.<br>3. Настроить мониторинг.</p><p>На момент запуска проекта по внедрению Apache Airflow, у нас было:</p><p>• 4 отдельных репозитория проектов, в каждом из которых работали свои ETL-процессы;<br>• в каждом проекте использовались разные подходы к построению pipelines (luigi, cronjobs);<br>• запуск обновления дашбордов и метрик вручную.</p><h4><strong>Какие были проблемы</strong></h4><p>1. Неоптимальное расходование ресурсов железа компании. К примеру, многие Data Pipelines дублировали запросы в источниках, был неоптимальный простой ресурсов.</p><p>2. Не было единой точки мониторинга. Не могли быстро реагировать на ошибки и проблемы в работе с загрузкой данных в BigQuery.</p><p>3. Увеличение количества извлекаемых данных в DWH и, как следствие, увеличение числа пайплайнов.</p><p>4. Управлять пайплайнами загрузки данных в DWH стало сложнее.</p><p>5. Ручных загрузок и работы с данными стало слишком много.</p><p>Решили перейти на современный и унифицированный подход для реализации Data Pipelines. Самым подходящим инструментом для этого виделся Apache Airflow. Причины:</p><p>• open source;<br>• имеет масштабируемый scheduler;<br>• большое и активное сообщество;<br>• UI-дашборд с подробными данными обо всех сущностях.</p><h4><strong>Что такое Apache Airflow</strong></h4><p>Airflow — это платформа для создания, мониторинга и оркестрации пайплайнов. Этот опенсорс-проект, написанный на Python. В мире обработки данных некоторые называют его ETL-инструментом, но в сущности это не совсем так. Airflow — это оркестратор, своего рода product-менеджер: он не сам выполняет тяжелую работу по перекладке и обработке данных, а говорит другим компонентам системы и фреймворкам, что надо делать. И следит за статусом выполнения тех или иных задач по работе с данными. Но ничего не мешает обрабатывать данные на самом Airflow, выкачивая их через worker, что в итоге мы и сделали.</p><p>Спектр задач, решаемых с помощью Airflow, не ограничивается запуском чего-то в каком-нибудь кластере. Он может запускать Python-код, выполнять Bash-команды, поднимать Docker-контейнеры и поды в Kubernetes, выполнять запросы в вашей любимой базе данных и многое другое.</p><h4><strong>Внедрение Airflow в наш контур DWH</strong></h4><p>Первым шагом была установка на сервере Apache Airflow версии 2.5.0. С развертыванием и конфигурированием нам помогли наши системные администраторы.</p><p>В результате получилась примерно следующая архитектура:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/757/1*UTUEBkatyxaqU0cHe4SMaw.jpeg" /></figure><p><strong>Описание компонентов:</strong></p><p><strong>• Metadata DB </strong>— Airflow использует базу данных SQL для хранения метаданных о запускаемых пайплайнах данных.</p><p><strong>• Scheduler</strong> — та часть, которая управляет ресурсами в Kubernetes для создания, запуска или удаления подов с воркерами.</p><p><strong>• Webserver</strong> — предоставляет web UI для мониторинга, аудита и ручной оркестрации пайплайнов / воркеров.</p><p><strong>• Worker</strong> — в этом контексте временная сущность, которая непрерывно создаётся или удаляется scheduler-ом для исполнения пайплайнов обработки.</p><p>Далее расмотрим сущности Apache Airflow, такие как pipeline, или DAG. Самая важная сущность Airflow — это DAG, он же пайплайн, он же направленный ациклический граф. Пример:</p><p>Допустим, к нам пришел аналитик и попросил раз в день загружать данные в определенную таблицу. Он подготовил всю информацию: что откуда нужно брать, когда нужно запускаться, с каким SLA.</p><p>Так мы описывали наш пайплайн в Airflow:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/528/1*Vsxk9R9ulyY62b1T_3uM9w.jpeg" /></figure><p>Следующая сущность — PythonOperator. Он описывает, какие действия надо совершить в рамках ежедневной задачи, чтобы порадовать аналитика. PythonOperator создан для того, чтобы вызывать функцию, написанную в этом DAG. Для запуска оператора нужно указать название задачи, пайплайн, идентификатор функции и передать параметры:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/399/1*yMd_Oz60m46GAW2_YSmWKA.jpeg" /></figure><h4><strong>Мониторинг</strong></h4><p>В telegram-чате реализовали Аlert-систему , куда приходят сообщения о поломке tasks:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/657/1*gW92oviWaLPhZJabzxmoFQ.jpeg" /></figure><p>Для этого использовали telegram-оператор из стандартной библиотеки Airflow в Python:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/561/1*54SG38zW7rGntb62tbSH3Q.jpeg" /></figure><h4><strong>Итоги</strong></h4><p>Так выглядит web-интерфейс, показывающий, что сейчас происходит с pipeline. Эту страницу видит data-инженер:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SRioCEVcGNUEm-hXHXKacQ.jpeg" /></figure><p>Мы используем Apache Airflow так — собираем данные из различных источников (множество инстансов SQL Server и MongoDB, разные API с метриками приложений, даже 1С) в Data Lake (у нас это BigQuery).</p><p>Наши потребности покрывает один сервер, разделённый на 2 namespace (testing и productions) на 64 ядрах и 64 GB оперативки в каждом из этих namespace. В Airflow при этом работает:<br>- более 150 дагов (собственно workflows, в которые мы набили задачки);<br>- в каждом, в среднем, по 10 тасков;<br>- запускается это добро тоже, в среднем, раз в час.</p><h4><strong>Что это дало бизнесу</strong></h4><p>После внедрения Apache Airflow в наш аналитический контур DWH, мы смогли существенно снизить:</p><p>1. Ежедневные затраты на вычисления в облачном хранилище BigQuery примерно в два раза, с 50 Тб на 25 Тб.</p><p>2. Количество поломок пайплайнов загрузки данных с 1–2 раз ежедневно, на 1–2 в неделю.</p><p>3. Количество выделяемых ресурсов железа компании, с 3 отдельных сервера на 1.</p><p>4. Безболезненное увеличение количества пайплайнов до 170 на текущий момент и их сложность</p><p>С Airflow смогли реализовать полностью автоматизированный dataflow — теперь можем быстро обновлять дашборды на готовых агрегированных данных без участия аналитиков и data-инженеров.</p><p>Всё это дало нам и нашему бизнесу системный подход в задачах по обработке данных, их агрегацию и трансформацию. Высвободили время аналитиков от рутиной работы с данными, а также получили быстрое и качественное добавление дашбордов и метрик для нужд бизнеса.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6ee46bd8ea06" width="1" height="1" alt=""><hr><p><a href="https://medium.com/kolesa-group/etl-%D0%BF%D0%B0%D0%B9%D0%BF%D0%BB%D0%B0%D0%B9%D0%BD%D1%8B-%D0%BD%D0%B0-airflow-%D0%BA%D0%B0%D0%BA-%D0%BD%D0%B0%D1%88-%D0%BE%D0%BF%D1%8B%D1%82-%D0%B2%D0%BD%D0%B5%D0%B4%D1%80%D0%B5%D0%BD%D0%B8%D1%8F-%D0%B8-%D0%B8%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-%D0%BF%D0%BE%D0%BC%D0%BE%D0%B3-%D0%B1%D0%B8%D0%B7%D0%BD%D0%B5%D1%81%D1%83-6ee46bd8ea06">ETL-пайплайны на Airflow: как наш опыт внедрения и использования помог бизнесу</a> was originally published in <a href="https://medium.com/kolesa-group">Kolesa Group</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Как подружить backend с ML]]></title>
            <link>https://medium.com/kolesa-group/%D0%BA%D0%B0%D0%BA-%D0%BF%D0%BE%D0%B4%D1%80%D1%83%D0%B6%D0%B8%D1%82%D1%8C-backend-%D1%81-ml-a916cab8fba5?source=rss----1a54fa6c5d0e---4</link>
            <guid isPermaLink="false">https://medium.com/p/a916cab8fba5</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[mlflow]]></category>
            <category><![CDATA[backend]]></category>
            <category><![CDATA[it]]></category>
            <category><![CDATA[mlops]]></category>
            <dc:creator><![CDATA[Khambar Dussaliyev]]></dc:creator>
            <pubDate>Thu, 23 Feb 2023 10:28:15 GMT</pubDate>
            <atom:updated>2023-02-23T10:28:15.020Z</atom:updated>
            <content:encoded><![CDATA[<p>Я Хамбар Дусалиев — TeamLead команды ML, занимаюсь MLOps и backend в ML-сервисах Kolesa Group. Одна из моих задач — оптимизация процессов разработки ML-сервисов и снижение Time to Market (TTM).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KOzwqdWKCine8mgw122RbQ.jpeg" /><figcaption>Хамбар Дусалиев, TeamLead команды ML в Kolesa Group</figcaption></figure><p><strong>В этой статье вы узнаете:</strong></p><p>- Как в компании возникла необходимость автоматизации деплоя ML-моделей;<br>- Проблемы подхода: технические и организационные;<br>- Выстраивание внутренних процессов;<br>- Архитектуру компонентов MLflow;<br>- Первые проблемы в адаптации;<br>- Последовательное решение проблем;<br>- Как это помогло бизнесу;<br>- Советы.</p><h4><strong>Как в компании возникла необходимость автоматизации деплоя ML-моделей</strong></h4><p>Первые ML-модели в компании были экспериментом. Потребность в них возникла, потому что в какой-то момент в компании перестали работать классические бэкендерские подходы: системы поиска и рекомендаций нуждались в доработке. Так в компании появились такие ML-сервисы, как автомодерация объявлений, определение цены квартиры, рекомендательные системы, распознавание номеров машин, распознавание техпаспорта и другие.</p><p>Со временем бизнес начал чувствовать эффект: на ML стали опираться. К примеру, сервис автомодерации на Kolesa.kz забрал на себя 70% работы, разгрузив команду сервиса. ML-сервисы постепенно стали частью бизнеса, повысились требования к их доступности, скорости разработки и эффективности работы.</p><p>Путь ML-модели до продакшна на тот момент времени:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_oDbbhz2HG7TaO3oIu5LXA.png" /></figure><h4><strong>Возникли проблемы подхода: технические и организационные</strong></h4><p><strong>Технические:</strong></p><p>- Трудно версионировать модели;<br>- Нельзя масштабировать ML-нагрузку отдельно от сервиса API вокруг модели.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*Lw6M6qxfFmRXJe5k0rVGcw.jpeg" /></figure><p><strong>Организационные:</strong></p><p>- Слабая связанность продуктовой команды и ML-команды: продукт и ML плохо понимали друг друга;</p><p>- Разные стеки, потому что основная экспертиза компании на PHP и Gо, а модели тренируются на Python, ML-сервисы тоже написаны на Python;</p><p>- Процессы были выстроены вокруг модели — чтобы начать разработку сервиса нужно было дождаться завершения работы над моделью;</p><p>- Как следствие, было сложно выкатывать фичи;</p><p>- ML-команда реализовывала бизнес-логику, напрямую влияющую на продукт. Это вызывало вакуум ответственности: любые изменения непонятно кем должны были быть поддержаны;</p><p>- Из-за разницы в стеках усугубился bus-фактор — число участников проекта, после потери которых проект не сможет быть завершен оставшимися участниками.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/612/1*zjGDIZefKUIaAKT2dhozaw.jpeg" /></figure><h4><strong>Выстраивание внутренних процессов</strong></h4><p>ML нужно было развивать: из просто эксперимента ML-модели выросли в серьёзные факторы, влияющие на бизнес. Но развивать нужно правильно: адаптировать изменения так, чтобы решать обозначенные выше проблемы и не создавать новых.</p><p>Мы изменили процессы:</p><p>1. ML-инженеры стали частью продуктовой команды: они генерируют идеи, участвуют в discovery, предлагают фичи и т.д.</p><p>2. ML-сервисы исходят из KPI продукта.</p><p>3. Ищем способы версионировать модели, унифицировать стек технологий и снизить TTM.</p><p>Предположим, ML-инженер разработал модель по распознаванию мошенников. Как запустить эту модель в продакшн? Как обновлять и отслеживать изменения? Как обеспечить воспроизводимость (reproducibility)? Через <strong>MLflow</strong>. Это инструмент с открытым исходным кодом, помогающий управлять жизненным циклом ML-моделей. Какую он несёт пользу:</p><p>- Осуществляет трекинг экспериментов;<br>- Позволяет упаковать код, связанный с моделью, в reproducible-формат;<br>- Деплоит модели на различные платформы;<br>- Выступает в качестве реестра моделей.</p><p><strong>Архитектура компонентов MLflow</strong></p><p>MLflow может выступать в нескольких возможных конфигурациях. Главное их отличие друг от друга в том, где и как они хранят артефакты и метаданные о моделях. Мы в Kolesa Group, как правило, работаем с MLflow примерно в следующей конфигурации:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*FQ3lng2eOvaUjugS" /><figcaption><em>Архитектура MLFlow</em></figcaption></figure><p>С MLflow можно работать и в других конфигурациях. Но оставлю эту тему вне этой статьи. Здесь я хочу больше сосредоточиться на этапе деплоя модели, которая уже трекается с помощью MLflow.</p><p><strong>а) CLI</strong></p><p>MLflow — это <a href="https://pypi.org/project/mlflow/">pip-пакет</a>, с помощью которого его и можно установить. Внутри пакета есть почти всё, что нужно для запуска MLflow в режиме сервера.</p><p>Если переопределить переменную окружения MLFLOW_TRACKING_URI, то CLI будет обращаться к указанному хосту. Это позволяет использовать машину с переопределённой переменной как обычный клиент.</p><p>В случае использования MLflow в конфигурации с S3 хранилищем без проксирования, то потребуется еще переопределить MLFLOW_S3_ENDPOINT_URL, AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY для того, чтобы у клиента была возможность стягивать артефакты из mlflow, а также установить <a href="https://pypi.org/project/boto3/#description">boto3</a>.</p><p>В этой статье сосредоточимся на генерации готовых docker-образов с сервером-обёрткой вокруг модели. Более подробно о возможностях MLflow можно прочитать здесь: <a href="https://www.mlflow.org/docs/latest/cli.html#">https://www.mlflow.org/docs/latest/cli.html#</a>.</p><p><strong>б) Генерация docker-образа</strong></p><p>Собрать docker-образ можно с помощью команды mlflow models -m “s3://&lt;адрес бакета с артефактами&gt;” -n “&lt;название вашего образа&gt;” build-docker.</p><p>Команда неявно стягивает файлы с S3 хранилища, генерирует dockerfile и запускает команду docker build.</p><p>MLflow имеет несколько backend flavors — абстракции над конкретным инструментом, которые можно использовать для деплоя и сервинга модели. Самый универсальный backend flavor — python_function. Далее в статье будет использоваться только он. При python_function backend flavor логика по инференсу на модель оборачивается в обычную питоновскую функцию. Подробнее с этой темой можно ознакомиться в <a href="https://www.mlflow.org/docs/latest/models.html#built-in-model-flavors">официальной документации</a>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*-Z5wDuoYOMPcDpVk" /><figcaption>MLflow: сохранение модели</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*QeX-eQXDz27PPYYR" /><figcaption>MLflow: генерация сервиса</figcaption></figure><p>Казалось бы на этом всё, но нет. Возникли сложности: мы не можем сразу интегрировать ML в продукт.</p><p>- MLflow не умел отдавать dockerfile для сборки, он пытался всё собирать в себе;<br>- Проблемы с CUDA (compute unified device architecture): модель не может работать с GPU (graphics processing unit);<br>- Нет готовой интеграции с CI/CD.</p><h4><strong>Первые проблемы в адаптации</strong></h4><p>Подобная реализация сборки docker-образов была для нас неудобна. Мы планировали включить процесс сборки в наш CI/CD, но возник ряд ограничений.</p><p>Наш CI/CD схематично можно изобразить следующим образом:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/501/1*qOdVeQGA7DYBa2inB6wkNg.jpeg" /><figcaption><em>Схема CI/CD</em></figcaption></figure><p>Основные особенности нашего CI/CD:</p><p>1. Агенты сборки докеризированы и собрать docker-in-docker будет непросто, надо менять образы всех агентов.</p><p>2. Для сборки практически всех образов агенты используются не напрямую, а отдельно. Благодаря этому переиспользуются кэши и уменьшается время сборки.</p><p>3. Сборка на выделенном агенте происходит с помощью buildx и/или флага -H.</p><p>Так как не было возможности изменить параметры сборки образа, мы столкнулись с выбором:</p><p>1. Форкнуть MLflow и внести изменения.</p><p>2. Законтрибьютить в MLflow и добавить возможность пробрасывать флаги.</p><p>3. Найти неинвазивный способ вмешаться в сборку для вызова на удалённом агенте.</p><h4><strong>Последовательное решение проблем</strong></h4><p>Как я упоминал выше, MLflow написан на Python, в то время как компания пишет в основном на PHP и Go. Поэтому у нас не было достаточной экспертизы для постоянной поддержки форка. Контрибьюшена в исходный код мы тогда тоже избегали, потому что на тот момент MLfllow ещё был экспериментом. Мы не были до конца уверены, что это то, что нам нужно, а подвязываться под релизный цикл third party не хотелось.</p><p>Потому было решено пойти другим путем — переопределять переменную окружения DOCKER_HOST, чтобы неинвазивно подменить хост сборки на тот самый «docker-агент».</p><p>1. Пробовали использовать alpine. К сожалению, он не мог переиспользовать PyPI Wheels, из-за чего компилировал их заново. Это очень сильно замедляло процесс сборки. Мы нашли образ, который мог быть использован для сборки docker-in-docker, основанный на Ubuntu.</p><p>2. На базе этого образа мы написали новый. Который бы с переопределённым DOCKER_HOST и рядом дополнительных переменных мог собирать образы на удалённом хосте.</p><p><strong>Участок кода, который описывает образ, выглядит так:</strong></p><pre>FROM cruizba/ubuntu-dind:latest<br><br><br>COPY . .<br><br><br>RUN set -ex                                                 \<br> &amp;&amp; apt-get update -y                                       \<br> &amp;&amp; apt-get install -y --no-install-recommends python3-pip  \<br> &amp;&amp; ln -sf python3 /usr/bin/python                          \<br> &amp;&amp; pip3 install --no-cache --upgrade mlflow boto3        <br><br><br>ENV MLFLOW_TRACKING_URI=not-set     \<br>    AWS_ACCESS_KEY_ID=not-set       \<br>    AWS_SECRET_ACCESS_KEY=not-set   \<br>    MLFLOW_S3_ENDPOINT_URL=not-set  \<br>    DOCKER_HOST=not-set             \<br>    MODEL_NAME=non-set              \<br>    MODEL_S3_PATH=not-set<br><br><br>ENTRYPOINT [&quot;bash&quot;, &quot;-ex&quot;, &quot;-c&quot;]<br>CMD [&quot;mlflow models build-docker -m ${MODEL_S3_PATH} -n ${MODEL_NAME}&quot;]</pre><p>Благодаря этому мы смогли встроить процесс CI/CD и деплоить образы, которые были построены с помощью MLflow в кластер kubernetes по привычной схеме.</p><p><strong>а) Проблемы с CUDA</strong></p><p>Вскоре после того, как мы задеплоили по этой схеме первые модели, мы стали тестировать поведение наших новых моделей-сервисов. Пришли к неутешительным выводам: наши модели не могли нормально загрузиться на видеокарту. Далее подробнее залогировали на этапе загрузки и подтвердили наши догадки — модель не могла использовать CUDA.</p><p>CUDA — это архитектурная платформа и API, которые позволяют легче запускать вычисления на видеокартах. Без валидной работы CUDA мы не можем загрузить модель и обеспечить исполнение на видеокартах.</p><p>Кроме того, просто так контейниризовать сервис, использующий CUDA не получится. Обычно виртуализируются только два ресурса: память и процессор. Среды контейниризации, например, тот же docker, обычно не умеют работать с видеокартами из коробки.</p><p>Все необходимые пререквизиты у нас были выполнены:</p><p>• На серверах стояли GPU от nvidia с возможностью использования CUDA;<br>• Стоял драйвер, совместимый с устройствами и софтом;<br>• Среда контейнеризации умеет пробрасывать доступ к видеокартам в контейнеры.</p><p>Проблема была в том, что сами контейнеры не имели CUDA и не могли ею воспользоваться.</p><p>Эксперименты с установкой после сборки не увенчались успехов. Плюс мы до сих пор не были до конца уверены, что такой подход нас устраивает. Чтобы как можно быстрее подтвердить или опровергнуть возможность использования CUDA, мы сделали следующее:</p><p>- клонировали mlflow из официального репозитория;<br>- нашли участок, ответственный за сборку;<br>- захардкодили образ с нужной версией CUDA в качестве базового образа.</p><p>Скрестили пальцы, запустили сборку и… Заработало! Теперь модель-сервис спокойно использовала ресурсы видеокарты и могла адекватно работать под нагрузкой.</p><p><strong>б) Контрибьютим в MLflow</strong></p><p>Теперь мы могли видеть результат и примерное понимание нужных ресурсов для поддержки. Но снова обнаружили себя в позиции, где мы должны были выбирать одно из двух:</p><p>• Форкнуть MLflow и поменять как нам нужно;<br>• Законтрибьютить в MLflow универсальный способ подмены нужных образов.</p><p>Решили, что удобнее будет законтрибьютить в MLflow напрямую.</p><p>1. Создали issue, открыли PR и смерджились с мастером.</p><p>2. В рамках PR реализовали новую команду MLflow model generatedockerfile. Она не собирает образ напрямую, а генерирует директорию с артефактами и dockerfile, который собирает новый образ. Благодаря этому можем менять dockerfile программно, подменяя базовый образ на совместимый образ с установленной CUDA.</p><p>Наш сборщик образов теперь выглядит примерно следующим образом:</p><pre>FROM cruizba/ubuntu-dind:latest<br><br><br>COPY . .<br><br><br>RUN set -ex \<br>&amp;&amp; apt-get update -y \<br>&amp;&amp; apt-get install -y --no-install-recommends python3-pip \<br>&amp;&amp; ln -sf python3 /usr/bin/python \ &amp;&amp; pip3 install --no-cache --upgrade mlflow boto3 <br><br><br>ENV MLFLOW_TRACKING_URI=not-set \ AWS_ACCESS_KEY_ID=not-set \<br>        AWS_SECRET_ACCESS_KEY=not-set \<br>        MLFLOW_S3_ENDPOINT_URL=not-set \<br>        DOCKER_HOST=not-set \ MODEL_NAME=non-set \<br>        MODEL_S3_PATH=not-set<br>        <br>ENTRYPOINT [&quot;bash&quot;, &quot;-ex&quot;, &quot;-c&quot;]<br>CMD [&quot;mlflow models generate-dockerfile -m ${MODEL_S3_PATH} \<br>               &amp;&amp; cd mlflow-dockerfile \<br>               &amp;&amp; python ../base_image_change.py --base_image=${BASE_IMAGE} \<br>               &amp;&amp; docker build -t ${MODEL_NAME} .&quot;]</pre><p>В образе дополнительно вызывается скрипт, написанный на Python, который может изменить базовый образ.</p><p>Теперь наш путь до production выглядит примерно так:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zjBeIeSRdlg4rQkUFpxnMQ.jpeg" /><figcaption><em>Путь модели по production</em></figcaption></figure><h4><strong>Как это помогло бизнесу</strong></h4><p>1. Уменьшили TTM: выпускаем ML-модели раз в 2–3 недели, раньше это занимало месяцы;</p><p>2. Убрали Python из стека бэкенда (почти);</p><p>3. ML и MLOps не блокируют друг друга (почти);</p><p>4. Упростили версионирование и хранение моделей;</p><p>5. Продукту легче поддерживать сервисы, связанные с ML.</p><p>Отдельно можно вынести плюсом, что подход в целом универсальный — в компании не только ML-инженеры работают с данными, но также аналитики и data-инженеры. Они обычно занимаются анализом продуктовых метрик, ad-hoc исследованиями, A/B-тестами и попутными вещами. В своей работе они тоже часто используют ML-модели, которые, благодаря mlflow, тоже могут быть быстро превращены в сервис (при необходимости).</p><p>Всю бизнес-логику мы переносим на продуктовую сторону, на сервис, связанный с ней по http. Поэтому продуктовой команде легче его поддерживать: нет проблем с зоопарком технологий, легче пилить под него фичи и нет вакуума ответственности.</p><p><strong>Не MLflow единым. Технология без процесса ничего не стоит</strong></p><p>- ML-сервисы встраиваются в KPI продукта;<br>- Сформировали процесс разработки для новых сервисов;<br>- Смещаем всю бизнес-логику на продуктовые команды.</p><p>МL-команда всё ещё в процессе формирования, но у нас уже есть сервисы, которые работают по этой архитектуре.</p><p><strong>Недостатки</strong></p><p>- Приходится писать самим интеграцию с CI/CD;<br>- Среди подобных инструментов нет сформированного лидера;<br>- Инструмент на Python, но компания пишет на PHP и Go.</p><p><strong>Что предстоит улучшить</strong></p><p>- Доработать автоматизацию деплоя, потому что он до сих пор требует от нас ручного написания манифестов;<br>- Подвязать автоматизацию обучений\переобучений, особенно в рекомендовательных системах и системах, которые связаны с определением цены;<br>- Улучшить дружбу Kubernetes + GPU.</p><h4><strong>Советы</strong></h4><p>1. Чем больше сервисов, тем выше потребность в систематизации.</p><p>2. Просто внедрения инструмента может быть недостаточно, без изменения процессов можете столкнуться с организационными проблемами;</p><p>3. Всегда нужно искать итеративный подход по внедрению: соблюдать баланс между поддержкой старых и новых сервисов.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a916cab8fba5" width="1" height="1" alt=""><hr><p><a href="https://medium.com/kolesa-group/%D0%BA%D0%B0%D0%BA-%D0%BF%D0%BE%D0%B4%D1%80%D1%83%D0%B6%D0%B8%D1%82%D1%8C-backend-%D1%81-ml-a916cab8fba5">Как подружить backend с ML</a> was originally published in <a href="https://medium.com/kolesa-group">Kolesa Group</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Архитектура Kolesa.kz: от микросервисов к монолиту]]></title>
            <link>https://medium.com/kolesa-group/%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0-kolesa-kz-%D0%BE%D1%82-%D0%BC%D0%B8%D0%BA%D1%80%D0%BE%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D0%BE%D0%B2-%D0%BA-%D0%BC%D0%BE%D0%BD%D0%BE%D0%BB%D0%B8%D1%82%D1%83-c1f0fff62d73?source=rss----1a54fa6c5d0e---4</link>
            <guid isPermaLink="false">https://medium.com/p/c1f0fff62d73</guid>
            <category><![CDATA[cars]]></category>
            <category><![CDATA[development]]></category>
            <category><![CDATA[backend-development]]></category>
            <category><![CDATA[it]]></category>
            <category><![CDATA[backend]]></category>
            <dc:creator><![CDATA[Abduazim Yergeshev]]></dc:creator>
            <pubDate>Wed, 14 Dec 2022 11:43:28 GMT</pubDate>
            <atom:updated>2022-12-14T11:43:28.749Z</atom:updated>
            <content:encoded><![CDATA[<p>Я Абдуазим Ергешев, backend-разработчик Kolesa Group, работаю в команде монетизации продукта Kolesa.kz. Это сайт бесплатных объявлений о продаже и покупке автомобилей в Казахстане. Занимаюсь доработкой существующих и разработкой новых сервисов для обеспечения работы платных услуг.</p><p>В своей статье я расскажу про:</p><p>• Архитектуру на первых этапах<br>• Микросервисы<br>• Сложности<br>• Плавный переход в монолит</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/911/1*0n-OVWazjDerscw6SnOZ5g.jpeg" /><figcaption>Абдуазим Ергешев</figcaption></figure><p>Платные услуги позволяют продлить объявление, восстановить из архива, продвинуть. Для пользователя это возможность быстро и выгодно продать машину. Для бизнеса — один из способов монетизации продукта.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/993/1*-kfNWUtcfyKay6kyRxXOHg.jpeg" /><figcaption><em>Примеры платных услуг</em></figcaption></figure><p>Мы регулярно анализируем данные о том, какие услуги подключает пользователь и как часто. Это позволяет нам создавать для людей выгодные предложения в виде пакетов — наборов услуг, которые эффективнее продвигают объявления. Рассмотрим основные сервисы, которые взаимодействуют с платными услугами.</p><h4><strong>Архитектура на первых этапах</strong></h4><p>1. API. Основной сервис, наш монолит. Вокруг него строится всё взаимодействие. Мы вынесли туда всю логику с объявлениями: поиск, модерация, валидация параметров, работа с данными. Раньше цены на платные услуги у нас были зашиты в код и хранились в обычном массиве.</p><p>2. Архитектура</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5xF81aNAgDRKr-t8hlYaRw.jpeg" /></figure><p>У нас есть ещё один слой в виде сервиса site. Он брал объявление и цены на платные услуги из API, и отдавал в нужном нам формате. Для десктоп-версии это веб-страничка, для мобильной — json с подтянутыми параметрами. На этих двух сервисах у нас всё работало.</p><p>Но со временем логика усложнялась и разрасталась. Весь код находился в одном месте — монолите, и его стало сложно поддерживать. Решили разбивать код на мелкие сервисы — микросервисы.</p><h4><strong>Микросервисы</strong></h4><p>С начала 2015 года мы стали потихоньку выносить некоторый функционал монолита в микросервисы. Так у нас появился:</p><p>- платёжный шлюз;<br>- сервис личного счёта;<br>- сервис калькуляции цен на платные услуги.</p><p>Мы сделали сервис калькуляции цен на платные услуги<strong> </strong>(APS) потому, что к этому моменту логика по платным услугам разрослась. Мы стали дифференцировать цены на платные услуги по категориям, марке, цене и т.д. Поэтому мы привели всю логику в порядок и изолировали в микросервис.</p><p>Давайте рассмотрим, что он из себя представляет.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RSiFfeNK7_Tjm5AF6PH8ig.png" /></figure><p>Цену мы запрашивали по идентификатору объявления. Микросервис:</p><p>1) забирал объявление из Mongo;<br>2) вытаскивал правила из базы MYSQL;<br>3) подсчитывал всё это с правилами цен;</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wuMwcQOWtfkGBKiUwA8tnA.jpeg" /></figure><p>4) В конце выдавал нам цену на платные услуги;</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Vl3J_kWzrj40GtMyEQEWcA.jpeg" /></figure><p>5. В итоге получилась такая схема. Долгое время это всё работало отлично.</p><p>Но наступил 2020 год. Изменения в мире повлияли на наши продуктовые решения. У бизнеса появились много гипотез, которые нужно проверить. К нам стали прилетать задачки, такие как:</p><p>- дифференциация цены в зависимости от типа пользователя;<br>- дифференциация цены в зависимости от лимитов;<br>- скидка на первую покупку платной услуги.</p><h4><strong>Сложности</strong></h4><p>Но тут мы столкнулись с проблемами. Изначально мы построили архитектуру так, что APS получал все необходимую информацию из параметров объявления. Теперь нам нужно было знать и информацию о пользователе. Задача была важная и сделать её нужно было как можно скорее.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tIYYvk-wSGwlzEfhEo8v6w.jpeg" /></figure><p>Мы начали покрывать недостаток данных, пробрасывая информацию о пользователе из API в APS. Наш микросервис стал зависим от API. И это стало проблемой.</p><p>При проектировании микросервисов мы часто сталкиваемся с такими принципами как loose coupling и high cohesion. Трудность заключалась в, прежде всего, сильной связности.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/393/1*Dj6vQvR0t8ksDWEH5a4vXg.jpeg" /><figcaption><em>Сильная связность</em></figcaption></figure><p>Объясню, что эти принципы из себя представляют:</p><p>а) High cohesion</p><p>Cohesion — эта мера, показывающая насколько элементы связаны между собой внутри микросервиса. Этот принцип означает, что сильно связанные элементы лучше разместить в одном месте.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/604/1*I4L9Q9DoygxOg6tIUkXvow.jpeg" /><figcaption><em>High cohesion</em></figcaption></figure><p>б) Loose coupling</p><p>Coupling — эта мера того, насколько зависим наш микросервис от других. Согласно этому принципу, при проектировании нужно разграничить все микросервисы так, чтобы между ними были минимальное количество взаимосвязей.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/604/1*f6kIJBxY59W5gtuEsHq2Zw.jpeg" /><figcaption><em>Loose coupling</em></figcaption></figure><p>В зависимости от того, как мы всё спроектируем, код может работать совершенно по-разному. На картинке с принципом high cohesion<em> </em>мы видим, что всё запутанно. Такой код труден для восприятия и его тяжело поддерживать. Но ещё более важной проблемой стало то, что нам сложно выделить границы микросервиса. Потому что в монетизации часто дополняются бизнес-требования. В этой области возникает много предположений, которые необходимо проверить.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*19GA-hSDFjB8keBphpkJeA.jpeg" /></figure><p>И мы замечаем, что с каждой новой задачей API обрастает связями c APS. Даже некоторую логику стали писать в монолит для расчёта цен. Границы сервиса стали размываться.</p><p>Это ведёт к увеличению срока разработки. Потому что к нам часто приходят задачи, которые нужно решать в комплексе. Мы делаем доработки сначала в APS, затем в API. После чего их надо подружить между собой.</p><p><strong>И у нас возник такой вопрос «А нужны ли нам такие сложности»? Для чего нам микросервисы:</strong></p><p>1. Когда нужно гибко масштабироваться</p><p>В APS нам нет необходимости в масштабировании. Операция по калькуляции цен не очень ресурсоёмкая. Для расчёта цен мы спамим запросами в API. Поэтому если нагрузка увеличится, скорее API приляжет, чем APS.</p><p>2. Когда нужно использовать независимый стек технологий</p><p>Но для калькуляции цен нам не нужны специальные инструменты, библиотеки. Задачу можно решить на любом языке программирования.</p><p><strong>Следовательно, от использования таких микросервисов существенных преимуществ мы не получаем. Их сильно перевешивают минусы:</strong></p><p>1. Дополнительная точка отказа<br>Каждый элемент в системе — это, по сути, дополнительная точка отказа.</p><p>2. Сложность отладки<br>Когда логика у нас размыта по нескольким сервисам, это добавляет сложность в отладке.</p><p>3. Таймауты<br>В ситуациях, когда просто моргнула сеть или отвалился микросервис, возникают таймауты.</p><p>4. Задержки<br>Бонусом мы получаем задержки на межсервисные запросы.</p><p><strong>Плавный переход в монолит</strong></p><p>Мы задумались: а может лучше в монолит? Но не в простой, а модульный. Думаю, многие применяют практику, когда нужно разбить большой монолит на разные зоны ответственности. И наложить какой-то контекст на них.</p><p><strong>Преимущества модульного монолита</strong></p><p>1. Получаем изоляцию, как в микросервисах</p><p>Общения между модулями проходят через специальные контракты. В них мы описываем все методы, к которым будут обращаться снаружи.</p><p>2. Проще проводить границы модулей и менять</p><p>В нашем случае это идеальный вариант. Так нам проще становится всё рефакторить в зависимости от бизнес-требований. Экономим наши ресурсы: усилия и время.</p><p>3. Упрощается отладка кода</p><p>Нам не нужно разворачивать у себя кучу микросервисов и отлаживать в комплексе. А если в команду придёт новый человек? Он потратит много времени на подготовку и начало работы.</p><p>4. Возможность переиспользования инфраструктурного кода</p><p>Это кэши, мониторинг, логирование. Которые уже настроены и обкатаны в проекте.</p><p><strong>Обеспечение перехода в монолит</strong></p><p>Так как в APS ходил не один сервис, нам нужно было сделать так, чтобы переход никак не повлиял на работоспособность остальных сервисов. Тем более на сервисы, которые являются общими для всех продуктовых команд. Для этого рассмотрим, как устроено взаимодействие сервисов с APS на примере платёжного шлюза.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*16h5DRB4n0rDaxlhrTRONA.jpeg" /></figure><p>Когда-то APS был общим для всех продуктов. То есть у нас был один микросервис, который считал цены на платные услуги для всех продуктов Kolesa Group. Поэтому мы напилили client на PHP и вынесли его в отдельный репозиторий APS-client, чтобы его могли переиспользовать другие сервисы. После форка APS в каждом продукте появилась своя версия APS, и мы продолжили использовать APS-client потому, что структура запросов и ответов были одинаковыми у всех. Но сервис платёжного шлюза так и остался у нас общим.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Mu_XS40BbnyqaKUgYOzV7A.png" /></figure><p>Учитывая всё это, мы подогнали наш API под такую схему, чтобы писать меньше логики в общих сервисах и не повлиять на другие продукты. Затем переопределили хосты из APS в API во всех сервисах.</p><p>В итоге у нас получается вот такая вот схема:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*m9YRQ7OvgGNbNLI9mW0ofQ.jpeg" /></figure><p><strong>Какую пользу мы от этого получили</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XaZzkY0n86dDSFLQnKK8dw.jpeg" /></figure><p>1. Сокращение сроков на разработку</p><p>Благодаря упрощению рефакторинга и возможности переиспользования некоторых вещей, мы стали быстрее выкатывать задачи на прод.</p><p>2. Упрощение процесса разработки</p><p>Имея всё под рукой, нам стало легче структурировать код.</p><p>3. Сокращение сетевых запросов</p><p>Раньше мы делали три запроса для получения цен: получали объявление, отдавали параметры в APS, а тот, в свою очередь, делал запрос для того, чтобы проверить превысил лимит пользователь или нет. Что сумме, в среднем, занимало 430 ms.</p><p>Сейчас мы делаем один запрос. Получаем информацию об объявлении, включая цены, за один запрос, который занимает 200 ms. Мы стали доставлять информацию пользователю в два раза быстрее.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/326/1*OE6P9nQ7fVo1bSq-lHvKbA.jpeg" /></figure><h4><strong>Заключение</strong></h4><p>Я не противник микросервисов. У нас много микросервисов, которые работают отлично. Просто, в зависимости от бизнес-задач, полезными могут быть разные решения. APS, как микросервис, нас полностью устраивал больше 5 лет, но со временем мы пришли к пониманию, что будет лучше перейти на монолит. Сейчас APS на такой стадии, что правильнее ему находиться в одном репозитории с API.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c1f0fff62d73" width="1" height="1" alt=""><hr><p><a href="https://medium.com/kolesa-group/%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0-kolesa-kz-%D0%BE%D1%82-%D0%BC%D0%B8%D0%BA%D1%80%D0%BE%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D0%BE%D0%B2-%D0%BA-%D0%BC%D0%BE%D0%BD%D0%BE%D0%BB%D0%B8%D1%82%D1%83-c1f0fff62d73">Архитектура Kolesa.kz: от микросервисов к монолиту</a> was originally published in <a href="https://medium.com/kolesa-group">Kolesa Group</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Пролить SEM потов: карьерный путь от разработчика до software engineering manager]]></title>
            <link>https://medium.com/kolesa-group/%D0%BF%D1%80%D0%BE%D0%BB%D0%B8%D1%82%D1%8C-sem-%D0%BF%D0%BE%D1%82%D0%BE%D0%B2-%D0%BA%D0%B0%D1%80%D1%8C%D0%B5%D1%80%D0%BD%D1%8B%D0%B9-%D0%BF%D1%83%D1%82%D1%8C-%D0%BE%D1%82-%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%87%D0%B8%D0%BA%D0%B0-%D0%B4%D0%BE-software-engineering-manager-cde34c8f4d1d?source=rss----1a54fa6c5d0e---4</link>
            <guid isPermaLink="false">https://medium.com/p/cde34c8f4d1d</guid>
            <category><![CDATA[development]]></category>
            <category><![CDATA[it]]></category>
            <category><![CDATA[разработка]]></category>
            <category><![CDATA[sem]]></category>
            <category><![CDATA[developer]]></category>
            <dc:creator><![CDATA[Akim Krotov]]></dc:creator>
            <pubDate>Fri, 25 Nov 2022 11:55:21 GMT</pubDate>
            <atom:updated>2022-11-25T11:55:21.338Z</atom:updated>
            <content:encoded><![CDATA[<p>Меня зовут Аким Кротов, я Software Engineering Manager (SEM) в Kolesa Group, в продукте Krisha.kz. В этой статье хочу поделиться своим 12-летним опытом карьерного развития (историей успеха) от web-разработчика до SEM-а.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pe1asqzRqvDEeWXGSe7aaA.jpeg" /><figcaption>Аким Кротов</figcaption></figure><h4><strong>Что для меня успех (немного лирики)</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*E2tmr__vkJ2XziU6LT_hdw.jpeg" /></figure><p>Для меня успех — это когда ты приносишь пользу и получаешь от этого удовольствие. Что в этом сложного и особенного? У многих людей в силу разных причин — бюрократии, недоверия со стороны коллег или непонимания предметной области — образуются трудности. Им становится тяжело достичь чего-то значимого в своей работе и они начинают просто плыть по течению. Делают прилетающие задачи, не всегда понимая зачем они нужны.</p><p>Есть два пути развития разработчика:<br>а) продолжать плыть по течению, не особо вникая в собственные задачи;<br>б) дать работе проникнуть в твою жизнь так, чтобы любая задача стала личным делом и долгом.</p><p>Я бессознательно пошел по второму пути, так как первый вариант не ведёт к развитию. Далее советую идти по следующему сценарию: при выполнении задач изучайте весь смежный код проекта — так к вам со временем придёт понимание почти всей архитектуры. Благодаря этому в будущем вы сможете решать сложные кейсы и помогать коллегам.</p><h4><strong>Начало карьеры, работа в веб-студиях, 2010 год</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2aoXoi3AvYccidXsFtsvRQ.jpeg" /><figcaption>2010 год, начало карьеры в Москве</figcaption></figure><p>Начинал с заказов на фрилансе, изучал PHP, читал книги, верстал. Учился на магистратуре в Московском техническом университете связи и информатики, специальность — связист.</p><p>Первым моим местом работы была контора, предоставляющая услуги 1С. У них был сайт на PHP, который мне нужно было поддерживать. Мне выдали полный карт-бланш на его развитие. Потихоньку я стал вникать в процессы работы, ко мне приходили люди с разных отделов со своими нуждами. Но счастье продлилось недолго: спустя 2 месяца работы на сайт совершили хакерское нападение и директор подумал, что это был я. Произошла дискоммуникация, руководство потеряло ко мне доверие и попрощалось со мной.</p><p>Уже через неделю нашел новое место работы — веб-студию. Там мне нужно было создавать сайты, беря за основу движок «index.php», где уже была заложена базовая логика работы. Также нужно было поддерживать существующие сайты. Проработал я в этой веб-студии всего 2 месяца, так как магистратура закончилась и я вернулся домой в Алматы.</p><p>Итог: первые два места работы, несмотря на суммарные 4 месяца труда, дали мне бесценный опыт:<br>1. Важную информацию, от которой зависит твоя дальнейшая судьба, нужно незамедлительно передавать человеку, принимающему решения, лично. Не ментору, а руководителю/директору. <br>2. От видов инструментов разработки очень сильно зависит качество производимого программистами софта.</p><p>Уже через 2 недели после возвращения в Алматы нашёл работу в веб-студии. Она была сильна технически: cистема контроля версии, таск-трекинг в гугл-доках и неплохой самописный фреймворк. И коллектив был хороший. Но были и минусы: серьёзные проблемы в менеджменте, задержки в выдаче зарплат, однообразие задач. С учётом всех этих проблем начал искать другую работу. Увидел вакансию разработчика на kolesa.kz — сайте бесплатных объявлений о продаже и покупке автомобилей в Казахстане. Из описания позиции понял, что задачи будут всегда разные, и отправил резюме.</p><h3>Kolesa.kz. PHP-разработчик, 2011–2014 годы</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*A1VTLhiwnSrUT2uu2grzKg.jpeg" /><figcaption>2011 год, за неделю до прихода в «Колёса»</figcaption></figure><p>Кратко об обстановке в продукте на тот момент: сервера не справлялись с нагрузкой, вызванной большим трафиком. Как следствие, сайт очень сильно тормозил по вечерам. Задачи у меня были разные: от вёрстки кнопок до написания запросов в базу данных MySQL.</p><p>Шло время, мне очень нравилось работать в компании, особенно разнообразие задач и кратный рост продукта от года к году. Помимо флагманского сайта Kolesa.kz был ещё один продукт — Krisha.kz. Это сайт бесплатных объявлений о продаже, покупке, аренде квартир, домов в Казахстане. И в 2014 году компания решила подкинуть угля в «Крышу».</p><h4><strong>Krisha.kz. Тимлид разработки, 2014–2020 годы</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/663/1*uSCKBxkBHGqPpDTPa_xUow.jpeg" /><figcaption>2015 год, уверенный тимлид «Крыши»</figcaption></figure><p>Мне повезло, что когда продукту Krisha.kz выделили 2 разработчиков, которым нужен был тимлид, у меня уже был релевантный опыт. Я хорошо понимал продукт и умел ладить с коллегами. Мой начальник, получив от меня согласие, ударил посохом по полу и сделал меня тимлидом проекта «Крыши». У продукта появилась сразу целая команда.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fEBYzWMrWMbZwl0l_VVZRQ.jpeg" /><figcaption>Так выглядела K<em>risha.kz в 2014 году</em></figcaption></figure><p>Шло время, я привыкал к новой для себя роли. В итоге, моя работа в качестве тимлида сводилась к:</p><p>- техническому развитию продукта: выполнению текущих задач, работой с CI\CD для деплоя, автотестирования кода;</p><p>- наём и увольнение сотрудников.</p><p>Тогда я посвящал коду 70% времени, «тимлидству» — 30%. В ту пору мы приняли ряд изменений, которые благоприятно повлияли на разработку:</p><p>• Внедрение дежурств для разработчиков для быстрой связи с линией поддержки.</p><p>• Внедрение «пятничных автотестов» — новшество, когда команда в пятницу занимается исключительно написанием автотестов. Так мы за пару месяцев нарастили тесты на ключевые функции сайта.</p><p>Это был успешный опыт, который перенимали и смежные команды.</p><p>Здесь важно уточнить, что это был 2014 год — тогда у компании не было опыта в развитии тимлидов. Мне приходилось самому в этом разбираться.</p><p>Условия смены роли «разработчик → тимлид»:</p><p>1. Нужно быть готовым к такому переходу функционально. Потому что между разработчиком, который просто выполняет задачи, и тимлидом, который работает с людьми и ведёт их за собой, большая разница.</p><p>2. Для того, чтобы стать тимлидом, прежде всего такая потребность должна возникнуть в самой компании.</p><h4><strong>Krisha.kz. SEM разработки, 2020 год — наши дни</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6ggDwcvEU5aafW1LgSoy8A.jpeg" /><figcaption>2022 год, на дне рождения компании</figcaption></figure><p>Компания росла, команд становилось больше, как и людей в них. Потребность в тимлидах стала ещё более острой. В связи с ростом числа тимлидов стало сложнее их координировать. так как они тоже нуждаются в поддержке и помощи. Так в нашей компании зародилась новая веха в развитии управлении разработчиками — Software Engineer Manager (SEM). После введения этой должности мне предложили им стать, и я согласился. Так я стал SEM-ом «Крыши».</p><p>SEM в Kolesa Group — это доверенное лицо руководителя, которое управляет, помогает и упрощает жизнь тимлидам. А те, в свою очередь, координируют разработчиков и помогают им. Позиция SEM позволяет фокусироваться на улучшении процессов разработки и повышать качество выполняемых задач.</p><p>SEM-ам на написание кода остаётся минимум времени. Основное время уходит на решение каких-то невидимых для разработчиков задач или же очень сложных багов. А именно:</p><p>1. SEM следит за развитием всех направлений, которые закладывает бизнес. К примеру, тимлид/техлид смотрит за своей (одной) командой по конкретному направлению, например, за мобильной разработкой. SEM же помогает сразу нескольким командам: backend, frontend, mobile, QA. Работает с лидами и точечно бьёт по проблемным местам.</p><p>2. SEM работает непосредственно с руководителем. Через SEM-а происходит трансляция изменений в командах.</p><p>3. С продуктовыми задачами работает, в основном, тимлид, и благодаря этому у SEM появляется время подумать над улучшением процесса разработки. Это может быть новый процесс, улучшение старого или помощь другой команде.</p><p>Примеры задач SEM-a:</p><p>- продумывание и обсуждение стратегических планов разработки;<br>- движение архитектуры проекта в целом;</p><p>- создание для разработчиков более комфортных и менее стрессовых условий труда.</p><p>Позиция SEM — лаконичное и естественное продолжение развития разработчика, которому выпала судьба стать тимлидом.</p><h4>Итоги</h4><p>Большинство задач завершаются командой без багов на проде и в разумные сроки — это лучшее достижение для любой компании. По «Крыше» на данный момент такие цифры:</p><p>- количество сделанных задач без переоткрытий — 90%;<br>- новые фичи и улучшения — 80% от всех сделанных задач;<br>- баги — 20% от всех сделанных задач.</p><p>Но, конечно, это не моё личное достижение, это вклад каждого члена нашей большой команды Krisha.kz.</p><p>В заключение хочу дать несколько простых советов для эффективной работы разработчиком. Основано на ̶р̶е̶а̶л̶ь̶н̶ы̶х̶ ̶с̶о̶б̶ы̶т̶и̶я̶х̶ собственном опыте:</p><p>• Каждая рабочая задача — это ваша личная задача. Если это не так, то стоит задуматься почему;</p><p>• Делать пометки, затем выполнять их или удалять;</p><p>• Оправдывать ожидания руководства или уметь объяснять, если что-то пошло не так;</p><p>• Не закапываться в детали;</p><p>• Уметь делегировать;</p><p>• Читать почту.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=cde34c8f4d1d" width="1" height="1" alt=""><hr><p><a href="https://medium.com/kolesa-group/%D0%BF%D1%80%D0%BE%D0%BB%D0%B8%D1%82%D1%8C-sem-%D0%BF%D0%BE%D1%82%D0%BE%D0%B2-%D0%BA%D0%B0%D1%80%D1%8C%D0%B5%D1%80%D0%BD%D1%8B%D0%B9-%D0%BF%D1%83%D1%82%D1%8C-%D0%BE%D1%82-%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%87%D0%B8%D0%BA%D0%B0-%D0%B4%D0%BE-software-engineering-manager-cde34c8f4d1d">Пролить SEM потов: карьерный путь от разработчика до software engineering manager</a> was originally published in <a href="https://medium.com/kolesa-group">Kolesa Group</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Client’s Errors и моментальное реагирование на ошибки в Kolesa Group]]></title>
            <link>https://medium.com/kolesa-group/clients-errors-%D0%B8-%D0%BC%D0%BE%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5-%D1%80%D0%B5%D0%B0%D0%B3%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5-%D0%BD%D0%B0-%D0%BE%D1%88%D0%B8%D0%B1%D0%BA%D0%B8-%D0%B2-kolesa-group-d63dc0e83473?source=rss----1a54fa6c5d0e---4</link>
            <guid isPermaLink="false">https://medium.com/p/d63dc0e83473</guid>
            <category><![CDATA[classifieds]]></category>
            <category><![CDATA[frontend]]></category>
            <category><![CDATA[development]]></category>
            <category><![CDATA[sentry]]></category>
            <category><![CDATA[it]]></category>
            <dc:creator><![CDATA[Azim Azimov]]></dc:creator>
            <pubDate>Wed, 27 Jul 2022 11:50:46 GMT</pubDate>
            <atom:updated>2022-07-28T06:16:09.010Z</atom:updated>
            <content:encoded><![CDATA[<p>Мы живём в неидеальном мире, где на вашем гаджете web-приложение может работать, а вот на тысячах других устройств оно падает. Либо при рефакторинге какого-то большого функционала в рекомендациях к тестированию мы попросту не предусматриваем какие-то кейсы и отправляем на production, лишая этим web-приложение части функционала. По этой причине все продукты Kolesa Group запускаются с системой мониторинга ошибок.</p><p>Я Азим Азимов — frontend-разработчик Kolesa Group, а именно продукта Market.kz. Я расскажу вам, как мы в компании реализуем моментальное реагирование на ошибки.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-geCM17DUUzymoooNhjIkg.jpeg" /><figcaption><em>Азим Азимов, frontend-разработчик Kolesa Group</em></figcaption></figure><p>В этом нам помогает система алертов Sentry, которая обеспечивает отслеживание и мониторинг ошибок практически для каждого языка и фреймворка. Аналоги Sentry: Raygun Error Monitoring, Bugsnag, Rollbar, Airbrake, Trackjs, LogRocket, Errorception, CatchJS, Firebase Crashlytics.</p><p>Ваши пользователи — лучшие тестировщики, они тщательно проверяют весь функционал, который вы им доставляете. Так давайте же не упускать возможность применить их труд: обнаруживать и чинить всё, то что они смогли найти.</p><p>В этой статье вы узнаете про:</p><ul><li>Важность моментального реагирования на ошибки</li><li>Организация нашего процесса работы с клиентскими ошибками</li><li>Расследование причин возникновения ошибки</li><li>Безопасность клиентских данных</li><li>Игнорирование</li></ul><h4>Важность моментального реагирования на ошибки</h4><p>Любой проект, который предполагает взаимодействие с пользователями, обязан иметь систему мониторинга ошибок, возникающих на стороне клиента. Тем более, когда речь об участках кода, которые приносят бизнесу пользу и прибыль.</p><p>Если нужно будет срочно разобраться, почему не работает та или иная фича в вашем продукте, вы должны уметь заходить в логи и анализировать последние ошибки. После обнаружения той самой ошибки, вы сможете оценить все нюансы этой проблемы и приступить к ее решению.</p><p>А что касается Kolesa Group, с появлением в компании команды frontend-разработчиков, возникла необходимость в инструменте для сбора информации о клиентских ошибках с целью дальнейшего анализа и устранения проблем. Я считаю, что к такой необходимости приходит любой продукт после пары крупных багов, которые могли бы быть найдены на самых первых этапах своего возникновения.</p><h4><strong>Организация процесса работы с клиентскими ошибками</strong></h4><p>В каждой команде продукта Kolesa Group периодически назначается дежурный разработчик. В его обязанности входит мониторинг и устранение ошибок. Уведомления об ошибках доставляются на почту и дублируются в корпоративный Telegram-канал, так что пропустить их не удастся. Также можно настроить уведомления о возникновении большого количества определённых ошибок в случае, если мы отложили их решение.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5Xa2jWi-ts_P8TtA7s1LVA.jpeg" /><figcaption><em>Пример списка ошибок</em></figcaption></figure><p>Команда QA тоже участвует в процессе отслеживания новых ошибок. Ошибки можно фильтровать по номеру релиза. Каждый раз после deploy в production QA-инженер отслеживает логирование ошибок. И в случае их выявления расследует с дежурным разработчиком причины их возникновения.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZKPKN-whnk-FzqzWM_GCSQ.jpeg" /><figcaption><em>Сценарий работы с ошибками</em></figcaption></figure><h4><strong>Расследование причин возникновения ошибки</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/768/1*mR3m2_YtE0Jz2BMIAAn6yQ.png" /></figure><p>Основная функциональность Sentry — предоставление как можно большего количества данных о состоянии приложения на момент возникновения ошибки. Первое, на что здесь обращаем внимание — «хлебные крошки». Это действия пользователя до возникновения ошибки. В этот список логируются сетевые запросы REST, клики по DOM элемента и навигация по страницам.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6g1RlE5v1_e206JwPVd_OA.jpeg" /><figcaption><em>Список действий до ошибки</em></figcaption></figure><p>Если мы заранее знаем, что какой-то участок кода важен, можем разложить набор своих «хлебных крошек». И затем, при создании события, вместо клика по абстрактному селектору будет отображаться клик по конкретной кнопке.</p><pre>Sentry.addBreadcrumb({</pre><pre>    category: &quot;auth&quot;,</pre><pre>    message: &quot;Click pay button&quot;,</pre><pre>    level: &quot;info&quot;,</pre><pre>});</pre><p>Если информации недостаточно или мы хотим убедиться в достоверности теории, обращаем внимание на теги события. Тут можно найти абсолютно всё, что потребуется для выявления причин: от версии операционной системы до названия компонента, в которой была инициирована ошибка.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pEXVptxRhLRNFbdcRuwPOA.jpeg" /><figcaption><em>Теги конкретного события</em></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/1*j4qU7fqT6y8GvxD0bkft6w.jpeg" /><figcaption><em>Статистика по тегам в одной ошибке</em></figcaption></figure><p>Бывает, что нежелательное поведение пользователей не провоцирует ошибки в консоле и вышеперечисленных инструментов анализа не хватает для выявления причин ошибки. В таком случае мы можем быть инициаторами события и выслать все данные о состоянии события.</p><p><strong>Пример генерирования события. </strong>Однажды мы смогли найти причины досрочной потери авторизационных данных пользователя. Воспроизвести это было невозможно, но пользователи жаловались на внезапные запросы авторизации. Залогировав процесс авторизации, мы набрали достаточно данных для того, чтобы понять первоисточник причины. Благодаря этой функциональности можно делать debug сложных сценариев поиска багов.</p><pre>Sentry.captureEvent({</pre><pre>    level: Severity.Error,</pre><pre>    extra: { error },</pre><pre>    fingerprint,</pre><pre>});</pre><h4><strong>Безопасность клиентских данных</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/568/1*4OxmbY39iDtTS7T_96f0iQ.jpeg" /></figure><p>Конечно, на стороне клиента есть персональные данные которые не стоит отправлять в системы логирования. Это логин, номер, пароль, авторизационные токены, сумма баланса, местоположения, адрес и мн. др. На этот случай у нас предусмотрено фильтрация пользовательских данных:</p><pre>Sentry.init({</pre><pre>    beforeSend(event) {</pre><pre>        // Обнаруживаем что в событие есть пользовательские данные</pre><pre>        if (event.user) {</pre><pre>            // Удаляем или можем заменить</pre><pre>            delete event.user.email;</pre><pre>        }</pre><pre>        return event;</pre><pre>    },</pre><pre>});</pre><p>Таким образом, это даёт все необходимые инструменты для предотвращения несанкционированного раскрытия персональных данных клиента. Ошибки можно решать гораздо быстрее, чем об этом узнают пользователи. Плюс мы в Kolesa Group развернули всю систему Sentry у себя на серверах, чтобы никто кроме сотрудников не имел доступа к данным об ошибках.</p><h3>Игнорирование</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/1*mwzGbXdbBoIRI_n_mLXlFA.jpeg" /></figure><p>Современное клиентское приложение сопровождается аналитическими инструментами, партнёрской рекламой и набором сторонних библиотек. Зачастую, у всех этих инструментов есть внутренние ошибки, которые не относятся к нашему приложению, но всё же исполняются внутри нашего сайта (web-приложения). В таком случае все назойливые ошибки сторонних инструментов, которые мы не в силах починить, отправляем в игнор-лист. Но предварительно консультируемся с отделом маркетинга на случай, если эта ошибка критична для них. Игнор-лист можно создать при инициализации и в самой админ-панели Sentry.</p><pre>Sentry.init({</pre><pre>    // Добавляем то, что не должно отправлять на сервер вообще</pre><pre>    ignoreErrors: [</pre><pre>        &quot;fb_xd_fragment&quot;,</pre><pre>        /^Exact Match Message$/</pre><pre>    ];</pre><pre>})</pre><p>У Kolesa Group 4 основных продукта с ежемесячной аудиторией в 12,5 млн пользователей в Казахстане и Узбекистане: Kolesa.kz, Krisha.kz, Market.kz и Avtoelon.uz. Все эти продукты развёртываются на собственных серверах независимо друг от друга. Но если говорить о системе логирования и сбора ошибок, то она развёрнута централизованно для всех продуктов: так дешевле и легче мониторить состояние всех продуктов из одной админ-панели.</p><p>Но у этого подхода есть один нюанс — один из продуктов может стать инициатором большого количества ошибок в систему логирования.</p><p><strong>Пример.</strong> Market.kz релизит новую фичу на главной экране приложения. Но тут у каждого второго пользователя появляется ошибка, что провоцирует множество логирований в Sentry. Сервера продукта стойкие. Но если сервер не выдержит, это приведёт к тому что, все остальные продукты не получат информацию о новых ошибках в своих приложениях.</p><p>Эта проблема также решается правильной конфигурацией Sentry. Достаточно установить лимит обращений в час для каждого проекта.</p><p><strong>1. Высчитываем максимальное значение обращений нашего проекта (web-приложения) в час</strong></p><p>Так как каждый проект имеет разную нагрузку и разное количество ошибок, то это число обращений в час должно быть индивидуально для каждого. Для этого проекту надо поработать какое-то время без ограничений. Затем в статистике мы выбираем максимальные значения за часы и из них берём среднее.</p><p><strong>2. Устанавливаем порог обращений для web-приложения</strong><br>На основе этого максимального значения мы выставляем лимит обращений в час.</p><p><strong>3. Устанавливаем оповещения</strong></p><p>С достижением лимита в событиях мы настраиваем уведомления для быстрого реагирования на внезапные всплески ошибок на клиентской стороне.</p><p>При достижении лимитов проект лишается данных, при этом остальные продукты Kolesa Group продолжают получать свою статистику. А того избытка событий порой достаточно для диагностирования проблемы.</p><h4><strong>Итоги</strong></h4><p>Система мониторинга нужна для компаний, которые хотят отслеживать состояние приложений. Наличие этого или подобного инструмента напрямую влияет на скорость обнаружения ошибок. Это здорово помогает разработчику быстро анализировать и чинить сложные и важные сценарии багов.</p><p>Давайте посчитаем сколько это стоит для Kolesa Group.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gvZqErztNuUldH7tY87q8g.jpeg" /><figcaption><em>График событий за 7 дней по всем продуктам компании</em></figcaption></figure><p>Событий в день — 123 000.<br>Событий в неделю — 863 000.<br>Событий в месяц — 3 690 000.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aVhHJCo4vmAgHzxPFVyOlQ.jpeg" /><figcaption><em>Калькулятор стоимости облачного решения</em></figcaption></figure><p>По примерным расчетам стоимость облачного решения стоило бы $15 000 в год. А Kolesa Group развернула систему бесплатно на собственных серверах. Про самостоятельное развертывание Sentry можно почитать <a href="https://develop.sentry.dev/self-hosted/">здесь</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d63dc0e83473" width="1" height="1" alt=""><hr><p><a href="https://medium.com/kolesa-group/clients-errors-%D0%B8-%D0%BC%D0%BE%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5-%D1%80%D0%B5%D0%B0%D0%B3%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5-%D0%BD%D0%B0-%D0%BE%D1%88%D0%B8%D0%B1%D0%BA%D0%B8-%D0%B2-kolesa-group-d63dc0e83473">Client’s Errors и моментальное реагирование на ошибки в Kolesa Group</a> was originally published in <a href="https://medium.com/kolesa-group">Kolesa Group</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>