<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Samat Galimov on Medium]]></title>
        <description><![CDATA[Stories by Samat Galimov on Medium]]></description>
        <link>https://medium.com/@samat?source=rss-b16b067a571e------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*kAnVlqbhyVcXLt8TYRAcTw.jpeg</url>
            <title>Stories by Samat Galimov on Medium</title>
            <link>https://medium.com/@samat?source=rss-b16b067a571e------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 14:15:22 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@samat/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Launching Public API for the Largest Video Game Database in the World]]></title>
            <link>https://medium.com/rawg/launching-public-api-for-the-largest-video-game-database-in-the-world-fa260a336079?source=rss-b16b067a571e------2</link>
            <guid isPermaLink="false">https://medium.com/p/fa260a336079</guid>
            <category><![CDATA[database]]></category>
            <category><![CDATA[api]]></category>
            <category><![CDATA[videogames]]></category>
            <category><![CDATA[gaming]]></category>
            <category><![CDATA[games]]></category>
            <dc:creator><![CDATA[Samat Galimov]]></dc:creator>
            <pubDate>Tue, 11 Jun 2019 14:44:44 GMT</pubDate>
            <atom:updated>2019-06-11T15:32:36.813Z</atom:updated>
            <content:encoded><![CDATA[<p><a href="http://rawg.io/">RAWG</a> is the largest video game database in the world with 300,000+ titles, 2M screenshots, 425,000 user ratings. <em>It’s the IMDb for games. </em>We also have a recommendations system analyzing actual video game content with <a href="https://www.producthunt.com/posts/rawg-discover">machine learning</a>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HPpmsuCG9LG5JbMBhEEcPQ.png" /></figure><p>What is unique in our database is that RAWG has links to all digital stores where you can buy games. This is practically the only place on the web where you can find this info aggregated cross-platform.</p><p>We got plenty of requests for API access to our database. We shared our API on an ad hoc basis and some of our community members even created language-specific wrappers for it.</p><p>Today, we are opening our public API to the world.</p><h4>Three endpoints to get you started</h4><ol><li><strong>search for a game</strong> by name: <a href="https://api.rawg.io/api/games?page_size=5&amp;search=gta%20v">https://api.rawg.io/api/games?page_size=5&amp;search=gta%20v</a></li><li><strong>get detailed information</strong> about the game: <a href="https://api.rawg.io/api/games/grand-theft-auto-v">https://api.rawg.io/api/games/grand-theft-auto-v</a></li><li><strong>find more games</strong> like X — <a href="https://www.producthunt.com/posts/rawg-discover">our machine learning algorithm</a> analyzes in-game content to find similar games: <a href="https://api.rawg.io/api/games/grand-theft-auto-v/suggested?page_size=5">https://api.rawg.io/api/games/grand-theft-auto-v/suggested?page_size=5</a></li></ol><p><a href="https://pypi.org/project/rawgpy/">Python</a> (by Laundmo) and <a href="https://www.npmjs.com/package/rawger">Node</a> (by orels1) bindings might come in handy to speed up the process.</p><p>Please provide your app name and some contact info in the <a href="https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/User-Agent">User-Agent</a> header with each API request. Don’t forget to backlink to <a href="http://rawg.io/">RAWG</a> and mention it as your data source. Other API rules are <a href="https://rawg.io/apidocs">listed here</a>.</p><h4>Apps using our API, some with source code available</h4><ol><li>The <a href="https://www.reddit.com/user/GameSuggestionsBot">Reddit games recommendations bot</a> by Laundmo (<a href="https://gitlab.com/laundmo/gamingsuggestions-link-bot">Python, Gitlab</a>)</li><li>The games search in the <a href="https://pikagirl.me/commands">PikaGirl</a> bot on Discord. Over 30,000 connected Discord servers</li><li>The <a href="https://t.me/rawgthebot">Telegram bot</a> by <a href="http://believer.su/">Roman</a>, our frontend developer (<a href="https://github.com/behindthegames/telegram-bot-php">PHP, Github</a>)</li><li>The <a href="https://dtf.ru/team/47794-rawg-bot-v-kommentariyah-dtf-i-zapusk-publichnogo-api">DTF bot</a> by <a href="https://samat.me/">Samat</a>, our CTO (<a href="https://github.com/behindthegames/dtf-bot">Python, Github</a>). DTF is one of the largest Russian gaming news website with an active gamers community</li></ol><h4>Questions</h4><p>If you have any questions about our API — we’d love to help. Reach out to us on our <a href="https://discord.gg/erNybDp">Discord</a>, tweet at <a href="https://twitter.com/rawgtheworld/">@rawgtheworld</a> or email us at <a href="/service/mailto:api@rawg.io">api@rawg.io</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=fa260a336079" width="1" height="1" alt=""><hr><p><a href="https://medium.com/rawg/launching-public-api-for-the-largest-video-game-database-in-the-world-fa260a336079">Launching Public API for the Largest Video Game Database in the World</a> was originally published in <a href="https://medium.com/rawg">RAWG</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[React Native: батл по фактам в одном действии]]></title>
            <link>https://medium.com/@samat/react-native-%D0%B1%D0%B0%D1%82%D0%BB-%D0%BF%D0%BE-%D1%84%D0%B0%D0%BA%D1%82%D0%B0%D0%BC-%D0%B2-%D0%BE%D0%B4%D0%BD%D0%BE%D0%BC-%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D0%B8-73f2ad5bab7f?source=rss-b16b067a571e------2</link>
            <guid isPermaLink="false">https://medium.com/p/73f2ad5bab7f</guid>
            <category><![CDATA[mobile-app-development]]></category>
            <category><![CDATA[react-native]]></category>
            <dc:creator><![CDATA[Samat Galimov]]></dc:creator>
            <pubDate>Mon, 04 Jun 2018 09:16:04 GMT</pubDate>
            <atom:updated>2018-06-04T09:18:45.420Z</atom:updated>
            <content:encoded><![CDATA[<p>Действие происходит в открытом телеграм-чате <a href="https://t.me/ctodailychat/10208">@ctodailychat</a> в начале июня 2018. Началось всё <a href="https://t.me/ctodaily/676">со слуха</a>.</p><p>В ролях:</p><ul><li>Руслан, <em>техдир </em><a href="http://dcode.team/"><em>DCODE.team</em></a></li><li>Егор Хмелев, <em>техдир </em><a href="https://sweatco.in/"><em>Sweatcoin</em></a></li><li>Борис Горячев, <em>техдир </em><a href="https://meduza.io/"><em>Медузы</em></a></li><li>Никита Куликов, <a href="https://lionzxy.ru/"><em>андроид-разработчик</em></a></li><li>Самат, <em>техдир </em><a href="https://rawg.io/"><em>RAWG.io</em></a></li></ul><p><em>Руслан:</em> У нас (аутсорс-компания), недавно вышло в продакшн приложения по типу убер-итс для локального рынка, полностью на RN, нейтив-разработчики не потребовались.</p><p>Из сложностей — анимации и свайпы дались в некоторых местах нелегко, и отдельно для андроида приходится делать graceful degradation в некоторых местах, но в целом скорость разработки выше и с разработкой фронтенд-команда справилась вполне.</p><p><em>Егор</em>: RN надо уметь готовить, это инструмент, если его не правильно применять, то будет боль и страдание</p><p><em>Самат</em>: А если правильно — то хороший ведь инструмент? Можешь на пальцах объяснить, когда правильно, а когда нет?</p><p><em>Боря: </em>У RN есть узкое место — это бридж между js и нативным кодом. Если много данных постоянно ходит туда-сюда и надо много чего пересчитать в js, поменять state, отрендерится, получить данные от нативного слоя и опять все повторить — будут проблемы. Например если нужно по изменению стейта делать анимацию — сделать это в лоб не получится.</p><p>Другая штука, это то что не позволило яндексу использовать RN в приложении яндекс денег — оно под андройд не собирается в 64, а у них было какое-то кол-во библиотек, которые 64битные only. И типа facebook не торопится с этим. (ну это если надо гибрид делать)</p><p>Еще в RN есть проблема с тем, что android, например, не все по стиля поддерживает. Я довольно быстро напоролся на странное поведение border-radius и теней.</p><p>Бридж как раз обходится “более правильным” использованием react-а или фоллбеком в native, если по-другому нельзя.</p><p><em>Егор: </em>Да, Боря все правильно говорит. Про бридж надо знать и иметь его ввиду, а также небольшие ограничения со стороны стилей по андройду (но это не критично и можно обсудить с дизайнерами в пользу универсализации). В целом нужна довольно сильная экспертиза по самому React’у, потому что браузер прощает многие ошибки — перерендер целого экрана например, когда обновился небольшой кусочек внутри, но RN такие штуки не прощает.</p><p>Про анимации довольно много эффорта было сделано комьюнити по выносу анимаций из js’а в нативку при помощи декларативного подхода (читай css анимации), когда запустил и оно работает</p><p>В целом я бы не стал использовать RN для приложения, в котором частные и постоянные обновления UI и много бесконечных списков, с этим RN справляется тяжеловато.</p><p>Основная моя рекомендация для компании, которая рассматривает RN, вам нужна экспертиза человека который одновременно хорошо понимает реакт и нативку (хотя бы одну из платформ). Если дать делать RN нативщикам, то они запорят незнанием React’а и допустят много разных ошибок. Если дать делать RN фротнтендерам, то они тоже запорят, потому что не понимают нативку и налажают с перформансом и навигацией.</p><p><em>Боря</em>: Есть еще интересная штука, которая позволяет делать по-настоящему одинаковый ui — <a href="https://flutter.io/">https://flutter.io/</a> это ответочка RN от гугла. Они уже сделали adwords внутри google на нем и из тех кто снаружи это <a href="https://hamiltonmusical.com/app/">https://hamiltonmusical.com/app/</a> там интересно, что у тебя вообще нет нативных компонентов — весь твой апп это канваз куда рендерится всякое. и тоже все реактивно. но надо на дарте писать и это бета. но hot reload быстрее чем в RN</p><p><em>Руслан</em>: Да, наше приложение — и для Айос и для Андроид. Приложением пользуются, пока около тысячи юзеров. Возникающие проблемы Борис Горячев все точно описал, мы почти со всем этим и столкнулись, критичными блокерами для нас это не стало.</p><p>Мой вывод сейчас — RN подходит нормально для контентных приложений, у которых довольно кастомный дизайн.</p><p><em>Никита: </em>Согласен с Егором, но люди ждут другого и неправильно подходят к этому. Для них неожиданно что фреймворк может потребовать больше человекоресуров чем натив под обе платформы.</p><p>В пятницу общался с представителем Google. Технология сырая, они это признают. Советуют попробовать. А так, лучше дождаться релиза Flutter (RN никогда походу в релизе не будет)</p><p><em>Егор</em>: Да, если неправильно использовать, то количество ресурсов стремится к бесконечности.</p><p>Flutter очень хочется попробовать, но для серьезного продакшена хочется подождать немного еще. В особенности как пройдет транзишн на новый iOS, если что-то поменяется в стиле и как быстро flutter это подхватит.</p><p><em>Самат: </em>А взять одного нативщика и одного фронта и посадить рядом — имеет смысл пробовать? Или нужно, чтобы всё было в одной голове?</p><p><em>Егор</em>: Если они оба замотивированы, то должно сработать. Если нативщик настроен на то, что это провал, то это будет провал 🙂</p><p>Сложности будут и должна быть мотивация их преодолевать. Нам RN в свое время позволил банально не забросить одну из платформ, мотивации было выше крыши</p><p><em>Никита</em>: У нас в компании сидел парень с поверхностным знанием iOS, Android и большим опытом с реактом. Каждую неделю группа разрабов iOS и Android оставалась после работы фиксить библиотеки RN</p><p><em>Боря</em>: в каком то докладе яндекса было смешно про то, как натившики сразу хейтили RN</p><p><em>Егор: </em>они до сих пор хейтят</p><p>Мне кажется тут важно иметь правильный mindset (установка) у лида, который затем правильно транслируется в команду. Зафакапить можно при помощи любой технологии.</p><p><em>Занавес.</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=73f2ad5bab7f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Как передать должность технического директора Медузы]]></title>
            <link>https://medium.com/@samat/%D0%BA%D0%B0%D0%BA-%D1%8F-%D0%BF%D0%B5%D1%80%D0%B5%D0%B4%D0%B0%D0%BB-%D0%B4%D0%BE%D0%BB%D0%B6%D0%BD%D0%BE%D1%81%D1%82%D1%8C-%D1%82%D0%B5%D1%85%D0%BD%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE-%D0%B4%D0%B8%D1%80%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%B0-%D0%BC%D0%B5%D0%B4%D1%83%D0%B7%D1%8B-10b63c46f74a?source=rss-b16b067a571e------2</link>
            <guid isPermaLink="false">https://medium.com/p/10b63c46f74a</guid>
            <dc:creator><![CDATA[Samat Galimov]]></dc:creator>
            <pubDate>Mon, 16 Apr 2018 08:06:44 GMT</pubDate>
            <atom:updated>2018-04-16T08:23:10.480Z</atom:updated>
            <content:encoded><![CDATA[<blockquote>Наконец-то объяснение, чем, собственно занимается технический директор!</blockquote><blockquote>Важное замечание: я передавал дела Боре Горячеву — своему заместителю. Боря разбирается в некоторых технических аспектах Медузы лучше меня и хорошо знаком с командой. В случае нового человека, акценты были бы расставлены по-другому.</blockquote><p>Передачу дел я рассматривал как <strong>ещё один проект</strong>, пусть и немного необычный. <strong>Участники</strong>: я, мой заместитель (новый техдир), разработка, руководство, редакция. <strong>Цель</strong>: перенести все «секретные знания» из моей головы в головы коллег и/или во внешние системы хранения; не нарушить никаких критичных рабочих процессов, особенно, затрагивающих внешние обязательства.</p><h4>Мой план:</h4><ol><li>Перечислить, какие зоны ответственности у меня были и что входит в каждую из них;</li><li>Совместно с Борей решить, кому и как мы передаем каждый пункт из списка;</li><li>Передача (<em>profit</em>).</li></ol><h4>Зоны ответственности</h4><ol><li><strong>Техническая команда</strong> — отношения с каждым разработчиком, их мотивации, проблемы, ожидания и обещания. То, что обычно происходит между руководителем и подчиненным и часто не переносится в long term storage;</li><li><strong>Информационная безопасность</strong>: стратегия, архитектура, бэкапы, подрядчики, потенциальные атаки и слабые места, требующие внимания;</li><li><strong>Архитектура</strong>: этот пункт у нас занял меньше всего времени — Боря и так придумал большую её часть;</li><li><strong>Текущие задачи</strong>: проекты, не стоящие в общей agenda, идеи проектов, переговоры in progress или внешние дедлайны, которые не стоит пропускать;</li><li><strong>Digital assets и бюджет</strong>: чем владеет компания. Доменные имена, серверы-хостинги, сервисы и данные в этих сервисах.</li><li><strong>Контрагенты</strong>: этим корявым словом я обозначаю наших любимых партнеров и их «<em>point of contact</em>» для Медузы. Это люди, к которым мы обращаемся, если вдруг что-то идет не так в этом «переплетенном мире».</li></ol><blockquote>Одна из важных задач технического директора — повышение bus factor. Так называют число членов команды, которых может сбить автобус одновременно, без катастрофических последствий для бизнеса. Чем число выше — тем в большей безопасности компания. Если уход технического директора разрушает все процессы надолго — что-то в работе технического отдела было устроено не так.</blockquote><p>Ну, довольно теории, давайте смотреть скриншоты, как это было.</p><h4>1. Техническая команда</h4><p>Во первых, я рассказал о своем уходе технической команде максимально рано. Нас всего 10 человек и с каждым из разработчиков у меня были личные отношения. Уйти по-английски я считаю не взрослым поведением. Я попытался передать максимум допустимой информации Боре, чтобы ему было проще строить свои отношения.</p><p>Внутреннее письмо технической команде не отличалось принципиально от публичного объявления. Чуть больше эмоций и мыслей про внутреннюю кухню.</p><p><em>Административное</em>: зп и логи её обсуждений хранятся папочке на компе техдира, отпуска отмечены в <a href="https://teamweek.com/"><em>teamweek</em></a> серым цветом (вот это не особо удобно).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hcirh9z8vipaH5RN1hCGBg.png" /></figure><h4>2. Информационная безопасность</h4><blockquote>Я не знаю, как у других технических директоров, у меня в голове всегда есть «катастрофический сценарий».</blockquote><p><em>Катастрофический сценарий</em> — то, что с моей компанией может сделать достаточно мотивированный хакер, обладающий моими знаниями о системе и не ограниченный во времени. Ответ — <em>pretty much anything</em>. Информационная безопасность — вопрос не только компетентности, но ещё двух важных факторов: какой уровень неудобства ради безопасности ты готов терпеть и то, сколько денег ты готов на неё потратить. Нужна идеальная безопасность — ложись в цинковый гроб и езжай в <em>Fort Nox</em>. Редко кто так делает. Тем не менее, в наших силах сделать атаку достаточно дорогой, чтобы не нашлось желающих тратить серьезные средства.</p><p>Я знаю слабые звенья в защите и постоянно думаю, как бы их улучшить. В этом пункте я попытался передать свои знания Борису. Вместо жирных технических подробностей (а то получится инструкция «как сломать Медузу»), ниже представлены все 3 архетипа, которым <em>фоторедакторы</em> планеты Земля иллюстрируют «информационную безопасность»:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*OY3Mro0Asqu52ynoshv7Bw.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rmLKfBiU7uSnWw3lo-GtdQ.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*w1bPQdV7wG1QtMgldNxqaA.jpeg" /></figure><h4>3. Архитектура</h4><p>Некоторое время назад мы с Борей составили вот такую <strong>схему</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zy9JNCP654O9yGx-z3qJhw.png" /></figure><p><strong>В правом нижнем углу</strong> — список того, в каких платформах можно читать, смотреть и слушать Медузу.</p><p><strong>Наверху</strong> — список основных платформ и того, от каких систем Медузы они зависят.</p><p>С этой схемой есть проблема: она не полная. Мы начали её составлять полгода назад, набросали основной костяк и потом забросили. В реальной жизни, мы почти всегда держим эту схему в голове и при необходимости выписываем её части по памяти на доске. Тем не менее, уже были ситуации, когда такой вот записанный формат помогал не забыть какую-то важную деталь.</p><p>Вообще, внутри этого пункта хотелось бы дать ссылку на свежую статью, описывающую всю внутренную архитектуру. Сейчас в паблике есть только вот этот материал трехлетней давности:</p><p><a href="https://dev.meduza.io/-9dbf37861e11">Техническая сторона Медузы</a></p><p>Статья, конечно, устарела и эта одна из вещей, которую я не успел доделать до ухода. Надеюсь, скоро мы прочитаем свежую статью про техническую архитектуру проекта за авторством Бориса.</p><h4>4. Текущие задачи</h4><p>Я вел свои текущие задачи в trello, в скрытой доске «<em>техдир</em>». Тут были и срочные штуки и долгосрочные обязательства, так что я просто расшарил её на Борю.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Sa7YLgGa8hagriXS5qwHtg.png" /></figure><p>Конечно же, пришлось привести trello-board в порядок и пометить всё меточками, рассортировать по столбцам.</p><p>После этой подготовки мы с Борей сели и прошлись по каждой карточке. Я рассказал, что имел ввиду в каждой карточке, Боря позадавал вопросов. Это всё заняло часов 5 чистого времени (два дня с перерывами).</p><h4>5. <strong>Digital assets</strong></h4><p>Тут меня сильно выручил любимый <a href="https://airtable.com/invite/r/1L2u3z3Q"><em>Airtable</em></a>. Таблица «<em>сервисы</em>» содержит все сервисы, к которым у нас есть логин/пароль. Начиная от банального суперадминского доступа к <em>gSuite</em> (почта и календари) и заканчивая богом забытыми телеграм-ботами.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EQDwzSu0skGqpIA_x0-tsA.png" /><figcaption>на скриншоте не видно, но там 91 строка</figcaption></figure><p>В столбце «critical», отмечены сервисы, критичные для работы Медузы. Есть столбец «категория», для того, чтобы можно было составить в голове ментальную модель. Примеры категорий: хостинг, backoffice, социальные сети, подкасты, статистика-аналитика, апсторы и почтовые рассылки.</p><p>Исходные коды у нас все в <em>github</em> и в <em>bitbucket</em>, так что их передача равнозначна суперадминскому доступу к нашим организациям в соответсвующих сервисах.</p><p><strong>Бюджет. </strong>Технический бюджет верстается в <em>google spreadsheet</em> документе. Внутри документа есть 8 вкладок, разберем их по-отдельности:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UTybC1HvNQFcM91JO82PGA.png" /><figcaption>почтовые рассылки — самый ад. Отдельно считаем «Вечернюю Медузу» — по количеству подписчиков, отдельно — продуктовую рассылку (оплата за факт отправки письма), у MC хитрая система рассчета стоимости, получается большая таблица</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*24WWbETqsoOAe9DWPuqBQA.png" /><figcaption>хостинг — самая большая строка расходов, отдельно считаются серверы для бэкендов и edge для CDN</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DYD_anZhb518o8tZsf3WBA.png" /><figcaption>лицензии! мы все любим лицензии на скетч и на adobe CC 👹</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bKrh6deAPORiDC2wpWuoaQ.png" /><figcaption>ну и наконец это всё сводится к 7 сухим строчкам и сумме💰</figcaption></figure><h4>6. Контрагенты</h4><p>В таблице «сервисы» есть столбец «контактное лицо», связанная с отдельной таблицей «контрагентов». Получается аккуратная табличка из людей, контактных сведений и того, чем они могут быть полезны. В этой таблице добавился столбец «передал». Там ставится галочка, если я сделал intro Бориса. Много типовых писем и несколько сообщений во Вконтакте :)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*X_hWmZzVZo-1luWKUSXs0w.png" /></figure><h3>Вывод</h3><p>Как всегда, почти любая большая задача — это чеклисты (много чеклистов) в процессе и магия только в конечном результате.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=10b63c46f74a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Подкасты «Медузы»]]></title>
            <link>https://medium.com/meduza-dev/%D0%BF%D0%BE%D0%B4%D0%BA%D0%B0%D1%81%D1%82%D1%8B-%D0%BC%D0%B5%D0%B4%D1%83%D0%B7%D1%8B-eff4c68d24f2?source=rss-b16b067a571e------2</link>
            <guid isPermaLink="false">https://medium.com/p/eff4c68d24f2</guid>
            <dc:creator><![CDATA[Samat Galimov]]></dc:creator>
            <pubDate>Thu, 21 Sep 2017 11:35:58 GMT</pubDate>
            <atom:updated>2017-09-21T12:09:47.440Z</atom:updated>
            <content:encoded><![CDATA[<p>Вчера мы запустили подкасты.</p><p>При этом мы записываем и выкладываем их уже больше полугода, за это время их скачали полтора миллиона раз. Так почему же мы пишем о запуске только сейчас?</p><p>Дело в том, что эти полгода подкасты были <em>редакционным форматом</em>, но не <em>техническим</em>. Технически, в «Медузе» есть несколько разных типов материалов — новости, карточки, слайды, онлайны, тесты и игры. Все они позволяют взаимодействовать с собой по-разному, имеют уникальный вид и возможности. Сравните, как сильно отличаются новость от игры, а игра — от трансляции.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9l9mjPQWBgEli9LecJBydg.png" /><figcaption>новость — игра — трансляция</figcaption></figure><p>Подкасты же велись в сервисе <a href="https://simplecast.com/">Simplecast</a> и встраивались в статьи Медузы <em>эмбедом,</em> так же, как мы встраиваем в «Медузу» <em>youtube-видео</em>, <em>fb-посты</em> или <em>картинки из инстаграма</em>. У этого подхода множество проблем. Начнем с того, что аудио, встроенное таким образом, сложно проигрывать в телефонах в фоне, при выключенном экране.</p><p>Для того чтобы понять, для чего еще нужна разработка — <em>определим, </em>что такое подкаст.</p><h4>Что такое подкаст?</h4><p>Попробуем ввести это понятие математически, начиная с простейших элементов и действий над ними. <em>Подкаст — </em>это небольшое описание, картинка-обложка и список эпизодов. На подкаст можно подписаться, чтобы получать уведомления о новых выпусках (эпизодах), которые обычно выходят регулярно — раз в неделю, например. <em>Эпизод</em> состоит из описания, картинки-обложки и, самое главное — аудио-дорожки. Аудио нужно уметь проигрывать в фоне (с выключенным экраном) и скачивать в память телефона, чтобы слушать его потом без интернета (в дороге почти все подкасты и слушаются).</p><blockquote>В аудио и находится вся суть подкаста — авторы обсуждают новости, беседуют о нравственности или просто разговаривают с интересным человеком. Хороший подкаст затягивает, его ведущий становится близким человеком, а каждый новый эпизод — встречей со старым знакомым.</blockquote><h4>Дизайн</h4><p>Итак, абзаца выше вполне достаточно для объяснения сути, но для программирования нам потребуются детальные макеты. Много макетов.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pVYh-OXsWSsRtAJUnAWvHQ.png" /><figcaption>примерно треть макетов, использовавшихся в разработке</figcaption></figure><h4>Зачем писать свою платформу?</h4><p>Де-факто платформа для подкастов — <em>iTunes Podcasts</em>. Это сервис Apple, в который можно добавить свой подкаст и присылать туда обновления. Специальное приложение Podcasts, предустановленное на все айфоны, показывает каталог (похожий на AppStore и iTunes Music), дает возможность прослушать эпизоды и подписаться на обновления. Для Android пользователей есть свои программы и каталоги, хотя и не такого высокого качества. Все успешные подкасты представлены в iTunes Podcasts, и «Медуза» не исключение. <strong>Так зачем же программировать что-то свое?</strong></p><p><strong>Главная причина</strong> в том, что в России подкасты еще не завоевали такую популярность как на Западе. Объяснить человеку, как пользоваться отдельным приложением для подкастов — не так-то просто, а инструкция, как установить и настроить подписку подкасты в Android отпугнет большинство читателей.</p><blockquote>В нашем собственном приложении и сайте мы можем сделать механизм прослушивания и подписки максимально простым.</blockquote><p>При этом мы добавили все три подкаста в iTunes Podcasts и продолжаем продолжаем поддержку RSS-потоков, так что если вы привыкли получать обновления подкастов в сторонних приложениях — ничего не сломается.</p><p><strong>Вторая причина</strong> — удобство читателей. Теперь мы можем вынести кнопку «Play» прямо на обложку свежего эпизода на главном экране «Медузы». Никаких переходов на другую страницу — аудио начнет играть мгновенно.</p><p><strong>Третья причина</strong> — удобство редакции. До запуска своей платформы, выпуск подкаста требовал загрузки аудио в отдельный сервис, дублирования текста описания эпизода внутри статьи «Медузы» и внутри эпизода в Simplecast, вставки эмбеда внутри статьи. Теперь все действия для выпуска подкастов производятся внутри <em>монитора</em> и нет необходимости в ручном дублировании текстов.</p><h4>Хранение, обработка и раздача аудио</h4><p>До подкастов самыми большими файлами, с которыми имела дело редакция при публикации материалов, были оригиналы картинок. Они могут весить до пары мегабайт (10–15 мегабайт, в случае gifок). Даже эти объемы частенько приводили к проблемам с нашим бэкендом. Нам так и не хватило времени сесть и разобраться, какой же из 4 слоев программного обеспечения виноват в ошибках.</p><p>Аудио-дорожки подкастов имеют продолжительность около 30–60 минут и весят около 30–100 мегабайт. Старый механизм загрузки файлов в монитор нам не походит.</p><p>Все медиа-файлы Медузы хранятся в самом популярном файло-хранилище для программистов — Amazon Web Services S3. Раньше загрузка картинок происходила в два этапа — сначала файл загружался на наш сервер, а уже с него — на AWS S3. Оказалось, что Amazon <a href="http://docs.aws.amazon.com/AmazonS3/latest/dev/UsingHTTPPOST.html">предоставляет</a> возможность загружать файлы в хранилище напрямую с компьютеров редакторов. Сначала мы опробовали эту технологию на аудио, а позже перевели загрузку картинок в тот же режим — теперь у нас есть прогресс-бар загрузки картинок, и жалоб от фоторедакторов гораздо меньше.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UiOAzp_ROmBprG7GlGkrRg.png" /><figcaption>прогресс-бар (сверху синенький) и разные статусы загрузки файлов</figcaption></figure><p>При загрузке мы проставляем id3 теги в mp3-файлы, чтобы подкасты отображались красиво при проигрывании в мобильных браузерах.</p><h4>CDN</h4><p>Итак, mp3 файлы лежат в AWS S3, как доставить их до читателей? Мы используем свой CDN на основе nginx для экономии денег при раздаче трафика. Конечно же, для скорости, подкасты кешируются на <em>edge-серверах</em>, к которым обращаются читатели. Раньше объем закешированных данных был около 5 гигабайт, теперь, с подкастами — он вырос почти вдвое.</p><p>Другой хитрый момент — то, что наш CDN начал поддерживать <a href="https://developer.mozilla.org/en-US/docs/Web/HTTP/Range_requests">range-запросы</a>, которые необходимы для того, чтобы приложения могли начать проигрывать аудио быстрее, не закачивая его целиком, а получив только самое начало. Сейчас наш сервер отвечает на запросы вида `range: 0-` не идеально, но мы работаем над исправлением этой проблемы.</p><h4>Статистика</h4><p>Мы хотим понимать, как нас читают и слушают. Для просмотров и прочтений веб-страниц есть десятки инструментов, начиная с бесплатных и мощных Google Analytics и Yandex Metrika и заканчивая специализированными (и довольно дорогими) решениями для издателей вроде <a href="https://chartbeat.com/">Chartbeat</a>.</p><p>Со статистикой подкастов, наоборот, все очень печально. Начнем с того, что в аудио-файлы невозможно засунуть скрипт или трекинг-пиксель, который бы дал нам понять, что слушатель прослушал эпизод. iTunes Podcasts не предоставляет никакой статистики (хотя и обещает добавить ее в будущем).</p><p>Все что нам остается — это отслеживать скачивания аудио-файлов с наших серверов и отправлять кастомные эвенты из наших собственных приложений. Мы используем оба эти подхода и храним данные и в Google Analytics через custom events и в нашей собственной системе, в аналогичной форме. Специальный маленький сервис написанный на golang обрабатывает все запросы на аудио-файлы и создает события прослушиваний в нашей системе учета статистики.</p><h4>Мобильные приложения</h4><p><strong>Начнем с плеера</strong>, который отображается в системе, когда приложение, проигрывающее подкасты уходит в фон. В iOS для этого есть специальный механизм <a href="https://developer.apple.com/documentation/mediaplayer/mpnowplayinginfocenter">MPNowPlayingInfoCenter</a>, а в Android его нет и стандартным приемом является создать <a href="https://developer.android.com/guide/topics/ui/notifiers/notifications.html#CustomNotification">кастомный Notification</a> с элементами управления проигрыванием (это не шутка!)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LUKbK_mfq7MUGRDzUzkvKw.png" /><figcaption>плееры «вне приложения» в Android и iOS</figcaption></figure><p><strong>Подписка на подкасты</strong> происходит как подписка на пуш-уведомления на <a href="https://firebase.google.com/docs/cloud-messaging/ios/topic-messaging">topic</a> внутри <a href="https://firebase.google.com/docs/cloud-messaging/">Firebase Cloud Messaging</a> от Google. Для подкастов мы решили попробовать сделать красивые пуш уведомления, с заголовком эпизода, обложкой и кнопкой Play. Для этого мы передаем кастомные click_action и данные для iOS и ключ материала в API для Android. Обе операционные системы дают возможность отобразить кастомный view в пуш-уведомлениях и это очень красиво. На случай удаления и переустановки приложения мы храним подписки в iCloud. Для Android мы такой механизм еще не реализовали, но, скорее всего, он будет опираться на Google-аккаунты.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Idnkkqu4EQ36qCbnKTuAOA.png" /><figcaption>кастомные пуш-уведомления в iOS и Android</figcaption></figure><h4>Обратная совместимость</h4><p>Мы выпустили мобильные приложения с поддержкой подкастов за пару дней до официального запуска. Конечно, часть читателей успели обновиться, но многие используют старую версию. Как не сломать им приложения изменением API? Как показать им какую-то, пусть не такую красивую и функциональную версию подкастов, и не идти при этом на компромиссы в обновленных версиях приложений? Как показать пользователям старых версий, что им пора обновиться?</p><p><strong>Есть два классических способа</strong> добавления функционала в API:</p><ul><li><strong>Первый</strong> (как делает Telegram, например) заключается в том, что при добавлении функций мы сохраняем все старые структуры данных; добавляем новые сверху. Это позволяет поддерживать единый endpoint, что проще с операционной точки зрения, но ведет к засорению и усложнению ответов этого endpoint’а. Мы долго шли этим путем, но в конце концов устали и перешли на полноценное версионирование.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/750/1*xsPs5_639x2N6Ct2Eunb5Q.png" /><figcaption>предложение обновиться и html5-плеер при открытии эпизода в старой версии приложения</figcaption></figure><ul><li><strong>Версионирование</strong> означает, что мы одновременно поддерживаем несколько версий API. Например, сайт (и некоторые очень старые версии приложений) сейчас использует <a href="https://meduza.io/api/v3/episodes/2017/09/19/prilichno-li-obraschatsya-v-politsiyu-delo-sluchaya-19-09-2017">API v3</a>, приложения, выпущенные до подкстов — <a href="https://meduza.io/api/m4/episodes/2017/09/19/prilichno-li-obraschatsya-v-politsiyu-delo-sluchaya-19-09-2017">API m4</a>, а приложения, поддерживающие подкасты делают запросы к <a href="https://meduza.io/api/m5/episodes/2017/09/19/prilichno-li-obraschatsya-v-politsiyu-delo-sluchaya-19-09-2017">API m5</a>. Покликайте по ссылкам, установив предварительно экстеншен <a href="https://chrome.google.com/webstore/detail/json-formatter/bcjindcccaagfpapjjmafapmmgkkhgoa?hl=en">json-formatter</a> и вы увидите, как сильно они отличаются. Такой подход позволил нам добавить сообщение о необходимости обновиться в старые версии приложений и вытащить туда html5 плеер в виде эмбеда.</li></ul><p>У нас используется довольно хитрая схема с последовательной подготовкой API двумя сервисами — монитор предоставляет так называемое «чистое API», в котором есть только данные, написанные редакторами, а второй сервис, называющийся <em>Middleman, </em>хранит в себе бизнес-логику, необходимую каждой версии API и готовит <em>json</em> для клиентов. Такое разделение позволяет нам контролировать сложность разработки. Но об этом в следующий раз.</p><h4>Веб-сайт</h4><p>Наш сайт — классический <em>single page react application with server-side rendering</em> (мы сделали его, когда это ещё не было модно). Проигрывание аудио происходит через <em>HTML5 audio</em>, дизайн элементов для десктопа и мобильного вида максимально близки друг-к-другу, так что особой магии в вебе не было. Мы начали просить подтверждения при закрытии страницы, если идет проигрывание аудио, чтобы читатели не закрывали плеер по случайности. Прогресс прослушивания сохраняется в <em>localStoragе</em> браузера, так что можно продолжить слушать эпизод с того момента, на котором вы остановились.</p><h3>Запуск</h3><p>Запуск происходил в 5 этапов:</p><ol><li><strong>деплой</strong> API m5 на бэкенд (и в монитор), но без публикации подкастов/эпизодов в публичный доступ и деплой сайта, поддерживающего подкасты;</li><li><strong>релиз</strong> мобильных приложений, поддерживающих подкасты (и использующих API m5), далее мы дождались, пока читатели обновятся;</li><li><strong>импорт</strong> подкастов из Simplecast в наш бэкенд, экспорт статистики для дальнейшего экспорта;</li><li><strong>добавление</strong> экрана подкастов в API и деплой сайта с экраном подкастов;</li><li><strong>анонсирование</strong> подкастов на главной странице «Медузы», рассылка письма 110 тысячам подписчиков и публикация постов в соцсетях.</li></ol><p>Мы приступали к следующему этапу запуска после тестирования поведения сайта и бэкенда на текущем шаге.</p><h3>Заключение</h3><p>Сделать свою систему проигрывания и подписки на подкасты оказалось вполне возможно даже силами небольшой команды разработки. Нужно учитывать, что мы использовали тот труд, что инвестировали в приложения «Медузы» последние 3 года, сделать все это с нуля было бы гораздо дольше.</p><p>Это был очень интересный опыт и мы многому научились. Нам есть что доделать и поправить после запуска, но в целом он получился довольно гладкий.</p><h4>В ролях</h4><ul><li><em>Издатель</em> Илья Красильщик</li><li><em>Арт-директор</em> Анастасия Яровая</li><li><em>Дизайнер</em> Виктор Ходак</li><li><em>Технический директор</em> Самат Галимов</li><li><em>Бэкенд-разработчик</em> Борис Горячев</li><li><em>Бэкенд-разработчик</em> Андрей Скопинцев</li><li><em>Фронтенд-разработчик</em> Антон Бырна</li><li><em>Фронтенд-разработчик</em> Кирилл Балясников</li><li><em>Android-разработчик</em> Артемий Гарин</li><li><em>iOS-разработчик</em> Максим Ровнов</li><li><em>Ops-инженер</em> Дмитрий Захаров</li><li><em>Тестирование</em> Валентин Раншаков</li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=eff4c68d24f2" width="1" height="1" alt=""><hr><p><a href="https://medium.com/meduza-dev/%D0%BF%D0%BE%D0%B4%D0%BA%D0%B0%D1%81%D1%82%D1%8B-%D0%BC%D0%B5%D0%B4%D1%83%D0%B7%D1%8B-eff4c68d24f2">Подкасты «Медузы»</a> was originally published in <a href="https://medium.com/meduza-dev">Meduza : dev</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Банки и Роскомнадзор или почему важны детали]]></title>
            <link>https://medium.com/@samat/%D0%B1%D0%B0%D0%BD%D0%BA%D0%B8-%D0%B8-%D1%80%D0%BE%D1%81%D0%BA%D0%BE%D0%BC%D0%BD%D0%B0%D0%B4%D0%B7%D0%BE%D1%80-%D0%B8%D0%BB%D0%B8-%D0%BF%D0%BE%D1%87%D0%B5%D0%BC%D1%83-%D0%B2%D0%B0%D0%B6%D0%BD%D1%8B-%D0%B4%D0%B5%D1%82%D0%B0%D0%BB%D0%B8-dd8338f9a071?source=rss-b16b067a571e------2</link>
            <guid isPermaLink="false">https://medium.com/p/dd8338f9a071</guid>
            <dc:creator><![CDATA[Samat Galimov]]></dc:creator>
            <pubDate>Sat, 10 Jun 2017 14:11:10 GMT</pubDate>
            <atom:updated>2017-06-10T14:17:25.488Z</atom:updated>
            <content:encoded><![CDATA[<p>История со сломавшимися банкоматами и Роскомнадзором очень показательная.</p><p>С одной стороны, «интернет-активисты» и оппозиционеры трубят на каждом углу, что Роскомнадзор (при попустительстве Путина, конечно) <a href="https://t.me/leonid_volkov/328">сломал банкоматы</a> и платежные карты (а скоро и до самолетов доберется).</p><p>С другой стороны, Роскомнадзор <a href="http://tass.ru/ekonomika/4327830">утверждает</a>, что он ни в чем не виноват и проблемы с платежными системами с проблемами блокировок не связаны (а МВД <a href="https://meduza.io/news/2017/06/10/mvd-nachalo-proverku-iz-za-zavedomo-lozhnoy-informatsii-o-sboyah-v-platezhnyh-sistemah-bankov">уже начало проверку</a> из-за «заведомо ложной информации» о сбоях в платежных системах банков (sic)).</p><blockquote>Интересно, что в обоих утверждениях есть часть правды, но полная правда сложнее и интереснее, чем агитплакат.</blockquote><p>Итак, есть две новости про проблемы в банках:</p><ol><li>Хакеры <a href="https://meduza.io/feature/2017/06/08/aktivisty-vospolzovalis-uyazvimostyu-v-rabote-roskomnadzora-i-teper-blokiruyut-chuzhie-sayty-kak-eto-ustroeno">могут заблокировать</a> любой сайт для части россиян, просто прописав нужные IP-адреса для своего, заблокированного Роскомнадзором, домена. Некоторые активисты даже сделали сервис, добавляющий адрес в блокировку в полуавтоматическом режиме. Вчера, в пятницу, <a href="https://meduza.io/news/2017/06/09/dyru-v-reestre-roskomnadzora-ispolzovali-protiv-platezhnyh-serverov-rossiyskih-bankov">кто-то догадался</a>, что в блокировку можно добавить серверы авторизации 3DSecure. Грубо говоря, 3DSecure — это когда для проведения платежа в интернет-магазине нужно ввести код из смс. Не можете открыть страницу, где нужно ввести код — не можете оплатить покупку*. Интересная атака, но не то, чтобы конец света: какая-то доля интернет-пользователей, у которых провайдеры не умеют DPI, только интернет-платежи, да и то не все платежи (продавцы могут отключить требование 3DSecure, но тогда они сами будут нести ответственность за фрод, поэтому его редко отключают).</li></ol><blockquote>Ответственность за эту дыру должны нести некомпетентные чиновники Роскомнадзора, банки вряд-ли могут что-то изменить. Если вас задела эта проблема — <a href="https://meduza.io/cards/kak-oboyti-blokirovki-saytov">используйте VPN</a> (<a href="https://meduza.io/news/2017/06/08/v-gosdumu-vnesli-zakonoproekt-o-zaprete-anonimayzerov-i-vpn">пока не запретили</a>).</blockquote><p>2. В пятницу 9 июня, с 17:00 до 17:40 у Сбербанка <a href="https://meduza.io/news/2017/06/09/v-rossii-proizoshel-sboy-platezhnyh-terminalov">что-то крупно сломалось</a>. «<a href="https://www.vedomosti.ru/finance/articles/2017/06/09/693872-karti-krupneishih">Инцидент повлиял</a> на обслуживание <em>(читай сломал)</em> клиентов Сбербанка в устройствах сторонних банков и клиентов сторонних банков в устройствах Сбербанка». Сбербанк владеет 60% всех POS-терминалов в России (это то, куда вы вставляете карту для оплаты покупки в магазине или кафе) + больша́я доля россиян пользуются банковскими картами Сбербанка. То есть довольно много людей не могли пользоваться банковскими картами почти час. Аптеки, заправки, тупо покупка билетов в метро — всё это было недоступно владельцам карт. Вот это уже «критическая инфраструктура» и вообще, близко к ЧП.</p><blockquote>Доказательств, что этот (второй) инцидент хоть как-то связан с блокировками в интернете — нет.</blockquote><p>Я не большой фанат Роскомнадзора, но истина дороже.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=dd8338f9a071" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Программное заявление о Роскомнадзоре]]></title>
            <link>https://medium.com/@samat/%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%BE%D0%B5-%D0%B7%D0%B0%D1%8F%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5-%D0%BF%D1%80%D0%BE-%D1%80%D0%BE%D1%81%D0%BA%D0%BE%D0%BC%D0%BD%D0%B0%D0%B4%D0%B7%D0%BE%D1%80-bd4a56bff1dc?source=rss-b16b067a571e------2</link>
            <guid isPermaLink="false">https://medium.com/p/bd4a56bff1dc</guid>
            <dc:creator><![CDATA[Samat Galimov]]></dc:creator>
            <pubDate>Wed, 07 Jun 2017 10:19:16 GMT</pubDate>
            <atom:updated>2017-06-07T10:19:39.987Z</atom:updated>
            <content:encoded><![CDATA[<blockquote>Обычно я пишу про технологии в медиа в <a href="https://t.me/ctodaily">телеграм-канале</a> , но это слишком важная штука, продублирую в обычном гипертекстовом интернете.</blockquote><p>Я не считаю Роскомнадзор и его сотрудников достойными внимания приличных людей, но у меня есть смешная (и грустная одновременно) картинка про них и привет всей медиа-индустрии.</p><p>На картинке ниже — первые 4 строчки «белого списка», который провайдеры не должны блокировать, даже если IP-адреса этих сервисов есть в списке блокировок (как вам такая формулировка?).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1014/1*XNwMS0aL2HwzeI0WWangbg.png" /></figure><p>Для тех, кто в танке — в России есть список заблокированных сайтов. Используя его, у любого желающего есть возможность заблокировать любой сайт на территории России. Да, вы всё прочитали правильно. Это возможно благодаря гигантской дыре в архитектуре системы блокировок. Не хочу сейчас вдаваться технические детали и дискуссию, возможно ли вообще построить качественную систему блокировок — можете почитать Владислава Здольникова, он неплохо <a href="https://t.me/unkn0wnerror/307">про это пишет</a>.</p><p>Вот этот <a href="https://storage.googleapis.com/smisc/%D0%A1%D0%BF%D0%B8%D1%81%D0%BE%D0%BA%20%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D1%8B%D1%85%20%D0%B0%D0%B4%D1%80%D0%B5%D1%81%D0%BE%D0%B2.xlsx">.xlsx файл</a> с именем «Список сетевых адресов» <a href="https://storage.googleapis.com/smisc/33%20%D1%83%D0%B2%D0%B5%D0%B4%D0%BE%D0%BC%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5.pdf">от РКН</a> — это просто апогей некомпетентности и безалаберности. Начиная с формата (xlsx с ручным форматированием для технического списка, серьезно?), продолжая методом (или скорее отсутствием метода) составления содержания и заканчивая детскими ошибками вроде наличия в списке адреса *.google.* (через это можно протянуть любой сайт вообще).</p><p>Может даже показаться, что они делают это специально, кичатся своей безграмотностью. Но я в это не верю. Скорее всего, они не способны её увидеть. Мне стыдно, что на мои деньги и деньги моих родителей содержится вся эта шушера. Как будто нам мало чего есть стыдиться.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=bd4a56bff1dc" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Крупный вирус-вымогатель]]></title>
            <link>https://medium.com/@samat/%D0%BA%D1%80%D1%83%D0%BF%D0%BD%D1%8B%D0%B9-%D0%B2%D0%B8%D1%80%D1%83%D1%81-%D0%B2%D1%8B%D0%BC%D0%BE%D0%B3%D0%B0%D1%82%D0%B5%D0%BB%D1%8C-8a16b2492ef2?source=rss-b16b067a571e------2</link>
            <guid isPermaLink="false">https://medium.com/p/8a16b2492ef2</guid>
            <dc:creator><![CDATA[Samat Galimov]]></dc:creator>
            <pubDate>Fri, 12 May 2017 19:45:18 GMT</pubDate>
            <atom:updated>2017-05-12T20:50:24.754Z</atom:updated>
            <content:encoded><![CDATA[<p>Хакеры написали вирус-вымогатель, шифрующий диск персональных компьютеров под Windows и требующий выкуп в 300$ на биткоин-кошелек в обмен на возврат данных компьютера.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yTJ4POsxWvNWFD8UsrsxOw.png" /><figcaption>обратите внимание, наверху есть переключатель языков, там их больше 20</figcaption></figure><p>Вирус проникает к жертвам через дырку в Windows. Microsoft выпустила обновление, закрывающее эту дырку, ещё в марте. Все нормальные домашние компьютеры уже давно обновились и находятся в безопасности.</p><p>Угадайте, кто не обновлял компьютеры, заразился и теперь кусает локти? Конечно, крупнейший телеком Telefonica, Британский National Health Services, Мегафон, МВД и СК РФ. В Британии из-за сломанных компьютеров уже отменяют записи к врачам; МВД, по слухам, лишилось более половины рабочих компьютеров.</p><p>Медиа пишут о «крупнейшей хакерской атаке на внутренние сети МВД». Не верьте. Это как жаловаться на биологический терроризм в разгар гриппа. Или, лучше аналогия — <strong>не прививаться, а потом утверждать, что эпидемия кори — это происки врагов</strong>. Конечно, (без)ответственные за безопасность, так любящие <a href="https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D0%B0%D1%82%D1%80_%D0%B1%D0%B5%D0%B7%D0%BE%D0%BF%D0%B0%D1%81%D0%BD%D0%BE%D1%81%D1%82%D0%B8">security theater</a> и тратящие на него миллионы долларов, сейчас будут лепить отмазки.</p><p><em>«Идут плановые работы на внутреннем контуре», — уточнили в МВД. </em>Плановые — это они атаку запланировали? :)</p><p><strong>Как защитить свой компьютер? Сделайте две вещи:</strong> включите автоматические обновления Windows (если вы их почему-то выключили) и настройте автоматические бэкапы на внешний жесткий диск, чтобы восстановить данные в случае чего. Всё, вы в большей безопасности, чем все банки и МВД вместе взятые.</p><p>Если хотите посидеть с попкорном и посмотреть на атаку — можно следить за твиттером <a href="http://twitter.com/malwrhunterteam">@malwrhunterteam</a> и главной Медузы — там всё быстро обновляется и фактология ок.</p><p><strong>Мне интересны 3 вещи:</strong></p><p>1. Делают ли атакующие шифрование данных с открытым ключом, так что восстановить данные можно только с их помощью и никак иначе?</p><p>Дело в том, что раньше «антивирусные компании» часто писали софт, расшифровывавший файлы без атакующих, просто взламывая алгоритм шифрования. При использовании правильно реализованного шфирования с открытым ключом этот путь «решения проблемы» невозможен из-за законов физики.</p><p>2. Насколько сложно будет отследить атакующих, если перевести им достаточно большую сумму денег (им уже скинули не менее 10 тысяч баксов)?</p><p>Все биткоин-транзакции публичны и «отмыть» большую сумму денег без следов будет очень проблематично. Обычно это делают, вливая деньги из двух или большего числа источников в один кошелек, перемешивая между собой, и выводя обратно каждому источнику перемешанные части исходных денег. Если применить к этой схеме своевременные <a href="https://en.wikipedia.org/wiki/Subpoena">subpoena</a> всем участникам транзакции — это реальный шанс словить злоумышленников. Или я чего-то не понимаю и есть «схема»?</p><p>3. Попытается ли государство запретить биткоины?</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8a16b2492ef2" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[На нас напали!]]></title>
            <link>https://medium.com/meduza-how-it-works/ddos-ab63424e595e?source=rss-b16b067a571e------2</link>
            <guid isPermaLink="false">https://medium.com/p/ab63424e595e</guid>
            <dc:creator><![CDATA[Samat Galimov]]></dc:creator>
            <pubDate>Fri, 14 Apr 2017 07:57:51 GMT</pubDate>
            <atom:updated>2017-04-18T11:12:50.324Z</atom:updated>
            <content:encoded><![CDATA[<h3>29–31-го марта на «Медузу» была DDoS-атака, но вы ничего не заметили (почти)</h3><p>Когда читатель запрашивает страницу с сайта meduza.io или открывает наши приложения — на серверы Медузы приходит несколько HTTPS запросов. Сам текст страницы, шрифты что мы на ней используем, картинки или видео — все это запросы на серверы «Медузы». Сейчас мы используем около 30 таких Edge-серверов. Edge — от английского слова граница, граница нашей инфраструктуры, с которой общаются наши читатели. Большинство эджей находятся в Европе, небольшая часть — в России.</p><p>Обычно, CDN (сумма всех эджей) Медузы обрабатывает 2 тысячи HTTPS GET запросов в секунду (<em>2K RPS</em>). Когда мы посылаем важное пуш уведомление, бывает 10K RPS в течение пары секунд, не больше.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/955/1*-w2yD67Y1ZaRoOLCAU7S1g.png" /><figcaption>Слева — обычная ситуация, справа начинаются непонятные пики и стабильная нагрузка в 10K RPS</figcaption></figure><p>В 22:15 29-го марта к нам начали приходить примерно 10 тысяч HTTPS GET запросов в секунду. Никаких пушей мы не посылали. Массовые протесты против коррупции отгремели 3 дня назад, теракта в Питере еще не было. Издатель и технический директор «Медузы» были в этот момент в Брюсселе на <a href="https://www.rightscon.org/">конференции <em>RightsCon</em></a><em> — </em>обсуждали свободу интернета в целом и DDoS-атаки на медиа в частности. Вдобавок к этому, системный инженер Медузы, ответственный за CDN, Дима Захаров, находился в отпуске — у него со дня на день должен был родиться третий ребенок.</p><p><strong>***</strong></p><p>Стоит сделать отступление и рассказать, что DDoS-атаки бывают разные по структуре и защищаются от них, в зависимости от вида атаки, по-разному. Самые простые атаки — <em>на переполнение сетевого канала</em>. Сетевые интерфейсы серверов, хостеров и даже интернет-провайдеров хостеров просто заливают мусорным трафиком. Крупнейшая атака такого рода на сайт журналиста Брайана Кребса <a href="https://krebsonsecurity.com/2016/09/krebsonsecurity-hit-with-record-ddos/">достигала размера 600 Gbps</a>, а хостер <em>OVH </em>недавно <a href="https://www.ovh.com/us/news/articles/a2367.the-ddos-that-didnt-break-the-camels-vac">отчитался</a> уже о <em>терабитной</em> атаке. Представьте себе, все 60 серий Игр престолов в высоком разрешении меньше, чем за полсекунды!</p><p>Медузу атаками такого рода валить смысла нет — мы хостимся у <a href="https://www.online.net/en">Online.net</a>, это один из крупнейших французских операторов и он предоставляет защиту от простых сетевых атак бесплатно. Да и спрятаться за <em>Cloudflare</em> или <em>Google Project Shield</em> — невелика работа (но не будем забегать вперед).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*QayAzWjq2W0H03wDO3L4RA.jpeg" /><figcaption><a href="https://en.wikipedia.org/wiki/OSI_model">Модель OSI</a> (англ.) — обязательная тема первого курса всех приличных факультетов компьютерных наук</figcaption></figure><p>Нас решили <em>нагрузить</em> (еще один термин мира высоких нагрузок и DDoS-атак) <em>L7 HTTP-GET-атакой</em>. Интернет-протоколы, по которым общаются компьютеры, можно представить как слоеный пирог. Каждый следующий слой держится на нижних. Атака на переполнение канала задевает слой доставки сообщений, компьютеры теряют возможность общаться друг с другом, и поэтому сайт перестает открываться. Если бы речь шла о переговорах двух людей, то атака L3-4 — это включить громкий писк в динамиках. Логическим уровнем выше стоят протоколы <em>HTTP(s)</em> — это язык, на котором общаются компьютеры. В аналогии разговора — это начать говорить бессмысленные фразы, отвлекая участников. Ну а самый верхний логический уровень — сказать фразу, которая выведет собеседников из равновесия — атака на уровне приложений, L7.</p><p>Классический прием — забомбить бессмысленными запросами поиск на сайте. Дело в том, что поиск — ресурсоемкая операция, так что легко выесть все <em>вычислительные ресурсы</em> сайта запрашивая много поисковых фраз. Перегрузить процессор и память, так что на обработку запросов нормальных страниц сил у серверов уже не хватит.</p><p>Эта атака работает хорошо, если поиском и выдачей обычных страниц занимаются одни и те же серверы. В случае «Медузы» это не так, у нас микросервисная архитектура, так что все, что могли сломать атакующие — это поиск, которым можно без особых последствий пожертвовать. Единственная проблема — это режим «по порядку», технически завязанный на поиск. В этом режиме все материалы «Медузы» выдаются автоматически по хронологии (в отличие от обычного режима, где все собирается вручную редакцией. А от режима по-порядку, в свою очередь, раньше зависели <em>RSS-потоки</em> и подготовка <em>Facebook Instant Articles</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/948/1*jogwUjoAY9xscgS6D0yhgg.png" /><figcaption>Ищут слабое место</figcaption></figure><p>Для защиты режима «по порядку» от атаки мы составили «белый список урлов поиска», по которому отдается режим «по порядку». По всем остальным запросам в поиск начали отдавать ошибку <em>HTTP 403 доступ запрещен.</em></p><p>Ботнет — это сотни тысяч, миллионы зараженных компьютеров и телефонов невинных людей. Боты (зомби), выполняющие команду, которую им дают атакующие. С ростом числа «умных вещей» (тостеров, холодильников, голосовых помощников) размеры ботнетов выросли на порядки и продолжают увеличиваться. Сегодня элементарно арендовать сотни тысяч зараженных компьютеров всего лишь за сотни, если не десятки долларов в день.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/950/1*xdr0qbJnqXtAALIrhj086w.png" /><figcaption>ОК, теперь держат 50K RPS</figcaption></figure><p>***</p><p>Итак, я в Брюсселе уже в отеле, все никак не лягу спать, а атакующие запускают нагрузку в 50K RPS. Это все еще не влияет на читателей, но нас в технической команде пугают пики в 300K RPS.</p><p>И вот в 0:15 они заряжают уже полноценную атаку:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/950/1*XHqv7HBilVTBIJsnW95SoQ.png" /><figcaption>Движемся к 150K RPS</figcaption></figure><p>Да, Медузу нельзя сломать целиком, перегрузив поиск. Но атака в таком объеме грузит уже не сервер поиска, как планировали злоумышленники, а edge-серверы. Они не успевают говорить “нет, у нас нет такой страницы”. Атакующие, тем временем, видимо, решают полвторого пойти поспать и снимают часть нагрузки, оставляя ее постепенно спадать до 21K RPS в 8 утра.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/948/1*MAE8IxFFEAgsUZD6sUbg4w.png" /><figcaption>Ночью атакующие спят</figcaption></figure><p>Я просыпаюсь в 8 утра невыспавшийся, чтобы успеть на завтрак и доклады, но быстро понимаю, что конференцию я сегодня пропущу:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/948/1*h97-qdBjyegLjLDYBnEDNg.png" /><figcaption>Доброе утро!</figcaption></figure><p>250K RPS становится новой нормой, мы добавляем еще 10 edge-тачек (серверов) и понимаем, что так дольше продолжаться не может. Где 300K RPS там и миллион; бороться экстенсивно своими ресурсами мы не хотим — а то это уже выйдет<em> атака на опустошение банковского счета.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/955/1*YxE1idtWFN7Ovl8uyZ9Ufg.png" /><figcaption>300к!</figcaption></figure><p>Мы подключили <em>Google Project Shield. </em>Это проект компании Google по бесплатной защите медиа в интернете от DDoS-атак, часть более крупного проекта по защите свободы слова в интернете. Но он нам не помог. Shield передавал все запросы атакующих на наши серверы. Около 13:30 нам в голову пришла безумная идея — может быть, Project Shield путается из-за ответов <em>403 ошибка доступа</em>, которые мы отдаем на все поисковые запросы атакующих? Что, если отдавать им <em>OK, пустой ответ</em>? <em>Shield’у</em> это не помогло, но зато боты оказались ужасно тупыми — и это простое изменение нас спасло.</p><p>Во-первых, оказалось, что все боты запрашивали примерно одни и те же страницы поиска, меняя лишь порядковый номер страницы. Во-вторых, они уважали наши cache-headers, то есть указания о том, как долго они обязаны не перезапрашивать страницу заново, но использовать ту версию, что уже скачали. Как только мы выкатили изменение с HTTP 200 cache-max=5min, число запросов драматически упало. И в этот момент у Димы родилась дочка.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aYnKgySI5kkqUkI0x5i6Kg.png" /><figcaption>Победа!</figcaption></figure><p>Все эти дни я провел в переговорах с <em>Google Project Shield</em> и <em>Cloudlfare Project Galileo</em>. В результате, <em>Google</em> включил нашему аккаунту защиту от этого типа атак (она выключена по умолчанию из-за редкости), а <em>Cloudflare</em> (крупнейший мировой CDN) добавил нас в <em>Project Galileo</em>, что дает нам, как медиа-проекту, полную защиту от атак бесплатно.</p><p>***</p><p>Прошли уже две недели после этого инцидента. Мы успели хорошо протестировать работу наших систем с <em>Cloudflare</em>, подправили все шероховатости и готовы в течение 2 минут переключиться под их защиту. Если вдруг с <em>Cloudflare</em> что-то пойдет не так — перейдем в <em>Project Shield</em>.</p><p>Нам повезло, что атакующие были невнимательны или не-профессиональны. У них был реальный шанс завалить «Медузу».</p><p>Это урок для всех русских медиа. Атака может прийти в любой момент и подготовиться лучше заранее.</p><p>Вот ссылки на <a href="https://www.cloudflare.com/galileo/"><em>Project Galileo</em></a> от <em>Cloudflare</em> и <a href="https://projectshield.withgoogle.com/public/"><em>Project Shield</em></a> от <em>Google</em>. В <em>Shield</em> можно подать заявку просто на сайте. С <em>Galileo</em> процедура чуть сложнее — регистрируете в Cloudflare обычный аккаунт и после этого пишете в <a href="https://www.accessnow.org/"><em>Access Now</em></a> на адрес <em>help@accessnow.org</em> с просьбой подтвердить ваше участие. <em>Access Now</em>, в свою очередь, найдет кого-то, кто готов за вас поручиться, что вы не порно-сайт и не онлайн-казино, а настоящее медиа. Оба проекта абсолютно бесплатны для участников. Но они все же, скорее, для крупных медиа, у которых есть системные инженеры, готовые заниматься настройкой и поддержкой систем.</p><p>Если у вас небольшой блог, но вы опасаетесь DDoS атаки или боитесь не выдержать внезапной популярности, как случилось с <a href="http://blog.stepanivanovichkaragodin.org/">сайтом Дениса Карагодина</a>, когда о нем написали федеральные СМИ — то обращайтесь в <a href="https://deflect.ca/"><em>Deflect</em></a>. Это проект по защите свободы слова, готовый оказать чуть больше технической поддержки, чем <em>Cloudflare</em> или <em>Shield</em>. И в нем, кстати, есть русскоговорящие сотрудники.</p><p>Если вы медиа и находитесь под DDoS-атакой и вам нужна помощь — можете написать нам на <a href="/service/mailto:ddos@meduza.io"><em>ddos@meduza.io</em></a> и мы постараемся подсказать, к кому лучше обратиться.</p><p>Если вы знаете о дыре в безопасности Медузы — пишите на <a href="/service/mailto:security@meduza.io"><em>security@meduza.io</em></a><em>.</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ab63424e595e" width="1" height="1" alt=""><hr><p><a href="https://medium.com/meduza-how-it-works/ddos-ab63424e595e">На нас напали!</a> was originally published in <a href="https://medium.com/meduza-how-it-works">meduza: how it works</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Как мы полюбили хрущевки]]></title>
            <link>https://medium.com/meduza-dev/%D0%BA%D0%B0%D0%BA-%D0%BC%D1%8B-%D0%BF%D0%BE%D0%BB%D1%8E%D0%B1%D0%B8%D0%BB%D0%B8-%D1%85%D1%80%D1%83%D1%89%D0%B5%D0%B2%D0%BA%D0%B8-d46018b9c021?source=rss-b16b067a571e------2</link>
            <guid isPermaLink="false">https://medium.com/p/d46018b9c021</guid>
            <dc:creator><![CDATA[Samat Galimov]]></dc:creator>
            <pubDate>Sat, 25 Mar 2017 11:57:47 GMT</pubDate>
            <atom:updated>2017-03-25T11:57:47.602Z</atom:updated>
            <content:encoded><![CDATA[<blockquote>Или история создания одной карты</blockquote><p>В Москве собираются сносить хрущевки. В 16:02 <a href="http://www.rbc.ru/politics/24/03/2017/58d5080d9a7947d9b77bc27c">РБК узнал</a>, что сносить будут серии I-510 и I-515.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/1*1g7nl22KB3w1YG2u3V9VRA.jpeg" /><figcaption>классический представитель серии I-510</figcaption></figure><p>В Москве осталось около тысячи пятиэтажек серии I-510 и около двух тысяч домов серии I-515. Издание пишет, в каких районах есть такие дома. Но чтобы <em>понять</em>, сколько таких домой и где они расположены — это нужно увидеть.</p><p><strong>Начинается всё, конечно, с гугла.</strong> Запросы вроде <em>серия I-515</em> дадут кучу новостей без новой информации и сайты, которые предложат определить серию дома визуально, обратив внимание на наличие или отсутствие балконов и прочие отличительные особенности. Не совсем то, чем мы бы хотели заниматься. Конечно, можно натравить нейросеть на фотографии домов в Москве, но это не вписывается в наш бюджет и сроки.</p><p><strong>Следующий кандидат</strong> — база открытых данных правительства Москвы. Стоила кучу денег, рекламировалась многими PR-агенствами. Посмотрим, что тут есть. Самое близкое попадание — <a href="https://data.mos.ru/opendata/7705031674-adresniy-reestr-zdaniy-i-soorujeniy-v-gorode-moskve"><em>Адресный реестр объектов недвижимости города Москвы</em></a><em>.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*o_gd_Tw8EozMDR10HMGG7Q.png" /></figure><blockquote>Адресный реестр — это единственный официальный источник информации о зданиях на территории столицы. По каждому сооружению в старой или новой Москве можно уточнить, когда и каким документом утвержден его официальный адрес, есть ли у него строения или корпуса. <a href="http://dit.mos.ru/presscenter/news/detail/2342484.html">Вещает нам</a> пресс-центр ДИТ Москвы.</blockquote><p>В нем есть адрес дома, год постройки, точные координаты, много (бес)полезной информации, но нет серии дома. Жалко. Эту же базу нам перепродаст портал открытых данных правительства РФ, ничего нового там нет.</p><p><strong>Есть ещё «Москва наш город»</strong>. В нем, внезапно, <a href="http://gorod.mos.ru/index.php?show=objects&amp;action=show&amp;id=1476090&amp;addr=533">можно увидеть</a> серию дома! Причем данные аж из двух источников — от МосгорБТИ (не все данные раскрыли, Майоров Сергей Андреевич!) и от управляющей организации. Но только для конкретного дома, никакого поиска и выгрузки. Не очень-то открыто :(</p><blockquote>МосгорБТИ и департамент информационных технологий Москвы, если вы читаете этот пост: добавьте, пожалуйста, данные о сериях домов в <em>«Адресный реестр…»</em>, ведь они, очевидно, используются на сайте «<a href="http://gorod.mos.ru/index.php?show=objects&amp;action=show&amp;id=1476090&amp;addr=533"><em>Москва наш город</em></a>».</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*63-NARH1FahMnOYEy0q6WQ.png" /><figcaption>заголовок такой, будто это личный сайт Собянина, а не госсобственность</figcaption></figure><p>Теоретически, можно было бы перебрать все 150 тысяч домов на этом сайте, но опять же, бюджет и сроки…</p><p><strong>К счастью, у нас есть Денис Дмитриев</strong>, фактчекер, линуксоид и просто человек, который знает о поиске в интернете пугающе много. Денис приносит 4 ссылки на сайт Restate.ru. Вот, например, список всех домов серии <a href="http://www.restate.ru/serii/724.html">I-510</a>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rrmCELv5IaxSr2QAwCKABw.png" /><figcaption>название улицы и список домов на ней</figcaption></figure><p>То, что нужно! Пишем небольшой скрипт на питоне, который соберет нам полный список адресов со страницы. Питон — самый популярный язык для скрейпинга («высасывания» данных с сайтов для дальнейших манипуляций).</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/5954ba23400bed72a422ad53cdd0d3b8/href">https://medium.com/media/5954ba23400bed72a422ad53cdd0d3b8/href</a></iframe><p>Запускаем скрипт для каждой из страниц, склеиваем и получаем список из 6 тысяч адресов:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OfR61aPDGGML_yOe4mILeg.png" /><figcaption>матрица!</figcaption></figure><p><strong>Теперь дело за малым</strong>: нанести эти адреса на карту. Есть 3 основных поставщиков таких решений: Google, Яндекс и Mapbox (у низ база OpenStreetMap). Учитывая, что речь о Москве — берем Яндекс, тем более, что мы совсем недавно встраивали Яндекс-карту в <a href="https://meduza.io/feature/2017/03/17/chto-perekopayut-v-moskve-letom-2017-go-karta">новость про перекапывание улиц</a>:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JaO3RewrLdbRlN6_j5cIzw.png" /></figure><p><strong>Для того, чтобы поставить точку на дом на Яндекс.Карте нам потребуется её координата.</strong> Процесс получения координат по адресу (или наоборот) называется геокодированием. Это не такая уж простая задача, как может показаться. Дело в том, что адрес может быть написан десятком разных способов. Улица, ул., у. и просто название улицы без обозначения — всё это разные строки для компьютера. Из-за этого не получится использовать открытую базу правительства Москвы, хотя в ней есть и адреса и координаты. Используем открытое <a href="https://tech.yandex.ru/maps/geocoder/">API от Яндекса</a>. Оно имеет ограничение на 25 тысяч запросов в день, на наши 6 тысяч хватит. Пишем код, который запросит координаты для каждого адреса:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/d2c92ac1e61319fc8ee1498ab2cc0ca7/href">https://medium.com/media/d2c92ac1e61319fc8ee1498ab2cc0ca7/href</a></iframe><p>И вот координаты 6817 адресов:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WRnFbdAL8Q4_sHb9Msk_vA.png" /></figure><p>Попробуем положить эти точки на карту:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sD9SBNJNKhgnSv4W4W4NwQ.png" /></figure><p><strong>Ой-ой. Некоторые точки на карте задвоились</strong>, к тому же, мы утверждаем, что 3 хрущевки затаились напротив Воскресенских ворот Кремля! Дело в том, что геокодер яндекса не знает части адресов. Говорим ему, чтобы выдавал только точные попадания и фильтруем копии:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/bd4c0d1adeb25ed568bb5097a89bb822/href">https://medium.com/media/bd4c0d1adeb25ed568bb5097a89bb822/href</a></iframe><p>Остается всего 4745 координат.</p><p>Кладем их на карту, и <a href="https://meduza.io/feature/2017/03/24/kakie-doma-v-moskve-snesut-v-pervuyu-ochered-karta">вот финальный результат</a> (время 19:15 по Москве):</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tW7LRSEsgGSie49g6IuM2A.png" /></figure><blockquote>Итого: примерно 2,5 часа времени, коллективные усилия 5 человек и у нас есть прекрасная интерактивная карта.</blockquote><blockquote>Эта карта — не истина в последней инстанции, но лучшее, что есть на данных момент в открытом доступе. Мы предполагаем, что источник Restate.ru получил данные из МосгорБТИ; насколько это свежий слепок базы — неизвестно.</blockquote><p>Если обнаружите ошибку на <a href="https://meduza.io/feature/2017/03/24/kakie-doma-v-moskve-snesut-v-pervuyu-ochered-karta">нашей карте</a> — пишите на <a href="/service/mailto:reports@meduza.io">reports@meduza.io</a>, исправим.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d46018b9c021" width="1" height="1" alt=""><hr><p><a href="https://medium.com/meduza-dev/%D0%BA%D0%B0%D0%BA-%D0%BC%D1%8B-%D0%BF%D0%BE%D0%BB%D1%8E%D0%B1%D0%B8%D0%BB%D0%B8-%D1%85%D1%80%D1%83%D1%89%D0%B5%D0%B2%D0%BA%D0%B8-d46018b9c021">Как мы полюбили хрущевки</a> was originally published in <a href="https://medium.com/meduza-dev">Meduza : dev</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[CloudFlare сливал данные пользователей в паблик в течении месяцев]]></title>
            <link>https://medium.com/@samat/cloudflare-%D1%81%D0%BB%D0%B8%D0%B2%D0%B0%D0%BB-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5-%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D0%B5%D0%B9-%D0%B2-%D0%BF%D0%B0%D0%B1%D0%BB%D0%B8%D0%BA-%D0%B2-%D1%82%D0%B5%D1%87%D0%B5%D0%BD%D0%B8%D0%B8-%D0%BC%D0%B5%D1%81%D1%8F%D1%86%D0%B5%D0%B2-c4add72b2143?source=rss-b16b067a571e------2</link>
            <guid isPermaLink="false">https://medium.com/p/c4add72b2143</guid>
            <category><![CDATA[security]]></category>
            <dc:creator><![CDATA[Samat Galimov]]></dc:creator>
            <pubDate>Fri, 24 Feb 2017 08:02:20 GMT</pubDate>
            <atom:updated>2017-04-14T14:35:44.771Z</atom:updated>
            <content:encoded><![CDATA[<p>Представьте, вы инженер безопасности CloudFlare, крупнейшего CDN в мире. Через ваши серверы проходит трафик чуть ли не половины самых посещаемых сайтов на свете. Всё общение клиентов UBER, 1password, некоторых дейтингов и многих других сервисов происходит не напрямую, а через ваши серверы.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*JsOmEZJLVk7zZ8ESZYPa4A.png" /><figcaption>обычный сайт — слева, сайт под защитой cloudlfare — справа, весь трафик проходит через Cloudlfare и только после этого попадает от пользователя к серверу и обратно</figcaption></figure><p>Вечер пятницы. Вам кидают ссылку на вот <a href="https://twitter.com/taviso/status/832744397800214528">такой твит</a> от Tavis Ormandy — одного из самых горячих исследователей уязвимостей (вы не успели познакомиться заранее и это был самый быстрый способ ему до вас достучаться, ха-ха).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Kbr02-0mLKbEuaIP3MVHoA.png" /></figure><p>Твит публичный, все затаили дыхание и запаслись попкорном 🍿🍿🍿</p><p>И не зря. Месяцами, запросив страницу одного клиента cloudflare (например, какого-нибудь невинного маргинального новостного сайта), можно было получить кусок незашифрованных данных из сессии пользователя другого клиента, например, пароль от аккаунта UBER.</p><p>Всё ещё хуже от того, что в текущем вебе сотни сервисов сохраняют себе все страницы, до которых дотянутся руки. Конечно, самые крупные сохраняльщики — это поисковые боты. Google, Bing, Baidu, Yandex — технически у них есть почти копия публичного интернета. И в части этих страниц намешаны те самые секретные данные, которые по ошибке отдавал CloudFlare. Cloudflare последнюю неделю занимался тем, что просил все такие сервисы вычистить публичные кеши, но их слишком много.</p><p>Отдельная история — то, какой <a href="https://blog.cloudflare.com/incident-report-on-memory-leak-caused-by-cloudflare-parser-bug/">пресс-релиз</a> выпустил CloudFlare. Там написано, какой именно код привёл к ошибке, куча технических подробностей, упомянуто даже исследование о уязвимостях IBM из 1960-х. Нет главного – какие риски возникли из-за уязвимости.</p><p>Аналогия из жизни — банковское хранилище. Клиенты видят титановые дверцы личных сейфов. Да вот незадача, во время последнего ремонта снесли заднюю стену вместе с задней стенкой сейфов. Последние пару месяцев любой мог засунуть руку и вытащить золото, проходя мимо. Возможно, никто этого и не успел заметить и всё в порядке. А может и нет. Ну не станем же мы беспокоить этими подробностями клиентов, правда?</p><p>Безопасности в интернете нет. Единственный способ что-то защитить в интернете — не класть это туда.</p><p>Вроде есть консенсус, что первыми об этом узнали white-hatы из гугла и никто не слушал интернет последние N месяцев (лет). Проблема с закешированными страницами остается, вот <a href="https://webcache.googleusercontent.com/search?q=cache:VlVylTZMmhAJ:www.hebeicy.com/supplyinfo/supply_detail.aspx%3Fpid%3D1529&amp;num=1&amp;hl=en&amp;gl=us&amp;strip=0&amp;vwsrc=1">пример</a> кеша страницы, где есть UBER-координаты (хотя гугл очень старался все вычистить).</p><p>Почитайте историю бага в <a href="https://bugs.chromium.org/p/project-zero/issues/detail?id=1139">трекере гугла целиком</a>, это остросюжетный фильм. Из него мне ясно, что технически cloudflare молодец, а вот пиарщики очень сильно подкачали.</p><p>Избранное:</p><p><em>Project Member Reported by taviso@google.com, Feb 19 (4 days ago)</em></p><blockquote>… (It took every ounce of strength not to call this issue “cloudbleed”) …</blockquote><p><em>Feb 19 (4 days ago)</em></p><blockquote>We’ve been trying to help clean up cached pages inadvertently crawled at Google. This is just a bandaid, but we’re doing what we can. Cloudflare customers are going to need to decide if they need to rotate secrets and notify their users based on the facts we know.</blockquote><blockquote>We’ve discovered (and purged) cached pages that contain private messages from well-known services, PII from major sites that use cloudflare, and even plaintext API requests from a popular password manager that were sent over https (!!).</blockquote><p><em>Feb 19 (4 days ago)</em></p><blockquote>We keep finding more sensitive data that we need to cleanup. I didn’t realize how much of the internet was sitting behind a Cloudflare CDN until this incident.</blockquote><blockquote>The examples we’re finding are so bad, I cancelled some weekend plans to go into the office on Sunday to help build some tools to cleanup. I’ve informed cloudflare what I’m working on. I’m finding private messages from major dating sites, full messages from a well-known chat service, online password manager data, frames from adult video sites, hotel bookings. We’re talking full https requests, client IP addresses, full responses, cookies, passwords, keys, data, everything.</blockquote><p><em>Feb 20 (3 days ago)</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xTIIIE835xKNChrQtHO__A.png" /></figure><p><em>Feb 21 (2 days ago)</em></p><blockquote>Processing more removals this morning, and some further discussion on disclosure.</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*iqOJxvldRvl6jNtQjIt-tw.png" /></figure><p><em>Yesterday (33 hours ago)</em></p><blockquote>Cloudflare told me that they couldn’t make Tuesday due to more data they found that needs to be purged.</blockquote><p><em>Today (7 hours ago)</em></p><blockquote>I had a call with cloudflare, and explained that I was baffled why they were not sharing their notification with me.</blockquote><blockquote>They gave several excuses that didn’t make sense, then asked to speak to me on the phone to explain. They assured me it was on the way and they just needed my PGP key. I provided it to them, then heard no further response.</blockquote><p><em>Today (7 hours ago)</em></p><blockquote>Cloudflare pointed out their bug bounty program, but I noticed it has a top-tier reward of a t-shirt.</blockquote><p><em>Today (4 hours ago)</em></p><blockquote>Cloudflare did finally send me a draft. It contains an excellent postmortem, but severely downplays the risk to customers.</blockquote><blockquote>They’ve left it too late to negotiate on the content of the notification.</blockquote><p>P.S. Люди уже собирают <a href="https://github.com/pirate/sites-using-cloudflare">список сервисов</a>, пользующихся CloudFlare, чтобы параноики могли сбросить токены/пароли.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c4add72b2143" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>