<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Iskander Mirmakhmadov on Medium]]></title>
        <description><![CDATA[Stories by Iskander Mirmakhmadov on Medium]]></description>
        <link>https://medium.com/@iskander_mir?source=rss-9317a8e630f6------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*Ff1c5swoHTY6o8TQGGHmRw.jpeg</url>
            <title>Stories by Iskander Mirmakhmadov on Medium</title>
            <link>https://medium.com/@iskander_mir?source=rss-9317a8e630f6------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 12:34:39 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@iskander_mir/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Когда останавливать A/B-тест? Часть 2: Monte Carlo]]></title>
            <link>https://medium.com/statistics-experiments/%D0%BA%D0%BE%D0%B3%D0%B4%D0%B0-%D0%BE%D1%81%D1%82%D0%B0%D0%BD%D0%B0%D0%B2%D0%BB%D0%B8%D0%B2%D0%B0%D1%82%D1%8C-a-b-%D1%82%D0%B5%D1%81%D1%82-%D1%87%D0%B0%D1%81%D1%82%D1%8C-2-monte-carlo-a342ba5b552c?source=rss-9317a8e630f6------2</link>
            <guid isPermaLink="false">https://medium.com/p/a342ba5b552c</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[statistics]]></category>
            <category><![CDATA[experiment]]></category>
            <category><![CDATA[monte-carlo]]></category>
            <category><![CDATA[a-b-testing]]></category>
            <dc:creator><![CDATA[Iskander Mirmakhmadov]]></dc:creator>
            <pubDate>Mon, 14 Feb 2022 08:03:17 GMT</pubDate>
            <atom:updated>2022-02-14T08:03:17.786Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WBDTn4XRKPTEexvY036kUA.png" /></figure><h3>Дисклеймер</h3><p>Это вторая часть руководства по расчету необходимого времени на эксперимент с использованием альтернативы аналитическим функциям. Если вы еще не знаете что такое MDE и как оно работает, то прочитайте 1-ю часть статьи: <a href="https://medium.com/statistics-experiments/%D0%BA%D0%BE%D0%B3%D0%B4%D0%B0-%D0%BE%D1%81%D1%82%D0%B0%D0%BD%D0%B0%D0%B2%D0%BB%D0%B8%D0%B2%D0%B0%D1%82%D1%8C-a-b-%D1%82%D0%B5%D1%81%D1%82-%D1%87%D0%B0%D1%81%D1%82%D1%8C-1-mde-7d39b668b488">Когда останавливать A/B-тест? Часть 1: MDE</a></p><p><em>Записывайтесь на следующий поток интенсивного курса по A/B-тестированиям и математической статистике от EXPF</em></p><p><a href="https://expf.ru/ab_course/?utm_source=medium&amp;utm_medium=blog&amp;utm_campaign=mde2"><em>Перейти на сайт</em></a></p><h3>Что мы узнали из 1-й части статьи о MDE</h3><p>Чтобы спрогнозировать время на эксперимент, нам требуется предварительно рассчитать MDE для метрики. Имея знания по ожидаемому эффекту, можно получить грубую оценку прогноза момента прокраса метрики: рассчитали количество наблюдений, разделили на трафик по дню с учетом удержания и готово. Даже без конкретных ожиданий по эффекту, который хотелось бы получить, можно посчитать сразу несколько отсечек (1%, 5% и т.п.) и уже во время проведения эксперимента принимать решения об остановке эксперимента.</p><p>Методы по расчету MDE на параметрических критериях нам доступны из библиотек stats для Python и pwr для R. Но что делать, если, скажем, хотелось бы применять критерий Манна-Уитни, а не t-тест?Помимо этого, иногда важно учитывать реальное поведение пользователей и как закрывается окно метрики. Тут могут помочь симуляции методом Monte Carlo.</p><h3>Что такое Monte Carlo</h3><p>Симуляции методом Монте-Карло, также известный как многократное симулированное моделирование исходов каких-либо событий, является методом, с помощью которого можно оценить возможные результаты чего угодно.</p><p>Метод Монте-Карло имеет достаточно широкое применение в бизнесе и промышленности:</p><ul><li>Котировки акций на фондовом рынке</li><li>Прогнозирование выручки и ценообразование</li><li>Проверка боингов перед их производством</li></ul><p>Название методу было дано благодаря городу Монако, расположенному в одноименном княжестве. Все потому, что в городе много казино и популярна игра в рулетку. А рулетка, как известно, — есть самый рандомный рандом, что является ядром методики.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/220/1*xnVAB7VphB2XhHTDKhjx_Q.gif" /><figcaption>Вычисление значения pi методом Монте-Карло</figcaption></figure><p>Принцип метода Монте-Карло заключается в воссоздании событий, близких к событиям реальным на основе известных входных данных. Если обобщить суть методики, то все базируется на усреднении результатов многократных повторов некого события. На их основе можно провести множество синтетических “псевдо-экспериментов”. Например, у вас есть данные по продажам в интернет-магазине за месяц. Что будет, если запустить A/B-тест и выручка бы выросла или упала на 1%? Можно ли на таком периоде достичь необходимой мощности? Если многократно случайно разделить покупателей на контрольную и тестовую группы, а также добавить эффект, можно рассчитать чувствительность. Кстати, генерация подвыборок в бутстрапе основана на методе Монте-Карло.</p><p>Помимо прочего, метод Монте-Карло привносит ряд других бенефитов в отличие от аналитического метода. Далее опишем каждый из них.</p><h3>Преимущества Monte Carlo</h3><h4>Точные знания о распределении метрики</h4><p>Чаще всего данные по целевой метрике распределены не стандартным способом (например, не относится к нормальной форме распределения или Бернулли). К тому же, где-то критично не обрезать хвост и не избавляться от выбросов. К примеру, самый распространенный нестандартный кейс в SaaS — наличие константных price-сетов подписки: 0.99$, 4.99$, 9.99$ и т.п.. Тут было бы правильнее накинуть несколько покупок в синтетическую Б-ветку с ценовой константой согласно ожидаемому эффекту и ожидаемому поведению пользователей, а затем померить мощность: равномерно по всем ценам, больше покупок с низкой ценой, больше покупок с высокой ценой и т.п.</p><h4><em>Расчет мощности с применением непараметрических критериев</em></h4><p>Второе преимущество— <em>расчет мощности с применением непараметрических критериев</em>, по которым нет возможности использовать аналитический подход. В целом, у метода Монте-Карло нет каких-либо требований по тому, что отдавать на вход и что проверять. Можно оценивать мощность любого критерия, а затем сравнивать их между собой по уровню мощности.</p><h4><em>Использование неравномерно распределенного эффекта</em></h4><p>Вместо константного сдвига (например, lift = 1%) можно использовать нормально распределенный или скошено-распределенный эффект. Скошенность примечательна тем, что мы как будто бы представляем ситуацию, в которой <em>легкие</em> пользователи сильнее отреагировали на изменение в эксперименте, чем <em>тяжелые</em>. Например, если взять выручку по пользователям, то мы можем сделать так, чтобы изменение по выручке имело больший вес в правой части распределения. Здесь легкими пользователями являются те, у кого небольшая выручка. Правда, в таком подходе достаточно очевидно среднее у эффекта (такое же, как и lift), а дисперсия — нет.</p><p>Наверняка, выше перечислен не весь перечень преимуществ, которые можно выделить. Тем не менее, их уже достаточно, чтобы опробовать данную методику на своих данных.</p><h3>Применение Monte Carlo</h3><h4>Prerequisites</h4><p>Перед тем как запустить симуляции, требуется подготовить данные. Тут я бы отметил пару моментов:</p><ul><li>Данные по метрике должны быть за достаточно продолжительный период, чтобы их можно было отфильтровать по дате в процессе симуляций. Ориентируйтесь на продолжительность ваших экспериментов</li><li>Включите в расчеты шаг, где нет эффекта (проще говоря, A/A тест). Если критерий, который потом будет использоваться на тех же данных, красится (fpr &gt; alpha), то его использовать нельзя</li></ul><h4>Руководство и порядок действий</h4><p>Далее в расчетах я буду использовать генератор данных, чтобы продемонстрировать возможности метода Монте-Карло. В ваших исследованиях используйте реальные данные, иначе смысла в инструменте нет (чаще всего, но не всегда).</p><ol><li>Выберите критерий</li><li>Выберите шаг размера эффекта. Например, от 0% до 10% с шагом 1% или 5%</li><li>Выберите количество симуляций. Чем их больше, тем дольше ждать, но зато получите более узкий ДИ мощности. Если не знаете какое число симуляций выбрать, то можно начать с 1000 итераций. В расчетах уместно использовать параллелизм, лишним не будет</li><li>Подумайте как моделировать эффект. В зависимости от того, с каким типом случайной величины предстоит работа, методика может меняться. Для дискретных с несколькими значениями и бернулливских величин нет смысла в их простом умножении на константный эффект. Для 1% эффекта у Бернулли, например, 0 * 1.01 будет 0. Достаточно использовать генератор с входными значениями вероятности положительного исхода. Для остальных помним о том, что эффект можно представить в виде распределения. Для ratio-метрик мы хотели бы, чтобы менялся числитель, а знаменатель нет. Но если по какой-то причине вам это требуется, то не забудьте заложить это в логику расчетов</li><li>Запустите расчеты и сохраняйте p-value на каждой итерации. Дождавшись, посчитайте FPR для lift=0% и TPR для lift≥1% по формуле ниже:</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oLvqY4cI8qnSJLvRKvKiBA.png" /><figcaption>где I — индикаторная функция, P — полученные p-value на каждой итерации симуляции, alpha — уровень альфа (например, 0.05) и N — количество симуляций. Формула для FPR для эффекта 0% не отличима</figcaption></figure><p>Ниже мы рассмотрим простой пример, в котором замоделируем скорость увеличения мощности с применением Манна-Уитни:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/2f2dcd47f6d8143b6f2f97030bc9d7fa/href">https://medium.com/media/2f2dcd47f6d8143b6f2f97030bc9d7fa/href</a></iframe><p>Мощность по мере увеличения эффекта будет расти. В целом, могли бы остановится на шаге 5%, т.к. даже на размере 1000 наблюдений уже преодолен порог. Визуализируем и посмотрим что получилось:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/480/1*Ro5BqFzoy6atyawHPPVEmw.gif" /></figure><p>Расчетная оценка чувствительности зависит от количества симуляций. При желании, на кривые можно наложить ДИ и оценить границы, в которых варьируется чувствительность. На анимации ниже показана как она меняется по мере их увеличения:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/1*IHcpJnymDxn9R-wKXwBG4w.gif" /><figcaption>Применение метода Монте-Карло для симуляции эффекта 1%. Каждый фасет — количество наблюдений. Синей линией отмечена чувствительность</figcaption></figure><p>Мы продемонстрировали возможности метода Монте-Карло с константными эффектами, равномерно распределенными по всей случайной величине. В целях упрощения, мы один раз сгенерировали выборку с эффектом, а затем из нее брали рандомно рассплитованных пользователей. Для большей точности, желательно многократно генерировать новые выборки и заново добавлять эффект.</p><p>Если хочется как-то иначе представить эффект, то можно воспользоваться генераторами. Так, например, будет выглядеть нормально распределенный эффект:</p><pre>test = control * norm.rvs(loc=lift, scale=lift_std, size=len(control))</pre><p>Подобрать lift_std можно с помощью распределения дельт двух векторов на основе исторических экспериментов. Только не забудьте перевести абсолюты в доли. Кстати, в большинстве случаев, форма будет колокообразной.</p><p>Теперь попробуем сгенерировать данные по дискретной величине. В статье уже упоминалось неоднократно, что для нее нужно иначе подходить к задаче. Представим, что работаем с подписками по ценам 0.99$, 4.99$, 9.99$. Согласно историческому периоду, их доли равны 0.5, 0.4, 0.1. Можно попробовать симулировать эксперимент, в котором доля клиентов с самой высокой стоимостью подписки возрастет. В целом, здесь уместно использовать генератор, т.к. значениями параметра являются известные знания по переменной из исторического периода. Единственное что мы не учтем — это окно закрытия метрики. Без зарывания в детали, так выглядит код:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/bdb76e31d2bf05b16f24af73b882a429/href">https://medium.com/media/bdb76e31d2bf05b16f24af73b882a429/href</a></iframe><p>Обратите внимание, что здесь использовался t-тест, т.к. критерий Манна-Уитни не совсем в ладах с многократно повторяющимися значениями. В итоге, мы получили следующее:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*44chuc75VmYehkxGYxherg.png" /></figure><p>Внимательно присмотревшись, можно заметить что кривая возрастает не монотонно (на отрезках 1000–2000 и 3000–4000). Это не ошибка, а особенность реального события, которую мы воспроизвели. Если проводить эксперимент, то на объеме 1000–6000 ситуация не будет выглядеть стабильной и потребуется больше наблюдений.</p><h3>Заключение</h3><p>Выше был рассмотрен метод Монте-Карло, позволяющий синтетическим образом симулировать эксперименты с произвольными эффектами. Методика позволяет спрогнозировать время прокраса метрики при разных обстоятельствах и проверить статистический критерий на частоту ложных прокрасов. Инструмент будет полезен в первую очередь для планирования экспериментов, но этим он не ограничен.</p><p>За обновлениями и выходом новых статей следите в телеграмм канале: <a href="http://t.me/exp_fest">t.me/exp_fest</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a342ba5b552c" width="1" height="1" alt=""><hr><p><a href="https://medium.com/statistics-experiments/%D0%BA%D0%BE%D0%B3%D0%B4%D0%B0-%D0%BE%D1%81%D1%82%D0%B0%D0%BD%D0%B0%D0%B2%D0%BB%D0%B8%D0%B2%D0%B0%D1%82%D1%8C-a-b-%D1%82%D0%B5%D1%81%D1%82-%D1%87%D0%B0%D1%81%D1%82%D1%8C-2-monte-carlo-a342ba5b552c">Когда останавливать A/B-тест? Часть 2: Monte Carlo</a> was originally published in <a href="https://medium.com/statistics-experiments">expf</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Когда останавливать A/B-тест? Часть 1: MDE]]></title>
            <link>https://medium.com/statistics-experiments/%D0%BA%D0%BE%D0%B3%D0%B4%D0%B0-%D0%BE%D1%81%D1%82%D0%B0%D0%BD%D0%B0%D0%B2%D0%BB%D0%B8%D0%B2%D0%B0%D1%82%D1%8C-a-b-%D1%82%D0%B5%D1%81%D1%82-%D1%87%D0%B0%D1%81%D1%82%D1%8C-1-mde-7d39b668b488?source=rss-9317a8e630f6------2</link>
            <guid isPermaLink="false">https://medium.com/p/7d39b668b488</guid>
            <category><![CDATA[analytics]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[a-b-testing]]></category>
            <category><![CDATA[statistics]]></category>
            <dc:creator><![CDATA[Iskander Mirmakhmadov]]></dc:creator>
            <pubDate>Mon, 08 Nov 2021 07:35:30 GMT</pubDate>
            <atom:updated>2023-08-04T08:32:35.193Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WQ2_anz4patV7U5YVRVP-Q.png" /></figure><h3>Дисклеймер</h3><p>Это первая часть руководства по расчету необходимого времени на эксперимент. Здесь рассматриваются основные определения, связанные с анализом мощности, а также подход при работе с параметрическими критериями.</p><p>Как работать с непараметрикой будет рассмотрено в следующей части. <a href="https://medium.com/statistics-experiments/%D0%BA%D0%BE%D0%B3%D0%B4%D0%B0-%D0%BE%D1%81%D1%82%D0%B0%D0%BD%D0%B0%D0%B2%D0%BB%D0%B8%D0%B2%D0%B0%D1%82%D1%8C-a-b-%D1%82%D0%B5%D1%81%D1%82-%D1%87%D0%B0%D1%81%D1%82%D1%8C-2-monte-carlo-a342ba5b552c">Когда останавливать A/B-тест? Часть 2: Monte Carlo</a></p><p><em>Записывайтесь на следующий поток интенсивного курса по A/B-тестированиям и математической статистике от EXPF</em></p><p><a href="https://expf.ru/ab_course/?utm_source=medium&amp;utm_medium=blog&amp;utm_campaign=mde1"><em>Перейти на сайт</em></a></p><p><a href="https://expf.ru/ab_course/?utm_source=medium&amp;utm_medium=blog&amp;utm_campaign=mde1">A/B тесты и математическая статистика</a></p><h3>Контекст и постановка задачи</h3><p>Перед запуском эксперимента необходимо понять на какое время его запускать, чтобы принять решение о его эффективности. Это комплексный вопрос, затрагивающий целое множество факторов, оказывающие влияние на время. Грубо все их можно классифировать на две группы: статистические факторы и продуктовые.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BjPn1Ral4nieTQFCZchRew.png" /><figcaption>Диграмма 1: Факторы, влияющие на время эксперимента</figcaption></figure><p>Под продуктовыми подразумевается, что на время влияет выбор метрики и сезонность продукта. У метрики тоже есть своя псевдосезонность, которую правильнее назвать “окном закрытия”. Под ним подразумевается, что пользователь может совершить какое-то действие не раньше времени t. Например, платеж для пролонгации в подписочном сервисе.</p><p>Также стоит обратить внимание на поведенческие пользовательские циклы, которые в свою очередь зависят от контекста целей использования сервиса и ее аудитории. Например, как долго принимается решение о первой покупке или как часто используется сервис.</p><p>У продукта может быть еще больше факторов, которые менее универсальны и не представлены в диаграмме. Тем не менее, учет приведенных составляющих из диаграммы уже позволяет определить некоторую безусловность.</p><p>С продуктовыми факторами все предельно ясно: есть индивидуальные особенности сервиса, которые мы не будем разбирать в рамках этого руководства, т.к. вариативность слишком широкая из-за бизнес-модели и отрасли присутствия .</p><p>Со статистикой же абстракции меньше, мы ее и рассмотрим.</p><h3>Что влияет на остановку теста?</h3><h4>Подходы по определению оптимального момента остановки</h4><p>Перед тем как разобрать статистические факторы, сделаем небольшое отступление и определим известные подходы в дизайне.</p><p>В статистике обычно разделяют две методологии по определению оптимального момента остановки эксперимента: Fixed time Horizon и Sequential testing.</p><h4>Fixed time Horizon</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3--sRHyFvfZ7tZ8EkhAuHg.png" /><figcaption>Процедуры Fixed horizon</figcaption></figure><p>В Fixed Horizon фиксируется временной горизонт проведения эксперимента, при котором один раз рассчитывают время, дожидаются и принимают решение о результатах теста. Для этого используют MDE (Minimum Detectable Effect).</p><p>Фиксированный дизайн более распространен в практике, т.к. он проще в понимании аналитиками и бизнесом и в определенном смысле универсален.</p><h4>Sequential testing</h4><p>В Sequential testing принято смотреть на границы остановки эксперимента в реальном времени. Статистика накопительная и рассчитывается с помощью дополнительных порогов по уровню значимости, либо на основе апостериорной вероятности выигрыша тестового варианта.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/372/1*i6hKianDsVk7XMwjmAjwFA.jpeg" /><figcaption>Процедуры mSPRT. Источник <a href="https://www.sciencedirect.com/science/article/pii/S0022249621000109">https://www.sciencedirect.com/science/article/pii/S0022249621000109</a></figcaption></figure><p>По сути, процедуры последовательного тестирования — это семейство методов. Сюда входит <a href="https://en.wikipedia.org/wiki/Sequential_probability_ratio_test">SPRT Вальда</a> (а именно его расширение — mSPRT) и <a href="https://en.wikipedia.org/wiki/Multi-armed_bandit">Байесовские бандиты</a>. Первое было популяризовано благодаря сервису optimizely.com. Второе инструментами Google Content Experiments, интегрированный в Google Analytics, который в будущем стал отдельным продуктом — Google Optimize.</p><p>У каждой методологии свои плюсы и минусы. Для более простой интеграции в экспериментальный пайплайн и понятной интерпретации для бизнеса больше подходит Fixed Horizon, но он проигрывает <em>проблемой подглядывания (peeking problem).</em> Последовательное тестирование mSPRT привлекает как раз оптимизацией подглядываний, но имеет <a href="https://www.sciencedirect.com/science/article/pii/S0022249621000109">сложный дизайн</a> и требователен к ресурсам поддержания разработкой. Бандиты также оптимизируют пикинг, но вовсе не является частотным подходом и распространен в узкой области применения (например, оптимизация показана офферов в витринах).</p><p>Процедуры последовательного тестирования было бы правильно рассмотреть в отдельных статьях, поэтому пока остановимся на Fixed Horizon. К тому же, задачу остановки теста лучше начинать с теории Fixed Horizon и затем двигаться в сторону изучения методов Sequential Testing</p><h4>Параметры</h4><p>Вопрос, связанный со статистическими факторами универсален для всех типов бизнеса и продукта. Сюда стоит включить ожидания по размеру эффекта и выбор границ по ошибкам I и II типов. В диаграмме 1 также не с проста стоит отдельным пунктом дисперсия. Дисперсию можно сократить, благодаря техникам оптимизации. Например, степенные трансформации. Прежде, чем их рассматривать, лучше разобрать приведенные выше факторы, а затем уже начать их изучение.</p><p>Время эксперимента рассчитывается, исходя из необходимого объема выборки для обнаружения истинного эффекта, который станет известен уже по факту. Определимся с базовой терминологией и двинемся дальше</p><blockquote><em>Ошибка второго рода (beta, False Negative)</em> — принятие неверной нулевой гипотезы. Вероятность ошибочно сохранить неверную нулевую гипотезу обозначают греческой буквой β (например, 0.2)</blockquote><blockquote><em>Ошибка первого рода (alpha, False positive)</em> — отклонение верной нулевой гипотезы. Риск совершить такую ошибку равен выбранному 1-уровень статистической значимости и обозначают греческой буквой α (например, α=0.05)</blockquote><blockquote><em>Мощность true positive)</em> — вероятность, что тест правильно засечёт эффект там, где он и правда есть. (1-β)</blockquote><blockquote><em>Статистическая значимость (True Negative)</em> — вероятность, что результат эксперимента получился случайно и мы это знаем. Другими словами, это риск, что тест покажет взаимосвязь, которой на самом деле нет (1-α)</blockquote><h4>Мощность и ошибка II рода</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YEBcANRvZGvFICzkwWV4EQ.png" /></figure><p>Мощность для продуктовых реалий является важным параметром, потому что никому не хотелось бы упускать эксперименты, действительно оказывающие влияние на продукт (это касается и отрицательных и положительных эффектов).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EfpUIbPQhI2sb8Zj5g-rPg.png" /><figcaption>Диаграмма 2. Интерпретация мощности и ошибки II рода</figcaption></figure><p>Допустим, мы берем уровень мощности в 80% как минимальный допустимый порог. То из 1000 экспериментов с положительными изменениями в метрике, в 800 мы были бы уверенны, что изменение истинно существует. Остаются 200 тестов, которые будут ошибочно не признанными успешными, потому что остается False Negative (ошибка II) = 0.2. На диаграмме 2 пример только для тестов с положительным эффектом для упрощения понимания того, как работает мощность.</p><p>Мощность нужно максимизировать на столько, на сколько позволяют возможности продукта. В первую очередь это зависит от трафика (например, MAU). В целом, чем крупнее продукт по уровню выручки, тем сильнее надо занижать пороги рисков.</p><p>Порог 0.2 весьма вакуумный и не является универсальным. Какой порог приемлем определяют с помощью исследования чувствительности метрики. Как минимум один раз проделать это упражнение нужно, а дальше время от времени повторять для профилактики.</p><p><strong>Вывод:</strong> Чем выше уровень мощности, тем меньше изменений в метрике будет упущено</p><h4>Уровень значимости и ошибка I рода</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Qf-83FEbsoiNOcI06hj8dQ.png" /></figure><p>Когда принимается решение о результатах эксперимента, считается, что в первую очередь нужно смотреть на p-value (ошибка I рода или false positive): положительный прокрас, отрицательный прокрас или просто — отсутствие разницы.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/786/1*HjIvD5nqW7nPYChncaXV-w.png" /><figcaption>Диаграмма 3. Интерпретация уровня значимости и ошибки I рода</figcaption></figure><p>Допустим, мы берем уровень значимости в 95% как минимальный допустимый порог для экспериментов. Значит из 1000 безуспешных экспериментов (нет ни отриц. ни полож. эффекта) в 950 мы были бы уверенны, что эффекта реально нет. Но 50 ошибочно выкатили бы в продакшен, хотя в этом нет никакого смысла, потому что в них мы наблюдаем случайное изменение метрики, а не реальную закономерность.</p><p>Так же как и мощность, уровень значимости необходимо увеличивать по мере возможностей. Классические 95% оторваны от современных реалий и требований бизнеса к точности. Следовательно, 5% кажутся не позволительной ошибкой для больших компаний. Есть отдельные случаи, когда порог по уровню значимости берут ниже. Это скорее исключение из правил, но при этом в голове всегда нужно держать мысль о возможных рисках.</p><p><strong>Вывод:</strong> Чем выше уровень значимости, тем меньше бесполезных экспериментов будут выкатываться в продакшн.</p><h4>Минимальный ожидаемый эффект (MDE)</h4><p>Хорошо бы иметь показатель, который будет учитывать пожелания по ошибкам обоих типов и к этому еще добавить ожидания по размеру эффекта.</p><p>Изменения, которые мы хотели бы увидеть с заданными порогами ошибок I и II типов рассчитываются с помощью <em>минимального ожидаемого эффекта</em> (minimum detectable effect или MDE). Для этого параметра не хватит короткого описания. Разберем основные вопросы далее.</p><h3>Что такое MDE?</h3><p>Начнем с того, что люди часто путают MDE и lift (или uplift). Типично, в обсуждениях имеют ввиду одно и то же, когда говорят про эффект, прирост, значимый прирост и прочие подобные. Но на самом деле это не так. В этих определениях семантика играет важную роль, когда заходит речь про оценку результатов A/B.</p><h4>Lift или прирост</h4><p>Lift — это отличие метрики теста от метрики контроля. Считаем их разницу и делим на контроль. Умножаем на 100 и получаем %-ное изменение:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9SFJD-JcySP7UuRn1WfXVQ.png" /></figure><p>Мы по факту на данных эксперимента рассчитываем прирост и говорим какая у метрик относительная разница. Тут пока ни о каких ошибках I и II типов речи не идет. Это обычный прокси параметр для оценки изменения метрики эксперимента.</p><p>Например, возьмем средний чек в контроле 1005 рублей, в тесте 1200. Тогда прирост = (1200–1005)/1005 = 0.194 = 19,4% .</p><h4>Effect Size</h4><p>Effect Size (мера эффекта) — это стандартизированный прирост: считаем разницу и делим на дисперсию.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Qmlo2xD4rsAivp3DImnBOA.png" /></figure><p>В формуле используется <a href="https://en.wikipedia.org/wiki/Pooled_variance">pooled standard deviation</a>. Как следует из формулы, для расчета знаменателя нам требуются либо данные по эксперименту, либо знания о метрике из исторических данных, иначе дисперсию не от куда взять.</p><p>Чем больше полученное число, тем сильнее размер эффекта. Это справедливо, если дисперсия устойчива и почти не изменяется. На практике мы знаем, что по мере увеличения охвата временного периода в выборке меняется и дисперсия. Поэтому нормировать величину нужно с мыслью о том, за каком период выборка была взята.</p><p>Effect size измеряет степень отклонения наблюдаемых значений от тех, которые можно было бы ожидать при отсутствии эффекта. Т.е., считая разницу к дисперсии можно понять насколько сильно отклонился наблюдаемый эффект от эффекта, который равен нулю. Концепции Effect Size и Power analysis были предложены <a href="https://en.wikipedia.org/wiki/Jacob_Cohen_(statistician)">Jacob’ом Cohen’ом</a> и, если, какие-то моменты с Effect Size останутся не очевидными, имеет смысл обратиться к первоисточнику.</p><p>Effect size считается по разному в зависимости от типа метрики (= распределения), но смысл остается. Выше показана формула для <a href="https://en.wikipedia.org/wiki/Effect_size">cohens’ d</a> для непрерывного распределения с гипотезой о разнице средних, что согласуется с t-тестом.</p><p>Например, средний чек в контроле 1005 рублей, в тесте 1200, SD_pooled = 150. Тогда Effect size = (1200–1005)/150 = 1.3. Это значит, что на 1.3 стд. эффекта отклонилась величина</p><p><strong>Интерпретация</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/414/1*8kSZ7UTYo1LJZcQENuJ_lg.png" /><figcaption>Таблица 1. Значения d и их интерпретация</figcaption></figure><p>Остается открытым вопрос –как проинтерпретировать полученное число.Узнали мы 1.3, что с этим делать? Cohen предлагал ориентироваться на референсную таблицу (см. таблица 1) для удобства. Однако, стоит понимать, что в больших абсолютных масштабах маленький значимый эффект может принести миллионы дополнительного дохода и поэтому ориентиры скорее условные и уже не имеют отношения к реальности</p><p>Более низкий cohen’s d указывает на необходимость более крупного размера выборки, и наоборот, что впоследствии может быть определено вместе с дополнительными параметрами желаемого уровня значимости и мощности.</p><p><strong>Вывод:</strong> Effect size обладает большей информативностью и точностью с точки зрения оценки прироста, т.к. учитывает дисперсию и размер выборки.</p><h4>MDE</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cuOafp6P1EQXo30X-75LKA.png" /><figcaption>График 1: по вертикали — Мощность, по горизонтали — Объем выборки (N), α — ошибка I рода. В скобках условные обозначения силы эфекта</figcaption></figure><p>Минимальный ожидаемый эффект — это наименьший<strong> истинный эффект</strong> полученный от изменений, который с уверенностью сможет обнаружить статистический критерий.</p><p>Еще точнее: это наименьший истинный эффект полученный от изменений, который имеет <strong>определенный уровень статистической мощности для определенного уровня статистической значимости</strong>, учитывая конкретный <strong>статистический тест</strong>.</p><p>Разберем то, что написано выше:</p><ul><li><em>…истинный эффект… </em>— здесь имеется ввиду, что если прокраса (значимого изменения метрики) при n = 10000 у такого эффекта нет (например, 2%), то достаточно уверенно можно сказать лишь то, что возможный истинный эффект не больше, чем MDE. Если выборка была бы больше, скажем n = 20000 , то может эффект мы бы и увидели, но точно меньше (т.е. &lt; 2%).</li><li><em>…определенный уровень статистической мощности для определенного уровня статистической значимости… </em>— в расчетах MDE участвуют альфа, бета и размер выборки. Исходя из заданных уровней мощности и значимости, MDE будет варьироваться при одном и том же объеме выборки. Это можно понять на Графике 1: чем ниже альфа и бета, тем больше потребуется пользователей для одного и того же MDE, т.к. завысили требования к точности.</li><li><em>…статистический тест </em>— в формуле расчета MDE учитывается распределение из которого взята метрика. MDE по разному рассчитывается для t-критерия, хи-квадрата и других статических критериев.</li></ul><h4>Как принимать решение на основе MDE?</h4><p>Если прокраса в метрике нет, то это не означает отсутствие эффекта. Эффект может и есть, но он точно не больше, чем MDE для α, β и дисперсии.</p><p>Например, вы наблюдаете 14-й день эксперимента, MDE на уровне 1%, значимого изменения нет. Это означает, что если вы продолжите эксперимент и увидите значимое изменение, то только для эффекта равный или меньший 1%. Принимать решение продолжать эксперимент или нет — можно, принимая в расчет MDE.</p><p>Эвристическая оценка того, что надо “ждать/не ждать” или того, какой эффект выбрать в качестве временной отсечки, рождается скорее из интуиции, чем из статистики. MDE здесь лишь выполняет роль мета-метрики или дополнительного индикатора эксперимента.</p><p>Почему вам вдруг захочется ждать эффект &lt; 1% может быть обусловлено многим. Например, 1% эффекта может принести дополнительно 100000 заказов в месяц с некоторым доверительным интервалом. Если же этот 1% не имеет практической пользы для бизнеса, то смысла в ожиданиях конечно же нет. Отсюда следует и другая истина — много пользователей не бывает даже у продуктов с емким траффиком. На стадии стагнации роста, когда все низковисящие фрукты сорваны, а на реализацию смелых гипотез нет приоритетов, приходится очень долго ждать, чтобы тот самый &lt; 1% эффекта прокрасился. Даже с миллионами пользователей</p><h3>Как считать MDE?</h3><p>Выше мы начали разбирать Effect Size для t-теста, поэтому продолжим с ним и дальше. Достаточно на его примере разобрать логику, чтобы наследовать и для остальных критериев, т.к. смысл и порядок вычислений не изменится. Ниже показана формула вывода эффекта из дисперсии для непрерывного распределения (при неравных дисперсиях).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8nf6KQROEeqkW01I--I3KA.png" /></figure><p>Для равных дисперсий ошибка немного изменится, но суть останется та же:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mIOQCbkAHAjmhkE0waMapw.png" /></figure><p>В М считаем t-значения для параметров альфа и бета. Для двусторонней проверки альфу делим на 2. Далее когда получим MDE, мы будем уверены в результатах, согласно выбранным порогам значимости и мощности.</p><p>Если нас интересует уровень значимости 99%, то соответственно берем альфу 0.01 и получаем t_alpha/2 = 2.58 Расчет для беты: t_beta = 0.842для 80% мощности. Тогда M = 2.58 + 0.842 = 3.422 . Отношение к среднему по контролю Y_c здесь для получения процента (= lift).</p><p>Для расчета размера выборки можно “провернуть фарш обратно” и, подставив необходимый Effect Size, получить соответствующее значение n. Формула ниже работает для сбалансированного теста и вернет значения для одной выборки:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-GwpAdrFHvQKQ4ZhuWVgUA.png" /></figure><p>Так же можно сделать с поиском неизвестной области мощности и альфы. Имея знания по Effect Size и размеру выборки, таким образом вычисляется альфа и бета:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qgFyf_Izie-QpCQvpjmZhg.png" /></figure><p>Зная 3 из 4 членов, всегда есть возможность найти неизвестное значение пропущенного члена. Это удобно и гибко, т.к. могут всплывать вопросы рода:</p><ul><li>Сколько необходимо наблюдений для проведения эксперимента?</li><li>На какой эффект я могу рассчитывать, если обладаю ограниченной базой пользователей?</li><li>Насколько я могу доверять полученному эффекту по итогам теста?</li><li>и т.п.</li></ul><h3>Примеры на Python</h3><p>Допустим, мы запустили A/B. Было накоплено по ~1004 наблюдений в каждой ветке эксперимента. Мы хотим проверить метрику с непрерывным распределением и узнать какой “точности” мы добились за это время. Для этого посмотрим на MDE и проинтерпретируем результаты:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/1b84026c29e02e89201af35050262878/href">https://medium.com/media/1b84026c29e02e89201af35050262878/href</a></iframe><p>Мы получили в качестве результата 0.125. Это означает, что эффекты ниже этого значения будут обладать меньшей мощностью. Соответственно, вероятность того, что эффект действительно есть будет меньше. Эффекты выше этого значения, наоборот, будут мощнее.</p><p>Теперь сделаем обратную операцию и рассчитаем количество наблюдений, зная Effect Size. При тех же значениях alpha и power, получим тот же самый размер выборки, что был ранее в качестве входного параметра:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/1ce9e5ef5f148125d1a8aff38b01ed86/href">https://medium.com/media/1ce9e5ef5f148125d1a8aff38b01ed86/href</a></iframe><p>Ранее было сказано, что эффекты ниже 0.125 будут обладать меньшей мощностью при 1004 наблюдениях. Следовательно, больше наблюдений → больше мощность для того же эффекта и выше. На Графике 2 видна зависимость MDE от размера выборки:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*AwHZT00xbRIhUa7ySyEG5Q.png" /><figcaption>График 2: по горизонтали — размер выборки на группу, по вертикали — MDE. Уровень значимости = 95%, мощность для 3 уровней. Кривая не совсем монотонно убывает, т.к. основана на живом тесте, где дисперсия не была константной.</figcaption></figure><p>Чтобы вам проще было понять физический смысл MDE, представьте что у вас есть микроскоп и линзы увеличивающие зум кратно (4х, 16х, 32х и т.п.). На 4х вы видите большие микроорганизмы, но этого зума все еще недостаточно, чтобы заметить более мелкую живность. Чем выше зум, тем пристальнее и детальнее представляется возможным их изучение. MDE — линза. Кратность зума здесь зависит от количества наблюдений.</p><p>В питоне есть пакет <a href="https://www.statsmodels.org/dev/generated/statsmodels.stats.power.tt_ind_solve_power.html">statsmodels</a>, который позволяет рассчитать MDE, выборку и остальные параметры. В R те же методы в пакете <a href="https://cran.r-project.org/web/packages/pwr/pwr.pdf">pwr</a>. Можно убедиться с помощью кода ниже, что наши расчеты верные:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/1987ae9a2e731ab2a925feb749bced51/href">https://medium.com/media/1987ae9a2e731ab2a925feb749bced51/href</a></iframe><p>В пакете доступны методы для популярных параметрических стат. критериев: корреляция Пирсона, t-тест, z-тест долей, anova и прочие другие. За нас уже все формулы притворили в код.</p><h3>Почему так важно смотреть на MDE и p-value, а не только p-value?</h3><p>В каждом исследовании всегда есть вывод, о том что гипотеза отвергается или принимается. Сравнение P-value с альфой говорит лишь о наличии или отсутствии эффекта, но не говорит о его величине. Ориентируясь на Effect Size, мы также ориентируемся и на мощность. Всегда есть возможность оценить мощность эффекта по ходу или после завершения теста. Это развеет сомнения о его надежности и даст понимание, насколько сильно в эффект можно верить.</p><p>При репортинге также нельзя опускать такой важный элемент как доверительный интервал для эффекта. Эффект никогда не бывает константен и у него есть разброс. “Мы заработаем дополнительные 10 млн в год, благодаря новой фиче!”. Это не так. Благодаря фиче, дополнительная ценность будет находиться в пределах E[X]±SE рублей, в соответствии с выбранным пороговым значением уровня значимости. ДИ может перекрывать 0, что означает отсутствие значимого эффекта вовсе.</p><p>Многие также опускают еще один важный фактор — сезонность. Если ветка Б принесла дополнительные E[X]±SE рублей, допустим, осенью, то это не означает, что такой же размах экстраполируется на весь год.</p><p>Расчет Effect Size необходим и по той причине, что у бизнеса есть определенные временные рамки, чтобы выдерживать темп развития продукта. В пример сюда можно привести планирование на квартал, в рамках которого нужно разработать и протестировать N фичей.</p><p>Представьте, что вы запустили сразу несколько тестов, а p-value никак не пробьет альфу. Команда пребывает в непонятках что дальше делать. Зная Effect Size, появилась бы уверенность, что lift будет точно ниже достигнутой точки значения Effect Size. Это снизит уровень абстракции и даст возможность принять решение увереннее.</p><h3>Руководство и порядок действий</h3><h4>Сколько времени ждать для достижения % изменения метрики?</h4><p><strong>1.Определитесь с ключевой метрикой</strong>, которую вы будете считать. Лучшая метрика — поюзерная. Почему?</p><ul><li>Эксперименты почти всегда направлены на восприятие пользователей</li><li>В качестве ответа tt_ind_solve_power вы получаете количество наблюдений, необходимое для теста. Логично предположить, что если мы воздействуем на пользователей (а не на чеки или другие неодушевленные предметы), то наблюдениями правильно считать пользователей</li></ul><p><strong>2. Посчитайте для этой метрики среднее и стандартное отклонение</strong> по выборке за достаточно длительный период ( 2–5 недель). Это константы, которые будут использоваться далее в расчетах необходимой выборки на эксперимент. У кумулятивных метрик есть окно, которое нужно учитывать (про это ниже)</p><p><strong>3. Выберите lift от 0.01 до 1.00</strong> (где 1.00–100% прироста у метрики). Стоит учитывать, что в зависимости от метрики у нас есть ограничения в наблюдениях и претендовать на маленькие эффекты не получится. Чтобы получить меньший эффект на тех же наблюдениях, необходимо повышать чувствительность метрики (см. <a href="https://medium.com/statistics-experiments/cuped-%D0%B8%D0%BB%D0%B8-%D1%83%D0%B2%D0%B5%D0%BB%D0%B8%D1%87%D0%B5%D0%BD%D0%B8%D0%B5-%D1%87%D1%83%D0%B2%D1%81%D1%82%D0%B2%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D0%B8-%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B8-de7183fc964c">статью про CUPED</a>)</p><p><strong>4. Рассчитайте Effect Size</strong>: effect_size = mean * lift / sd</p><p>Как считать метрики со свойством накопления (например, arpu)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LrOYeIZDmytdEYKDXvOb3g.png" /></figure><ul><li>ARPU можно отнести к User Average метрике, т.к. усредняется на пользователя. Она вполне подходит для прогноза необходимого количества наблюдений на эксперимент, но с нюансами.</li><li>Метрика обладает свойством накопления и поэтому при расчете effect_size стоит иметь ввиду, что надо фиксировать время расчета. Пример накопления: arpu 1 week: mean = 10.1, sd = 2.1; arpu 2 week: mean = 19.3, sd = 2.3; arpu 3 week: mean = 25.1, sd = 2.6</li><li>Если мы считаем arpu для 2 недель, то среднее фиксируем как 19.4, а ско как 2.3. Хотим увидеть лифт 1%. Тогда effect_size = 19.4 * 0.01 / 2.3</li><li>При расчете effect_size учтите, что прогноз будет дан для изменения при ожидании 2 недель. Т.е. для 1 и 3 недель оценка по необходимому количеству наблюдений будет уже не актуальна (потому что значения средних и дисперсий другие). Решение: сделать несколько прогнозных отсечек и ориентироваться на соответствующее окно.</li></ul><p><strong>Как считать</strong> sd, mean <strong>для ratio-метрики (например, AOV - средний чек)</strong></p><ul><li>Ratio-метрика — метрика отношения чего-то к чему-то. В числителе и знаменателе распределения случайных величин. В каждом из распределений своя дисперсия. Нужен метод, который позволит учесть обе дисперсии.</li><li>Чтобы получить оценку sd для ratio-метрики, используйте дельта-метод. Про то как он работает, можно почитать в оригинальной <a href="https://arxiv.org/pdf/1803.06336.pdf">статье от Microsoft Exp-Platform</a>.</li><li>Все также стоит иметь ввиду, что средние и дисперсию надо брать на временной горизонт. И также помнить про то, что метрики обладают эффектом накопления</li></ul><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/c7ada7f0db0dfd85b1dd3997d064e34c/href">https://medium.com/media/c7ada7f0db0dfd85b1dd3997d064e34c/href</a></iframe><p><strong>5. Выберите стат. параметры</strong> уровня значимости α и уровня мощности 1-β</p><p>Рекомендации:</p><ul><li>Уровень мощности не менее 80%</li><li>Уровень значимости не менее 95% (чем больше — тем лучше). Стоит учесть множественные поправки и FWER (family wise error rate). Используйте поправку Бонферонни: alpha / m, где m — количество рассматриваемых гипотез (парных сравнений). При таком отношении фиксируется изначальный уровень α</li></ul><p><strong>6. Вставьте параметры в функцию для расчета выборки</strong> из модуля statmodels.stats</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/45f08ff791aa675444ab409e8f2ddce1/href">https://medium.com/media/45f08ff791aa675444ab409e8f2ddce1/href</a></iframe><p><strong>7. Рассчитайте время, исходя из траффика.</strong> Возьмите полученное число и поделите на траффик за время t (где t — день/неделя/месяц)</p><ul><li>Тут стоит отметить, что брать DAU не совсем верно. Один и тот же пользователь может возвращаться на сайт/в приложение в течение недели/месяца. Время правильнее оценивать, принимая в расчет удержание пользователей</li><li>Результатом будет необходимое количество наблюдений на одну выборку. Т.к. расчеты предполагают соотношение 50%/50% в группах А и Б, то полученное число нужно умножить на 2</li><li>Если вы запускаете дисбалансированный тест не 50/50(<a href="https://medium.com/statistics-experiments/%D0%B4%D0%B8%D1%81%D0%B1%D0%B0%D0%BB%D0%B0%D0%BD%D1%81-%D0%B2-a-b-%D1%82%D0%B5%D1%81%D1%82%D0%B0%D1%85-%D0%B5%D1%81%D1%82%D1%8C-%D0%BB%D0%B8-%D1%80%D0%B0%D0%B7%D0%BD%D0%B8%D1%86%D0%B0-%D0%BC%D0%B5%D0%B6%D0%B4%D1%83-99-1-%D0%B8-50-50-%D0%B2-%D1%8D%D0%BA%D1%81%D0%BF%D0%B5%D1%80%D0%B8%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D1%85-11c8f4fe7eb4?source=collection_home---4------2-----------------------">см. статью про дисбаланс</a>), то регулируйте параметр ratio в соответствии с вашим балансом</li></ul><h4>На какой эффект я могу рассчитывать, если у меня ограниченное количество наблюдений?</h4><p>Такой кейс возможен, когда вы является подписочным сервисом и работаете с активацией после первой оплаты: ограниченная база и приток новых пользователей низкий. Другой пример: маленький б2б продукт, у которого немного клиентов и на этой базе не получится протестировать АБ с эффектами ниже какого-то значения.</p><p>У вас есть задача протестировать фичу Х. С фичей потенциально взаимодействует какое-то количество пользователей. Исходите из емкости подверженности (exposure) этой фичей (например, показ). Это и будет ориентиром.</p><ol><li><strong>Определитесь с ключевой метрикой</strong>, которую вы будете считать</li><li><strong>Посчитайте количество доступных наблюдений.</strong> В случае с подпиской — сколько активных пользователей фичи Х?</li><li><strong>Посчитайте допустимый MDE для такого количества наблюдений.</strong></li></ol><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/42aeee5f13610226923d1758e5fdc8ee/href">https://medium.com/media/42aeee5f13610226923d1758e5fdc8ee/href</a></iframe><p>Функция tt_ind_solve_power возвращает значение для одного из 4 аргументов, который пропущен (None).</p><p>Поэтому, при известном размере выборки, уровне значимости и мощности, мы получаем в результате effect_size</p><h3>Завершение теста и подведение итогов</h3><p>Настал момент подведения итогов или промежуточных итогов. На момент проверки все также необходимо ориентироваться на p-value. Далее MDE необходимо сравнить с фактическим Lift’ом и по следующим правилам огласить вердикт:</p><ul><li><strong>Не можем сказать, что метрика изменилась (MDE_EST &lt; MDE_PRED).</strong> По прошествии двух недель, MDE для ARPU дошел до уровня ~8%. Наблюдаемое изменение (lift) 3%. Мы можем посчитать на основе текущих данных фактический MDE_EST, и увидеть отличие от прогнозного. Это значит, что мы не можем подтвердить изменение lift</li><li><strong>Успешное изменение метрики (MDE_EST ≥ MDE_PRED).</strong> В первую неделю видим рост метрики ARPU до 15%, результаты стат. значимы. Наблюдаемый MDE на уровне 12%. Получается, что MDE_EST ≥ MDE_PRED и это значит, что мы видим реальный эффект. Стоит еще понимать, что необходимо брать модуль по лифту, т.е. MDE работает одинаково как в положительную, так и отрицательную стороны</li></ul><p>Если на MDE смотреть не хочется, то можно ориентироваться на уровень мощности. С точки зрения интерпретации ничего не меняется: если мощность ниже установленного порога (например, 80%), то необходимо больше данных для наблюдаемого lift’а</p><h3>Заключение</h3><p>Выше было рассмотрено, как стоит подходить к планированию времени на проведение эксперимента. Помимо этого, порядок анализа эксперимента на пост-периоде также меняется, если раньше вам приходилось смотреть только на p-value.</p><p>Приведенные в этом руководстве инструменты работают с параметрическим подходом, когда нам известно с каким параметром распределения предстоит столкнуться (например, дисперсия и среднее). В следующей части руководства будут рассмотрены альтернативные инструменты, которые помогут определить время эксперимента для специфичной метрики продукта, не поддающаяся описанию известными функциями распределений.</p><p>Читать вторую часть статьи: <a href="https://medium.com/statistics-experiments/%D0%BA%D0%BE%D0%B3%D0%B4%D0%B0-%D0%BE%D1%81%D1%82%D0%B0%D0%BD%D0%B0%D0%B2%D0%BB%D0%B8%D0%B2%D0%B0%D1%82%D1%8C-a-b-%D1%82%D0%B5%D1%81%D1%82-%D1%87%D0%B0%D1%81%D1%82%D1%8C-2-monte-carlo-a342ba5b552c">Когда останавливать A/B-тест? Часть 1: MDE</a></p><p>За обновлениями следите в телеграмм канале: <a href="http://t.me/exp_fest">t.me/exp_fest</a></p><blockquote>Спасибо carrollstreet за помощь в нахождении неточностей в статье</blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7d39b668b488" width="1" height="1" alt=""><hr><p><a href="https://medium.com/statistics-experiments/%D0%BA%D0%BE%D0%B3%D0%B4%D0%B0-%D0%BE%D1%81%D1%82%D0%B0%D0%BD%D0%B0%D0%B2%D0%BB%D0%B8%D0%B2%D0%B0%D1%82%D1%8C-a-b-%D1%82%D0%B5%D1%81%D1%82-%D1%87%D0%B0%D1%81%D1%82%D1%8C-1-mde-7d39b668b488">Когда останавливать A/B-тест? Часть 1: MDE</a> was originally published in <a href="https://medium.com/statistics-experiments">expf</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Switchback-тестирование. Как бороться с социальными эффектами в A/B-тестах]]></title>
            <link>https://medium.com/statistics-experiments/switchback-%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5-%D0%BA%D0%B0%D0%BA-%D0%B1%D0%BE%D1%80%D0%BE%D1%82%D1%8C%D1%81%D1%8F-%D1%81-%D1%81%D0%BE%D1%86%D0%B8%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%BC%D0%B8-%D1%8D%D1%84%D1%84%D0%B5%D0%BA%D1%82%D0%B0%D0%BC%D0%B8-%D0%B2-a-b-%D1%82%D0%B5%D1%81%D1%82%D0%B0%D1%85-39aab4f87cf7?source=rss-9317a8e630f6------2</link>
            <guid isPermaLink="false">https://medium.com/p/39aab4f87cf7</guid>
            <category><![CDATA[a-b-testing]]></category>
            <category><![CDATA[switchback]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[analytics]]></category>
            <category><![CDATA[statistics]]></category>
            <dc:creator><![CDATA[Iskander Mirmakhmadov]]></dc:creator>
            <pubDate>Tue, 26 Jan 2021 06:03:24 GMT</pubDate>
            <atom:updated>2021-01-26T06:03:24.085Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Gkekx1Ak4A0reiHThA3qVA.png" /></figure><h3>Дисклеймер</h3><p>Всем привет, это команда EXPF.</p><p>Ниже представлен перевод статьи компании Doordash — сервис по доставке продуктов, чья <a href="https://en.wikipedia.org/wiki/DoorDash">капитализация уже приблизилась к 2 млрд $</a>. В статье рассказано про альтернативную A/B-тестам методику проведения экспериментов Switchback. Эта техника тестирования полезна в условиях сильного влияния наблюдений (например, таксистов, курьеров или потребителей) друг на друга — эту проблему еще называют как “социальный эффект” или Network Effect (про Network Effect мы выкладывали статьи в нашем telegram канале, на который вы <a href="https://t.me/exp_fest"><strong>можете подписаться</strong></a>).</p><p>Классическое разбиение на сплиты A и B тут не подойдет. Вызвано это в первую очередь влиянием офлайна, где классические подходы проведения A/B не всегда возможны. Т.к. наша деятельность и область интересов связаны с подготовкой к проведению и анализом оффлайн-экспериментов, мы решили перевести эту статью.</p><p>В Ситимобил уже успешно внедряется свитчбэк-тестирование. В конце статьи вы можете прочитать комментарий об их опыте и впечатления от использования свитчбэка из первых уст.</p><p>В переводе специально опущены или сохранены на английском языке некоторые оригинальные формулировки для упрощения восприятия текста, а также добавлены примечания. И мы себе позволили немного изменить заголовок, чтобы познакомить аудиторию со свитчбэком т.к. в российских медиа мы не нашли его упоминаний (оригинальный заголовок статьи –<em> Еxperiment Rigor for Switchback Experiment Analysis</em>)</p><p><em>Записывайтесь на следующий поток интенсивного курса по A/B-тестированиям и математической статистике от EXPF, который стартует в марте 2021</em></p><p><a href="https://expf.ru/ab_course/?utm_source=medium&amp;utm_medium=blog&amp;utm_campaign=switchback"><em>Перейти на сайт</em></a></p><p><a href="https://expf.ru/ab_course/?utm_source=medium&amp;utm_medium=blog&amp;utm_campaign=switchback">A/B тесты и математическая статистика</a></p><p>В DoorDash мы изучаем маркетплейс потребителей, дэшеров и продавцов (<em>прим.: дэшеры — курьеры</em>), и потому в значительной степени полагаемся на эксперименты, чтобы принимать продуктовые и бизнес-решения основанные на данных</p><p>Хотя большинство экспериментов, проводимых в DoorDash, являются A/B-тестами или оценкой методом “разностью разностей” (<em>“difference-in-differences”</em>), DoorDash иногда полагается на тип экспериментов, который внутри компании называется «свитчбэк-тестированием» (<a href="https://blog.doordash.com/switchback-tests-and-randomized-experimentation-under-network-effects-at-doordash-f1d938ab7c2a"><em>switchback testing</em></a>). Свитчбэк-тесты рандомизируют корзины по географическому региону и «единицам» времени <em>(прим.: “единицы” здесь и далее будут обозначаться как “unit”, что соответствует формулировке оригинала статьи Doordash)</em>, а не по пользователям, для того чтобы снизить влияние зависимостей в наблюдениях на результаты наших экспериментов. Хотя проведение свитчбэка схоже с A/B-тестами, у них есть две особенности, которые добавляют сложность в их анализе: (1) вложенная структура данных и (2) малая выборка на основе более независимых «unit’ов», доступных для анализа.</p><p>В данном посте будет рассказано о том, как мы определили наиболее подходящий подход для анализа свитчбэк-экспериментов и повысили статистическую мощность. Таким образом, мы смогли принимать продуктовые решения более уверенно и на 30% быстрее.</p><h3><strong>Введение в Свитчбэк</strong></h3><p>В то время как A/B-тестирование в DoorDash является обычным делом, оно не является оптимальным для тестирования нашего алгоритма назначения заказов, потому что назначение одной доставки дэшеру сильно зависит от результата назначения на другую доставку дэшеру . Например, существует две доставки которые необходимо назначить, но доступен только один дэшер. Если мы применим изменение алгоритма к одной доставке, которая будет назначена быстрее стандартной, мы рискуем повлиять на назначение второй, «контрольной» доставки, так как «обработанная» доставка <em>(прим.: имеется ввиду из тестового варианта)</em> скорее всего и будет назначена единственному дэшеру . Свитчбэк-тестирование снижает риск подобных сетевых эффектов, рандомизируя наш эксперимент в корзинки по регионам и времени суток, а не по дэшерам и доставкам. Перемешивая случайным образом эти «unit’ы» региона-времени, все доставки и дэшеры в каждом unit’е попадают в один и тот же тип алгоритма, что в свою очередь снижает влияние зависимостей среди доставок в двух экспериментальных корзинах.</p><p>Рандомизация проиллюстрирована на изображении ниже</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/546/0*YqS1AmvCSScjhOCs" /></figure><p>Как только рандомизация происходит на уровне региона-времени, каждая доставка закидывается в тестовую или контрольную группу, в зависимости от её региона и времени, и в результате мы получаем вложенную структуру данных: несколько доставок становятся частью одного «unit’а».</p><h4><strong>Ключевые соображения о Свитчбэк-анализе</strong></h4><p>Самым простым путем проанализировать свитчбэк может показаться двухвыборочный t-тест, который напрямую сравнивает среднюю продолжительность доставки в экспериментальной группе и контрольной группе, что представлено следующей зависимостью:</p><p><em>Duration ~ bucket (Продолжительность ~ корзина)</em></p><p>Однако, использование доставок как предмета для наблюдений нарушает предположение о независимости, которое мы в первую очередь пытались скорректировать, рандомизируя unit’ы региона-времени. Как следствие, мы пытались агрегированить наши результаты по <em>случайным unit’ам </em>(то есть unit региона-времени) перед применением t-теста, так как мы обнаружили, что это дает более точную оценку среднего эффекта и дисперсии при обработке эксперимента . Подробнее об анализе «на уровне unit’ов» можно узнать в нашем предыдущем посте «<a href="https://medium.com/@DoorDash/switchback-tests-and-randomized-experimentation-under-network-effects-at-doordash-f1d938ab7c2a"><em>Switchback Tests and Randomized Experimentation Under Network Effects at DoorDash</em></a>»</p><p>Тем не менее, агрегация на уровне unit’ов имеет два недостатка. Во-первых, при изначальном агрегировании продолжительности доставки по unit’у региона-времени трудно получить статистически-значимые результаты ввиду ограниченного размера выборки. Например, предположим, что у одного unit’а региона-времени есть 20 доставок. Если мы проанализируем наш эксперимент по unit’ам региона и времени, а не по доставкам, те 20 доставок, доступных для анализа станут лишь 1 unit’ом из которого мы сможем получить статистическую мощность. Во-вторых, анализ на уровне unit’а неправильно учитывает те случаи, в которых изменение нашего алгоритма может иметь явные последствия в unit’е региона-времени с небольшим количеством доставок (например, в 1 час ночи) по сравнению с теми, где количество доставок больше (например, в 5 утра). В таких случаях нам становится трудно с уверенностью сказать о том, уменьшило ли или увеличило ли изменение алгоритма продолжительность доставки в среднем, так как результаты на уровне unit’а и на уровне доставки могут существенно различаться.</p><p>Таким образом, мы хотели протестировать то, что можем ли мы лучше оценивать эффект от теста и дисперсию, проанализировав результаты эксперимента с использованием двух других методов: t-тест на уровне unit’а с ковариатами, сокращающие дисперсию и <a href="http://www.bristol.ac.uk/cmm/learning/multilevel-models/what-why.html">multilevel modeling</a> (MLM), оба из которых кратко обсуждены ниже.</p><p>t-Тест на уровне unit’а с уменьшением дисперсии привлекателен тем, что решал наши проблемы связанные со статистической мощностью анализа на уровне unit’а. Добавляя ковариаты X_i, которые удовлетворяют требованиям условной независимости (выраженные ниже), мы пытались объяснить некоторые изменения во времени доставки, которые не связаны с экспериментальной корзиной в наших экспериментах. Некоторые ковариаты, которые мы использовали, включали в себя время суток, номер недели, регион и общую стоимость заказа.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/296/0*kUiHCVZ5HBcuF5HP" /></figure><p>MLM привлекателен, т.к. наш набор данных естественно вложен (что означает, что существует корреляция между продолжительностью временем доставки в один и тот же день, в то же время суток и в том же регионе), а MLM — это опробованный подход для вложенных данных.</p><p>Чтобы лучше понять MLM, давайте взглянем на пример свитчбэк-эксперимента, проведенного только в Сан-Франциско показанного ниже. Обратите внимание: несмотря на то, что свитчбэк рандомизирует по регионам и времени, в этом примере для простоты мы рандомизируем только время:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/746/0*9SLVMx8h_VooE6s3" /></figure><p>Запуск MLM может быть рассмотрен как комбинация двух шагов.</p><p>На первом шаге выполняется линейная регрессия для каждого unit’а региона-времени чтобы объяснить изменение уровня доставки, используя уравнение <em>Duration ~ 1 + bucket + ε </em>(<em>Продолжительность ~ 1 +корзина + ε)</em> для каждого региона и времени. В приведенном выше примере это будет означать выполнение четырех таких регрессий, две из которых проиллюстрированы ниже:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/330/0*Bt5l9uFSsYqSsemg" /></figure><p>Регрессия второго шага использует определенные на первом шаге коэффициенты для того чтобы объяснить изменчивость между unit’ами региона-времени, как показано в следующих регрессиях, где β_0 и β_1 представляют intercept и средний эффект соответственно, а þ_0_RegionTime и þ_1_RegionTime представляют случайные эффекты. Случайные эффекты позволяют каждому unit’у региона-времени иметь разные intercept’ы для объяснения продолжительности доставки.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/475/0*TXFAGjOeW_dpgP5e" /></figure><p>Хотя MLM не совсем двухшаговая регрессия, но она очень на неё похожа. Комбинируя два шага в одну формулу (как показано ниже), MLM может учитывать длительность каждой отдельной доставки в каждом unit’е при оценке среднего intercept’а β_0 и эффекта β_1.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/691/0*98d7YwFbmPvHo0Na" /></figure><p><em>Region_Time </em>представляет собой unit региона-времени (например Сан-Франциско День 1 в примере выше), а <em>i</em> — доставку.</p><p>Выбирая MLM в качестве альтернативного подхода, мы предположили, что он будет не только обладать большей статистической мощностью, чем анализ на уровне unit’а, но и потому что он включает отдельные доставки в свои расчеты эффекта и дисперсии; мы также полагали, что MLM при расчете дисперсии будет учитывать зависимость между доставками, что будет доказано в результатах.</p><h3><strong>Улучшение Свитчбэка</strong></h3><p>Усовершенствуя наш свитчбэк-анализ, мы нацелились на уменьшение ложноположительных и ложноотрицательных оценок, связанных с анализом эксперимента, потому что мы хотим быть уверены в том что (А) мы не делаем неправильный вывод о существовании эффекта, когда его нет и (Б) мы обнаруживаем изменение в нашей ключевой метрике когда тест действительно воздействует на эту метрику.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/428/0*FAhIbLjxmix2luFM" /></figure><p>В частности, <strong>ложноположительная оценка </strong>срабатывает, если мы заключаем, что эффект есть, хотя в реальности он отсутствовал. Например, если мы запустим АА-тест и увидим p-value менее чем 0.05, мы ошибочно отклоним «нулевую гипотезу» , которая будет указывать на то, что эффекта не было, хотя на самом деле он был. <strong>Ложноотрицательная оценка </strong>возникает, если мы не можем сделать вывод о том, присутствовал ли эффект, когда он на самом деле был. Например, если мы проведем A/B тест и, при учете что у нас на достаточный размер выборки для необходимого уровня мощности, p-value больше чем 0.05, мы неверно примем нулевую гипотезу, когда эффект на самом деле есть. Обратите внимание что размер выборки является в данном случае (важной) составляющей, так как ложноотрицательный результат зависит от статистической мощности.</p><h4><strong>Сравнение методов анализа с помощью симуляции данных</strong></h4><p>Мы оценили наши модели на данных свитчбэка, используя частотную статистику, т.к. мы предположили, что (А) существует фиксированный эффект (то есть 0 для АА-тестов) и (Б) оценка от этого эффекта зависит от доступных данных.</p><p>Чтобы реализовать описанный подход, мы взяли данные о доставках в масштабах компании за несколько недель и смоделировали множество версий искусственного эксперимента базирующегося на этих данных. Эти симуляции были выполнены при помощи группирования данных о доставках по unit’ам региона-времени и случайному присвоению unit’ов в тестовые и контрольные варианты, как это было бы сделано при использовании свитчбэка, что означает, что каждая доставка получит экспериментальную группу своего unit’а. Для AA-тестов мы оставили всё как есть, а для A/B-тестов мы добавили нормально распределенный эффект ко всем доставкам в unit’ах тестовых групп; нормальное распределение было упрощенно приближенным. Затем мы протестировали 4 метода анализа (анализ на уровне доставки, анализ на уровне unit’а, анализ на уровне unit’а с сокращением дисперсии и многоуровневое моделирование) на каждом из смоделированных AA и A/B тестов и записали средний эффект и p-value для каждой из симуляций. Наконец, мы построили график распределений p-value и эффект для последнего шага: вычисление частоты ложноположительных, ложноотрицательных результатов и ошибки (bias).</p><h4><strong>Результаты моделирования: MLM против других методов</strong></h4><p>По результатам моделирования мы определили что MLM является оптимальным методом анализа. Как показано ниже, у MLM самый низкий показатель ложноположительных результатов (0.03) и вторая по величине статистическая мощность (0.93).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*wFMwKoQsiv6oYjwg" /></figure><p>Применение MLM для анализа экспериментов со свитчбэком дает несколько преимуществ.</p><p>Во-первых, хотя t-тест на уровне доставки имеет наивысшую статистическую мощность, MLM обеспечивает более надежную оценку эффекта, учитывая неблагоприятно высокий уровень ложноположительных результатов (0.62). Высокий уровень ложноположительных результатов на уровне доставки растет из-за вложенной структуры данных: чем больше скоррелированы доставки в пределах одного unit’а региона-времени, тем больше мы недооцениваем дисперсию нашего кластерного набора данных при использовании традиционного t-теста.</p><p>Чтобы конкретно понимать, почему t-тест на уровне доставки недооценивает дисперсию эксперимента со свитчбэком, полезно сравнить оценку дисперсии t-теста с оценкой истинной дисперсии, используя формулу для метода наименьших квадратов (OLS): <em>Duration ~ β_0 + β_hat + bucket (Продолжительность ~ β_0 + β_hat + корзина)</em>. Предполагая, что <em>Var (β_hat)</em> — это истинная дисперсия от эффекта, <em>n</em> — размер нашей выборки, а <em>ρ_e</em> — <a href="https://www.theanalysisfactor.com/the-intraclass-correlation-coefficient-in-mixed-models/">intraclass correlation coefficient</a> (ICC) (подробно описанный ниже), дисперсия для оценки эффекта составляет:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/190/0*i4SyFNMe3RcPJU5A" /></figure><p>Из приведенной выше формулы легко заметить, что мы верно оцениваем дисперсию нашего эффекта только тогда, когда ICC (обозначаемый ρ_e) равен 0. Это невозможно с данными свитчбэка, потому что, когда данные имеют вложенную структуру, ICC всегда больше 0. Это связано с тем, что ICC количественно определяет долю общей дисперсии, которая возникает из двух компонентов дисперсии во вложенных данных: дисперсия между группами (т. е. дисперсия в unit’ах региона-времени) и дисперсия внутри группы (т. е. дисперсия в продолжительности доставки в пределах unit’а региона-времени). Более конкретно, ICC рассчитывается следующим образом, где числитель обозначает межгрупповую дисперсию, а знаменатель обозначает общую дисперсию:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/113/0*Ouqyo2B4Xxd7eqp6" /></figure><p>Если в приведенном выше уравнении числитель равен нулю, это означает, что мы не видим наличия межгрупповой дисперсии, наши данные не вложены, и мы теоретически можем использовать t-тест для анализа. Однако, когда существует какая-либо корреляция между группами, как в случае со свитчбэком, мы знаем, что данные являются вложенными, и t-тест больше не подходит. Следовательно, используя t-тест для свитчбэка, имеет смысл получить большую t-статистику и неверно малый p-value:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/116/0*Ax2HPMIqC1PI6paL" /></figure><p>MLM исправляет недооценивание дисперсии во вложенных данных путем учитывания как межгрупповой, так и внутригрупповой дисперсии в оценке дисперсий, о чем свидетельствует низкий уровень ложноположительных результатов MLM.</p><p>Во-вторых, хотя анализ на уровне unit’а улучшает оценку дисперсии, устраняя корреляцию среди доставок, MLM имеет гораздо более высокую статистическую мощность, чем анализ на уровне unit’а. Более того, используя MLM, мы сокращаем время, необходимое для получения статистически значимых результатов, примерно на 30% по сравнению с анализом на уровне unit’а. Это связано с тем, что размер выборки при анализе на уровне unit’а, значительно ниже, чем в MLM, в связи с тем, что добавляются данные на уровне доставки и на уровне unit’а в MLM. При меньшем количестве наблюдений мы получаем меньшую t-статистику и, следовательно, p-value выше 0.05 на уровне unit’а, когда эффект на самом деле присутствует.</p><p>В-третьих, хоть мы и можем улучшить мощность теста на уровне unit’а, добавив больше ковариат, таких как время дня (например, обед или ужин) и регион, мы не смогли найти ковариаты, которые уменьшили бы дисперсию при оценке эффекта в достаточной степени, чтобы компенсировать разницу в размере выборки между анализом на уровне unit’а и MLM. Вдобавок к этому, с сокращением дисперсии с помощью регрессии мы рискуем внести систематическую ошибку в результаты наших экспериментов, если добавляем неправильные ковариаты (т.е. ковариаты, которые коррелируют с эффектом) или пропускаем необходимые ковариаты. Подробная информация о систематической ошибке содержится в Приложении. Например, если мы добавим unit_id в качестве dummy-переменной, то значительно уменьшим количество степеней свободы и увеличим дисперсию, в то время как MLM не имеет проблем, т.к. он берет unit_id как случайный эффект. Включая unit_id в качестве случайного эффекта, мы можем смоделировать разницу между средним времени доставки на unit’е региона-времени и всеми доступными данными, что по сути является двухшаговой регрессией.</p><p>Все эти результаты убедительно свидетельствуют о том, что мы должны использовать MLM для анализа свитчбэка с unit_id в качестве случайного эффекта.</p><p><strong>Заключение</strong></p><p>Получение результатов эксперимента, в которых мы можем быть уверены, является ключевым компонентом для доставки продуктов, что в конечном итоге улучшит пользовательский опыт для наших потребителей, дэшеров и продавцов. Анализ свитчбэк-экспериментов с использованием MLM — это большой шаг вперед в постоянном проведении экспериментов в маркетплейсе более уверенно и значительно быстрее, чем когда-либо.</p><p>Это только начало. Еще есть простор для возможностей и совершенствования сокращения дисперсии при свитчбэк-тестировании, чтобы быстрее получать результаты эксперимента через (1) использование случайных эффектов в других методах уменьшения дисперсии, таких как <a href="https://en.wikipedia.org/wiki/Sequential_analysis">sequential testing</a> или CUPED, (2) добавление дополнительных предикторов, фиксированных и случайных коэффициентов в MLM (используя <a href="https://statisticalhorizons.com/wp-content/uploads/MLM2-Sample-Materials.pdf">build-up strategy</a>, чтобы помочь определить и то, какие эффекты включить, и сложность модели), (3) с использованием других надежных оценок дисперсии, таких как <a href="https://journals.sagepub.com/doi/abs/10.1177/106591290605900301">cluster standard errors</a>, <a href="https://en.wikipedia.org/wiki/Heteroscedasticity-consistent_standard_errors">Huber–White standard errors</a>, <a href="https://rlbarter.github.io/Practical-Statistics/2017/05/10/generalized-estimating-equations-gee/">Generalized Estimating Equations</a> и/или (3) другие решения, такие как взвешенный метод наименьших квадратов (<a href="https://en.wikipedia.org/wiki/Weighted_least_squares">Weighted least squares (WLS)</a>) для данных на уровне unit’а или <a href="https://mikelove.wordpress.com/2012/07/28/block-bootstrap/">Block bootstrap</a>. Поскольку мы стремимся к более быстрому проведению экспериментов в marketplace с небольшими эффектами, мы планируем расширить используемые здесь процессы моделирования, чтобы найти лучшую модель MLM для анализа наших экспериментов в будущем.</p><h3>Комментарии Ситимобил о Свитчбэк-тестировании</h3><p><strong>Андрей Павлов, Head of Marketplace в Ситимобил </strong>–</p><blockquote>Сервис такси это пример так называемого two-sided marketplace, где в нашем случае одна из сторон это водители, а другая пассажиры. Примечательно, что их взаимодействие тесно связано, так например, количество водителей на линии, находящихся в радиусе назначения заказа клиента напрямую влияет на цену, которую увидит пассажир. Эта связь добавляет сложности (Network Effect/нарушение SUTVA), когда при разработке алгоритмов ценообразования и распределения заказов (радиус распределения) хочется количественно установить причинно-следственную связь между изменениями в алгоритме и изменением бизнес-показателей. С методом switchback мы познакомились более года назад, когда перед нами встала задача разработки принципиально нового алгоритма динамического ценообразования. В том числе статья, которую вы читаете, послужила нам плацдармом для собственной реализации a/b тестирования методом switchback-а. При всех преимуществах этого метода над классическим a/b тестированием (нивелирование Network Effect) мы столкнулись с рядом проблем, такими как: сходимость в группа А1/А2, ручная очистка выбросов в гео-зонах (например, Мурино в Ленинградской области, аномальный спрос на такси как следствие проблемы с общественным транспортом), настройка гиперпараметров (пространственно-временно окно) и др. Важно отметить, что switchback это не серебренная пуля, в виду его специфики по частой смене treatment / control, пользовательский опыт у конкретного водителя или пассажира может меняться, что может внести ошибку восприятия в эксперимент. Именно поэтому мы не останавливаемся, а продолжаем искать эффективные способы верно рассчитывать treatment effect. Область наших интересов сейчас лежит в применении метода Synthetic Control, Multiple Randomization Design и совершенствование Switchback тестирования.</blockquote><p><strong>Артём Солоухин, Product Owner динамического ценообразования в Ситимобил </strong>–</p><blockquote>В Ситимобил, в подразделении динамического ценообразования, мы проводим switchback-эксперименты с середины 2019-го года. Когда мы начинали проводить эксперименты со сплитованием по геохроно, мы не знали о том что такая практика является распространённой — мы сами постепенно пришли к такому сплитованию, решая проблему сетевых эффектов. Вскоре мы провели литературный обзор и обогатили свои знания в проведении подобных экспериментов.Со временем мы обнаружили разного рода недостатки switchback-экспериментов и нашли для них решения. Такие эксперименты в чистом виде не исключают полностью сетевой эффект и не всегда дают сходимость A/A. Поэтому чтобы быть уверенными в сходимости групп мы используем A/A/B эксперименты, а также применяем некоторые хитрости для снижения влияния остаточных сетевых эффектов и выбросов. Кроме того, существуют свои сложности с оценкой таких экспериментов. Более подробно о нашем опыте мы расскажем в ближайшее время в <a href="https://habr.com/ru/company/citymobil/blog/">нашем блоге на habr</a></blockquote><h4><strong>ПРИЛОЖЕНИЕ</strong></h4><p><strong><em>Дальнейшее объяснение результатов уменьшения дисперсии на уровне unit’а</em></strong></p><p>Чтобы лучше понять, почему результаты на уровне unit’а с уменьшением дисперсии не работают так же хорошо, как MLM, нам нужно вспомнить (1) требования условной независимости и (2) проблемы с размером выборки на уровне unit’а, которые были упомянуты выше в разделе «<strong>Ключевые соображения о Свитчбэке»</strong></p><p>Что касается условной независимости, если мы сможем найти набор ковариат, который удовлетворяет требованиям условной независимости, это сведет к нулю систематическую ошибку отбора, и, следовательно, наблюдаемая разница в продолжительности доставки будет являться средним эффектом, как показано ниже:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/555/0*Yc-UeTX2N2Lx17KL" /></figure><p>где <em>Duration_0i </em>— это продолжительность i-ой<em> </em>доставки, если бы она была назначена для контрольной корзины, независимо от того, была ли она фактически назначена для контроля, а <em>Duration_1i</em> — это продолжительность доставки, если бы она была назначена для теста.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/461/0*6k6TDhzHXju4Zmw9" /></figure><p>Как правило, мы не знаем идеального набора ковариат, удовлетворяющих условной независимости, и, скорее всего, опустим переменные, которые коррелируют с продолжительностью доставки и одной или несколькими её объясняющими ковариатами в модели. Это известно как bias (смещение) вследствие пропущенных переменных. Мы можем количественно оценить этот bias, используя формулу bias’а вследствие пропущенных переменных (<a href="https://en.wikipedia.org/wiki/Omitted-variable_bias">Omitted Variables Bia</a>s), чтобы иметь представление о том, как меняется результат, при добавлении новых ковариат.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/445/0*29kIMQKym6D98XGF" /></figure><p>Однако, даже если мы уменьшим bias вследствие пропущенных переменных, результаты дисперсии на уровне unit’а по-прежнему будут начинаться с меньшего чем у MLM количества наблюдений, из которых можно получить статистическую значимость. Следовательно, исследованная мощность ковариат, добавляемых к модели, должна будет компенсировать преимущество наличия как внутригрупповой, так и межгрупповой дисперсий.</p><p>Ссылка на оригинальную статью — <a href="https://doordash.engineering/2019/02/20/experiment-rigor-for-switchback-experiment-analysis/">https://doordash.engineering/2019/02/20/experiment-rigor-for-switchback-experiment-analysis/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=39aab4f87cf7" width="1" height="1" alt=""><hr><p><a href="https://medium.com/statistics-experiments/switchback-%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5-%D0%BA%D0%B0%D0%BA-%D0%B1%D0%BE%D1%80%D0%BE%D1%82%D1%8C%D1%81%D1%8F-%D1%81-%D1%81%D0%BE%D1%86%D0%B8%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%BC%D0%B8-%D1%8D%D1%84%D1%84%D0%B5%D0%BA%D1%82%D0%B0%D0%BC%D0%B8-%D0%B2-a-b-%D1%82%D0%B5%D1%81%D1%82%D0%B0%D1%85-39aab4f87cf7">Switchback-тестирование. Как бороться с социальными эффектами в A/B-тестах</a> was originally published in <a href="https://medium.com/statistics-experiments">expf</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Дисбаланс в A/B-тестах. Есть ли разница между 99%/1% и 50%/50% в экспериментах?]]></title>
            <link>https://medium.com/statistics-experiments/%D0%B4%D0%B8%D1%81%D0%B1%D0%B0%D0%BB%D0%B0%D0%BD%D1%81-%D0%B2-a-b-%D1%82%D0%B5%D1%81%D1%82%D0%B0%D1%85-%D0%B5%D1%81%D1%82%D1%8C-%D0%BB%D0%B8-%D1%80%D0%B0%D0%B7%D0%BD%D0%B8%D1%86%D0%B0-%D0%BC%D0%B5%D0%B6%D0%B4%D1%83-99-1-%D0%B8-50-50-%D0%B2-%D1%8D%D0%BA%D1%81%D0%BF%D0%B5%D1%80%D0%B8%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D1%85-11c8f4fe7eb4?source=rss-9317a8e630f6------2</link>
            <guid isPermaLink="false">https://medium.com/p/11c8f4fe7eb4</guid>
            <category><![CDATA[analytics]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[a-b-testing]]></category>
            <category><![CDATA[experiment]]></category>
            <category><![CDATA[statistics]]></category>
            <dc:creator><![CDATA[Iskander Mirmakhmadov]]></dc:creator>
            <pubDate>Tue, 06 Oct 2020 07:03:29 GMT</pubDate>
            <atom:updated>2021-04-30T16:23:31.430Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Ti3W6GT3YJ1oZ4tubMJyoQ.png" /></figure><p>Итак, по какой-то причине вы или ваша команда решили запустить A/B-тестирование с несбалансированными выборками (например, 65/35, 90/10 или 99/1). На первый взгляд, кажется что нет преград для запуска. Однако как и в любом эксперименте, приходится задаваться одними и теми же вопросами: когда останавливать эксперимент, когда можно верить результатам эксперимента, какой статистический критерий использовать? Могу ли я сравнивать тестовую ветку с контрольной при таком дизайне эксперимента? В этой статье мы рассмотрим нюансы, которые стоит учесть при планировании несбалансированных экспериментов</p><p>Записывайтесь на следующий поток интенсивного курса по математической статистике и A/B-тестированиям</p><p><a href="https://expf.ru/ab_course/?utm_source=medium&amp;utm_medium=blog&amp;utm_campaign=unbalance">A/B тесты и математическая статистика</a></p><h4>Зачем запускать эксперименты с балансом 90/10, 95/5, 99/1… ?</h4><p>Эксперименты с несбалансированными выборками полезны в первую меньшим риском для бизнеса, т.к. в случае провальной гипотезы потенциальная потеря денег будет, соответственно, меньше. Или в случае раннего этапа “обкатки” изменения, которое еще продолжительное время придется дебажить.</p><p><em>Запустили тест на 1% трафика, конверсия упала на 15%, гипотеза не оправдала ожидания. Хотя локальная потеря — 15%, глобально же — просадка только 0,15%. Правда, реально ли мы наблюдаем просадку -15% или же это проявление случайности, необходимо еще доказать.</em></p><p>По большей части, у классических статистических критериев нет предположений, связанных с балансом выборок. К примеру, у t-Критерия Стьюдента <a href="https://en.wikipedia.org/wiki/Student%27s_t-test">таких предположений нет</a>, но есть требование к одинаковой дисперсии. Существует поправка Уэлша, которая позволяет сравнивать средние при разных дисперсиях, но и то в определенных случаях (<a href="https://en.wikipedia.org/wiki/Welch%27s_t-test#Examples">бóльшая дисперсия допускается только в бóльшей выборке</a>). Отсюда следует, что сравнение несбалансированных выборок допустимо. Означает ли это, что мы можем применять стат. тесты на несбалансированных выборках и не переживать за точность?</p><h4>Причем здесь мощность?</h4><p>Рано или поздно нам придется столкнуться с несбалансированными тестами, т.к. практика их применения достаточно распространена (в силу озвученных плюсов выше). Что нужно знать на этапе анализа? Прежде чем сказать, что различий нет, необходимо выяснить, способен ли статистический критерий их обнаружить. Если разница на самом деле есть, а критерий говорит об обратном, то положительные изменения для продукта так и не пойдут в продакшен. Такие случаи фиксирует ошибка II рода. Чем она выше, тем вероятней отсутствие разницы, когда по факту она есть. Обратная величина от ошибки II рода — мощность (вероятность увидеть разницу, когда она есть). И нам бы хотелось, чтобы условия для проведения эксперимента были наиболее предрасполагающие к высокой мощности.</p><p>К счастью, мы можем заранее подготовиться и посчитать мощность на несбалансированных выборках, применяя для этого симуляции <em>(см. ниже Проверка на данных)</em>. На всякий случай давайте вспомним что такое мощность (или true positive rate):</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/590/1*95nGxw_5GjqqZ6uxoRvAkg.png" /></figure><p>чем выше мощность, тем вероятней отклонить нулевую гипотезу (например, о равенстве средних) при верной альтернативной (средние отличаются). Эти слова нам мало о чем говорят без примеров:</p><p><em>Допустим мы провели эксперимент, где накопилось по 3500 пользователей на каждую ветку и теперь хотим сравнить кликабельность. CTR в контроле 10% и тесте 11%. При уровне значимости 95%, в относительном приросте 10% мы будем уверены только на 27,6% (если бы проводили такой эксперимент бесконечное количество раз). Т.е. в 72,4% таких же экспериментах эффект просто напросто не был бы увиден и мы зря выкинули бы результаты в мусорку.</em></p><p><em>Для расчета мощности (R):</em></p><pre>p1 = 0.1<br>p2 = 0.11<br>n = 3500<br>h = ES.h(p1,p2)<br>pwr::pwr.2p2n.test(h = h, n1 = n, n2 = n, sig.level = 0.05)</pre><p>Широкая практика придерживаться 80% мощности (или 1 из 5 ложноотрицательных случаев). Эмпирически же, каждая команда сама для себя определяет допустимый порог, который был бы приемлемым для продукта и бизнеса.</p><h3>Проверка на данных</h3><h4>Метрика качества синтетических тестов</h4><p>Теперь когда мы с вами знаем что такое мощность, давайте определим ее как метрику качества для изучения несбалансированных экспериментов.</p><p><em>Представьте ситуацию: вы запустили эксперимент на 99/1, видите прирост на 1,2,3,4…X % в метрику и хотите катить в продакшен изменения (или видите падение метрики и остановить эксперимент). Внимательный читатель уже понял, что чтобы говорить об этих 1,2,3,4… % нужно быть уверенным в них. Хорошо бы иметь какое-нибудь мерило. Метрика качества подойдет для этой роли.</em></p><p>Для исследования будем использовать симуляции на базе синтетических тестов. Симуляции будут генерироваться на основе гиперпараметров (<em>см. ниже Параметры симуляций</em>). Далее в симуляциях будем считать метрику качества Power (TPR) по следующей формуле:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/205/1*_2yijbRjOR7sYw99Hbj2rw.png" /></figure><p>, где I — индикаторная функция, P — полученные p-value на каждой итерации симуляции, α — уровень альфа и N — все симуляции. В генераторе распределения мы явно указываем параметры среднего и дисперсии, где средние будут отличаться. Поэтому логично, что все отвергнутые нулевые гипотезы будут ознаменовать принятие истины о существовании разницы.</p><h4>Параметры симуляций</h4><p>Для проверки несбалансированных экспериментов симулируем 4 кейса c весами 50/50, 75/25, 90/10, 99/1. За основу возьмем нормальное распределение со следующими параметрами:</p><ul><li>Размер выборки: 50,100,500,1000,2000,10000 <em>(важное замечание: баланс 99/1 для 50 и 100 корректировался под 95/5, т.к. у стат. оценщика есть требование к минимальному объему выборки)</em></li><li>Изменение % (или lift): 1,2,3,4,5,6,7,8,9,10,20,50,100 %</li><li>Среднее (μ) = 1,2,5,10,20,50,100</li><li>Стандартное отклонение (σ) = 1,2,5,10</li></ul><p>На каждой комбинации генерировалось 1000 синтетических экспериментов. Мощность будем проверять при уровне значимости 95%. В качестве статистических оценщиков используются t-Критерий Стьюдента и u-Критерий Манна-Уитни. В общей сложности получилось 8 736 000 симуляций.</p><h4>Влияние баланса на мощность</h4><p>На графике №1 каждый баланс отмечен своей цветной кривой. По горизонтали изменение в метрику (от 1 до 10), а по вертикали вероятность обнаружить это изменение.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4vEoot61CpkXEmXmI7nasQ.png" /><figcaption>График 1: Зависимость мощности от изменчивости при разных балансовых весах. Для этого графика использовалась комбинация sd: 1, mu: 5, lift меньше либо равно 10 и N: 1000. Пунктиром отмечена отсечка в 80% мощности</figcaption></figure><p>Скорость у 99/1 существенно отличается от 50/50, а остальные кейсы демонстрируют прямую зависимость скорости роста мощности от баланса. Еще примечательно, что разница между 50/50 и 75/25 не такая большая. Не смотря на двукратный разрыв по объему выборки в тестовой группе (25% против 50%), просадка по мощности не кажется безнадежной. К тому же, по мере роста % изменения, разница в мощности между 50/50 и 75/25 становится все меньше и в конце концов метрика качества сравнивается. Отметим еще одну важную вещь: <a href="https://files.eric.ed.gov/fulltext/ED493363.pdf">чем больше % изменения, тем вероятней его обнаружение</a>.</p><p>Как таковой зависимости от параметров распределения нет — тренд сохраняется на всех градациях среднего и дисперсии. При большем объеме выборки мы получим бòльшую мощность, но это было понятно и без учета исследования поведения мощности при разном балансе. Мы это видим на графике №2 (в фасетах указан объем выборки):</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TE5_za6eb4NI8suwnODFVg.png" /><figcaption>График 2: каждый отдельный фасет представлен для разных объемов выборки (50,100,500…). Для этого графика использовалась комбинация sd: 1, mu: 5, lift меньше либо равно 10. Пунктиром отмечена отсечка в 80% мощности</figcaption></figure><p>Что интересно, на определенных эффектах (% изменения) рано или поздно, удастся получить минимально допустимую мощность. Следовательно, для сервисов с большой аудиторией нет как таковых проблем с балансом 99/1, если интересует предельно большой MDE (minimum detectable effect).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yhZW66loWaC9OZhQ2qwFVg.png" /><figcaption>График 3: Мощность на 99/01. Для этого графика использовалась комбинация sd: 1, mu: 5, N:10000, lift меньше либо равно 20. Пунктиром отмечена отсечка в 80% мощности</figcaption></figure><p>Еще раз обратим внимание на важное наблюдение на графике 3: при достаточно большом объеме выборки (10000 наблюдений на обе ветки = 9000/1000), мощность для 6–20% изменения в метрику вполне приемлема, т.к. выше 80%.</p><h4>Дисбаланс и дисперсия</h4><p>Нельзя не упомянуть поведение мощности при разных дисперсиях. Мы знаем, что чем сильнее зашумлена метрика, тем сложнее обнаружить ее изменение.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EX3_PiKphE9n_t8mAahj6A.png" /><figcaption>График 4: Мощность на 99/01 при разных дисперсиях (ско). Для этого графика использовалась комбинация mu: 5, N: 10000, lift меньше либо равно 10. Пунктиром отмечена отсечка в 80% мощности</figcaption></figure><p>Хорошая ли затея использовать методики по сокращению дисперсии при балансе 99/01? С одной лишь оговоркой — выборки должны быть репрезентативны. Под репрезентативностью мы здесь имеем виду однородную (или гомогенную) аудиторию в обеих выборках: в контроле 50% мобильных пользователей — значит и в тесте их тоже должно быть 50%. Очевидно, что это важное условие для любого эксперимента. На 99/01 оно играет важную роль, если вдруг появится необходимость нивелировать дисперсию. Ведь какая польза от того, что мы сделаем метрику более чувствительной, если сравниваем теплое с мягким.</p><p>Кстати, если интересно почитать про сокращение дисперсии:</p><ul><li><a href="https://medium.com/statistics-experiments/%D1%83%D0%B2%D0%B5%D0%BB%D0%B8%D1%87%D0%B8%D0%B2%D0%B0%D0%B5%D0%BC-%D1%87%D1%83%D0%B2%D1%81%D1%82%D0%B2%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D1%8C-%D1%8D%D0%BA%D1%81%D0%BF%D0%B5%D1%80%D0%B8%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2-%D0%BF%D1%80%D0%B8-%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D0%B8-%D1%80%D0%B0%D0%BD%D0%B3%D0%BE%D0%B2%D0%BE%D0%B9-%D1%82%D1%80%D0%B0%D0%BD%D1%81%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8-32a4f72a86fc">Ранговые трансформации</a></li><li><a href="https://medium.com/statistics-experiments/cuped-%D0%B8%D0%BB%D0%B8-%D1%83%D0%B2%D0%B5%D0%BB%D0%B8%D1%87%D0%B5%D0%BD%D0%B8%D0%B5-%D1%87%D1%83%D0%B2%D1%81%D1%82%D0%B2%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D0%B8-%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B8-de7183fc964c?source=collection_home---4------2-----------------------">CUPED</a></li></ul><h4>Может есть более демократичный к дисбалансу критерий?</h4><blockquote>Дисклеймер. У автора изначально не было цели сравнивать разные критерии в рамках этого исследования, т.к. появляется много дополнительных этапов проверки: разные критерии на разных распределениях с разными гиперпараметрами и т.п. и т.д. Поэтому мы останемся на тех же симуляциях, чтобы ответить на поставленный вопрос в подзаголовке.</blockquote><p>Результаты на 10000 наблюдениях для Манна-Уитни на тех же данных показали примерно одинаковую мощность что и t-Критерий. Интересно, что на меньшем объеме выборки при больших эффектах мощность выше (см. график 5)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6datd23P-HYATm7VAmoWRQ.png" /><figcaption>График 5: Сравнение критериев по мощности. В фасетах указан размер выборки (50,100…)</figcaption></figure><p>Означает ли это победу Манна-Уитни на 99/01? Однозначно об этом говорить можно было бы, изучив поведение критериев на разных типах распределения, а не только на нормальном. Тем не менее, по факту мы наблюдаем отрыв MW от t-теста в частных случаях.</p><h3>Выводы</h3><p>Мощность критерия будет максимальной тогда, когда количество наблюдений в каждой из веток эксперимента наиболее близко друг к другу. Соответственно, это ведет к тому, что эксперименты стоит запускать с балансом 50/50 для наиболее вероятного обнаружения значимых изменений в эксперименте.</p><p>Тем не менее — реалии таковы, что статистика не учитывает стратегию запуска новых фич в сервисе, новых цен в тарифной сетке и любых других изменений, которые за собой могут повлечь экономические, брендинговые и другие риски. Подводя итог, <strong>рекомендуется использовать такой баланс в эксперименте, который будет учитывать бизнес-интерес, согласно возможностям и емкости трафика, и, опираясь на ограничения в статистическом инструменте</strong> (частично освещенные выше).</p><p><em>Например, при DAU 100–500 пользователей можно забыть о балансе 99/01. При таком объеме даже изменчивость 10–25% разглядеть проблематично. С MAU 100–300 тыс. определенно имеет смысл задумываться о балансе 75/25 и ниже.</em></p><h4>Когда стоит придерживаться баланса 50/50?</h4><ul><li>Когда риски не высоки и нет ограничений со стороны продукта / бизнеса</li><li>Ожидаемый прирост или падение метрики достаточно маленькие (допустим, меньше 5%)</li></ul><h4>Когда можно использовать несбалансированный тест?</h4><ul><li>У вас достаточный объем трафика для обнаружения интересующих изменений в метрике (например, 20% и выше)</li><li>За время эксперимента у вас есть возможность получить наиболее репрезентативные группы</li></ul><p>Если все же вы не можете запустить 50/50 и ни одно из условий не получается придерживаться, то в качестве альтернативы выделяйте под эксперимент небольшую долю трафика (например, 5%) и внутри этой доли балансируйте ветки эксперимента на уровне 50/50 (получится 2,5% в каждую ветку). Придется подождать дольше обычного, но так вы получите наибольший уровень мощности</p><p>При желании, попробовать симуляции у себя можно с помощью R:</p><p><a href="https://github.com/aboutisya/unbalance_power">aboutisya/unbalance_power</a></p><p>Подписывайтесь на наш канал в Telegram: <a href="https://t.me/exp_fest">https://t.me/exp_fest</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=11c8f4fe7eb4" width="1" height="1" alt=""><hr><p><a href="https://medium.com/statistics-experiments/%D0%B4%D0%B8%D1%81%D0%B1%D0%B0%D0%BB%D0%B0%D0%BD%D1%81-%D0%B2-a-b-%D1%82%D0%B5%D1%81%D1%82%D0%B0%D1%85-%D0%B5%D1%81%D1%82%D1%8C-%D0%BB%D0%B8-%D1%80%D0%B0%D0%B7%D0%BD%D0%B8%D1%86%D0%B0-%D0%BC%D0%B5%D0%B6%D0%B4%D1%83-99-1-%D0%B8-50-50-%D0%B2-%D1%8D%D0%BA%D1%81%D0%BF%D0%B5%D1%80%D0%B8%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D1%85-11c8f4fe7eb4">Дисбаланс в A/B-тестах. Есть ли разница между 99%/1% и 50%/50% в экспериментах?</a> was originally published in <a href="https://medium.com/statistics-experiments">expf</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Увеличиваем чувствительность экспериментов при помощи ранговой трансформации]]></title>
            <link>https://medium.com/statistics-experiments/%D1%83%D0%B2%D0%B5%D0%BB%D0%B8%D1%87%D0%B8%D0%B2%D0%B0%D0%B5%D0%BC-%D1%87%D1%83%D0%B2%D1%81%D1%82%D0%B2%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D1%8C-%D1%8D%D0%BA%D1%81%D0%BF%D0%B5%D1%80%D0%B8%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2-%D0%BF%D1%80%D0%B8-%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D0%B8-%D1%80%D0%B0%D0%BD%D0%B3%D0%BE%D0%B2%D0%BE%D0%B9-%D1%82%D1%80%D0%B0%D0%BD%D1%81%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8-32a4f72a86fc?source=rss-9317a8e630f6------2</link>
            <guid isPermaLink="false">https://medium.com/p/32a4f72a86fc</guid>
            <category><![CDATA[statistics]]></category>
            <category><![CDATA[analytics]]></category>
            <category><![CDATA[experiment]]></category>
            <category><![CDATA[a-b-testing]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Iskander Mirmakhmadov]]></dc:creator>
            <pubDate>Mon, 17 Aug 2020 17:58:17 GMT</pubDate>
            <atom:updated>2021-04-30T16:25:51.545Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1008/1*GANICcELlx2t8d0trsb_yQ.jpeg" /></figure><p>Это перевод статьи booking.ai про увеличение чувствительности метрик в экспериментах с маленькими эффектами.</p><p>Описанная ниже методика трансформации позволяет увеличить скорость проведения эксперимента. В предыдущей статье в нашем блоге,<a href="https://medium.com/statistics-experiments/cuped-%D0%B8%D0%BB%D0%B8-%D1%83%D0%B2%D0%B5%D0%BB%D0%B8%D1%87%D0%B5%D0%BD%D0%B8%D0%B5-%D1%87%D1%83%D0%B2%D1%81%D1%82%D0%B2%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D0%B8-%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B8-de7183fc964c?source=---------1------------------"> мы рассказывали про метод CUPED</a>, который в том числе позволяет ускорять A/B. Крайне желательно сначала изучить как работает CUPED перед прочтением этой статьи.</p><p>Записывайтесь на следующий поток интенсивного курса по математической статистике и A/B-тестированиям, который пройдет в октябре 2020 г.</p><p><a href="https://expf.ru/ab_course/?utm_source=medium&amp;utm_medium=blog&amp;utm_campaign=ranktransform">A/B тесты и математическая статистика</a></p><p>Для Booking.com контролируемые онлайн эксперименты (A/B тестирование) — это ключевой способ измерения и оценки изменений на сайте, а также основной источник информации для принятия решений (<a href="https://arxiv.org/pdf/1710.08217.pdf">Kaufman, Pitchforth, &amp; Vermeer, 2017</a>). Учитывая размеры и масштаб Booking.com, повышение метрики даже на долю процента приносит существенные для бизнеса результаты. <a href="https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d">(Jackson, 2018)</a>. Мы давно прорабатываем тему повышения чувствительности экспериментов. Это позволяет нам выявлять менее масштабные эффекты или же работать с меньшей выборкой (или в более короткие сроки) и таким образом ускорять разработку. В частности, для повышения чувствительности экспериментов мы часто используем метод CUPED (контролируемый эксперимент с использованием данных “до эксперимента”).</p><p>Однако классические методы A/B тестирования (такие как двухвыборочный независимый t-тест) могут быть недостаточно чувствительными, когда распределение данных далеко от нормального — даже с учетом использования методов уменьшения дисперсии вроде CUPED. В основе t-теста лежит предположение о нормальном распределении данных. Эмпирически, это предположение не всегда соответствует реальности.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/568/0*kg53fxSaJdqaGH_C" /><figcaption>Рис 1. Распределение реальной метрики, которую используют в Booking.com</figcaption></figure><p>К примеру, на рис. 1. изображено распределение реальной метрики, которое мы зафиксировали на Booking.com. Метрика сильно искажена целым рядом отклонений.</p><p>Исследования показывают, что t-тест достаточно устойчив к отклонениям от нормального распределения при условии что объем выборки достаточно большой. Однако, нельзя сказать наверняка, насколько именно “большой” должна быть выборка и достаточно ли она велика для решения отдельно взятой проблемы. Если мы не знаем природы и степени отклонения от взятого за основу предположения о нормальном распределении, то мы и не можем предугадать величину ошибок, которые появятся в результате этого предположения. (<a href="https://books.google.nl/books?hl=en&amp;lr=&amp;id=it8BS1ipSVQC&amp;oi=fnd&amp;pg=PR15&amp;ots=brHWZaPDTs&amp;sig=lkZZO4bL1jT0JcKQcpYjAndUgZk#v=onepage&amp;q&amp;f=false">Colquhoun, 1971</a>).</p><p>В этой статье мы предлагаем проводить t-тест не на изначальных данных, а на рангах, присвоенных этим данным — как способ повышения чувствительности экспериментов в ситуациях вроде той, что описана выше. Мы также хотим подчеркнуть, как важно понимать базовые интересы бизнеса, уделять внимание распределению данных и проводить моделирование чувствительности при выборе статистических методов.</p><p>Во-первых, мы покажем, что из себя представляет ранговая трансформация и продемонстрируем, что проведение t-теста на рангах дает примерно такие же результаты, как при применении непараметрического U-критерия Манна-Уитни.</p><p>Далее мы разберем реальные примеры с Booking.com, которые показывают, как увеличилась чувствительность экспериментов в результате применения t-теста к рангам данных. В конце статьи мы приводим конкретные рекомендации: когда использовать ранговую трансформацию в коммерческом A/B тестировании, а когда не стоит.</p><h3>Ранговая трансформация</h3><h4>Метод</h4><p>Ранговая трансформация — это просто преобразование данных путем присвоения им рангов. Таким образом, параметрический тест (например, t-тест) проводится не на самих данных, а на рангах. Данные из контрольной и тестовой выборок ранжируются вместе от меньшего к большему, а при наличии связей присваивается средний ранг.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/482/0*75B2-S6bYZHGPD7T" /></figure><p>В нашем примере в исходных данных есть большой выброс (нижний ряд). Исходное значение метрики — 100, и это сильно исказило бы статистику, если бы мы работали с самими данными,. Однако величина выброса не влияет на ранг. Самому большому значению будет присвоен ранг 6 — и не важно, 100 это или 3.</p><p>Как вариант, при распределении трафика в эксперименте 50/50, трансформацию можно определить как:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/431/0*mzYm_ScpnRkkAwA0" /></figure><p>где N — это общий размер выборки. С точки зрения мощности эксперимента, трансформация сравнима по эффективности с простым ранжированием элементов выборки, но интерпретируемость трансформированной метрики лучше — и вот почему:</p><ul><li>Среднее значение по тестовой выборке равно вероятности того, что случайный элемент из тестовой выборки больше, чем случайный элемент из контрольной выборки. Эта вероятность также известна (в зарубежных источниках) как величина эффекта “общего языка” (common language effect size) для U-критерия Манна-Уитни.</li><li>Абсолютная величина эффекта равна рангово-бисериальному коэффициента корреляции.</li></ul><h3>Взаимосвязь между t-тестом на рангах и U-критерием Манна-Уитни</h3><p>Проведение t-теста на рангах данных дает примерно такие же результаты, как применение непараметрического U-критерия Манна-Уитни. Когда применение U-критерия Манна-Уитни к инфраструктуре, с которой вы работаете, не представляется возможным, практически эквивалентной альтернативой будет t-тест на рангах, который, к тому же, достаточно прост в проведении.</p><p><strong>U-критерий Манна-Уитни</strong></p><p>Поскольку U-тест Манна-Уитни — непараметрический, он не предполагает какого-то конкретного распределения данных. Нулевая гипотеза звучит так: случайно выбранное значение из одной выборки может быть равновероятно больше или меньше случайного значения из другой выборки. Или в виде формулы:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/315/0*j7AEtp5XD2_idjBr" /></figure><p>В то же время у t-теста другая нулевая гипотеза: что средние значения в двух выборках равны:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/196/0*Rcu4gFho8AvrJOhj" /></figure><p>Таким образом, принимая решение о применении того или иного теста для решения наших задач, мы будем руководствоваться именно нулевой гипотезой.</p><ul><li>T-тест стоит выбрать, если основная задача бизнеса — узнать среднее изменение: например, если на основании средней разницы по итогам эксперимента будут приниматься финансовые решения. К примеру, t-тест является лучшей опцией, если мы хотим узнать, насколько в следующем месяце вырастет общее количество бронирований в результате изменений.</li><li>Мы не рекомендуем использовать t-тест, если бизнесу нужно знать не среднее изменение, а медиану [1] (то есть, к примеру, улучшился ли опыт взаимодействия у большинства пользователей). Например, если бизнесу нужно убедиться, что большинство пользователей в результате изменений стали бронировать чаще — тогда стоит воспользоваться U-тестом Манна-Уитни.</li></ul><p>Измерим при помощи вывода формул и моделирования, насколько “эквивалентными” являются t-тест на рангах и U-критерий Манна-Уитни. (<a href="https://onlinelibrary.wiley.com/doi/abs/10.1111/j.2044-8317.2011.02017.x">Zimmerman, 2012</a>).</p><p>Мы знаем, что по двухвыборочному t-тесту для независимых выборок у нас есть t-статистика:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/420/0*00380G4Htd_ni0ci" /></figure><p>где n — это объем выборки для выборки X, m — это объем выборки для выборки Y. N = n+m, а t-статистика сравнивается с квантилями из t-распределения с N-2 степенями свободы.</p><p>В непараметрическом U-тесте Манна-Уитни, мы заменяем значения данных на присвоенные им ранги Rᵢ от 1 до N и используем статистику (с поправкой на связи в рангах).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/352/0*6f7yuhUkRfZOWcyn" /></figure><p>где S — это сумма рангов:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/112/0*AEZINEMpWbSy9ZaR" /></figure><p>и W-статистика сравнивается со стандартным нормальным распределением, когда объем выборки больше 20.</p><p>Задача метода ранговой трансформации — вычислить t-статистику для рангов Rᵢ в точке данных, чтобы получить t-статистику (<em>прим.: в соответствии с формулой для t-статистики, между вторым и третьим слагаемым в знаменателе должен сохраниться знак +. в противном случае мы получим ряд ситуаций с отрицательными значениями под корнем</em>):</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/446/0*Rs5qSI1lsD_FnLLW" /></figure><p>Мы можем наблюдать взаимосвязь между tᵣ и W. Они не строго эквивалентны.</p><p>Взяв производную первого порядка от функции по к W, мы видим, что tᵣ является монотонной возрастающей функцией W.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/172/0*EvI9QZHvSrGsQ0uI" /></figure><p>При помощи моделирования мы попробуем изучить разницу между проведением t-теста на рангах данных и применением U-критерия Манна-Уитни в следующих аспектах:</p><ul><li>Согласованность в статистических решениях</li><li>Разница в p-значениях</li><li>Степени ошибок в зависимости от объема выборки и величины эффекта</li></ul><p>Мы смоделировали пару ненормальных распределений с:</p><ul><li>величиной эффекта от 0 до 0,1 и шагом 0,01</li><li>объемом выборки 30, 50, 100, 200, 300, 400, 500, чтобы проверить минимально необходимый объем выборки для получения «эквивалентного» результата</li><li>5000 итераций на величину эффекта на объем выборки на распределение</li></ul><p>Мы смоделировали следующие распределения, которые имитируют реальные распределения в контексте разных бизнес сценариев:</p><ul><li>Смешанное нормальное распределение состоящее из выборок из N (0, l) с вероятностью 0,95 и из N (0,400) с вероятностью 0,05. Это распределение используется для моделирования данных, содержащих выбросы;</li><li>Распределение Пуассона;</li><li>Распределение Коши с тяжелыми хвостами и без конечной дисперсии;</li><li>Соотношение нормального и равномерного распределения, также известное как slash-распределение;</li><li>Экспоненциальное распределение;</li><li>Усеченное нормальное распределение — искаженное распределение, полученное из N (0,1) путем сохранения только наблюдений, превышающих 0;</li><li>Распределение Power law</li></ul><p><strong>1.Согласованность в статистических решениях</strong></p><p>На все 2,695,000 симуляций результаты проверки значимости отличались только в 1,215 случаев. Другими словами, несогласованные статистические решения выявлены в <strong>0.045%</strong> случаев.</p><p>В таблице ниже показано соотношение согласованных и несогласованных статистических решений по разным объемам выборки для распределений Пуассона и Коши. <strong>Доля несогласованных решений снижается по мере увеличения объема выборки. </strong>Учитывая объемы выборок, с которыми нам приходится работать в бизнесе, мы вряд ли столкнемся с проблемой несогласованности статистических решений при проведении t-теста.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/554/0*A-_JVit-F0gmfLHh" /><figcaption>Таблица 1. Процент согласованных и несогласованных статистических решений по разным объемам выборки для распределений Пуассона и Коши.</figcaption></figure><p><strong>2.Разница в p-значениях между t-тестом на рангах и U-критерием Манна-Уитни.</strong></p><p>Каждое значение ограничено одним конкретным распределением. В нескольких смоделированных ненормальных распределениях мы видим<strong> немного разные но, как правило, согласованные результаты</strong> (см. ниже).</p><ol><li>На графике ниже мы видим, что разница в p-значениях достаточно маленькая (менее 0,005)</li><li>При объеме выборки более 300, расхождение p-значений ниже 0,0005</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*sNNsY8S5FOjGkxho" /><figcaption>Рис. 2a. Ошибка в p-значении: t-тест на рангах и U-критерий Манна-Уитни. Распределение Пуассона на разных объемах выборки.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*A-Okb-140kzHxxZ4" /><figcaption>Рис 2b. Ошибка в p-значении: t-тест на рангах и U-критерий Манна-Уитни. Разные распределения и разные объемы выборки.</figcaption></figure><p><strong>3.Доля ошибок в зависимости от объема выборки и величины эффекта</strong></p><p>В целом доля ошибок по разным распределениям снижается с ростом объема выборки/величины эффекта.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*yvfs-F3VFnN7p1Xh" /><figcaption>Рис. 3a. Медианные различия p-значений между t-тестом на рангах и U-критерием Манна-Уитни. Распределение power law, разные объемы выборки.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*FewYXJ45yLA5tcB7" /><figcaption>Рис. 3b. Медианные различия p-значений между t-тестом на рангах и U-критерием Манна-Уитни. Разные распределения, разные объемы выборки.</figcaption></figure><h3>Итак:</h3><ul><li><strong>Оба подхода примерно эквивалентны при достаточно большом объеме выборки (&gt;=500 для каждой выборки) — вне зависимости от величины эффекта и распределения данных;</strong></li><li><strong>В контексте проверки значимости, несогласованность статистических решений практически отсутствует (справедливо для разных распределений). </strong>Несогласованные статистические решения наблюдаются лишь в 0,045% случаев в 2,695,000 симуляциях.</li></ul><h3>Моделирование чувствительности</h3><p>T-тест довольно хорошо показал себя в условиях отклонения от предположения о нормальности распределения данных — при условии, что размер выборки достаточно велик. Однако, как мы уже говорили ранее, невозможно точно сказать, насколько большая выборка считается достаточной. Как правило, в таких ситуация рекомендуется прибегать к непараметрическим тестам, поскольку они более эффективны, чем параметрические и дают больше контроля над ошибками первого рода при ненормальном распределении данных (например, с сильной асимметрией или эксцессом <a href="https://www.springer.com/gp/book/9780387352121">Lehmann, 1979</a>).</p><p>С другой стороны, при <em>нормальном</em> распределении данных, непараметрические тесты вроде U-критерия Манна-Уитни или ранговой трансформации будут менее эффективны — для выявления той же величины эффекта потребуется б<strong>о</strong>льший объем выборки. Если предположение о нормальном распределении справедливо, U-тест Манна-Уитни показывает асимптотическую относительную эффективность 0,955 по отношению к t-тесту. Это означает, что когда объем выборки стремится к бесконечности, а данные нормально распределены, относительная эффективность U-теста Манна Уитни в сравнении с t-тестом составляет 0,95.</p><p>Однако этот результат относится к бесконечной выборке. Мы не знаем, насколько эффективен будет тест в условиях нашей конечной выборки.</p><p><strong>Моделирование чувствительности поможет нам оценить, какую минимальную величину эффекта нам нужно получить в разных статистических тестах, чтобы понять, какой метод лучше подойдет для решения конкретной задачи.</strong> Мы смоделируем относительную минимально-обнаруживаемую величину эффекта для разных корректировок метрики, показанной ранее. Структура симуляции показана на на рис. 4.</p><p>Во-первых, мы проводим повторную выборку, подставляя данные из реальных экспериментов и случайным образом разбиваем каждую выборку на контрольную и тестовую. Далее мы добавляем разные искусственные (относительные) величины эффекта в тестовые выборки и проводим статистические тесты, чтобы выявить, проявляется ли добавленный эффект. По каждой выборке мы сможем оценить минимально-обнаруживаемую величину эффекта (minimum detectable effect) и предполагаемый объем выборки со статистической мощностью 80% для каждого метода.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*s124rIf47xZZtF--" /><figcaption>Рис. 4. Как смоделировать мощность метрики, используя реальные данные экспериментов.</figcaption></figure><p>С помощью моделирования чувствительности мы оценили минимально-обнаруживаемую величину эффекта (minimum detectable effect) в нашей нескорректированной метрике, показанной на рис. 1. Результат показан на рис. 5. Он показывает, что мы можем наблюдать статистически значимый результат в 80% случаев, при истинной относительном величине эффекта 17,9%.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/568/0*Juy6Hg2GCRBeHSIh" /><figcaption>Рис. 5. Смоделированная мощность нескорректированной метрики с порогом частоты ложно-положительных результатов 10%. Минимальный эффект, необходимый для получения статистически-значимого результата в 80% случаев, составляет 17,9%.</figcaption></figure><p>Имея на руках такое ненормальное распределение, можно попробовать преобразовать данные в нормальное распределение (например, провести логарифмическое преобразование), как показано на рис. 6. Однако для повышения вероятности выявления истинного эффекта, логарифмическое преобразование не особо-то помогло. Как мы видим, для получения статистически значимого результата в 80% случаев в логарифмически-преобразованной метрике истинный относительный эффект должен составлять 16%. То есть значительного улучшения по отношению к нескорректированной метрике (17,9%) мы не наблюдаем.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/568/0*xnpK87LsJ1gcLwUq" /><figcaption>Рис. 6. Логарифмически преобразованная метрика (слева) и смоделированная мощность этой метрики (справа). Как видите, несмотря на то, что распределение больше похоже на нормальное, значительного роста мощности мы не наблюдаем.</figcaption></figure><p>Мы можем сильнее уменьшить минимально-обнаруживаемую величину эффекта в экспериментах за счет уменьшения дисперсии (например, корректировки данных “до эксперимента”). Как видно на рисунке 7, в результате корректировки по методу CUPED чувствительность метрики значительно увеличилась: минимально-обнаруживаемый размер эффекта снизился до 8,4%.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/568/0*wYVzskfWu6WYY2VI" /><figcaption>Рис. 7. Метрика, скорректированная по методу CUPED (слева) и смоделированная мощность метрики (справа). Корректировка CUPED не привела распределение метрики к нормальному, но значительно повысила чувствительность метрики за счет корректировки данных “до эксперимента”.</figcaption></figure><p>Однако метрика, скорректированная по CUPED, все еще ненормально распределена и “засорена” выбросами. Поэтому проведем ранговую трансформацию на скорректированной метрике, чтобы еще увеличить ее чувствительность.</p><p>Мы применяем ранговую трансформацию к метрике, скорректированной по CUPED. Как видно на рисунке 8, метрика после ранговой трансформации распределена равномерно, выбросов больше нет. За счет того, что мы провели ранговую трансформацию после корректировки по CUPED, мы значительно снизили дисперсию и упорядочили форму распределения, за счет чего чувствительность значительно выросла — минимально-обнаруживаемый размер эффекта теперь составляет 4,2%.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/568/0*wNIZpAJ4CWLH__Me" /><figcaption>Рис. 8. Распределение метрики после ранговой трансформации (слева) и смоделированная мощность метрики (справа). Ранговая трансформация проводилась после корректировки по CUPED. В результате минимально-обнаруживаемый размер эффекта значительно снизился.</figcaption></figure><p><strong>Минимально-обнаруживаемый размер эффекта: Сравнение</strong></p><p>На рисунке 9 мы видим как в результате разных корректировок меняется минимальная величина эффекта для получения статистически-значимых результатов в 80% случаев. Очевидно, что пара “ранговая трансформация + CUPED” самая эффективная: минимально-обнаруживаемый эффект составляет 4,2%.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*KXEe9ihHUgAExx1V" /><figcaption>Рис. 9. Минимально-обнаруживаемый эффект при мощности 80% после разных корректировок.</figcaption></figure><p>Говоря конкретно, если бы мы работали с нескорректированной метрикой, для получения статистически-значимого результата в 80% случаев нам потребовалось бы проанализировать в 17,95 раз больше посещений — только в этом случае мы бы получили минимально-обнаруживаемый размер эффекта 4,2% (см. сравнение всех корректировок на рис. 10). <strong>Это огромное улучшение — применив ранговую трансформацию и CUPED, мы можем измерить размер эффекта за 2 недели. Работай мы с нескорректированной метрикой, этот процесс занял бы почти 36 недель.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*U3yTeH4ZL_XRhb2s" /><figcaption>Рис. 10. Относительное количество посещений, достаточное для получения того же размера эффекта при ожидаемой мощности 80% без корректировки. Проведение ранговой трансформации в сочетании с CUPED эквивалентно увеличению размера выборки в 17,95 раз.</figcaption></figure><h3><strong>Ранговая трансформация: применять или не применять?</strong></h3><p>Несмотря на то, что ранговая трансформация может здорово увеличить чувствительность эксперимента при ненормальном распределении данных, применять ее уместно далеко не всегда, поскольку в процессе ранговой трансформации тестируется другая нулевая гипотеза, нежели в t-тесте (как мы уже писали ранее). Нулевая гипотеза в t-тесте предполагает, что средние значения в двух выборках равны. А нулевая гипотеза для ранговой трансформации звучит так: случайно выбранное значение из одной выборки может быть равновероятно больше или меньше случайного значения из другой выборки. Выбирая, какой тест подходит нам больше, мы будем руководствоваться конкретным интересом бизнеса.</p><p>Таким образом, для выбора наиболее подходящего метода под конкретную задачу, мы рекомендуем:<strong> отталкиваться от ключевого интереса бизнеса, изучить распределение данных и провести моделирование чувствительности, чтобы выяснить минимально-обнаруживаемый размер эффекта.</strong></p><h3><strong>Когда применять ранговую трансформацию:</strong></h3><ul><li>Когда основной интерес бизнеса — выявить не среднее изменение, а медиану (то есть, к примеру, изменится ли пользовательский опыт большинства в лучшую сторону)</li><li>Когда распределение данных сильно искажено и далеко от нормального и когда ранговая трансформация повышает вероятность выявить меньший размер эффекта.</li></ul><h3><strong>Когда не стоит применять ранговую трансформацию:</strong></h3><ul><li>Когда основной интерес бизнеса — выявить среднее изменение (если, например, на основании среднего изменения в результате эксперимента будут приниматься финансовые решения). В таких случаях мы рекомендуем для увеличения чувствительности эксперимента применять метод корректировки ковариата (например, CUPED) — или использовать другие методы (вроде усеченного t-теста) для обработки возможных выбросов</li><li>Когда распределение данных близко к нормальному и когда ранговая трансформация не увеличивает вероятность выявления меньшего размера эффекта.</li></ul><p><strong>Благодарности</strong></p><p>Хочется поблагодарить <a href="https://medium.com/u/9c76746e810f?source=post_page-----c01aff70b255----------------------">Рафаэля Моро</a>, <a href="https://medium.com/u/b5dc69191d6c?source=post_page-----c01aff70b255----------------------">Темиса Мавридиса</a> и <a href="https://medium.com/u/db6ba22189a0?source=post_page-----c01aff70b255----------------------">Стивена Багули</a> за их ценный вклад в статью.</p><p>Примечание:</p><p>[1] U-критерий Манна-Уитни можно использовать для сравнения медиан, но для этого требуется сделать дополнительное предположение о формах распределений. (<a href="https://www.jstor.org/stable/2283092?seq=1">Pratt, 1964</a> &amp; <a href="https://www.sciencedirect.com/science/article/abs/pii/S0003347201916914">Kasuya, 2001</a>)</p><p><a href="https://booking.ai/increasing-sensitivity-of-experiments-with-the-rank-transformation-draft-c01aff70b255">Оригинал статьи на booking.ai</a></p><p>Подписывайтесь на наш канал в Telegram: <a href="https://t.me/exp_fest">https://t.me/exp_fest</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=32a4f72a86fc" width="1" height="1" alt=""><hr><p><a href="https://medium.com/statistics-experiments/%D1%83%D0%B2%D0%B5%D0%BB%D0%B8%D1%87%D0%B8%D0%B2%D0%B0%D0%B5%D0%BC-%D1%87%D1%83%D0%B2%D1%81%D1%82%D0%B2%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D1%8C-%D1%8D%D0%BA%D1%81%D0%BF%D0%B5%D1%80%D0%B8%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2-%D0%BF%D1%80%D0%B8-%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D0%B8-%D1%80%D0%B0%D0%BD%D0%B3%D0%BE%D0%B2%D0%BE%D0%B9-%D1%82%D1%80%D0%B0%D0%BD%D1%81%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8-32a4f72a86fc">Увеличиваем чувствительность экспериментов при помощи ранговой трансформации</a> was originally published in <a href="https://medium.com/statistics-experiments">expf</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>