<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by David PIRY on Medium]]></title>
        <description><![CDATA[Stories by David PIRY on Medium]]></description>
        <link>https://medium.com/@klessou?source=rss-265d984b875d------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*dsumvsN1FNXMhV9y74f1aA.jpeg</url>
            <title>Stories by David PIRY on Medium</title>
            <link>https://medium.com/@klessou?source=rss-265d984b875d------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 16:48:28 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@klessou/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[A/B testing search and discovery to optimize a marketplace’s fluidity]]></title>
            <link>https://medium.com/@klessou/a-b-testing-search-and-discovery-to-optimize-a-marketplaces-fluidity-5adf9288aa35?source=rss-265d984b875d------2</link>
            <guid isPermaLink="false">https://medium.com/p/5adf9288aa35</guid>
            <category><![CDATA[startup-lessons]]></category>
            <category><![CDATA[marketplaces]]></category>
            <category><![CDATA[ab-test]]></category>
            <category><![CDATA[algolia]]></category>
            <category><![CDATA[product-management]]></category>
            <dc:creator><![CDATA[David PIRY]]></dc:creator>
            <pubDate>Wed, 31 Oct 2018 15:59:54 GMT</pubDate>
            <atom:updated>2019-06-06T16:17:18.933Z</atom:updated>
            <content:encoded><![CDATA[<h4>A powerful search, a more seamless marketplace</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GUUGfda001oeGHshow3-nA.png" /></figure><p>Videdressing connects individual buyers and sellers. Guiding these buyers to the items they want also means that the seller is satisfied as quickly as possible. Liquidity is guaranteed when products are being sold as quickly as possible: we, therefore, need to optimize interactions between users and items.</p><p>Visitors browse a catalog of products using Search and Discover: two complementary concepts that guide them. Our platform offers various interaction circuits (even if it is the same technical building block that answers queries):</p><ul><li>The <strong>catalog</strong>: browsing it is a bit like window shopping.</li><li><strong>Inspiration</strong>: merchandising and promoted content made by our teams.</li><li>The <strong>search field</strong>, which responds to specific search queries and suggests related or popular searches.</li><li><strong>Personalization</strong> and <strong>recommendation</strong>: an algorithm which tailors the results depending on the user.</li></ul><p>Creating a powerful search engine involves understanding the users’ intentions. An intention is defined by a number of dimensions, for example:</p><blockquote>· Does the user have a vague idea of what he is looking for or do they know exactly what it is they need?</blockquote><blockquote>· How important is it to the user that he find the right result?</blockquote><blockquote>· How much time and effort is the user willing to invest to find the right item?</blockquote><blockquote>· To what extent does the user want to control his search using filtering and sorting tools?</blockquote><blockquote>· Is the user willing to discover items by receiving suggestions or does he want browse all of the results one by one?</blockquote><blockquote>· …</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/943/1*gcR6fCiF32e4QOgPGZD-JQ.png" /><figcaption><em>In this article, Shakhina Pulatova wrote about how search works at LinkedIn. She gave a remarkable explanation of the concept and the issues related to searching (see below).</em></figcaption></figure><p><a href="https://www.mindtheproduct.com/2018/09/building-search-products-with-machine-learning-shakhina-pulatova/">Building Search Products With Machine Learning - Shakhina Pulatova - Mind the Product</a></p><h3>Diversity of behaviors + deep diversified product catalog = complex analysis</h3><p>When you go shopping, you will generally find yourself in one of the following two situations: you have a very precise idea of what you’re looking for and you head straight to the item that you want, or you browse the entire shop looking for a bargain or indulge in an impulse buy.</p><p>On a platform dedicated to second-hand fashion such as Videdressing, users can also find themselves in one of these two situations. We can observe that product discovery behaviors are incredibly diverse when product catalogs are diversified: our platform offers around 1 million unique items from over 10,000 brands.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/744/1*TW5HpHIE1yhIH-pPJf6dzg.gif" /></figure><p>On Videdressing, sellers are free to sell any fashion item and set the price. We don’t do any curation. Although we check and <a href="https://landings.videdressing.com/garanties-videdressing#anchor_guaranties">guarantee the authenticity</a> of the items, we don’t pass judgment on any of the items put on sale.</p><p>Nevertheless, the platform must ensure that the best deals don’t get lost in this vast catalogue, despite the desire of many users to bargain-hunt. Videdressing can’t just be some sort of huge second-hand clothes shop where all the items are mixed up. As mentioned above, it’s all about our users’ satisfaction (sellers and buyers), but also the good health of the business.</p><h3>Algolia as a technical platform</h3><p>We have chosen to use Algolia for our search engine as well as for our catalog, and gradually Algolia will also become the technical platform for our merchandising.</p><p>This solution meets both our needs and limitations:</p><ul><li>Rapid roll-out to speed up time-to-market.</li><li>The team needed to implement and maintain Algolia is much smaller compared to the team needed for a traditional search engine.</li><li>Focus on the improvement of algorithms and data analysis.</li><li>Quick response time for users and SEO.</li></ul><p><em>It would be interesting to look at the reasons for this choice in more detail (most probably in a future article 🙏)</em></p><p>As with other search engines, a number of criteria would have to be optimized in order to achieve a completely seamless experience:</p><ul><li><strong>Relevance</strong>: giving results that best match the search query.</li><li><strong>Ranking</strong>: boosting results to offer items that offer the best chance of conversions.</li><li><strong>Personalization</strong>: tailoring the results to the user profile.</li><li>Case-by-case <strong>optimization</strong> (edge-cases): optimizing the research results that have low conversion rates.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/943/1*3sAegZFWlTpHaw-O6C4POA.png" /><figcaption>We quickly found ourselves at the controls of a huge dashboard.</figcaption></figure><p>One of Algolia’s unique features is its Tie-breaking** ranking algorithm, which offers the opportunity to make changes to the ranking on the fly.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/471/1*0qoP4hY5RPBat0xg6_U3pA.png" /><figcaption><em>**Illustration of how Tie-Breaking works: inverting the two parameters in the formula means the results are different.</em></figcaption></figure><h3>A/B test strategy to improve fluidity</h3><p>For all of the above reasons, we believed we had to improve our search engine. However, we still needed to find the right KPIs to monitor in order to know if we are moving in the right direction. There is sometimes a strong desire to monitor macro indicators such as conversion (number of transactions/number of sessions), the AOV (Average Order Value), or the GMV (Gross Merchandise Value). Instead, we instinctively preferred to focus on indicators that are more closely related to the changes that we have made.</p><p>After a few weeks of experimentation, we concluded that this was indeed an excellent practice. We mustn’t forget that A/B testing is a science! While you won’t need to go back over your statistics courses, you will still need to master some basic concepts in order to be comfortable with the resulting decision-making.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/914/1*4TZJh3NzZ4J43uj46Sspaw.png" /><figcaption><a href="https://abtestguide.com/calc/">https://abtestguide.com/calc/</a> is a tool that provides a good illustration of the statistical problems linked to decision-making as a result of an A/B Test.</figcaption></figure><p>We used two KPIs to analyze our tests for updating our ranking algorithms:</p><ul><li><strong>CTR</strong>: the percentage of searches with at least one click on a product.</li><li>The <strong>conversion</strong> (of searches): the percentage of searches which result in at least one addition to the wishlist or the basket.</li></ul><p>While we were initially conducting A/B tests from an internal system, Algolia now offers a feature which makes it possible to centralize the configuration of A/B tests and facilitate the visualization of results (webinar on the subject: <a href="https://embed.vidyard.com/share/cxKbcbbgqvrnE4xhFjTMQo?custom_id=&amp;trk=organization-update-content_share-video-embed_share-article_title">“How Videdressing optimized their search with A/B testing”</a>)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/943/1*I7IDkmV3RBYh3B2yTQd3yg.png" /><figcaption>The very first test carried out using the Algolia tool.</figcaption></figure><p>This is how we constantly test new parameter combinations in the Tie-Breaking algorithm, adding new parameters based on our analyses and by altering the order of these parameters.</p><p>We noticed that the test needed to last for at least one week in order to ensure that the traffic was representative enough (a very important parameter needed to be able to confidently draw percentage conclusions). We, therefore, record the conclusions and results of each A/B test. We’re not short on ideas! We already have an idea of what we want to test in the coming months.</p><p>However, we found that analyzing the performance of results personalization using A/B testing is a complex task. We can begin by comparing the conversion of users who are or aren’t presented with personalized results. However, users who have voluntarily customized their experience will certainly be more engaged. It’s therefore impossible to draw any real conclusions. We had to create an A/B testing system ourselves using “custom dimensions” in Google Analytics. Also, we consider that analyzing every small personalization parameters can lead to impossible decisions since we wouldn’t probably get enough traffic to ensure acceptable levels of confidence.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/943/1*elhFLUBa6cV4BPIKrLhWpg.png" /><figcaption>It’s very reassuring to see that the conversion rate of users who personalize their results is much higher than for others.</figcaption></figure><p>Continually improving our search engine is crucial for improving the fluidity of our marketplace. We perform continuous A/B tests in order to verify the strategic choices made about changes to the engine. We will certainly have to revisit changes made in the past, test them again and not forget the (still statistical) local maximum problem which could later prompt us to test much more radical changes, as opposed to the very iterative method adopted thus far.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/480/1*_PEf8YyaowIsLOM8ToG2KQ.gif" /></figure><p>An observation? An opinion? Feel free to send your comments!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5adf9288aa35" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Fluidifier une Marketplace grâce à l’A/B test de son moteur de recherche]]></title>
            <link>https://medium.com/videdressing-engineering/abtesting-marketplace-search-engine-algolia-2c54c4172c1?source=rss-265d984b875d------2</link>
            <guid isPermaLink="false">https://medium.com/p/2c54c4172c1</guid>
            <category><![CDATA[algolia]]></category>
            <category><![CDATA[ab-test]]></category>
            <category><![CDATA[marketplaces]]></category>
            <category><![CDATA[product-management]]></category>
            <category><![CDATA[startup-lessons]]></category>
            <dc:creator><![CDATA[David PIRY]]></dc:creator>
            <pubDate>Wed, 10 Oct 2018 08:11:26 GMT</pubDate>
            <atom:updated>2019-03-01T15:28:12.833Z</atom:updated>
            <content:encoded><![CDATA[<h3>Fluidifier une marketplace grâce à l’A/B test de son moteur de recherche</h3><p><strong><em>Une recherche performante, une plateforme plus fluide.</em></strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GUUGfda001oeGHshow3-nA.png" /></figure><p>Videdressing met en relation des vendeurs et des acheteurs particuliers. Guider ces acheteurs vers les articles qu’ils désirent, c’est aussi satisfaire au plus vite le vendeur. La place de marché sera fluide si les articles s’écoulent le plus rapidement possible : il nous faut donc optimiser les interactions entre les utilisateurs et les articles.</p><p>Les visiteurs parcourent un inventaire par la « <strong>Recherche »</strong> et la « <strong>Découverte »</strong> : deux concepts complémentaires pour guider l’utilisateur. Notre plateforme propose ainsi différents circuits d’interactions (même si c’est la même brique technique qui répond) :</p><ul><li>Le <strong>catalogue</strong> : le parcourir, c’est un peu faire du lèche vitrine.</li><li>Les <strong>inspirations</strong> : le merchandising et les sélections réalisées par nos équipes.</li><li>Le <strong>champ de recherche</strong>, qui répond aux recherches précises et suggère des recherches associées ou populaires.</li><li>La <strong>personnalisation</strong> et la <strong>recommandation</strong> : algorithme qui adapte les résultats en fonctions des utilisateurs.</li></ul><p>Réaliser un moteur de recherche performant, c’est comprendre l’intention des utilisateurs. Une « Intention » est définie par plusieurs dimensions, par exemple :</p><blockquote>· Est-ce que l’utilisateur a une vague idée de ce qu’il cherche ou connait-il exactement son besoin ?</blockquote><blockquote>· À quel point l’utilisateur a besoin de trouver le bon résultat ?</blockquote><blockquote>· Combien de temps et d’effort l’utilisateur est-il prêt à investir pour trouver le bon article ?</blockquote><blockquote>· À quel point l’utilisateur souhaite maitriser sa recherche via des outils de filtrage et de tri ?</blockquote><blockquote>· L’utilisateur est-il prêt à faire des découvertes via des propositions ou souhaite-t-il parcourir tous les résultats un par un ?</blockquote><blockquote>· …</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/943/1*9vo0qLJSXsN1xDmgALgA0Q.png" /><figcaption><em>En écrivant cet article, Shakhina Pulatova présentait comment la recherche fonctionnait chez LinkedIn. Elle a remarquablement bien expliqué cette notion et les problématiques liées à la recherche (voir ci-dessous).</em></figcaption></figure><p><a href="https://www.mindtheproduct.com/2018/09/building-search-products-with-machine-learning-shakhina-pulatova/">Building Search Products With Machine Learning - Shakhina Pulatova - Mind the Product</a></p><h3>Multiplicité des comportements et d‘articles = analyse complexe</h3><p>Lorsque vous faites les magasins, vous vous retrouvez le plus souvent dans l’une des deux situations suivantes : vous avez une idée très précise de ce que vous recherchez et vous allez droit au but directement vers l’article que vous désirez, ou vous parcourez toute la boutique à la recherche d’une bonne affaire, voire d’un coup de cœur.</p><p>Sur une plateforme dédiée à la mode de seconde main comme Videdressing, les utilisateurs peuvent également se retrouver dans l’une ou l’autre situation. On observe en effet que les comportements de recherche d’articles sont extrêmement variés dans un catalogue qui est également particulièrement hétérogène : notre plateforme propose environ 1 million d’articles uniques répartis parmi 10000 marques.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/744/1*98qxkraqukDWQDy_U5onJQ.gif" /></figure><p>Sur Videdressing, les vendeurs sont libres de vendre n’importe quel article de mode et d’en fixer le prix. Ainsi nous ne faisons aucune curation. Même si nous contrôlons et <a href="https://landings.videdressing.com/garanties-videdressing#anchor_guaranties">garantissons l’authenticité</a> des articles, nous ne portons aucun jugement sur l’article mis en vente.</p><p>Néanmoins, la plateforme doit assurer que les meilleures affaires ne se retrouvent pas noyées parmi ce vaste catalogue, et ce malgré l’envie de chiner de nombreux utilisateurs. Videdressing ne peut pas être une sorte d’immense friperie, où tous les articles sont mélangés. Comme évoqué plus haut, il en va de la satisfaction de nos utilisateurs (vendeurs et acheteurs), mais aussi de la bonne santé du business.</p><h3>Algolia comme socle technique</h3><p>Nous avons fait le choix d’utiliser Algolia pour notre moteur de recherche comme pour notre catalogue, et peu à peu, Algolia deviendra aussi le socle technique pour le merchandising.</p><p>En effet, cette solution répondait bien à nos besoins et contraintes :</p><ul><li>Déploiement rapide pour accélérer le time-to-market.</li><li>Équipe nécessaire limitée par rapport à un moteur de recherche classique.</li><li>Concentration des efforts sur l’amélioration des algorithmes et de l’analyse de la data.</li><li>Rapidité des temps de réponse pour les utilisateurs et le SEO.</li></ul><p><em>Il serait intéressant de revenir plus en détail sur les raisons de ce choix (dans un prochain article surement </em>🙏<em>)</em></p><p>Comme pour d’autres moteurs de recherche, il faut passer par l’optimisation de nombreux critères pour atteindre une expérience complètement fluide :</p><ul><li>La <strong>pertinence</strong> : remonter les résultats qui correspondent au mieux à la recherche.</li><li>Le <strong>ranking</strong> : booster les résultats pour proposer les articles qui ont le plus de chance de convertir.</li><li>La <strong>personnalisation</strong> : adapter les résultats en fonction du profil de l’utilisateur.</li><li><strong>Optimisations</strong> au cas par cas (edge-cases) : optimiser les résultats des recherches qui convertissent peu.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/943/1*5-XvR0NQjQYIXR8hyJA82w.png" /><figcaption>On se retrouve vite aux commandes d’un immense tableau de bord.</figcaption></figure><p>Une des particularités d’Algolia est son algorithme de ranking en Tie-breaking**, qui permet de faire des modifications du ranking à la volée lorsqu’il n’est pas nécessaire d’avoir d’informations supplémentaires dans l’index.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/690/1*ie8vD9V09df_ehq8tiJtvw.png" /><figcaption>*Illustration du fonctionnement du Tie-Breaking : en inversant deux paramètres dans la formule les résultats sont différents</figcaption></figure><h3>Stratégie d’A/B test pour améliorer la fluidité</h3><p>Pour toutes les raisons évoquées précédemment, nous étions convaincus qu’il fallait améliorer notre moteur de recherche. Cependant, il nous fallait encore trouver les bons KPIs à monitorer pour savoir si nous allions dans la bonne direction. L’envie est parfois grande de surveiller les indicateurs macros comme la conversion (nombre de transactions / nombre de sessions), le panier moyen, ou encore la GMV (volume d’affaires). Néanmoins, nous avons instinctivement préféré nous concentrer sur des indicateurs plus proches des modifications que nous avons réalisées.</p><p>Quelques semaines d’expérimentation plus tard, nous avons constaté que c’était en effet une excellente pratique. Il ne faut pas oublier que l’A/B testing est une science ! Sans revenir sur vos cours de statistiques, il faudra néanmoins maitriser quelques notions basiques pour être à l’aise avec les prises de décisions résultantes.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/914/1*yYvfsJ1ty04XXklMMSmOWA.png" /><figcaption><a href="https://abtestguide.com/calc/">https://abtestguide.com/calc/</a> est un outil qui illustre bien les problématiques statistiques liées à la prise de décision à partir d’un A/B Test</figcaption></figure><p>Aussi avons-nous utilisé deux KPIs pour analyser nos tests de mise à jour de nos algorithmes de ranking :</p><ul><li>Le <strong>CTR</strong> : le pourcentage de recherche avec au moins un clic sur un produit.</li><li>La c<strong>onversion</strong> (de recherche) : le pourcentage de recherche avec au moins un ajout en wishlist ou un ajout au panier.</li></ul><p>Si au départ nous A/B testions à partir d’un système maison, Algolia propose désormais un outil* qui permet de centraliser la configuration des A/B tests et de faciliter la visualisation des résultats (<em>webinar sur le sujet : </em><a href="https://embed.vidyard.com/share/cxKbcbbgqvrnE4xhFjTMQo?custom_id=&amp;trk=organization-update-content_share-video-embed_share-article_title"><em>« How Videdressing optimized their search with A/B testing »</em></a><em> )</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/943/1*3UsDyrNH-eiW0BVItPLrPQ.png" /><figcaption>Le tout premier test effectué avec l’outil d’Algolia</figcaption></figure><p>C’est ainsi que nous testons en permanence de nouvelles combinatoires de paramètres dans l’algorithme de Tie-Breaking, en ajoutant des nouveaux paramètres basés sur nos analyses et en modifiant l’ordre de ces paramètres.</p><p>Nous avons remarqué qu’un test devait durer au moins une semaine pour que le trafic envoyé soit suffisamment représentatif (paramètre très important à connaitre pour pouvoir tirer des conclusions du pourcentage de confiance). Ainsi, nous enregistrons les conclusions et les résultats de chaque A/B Test. Les idées ne manquent pas ! Nous avons déjà en tête ce que nous souhaitons tester pour les mois à venir.</p><p>Nous avons néanmoins constaté que l’analyse des performances de la personnalisation des résultats par l’A/B testing est une tâche complexe. On peut commencer par comparer la conversion des utilisateurs à qui l’on présente ou non des résultats personnalisés. En revanche, les utilisateurs ayant personnalisé volontairement leur expérience sont certainement les plus engagés. Il est ainsi impossible de tirer de réelles conclusions. Ici nous avons dû créer nous même un système d’A/B testing à partir de « custom-dimensions » dans Google-Analytics. Et nous présumons qu’une analyse trop détaillée pourrait se conclure par des décisions impossibles si les volumes ne sont pas suffisants pour atteindre des résultats statistiquement significatifs.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/943/1*Ce283CD0tBBnDi-yAFbOzw.png" /><figcaption>Très rassurant de voir la conversion des utilisateurs qui personnalisent leurs résultats sont bien meilleurs que les autres</figcaption></figure><p>L’amélioration continue de notre moteur de recherche est un projet essentiel pour améliorer la fluidité de notre marketplace. Nous réalisons de manière continue des A/B tests afin de valider les choix stratégiques pris sur les changements effectués dans le moteur. Il faudra surement revenir sur les choix pris dans le passé, les tester à nouveau et ne pas perdre en tête la problématique (statistique encore) du <a href="https://conversionxl.com/blog/local-maximum/">maximum local</a> qui pourrait nous inciter plus tard à tester des changements beaucoup plus radicaux, à l’opposé de la méthode très itérative adoptée jusqu’à présent.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/480/1*EpnBFtLtA1Qoun8oOh9TBQ.gif" /></figure><p>Une remarque ? Un avis ? N’hésitez pas à échanger avec nous !</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2c54c4172c1" width="1" height="1" alt=""><hr><p><a href="https://medium.com/videdressing-engineering/abtesting-marketplace-search-engine-algolia-2c54c4172c1">Fluidifier une Marketplace grâce à l’A/B test de son moteur de recherche</a> was originally published in <a href="https://medium.com/videdressing-engineering">Videdressing Labs</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>