<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Nora Gjøen-Gjøsæter on Medium]]></title>
        <description><![CDATA[Stories by Nora Gjøen-Gjøsæter on Medium]]></description>
        <link>https://medium.com/@2gj?source=rss-f51be9b9ecb1------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*A0BZncuLA6wGYFpIE-DYwA.png</url>
            <title>Stories by Nora Gjøen-Gjøsæter on Medium</title>
            <link>https://medium.com/@2gj?source=rss-f51be9b9ecb1------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 22:20:33 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@2gj/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Hva er egentlig RAG, og hvorfor er det viktig nå?]]></title>
            <link>https://medium.com/kantega/hva-er-egentlig-rag-og-hvorfor-er-det-viktig-n%C3%A5-977f0ffb27d7?source=rss-f51be9b9ecb1------2</link>
            <guid isPermaLink="false">https://medium.com/p/977f0ffb27d7</guid>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[large-language-models]]></category>
            <category><![CDATA[prompt-engineering]]></category>
            <dc:creator><![CDATA[Nora Gjøen-Gjøsæter]]></dc:creator>
            <pubDate>Fri, 26 Jan 2024 13:42:19 GMT</pubDate>
            <atom:updated>2024-01-29T07:55:07.091Z</atom:updated>
            <content:encoded><![CDATA[<h3>RAG: En effektiv måte å komme i gang med generativ AI basert på egne data</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*55J9oedkbXicHGHy5NahnA.png" /><figcaption>Illustrasjon generert av <a href="https://github.com/divamgupta/diffusionbee-stable-diffusion-ui">Stable Diffusion / Diffusion Bee</a></figcaption></figure><p>RAG, eller Retrieval-Augmented-Generation, lar deg utnytte store språkmodeller som GPT-4 ved å berike og avgrense modellen til et kvalitetssikret kunnskapsgrunnlag. Med dette begrenser man sannsynligheten for hallusinasjoner og utdaterte svar . Kostnadseffektivt er det også.</p><h3><strong>RAG — kjapt forklart</strong></h3><p>RAG, er en prosess der output fra en stor språkmodell tilpasses informasjon som ikke nødvendigvis var del i trening av den opprinnelige modellen. Kapabilitetene fra store, generelle språkmodeller kombineres med kontekstberiking og tilpasning av respons på en kostnadseffektiv måte.</p><p>En RAG-løsning lar deg ‘snakke med’ data, og kan for eksempel presenteres som spørsmål- og svartjenester, domeneeksperter eller personaliserte chatbots.</p><p>Figuren under viser et eksempel på hvordan en enkel RAG-løsning kan settes opp.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6tT7R4frdQ_0Kd8LWHW2_Q.png" /><figcaption>RAG-løsning i korte trekk</figcaption></figure><p>I eksempelet har vi en spørsmål- og svartjeneste som skal dra nytte av egne data. Vi trenger i utgangspunktet kun 3 enkle elementer:</p><ul><li>En vektordatabase som inneholder <a href="https://en.wikipedia.org/wiki/Word_embedding">numerisk representasjon</a> av et oppdatert og kvalitetssikret kunnskapsgrunnlag. Dette er tegnet inn som ‘egne data’.</li><li>Tilgang til en stor språkmodell</li><li>Et brukergrensesnitt</li></ul><p>I denne løsningen starter vi med å ta input fra en bruker (1). Denne inputen konverteres deretter til et format som gjør det mulig å lete etter relatert informasjon, uten å kreve for eksempel ordlikhet (2). Dette gjøres typisk ved å beregne en form for avstand, som <a href="https://en.wikipedia.org/wiki/Cosine_similarity">cosinuslikhet</a>, mellom den numeriske representasjonen av spørsmålet og av tekstutdrag i kunnskapsdatabasen.</p><p>Deretter kombineres det opprinnelige spørsmålet med relevant informasjon, og sendes til en stor, generell språkmodell (3). Ved gode instrukser, eller <a href="https://en.wikipedia.org/wiki/Prompt_engineering">prompts</a>, vil man da kunne peke modellen i retning gode svar, avgrenset til aktuell kontekst gitt av treff i kunnskapsdatabasen.</p><p>Svaret fra språkmodellen sendes deretter tilbake til brukeren (3–4).</p><p>I mange RAG-løsninger vil man også legge på mellomsteg som for eksempel søker i (pregenererte) oppsummeringer, formaterer output og sjekker eller reformulerer input.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/512/1*Q12FSfad8C6AP3pmOVW8dQ.png" /><figcaption>En oppdatert og kvalitetssikret kunnskapsdatabase er gullet i god RAG-løsning. Bilde generert med <a href="https://github.com/divamgupta/diffusionbee-stable-diffusion-ui">Stable Diffusion / Diffusion Bee</a></figcaption></figure><p>Kunnskapsdatabasen må oppdateres jevnlig, og være kvalitetssikret for feil. Det er denne som virkelig er ‘gullet’ i løsningen — og som vil representere noe ingen generell språkmodell vil kunne tilby ut av boksen.</p><h3><strong>Hvorfor er RAG nyttig akkurat nå?</strong></h3><p>Bruk av store, generelle språkmodeller, som ChatGPT, innebærer en del kjente utfordringer. Blant annet vil modellene kunne gi uriktig informasjon når svaret ikke er kjent, og svare basert på utdatert informasjon eller upresise kilder. Dette skyldes blant annet at store språkmodeller er basert på enorme treningsdatasett som umulig kan inspiseres og kvalitetssikres manuelt.</p><p>I stedet for å ta i bruk RAG, kunne mange av disse utfordringene vært løst ved å dumpe en komplett kunnskapsdatabase direkte til store språkmodeller, og be modellen svare på bakgrunn av dette. Hovedutfordringen med denne tilnærmingen, er at selv de mest kraftfulle modellene, som OpenAIs GPT-4, har begrensinger når det gjelder <a href="https://platform.openai.com/docs/guides/fine-tuning/token-limits">hvor mye kontekst</a> man kan gi i en enkel prompt.</p><p>RAG er et forsøk på å jobbe rundt denne begrensningen, og gir samtidig flere store fordeler målt mot direkte bruk av store språkmodeller og enkel prompt engineering.</p><h4>Mindre hallusinasjoner</h4><p>En av de virkerlig store fordelene med RAG er at vi begrenser sannsynligheten for hallusinasjoner.</p><p>Ved å kombinere gode eksempler, tydelig instruksjon, og en kvalitetssikret og avgrenset kontekst, blir sannsynligheten for at modellen gir uriktig eller utdatert informasjon langt lavere. Ved god prompt engineering sørger vi også for at modellen ikke forsøker å svare på spørsmål utenfor konteksten den gis.</p><p>Det er verdt å nevne at RAG-teknikk ikke er en 100% sikker metode som sikrer at modellen holder seg innenfor relevant kontekst. Gjennom såkalt ‘<a href="https://github.com/0xk1h0/ChatGPT_DAN?ref=blog.seclify.com">jailbreaking</a>’ vil det fortsatt være mulig å få modellen til å gi uønsket output. Dette er en utfordring vi har sett utallige eksempler på — men som ikke nødvendigvis er et godt argument for å la være å utvikle løsninger som ellers gir gode svar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3wEH0DDIQLBiKOeKIQTMDQ.png" /><figcaption>RAG vil ikke være en 100% sikker måte å unngå uønsket output. Skjermdump fra tek.no</figcaption></figure><p>Dette må vurderes også med hensyn til antatt verdi, risiko, tillit til brukergruppen og forventing til løsningen. Kanskje vil virkelig gode svar i 95% av tilfellene fortsatt gi mer enn god nok verdi.</p><h4>Berike kunnskapsgrunnlaget (med egne data)</h4><p>Med RAG har du mulighet til å gjøre en stor språkmodell kjent med informasjon som ikke var tilgjengelig for modellen da den i utgangspunktet ble trent. Dette er spesielt nyttig hvis du drar nytte av egne, og gjerne proprietære, data. Kanskje kan du tilby egen kunnskapsdatabase som et produkt på en langt mer effektiv måte, ved å la brukere ‘snakke med’ innholdet, i stedet for å gjøre manuelle søk.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0Zp8jmVG8E3yfTPvRlhGTw.png" /><figcaption>Et greit svar fra bing basert på store språkmodeller. Problemet er at informasjonen er utdatert. Dagens avgift er egentlig 97 kr/100 gram. Skjermdump fra bing.com 24.01.24</figcaption></figure><p>Vi har allerede begynt å bli fortrolig med denne måten å hente informasjon på, for eksempel gjennom AI-baserte søketjenester. Hovedutfordringen med disse generelle søkene, er igjen at kunnskapsgrunnlaget ikke er godt nok kvalitetssikret og avgrenset, og det er enkelt å blande sammen data på en uheldig måte som genererer dårlige svar. På egne data har man langt større kontroll, og man trenger ikke nødvendigvis å begrense seg til åpne kilder.</p><h4>Kostnadseffektivt</h4><p>RAG er en kostnadseffektiv måte å komme i gang med generativ AI på. Store, generelle språkmodeller er trent på enorme, generelle datasett. Retrening av slike modeller for domenespesifikk bruk kan være svært kostbart målt mot bruken av RAG-teknikker, selv om såkalt fintrening også har sine fordeler (det er ikke umulig at det kommer en bloggpost om dette senere).</p><p>Ta kontakt om du er interessert i å utforske RAG-løsninger på egne data, vi deler gjerne våre erfaringer.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=977f0ffb27d7" width="1" height="1" alt=""><hr><p><a href="https://medium.com/kantega/hva-er-egentlig-rag-og-hvorfor-er-det-viktig-n%C3%A5-977f0ffb27d7">Hva er egentlig RAG, og hvorfor er det viktig nå?</a> was originally published in <a href="https://medium.com/kantega">Kantega</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Ja, nå du kan ENDELIG skrote chatbotten din!]]></title>
            <link>https://medium.com/kantega/ja-n%C3%A5-du-kan-endelig-skrote-chatbotten-din-7047b83e5f02?source=rss-f51be9b9ecb1------2</link>
            <guid isPermaLink="false">https://medium.com/p/7047b83e5f02</guid>
            <category><![CDATA[large-language-models]]></category>
            <category><![CDATA[chatgpt]]></category>
            <category><![CDATA[chatbots]]></category>
            <dc:creator><![CDATA[Nora Gjøen-Gjøsæter]]></dc:creator>
            <pubDate>Fri, 12 May 2023 08:45:39 GMT</pubDate>
            <atom:updated>2023-05-12T09:19:09.153Z</atom:updated>
            <content:encoded><![CDATA[<p>Min første melding i møte med chatbotter er som oftest “snakk med menneske”. Det bør det snart være slutt på.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*quMJNAyeeCXciG6BwKp8Nw.png" /><figcaption>Du kan kaste chatboten din ut vinduet — Bilde generert med <a href="https://huggingface.co/spaces/stabilityai/stable-diffusion">Stable Diffusion</a></figcaption></figure><p>Store språkmodeller, som ChatGPT, har revolusjonert måten vi behandler tekst. De åpner også døren for å lage chatbotter som ikke bare forstår og svarer på et bredt spekter av spørsmål — men som også kan skifte kontekst, lære kontunerlig, tilpasses brukernes preferanser og håndtere mange ulike språk.</p><p>Disse store språkmodellene kan også <em>fintrenes</em> på egne datasett, slik at de kan finne kontekst-spesifikke relevante svar og sammenhenger uten å bli eksplisitt programmert. Det eneste vi som fintrener dem trenger å gjøre er å gi en tilstrekkelig god kontekst, altså et godt datasett, og eventuelt sette på noen sikkerhetsmekanismer.</p><p><strong>Trente du opp din chatbot før 2022?</strong> Da vil du kunne få en langt mer nyttig tjeneste, spare store mengder manuelt arbeid, og få mer fornøyde brukere om du kaster denne ut og erstatter den med en bot basert på store språkmodeller. Og det til en brøkdel av prisen for det du brukte for å utvikle den eksisterende boten.</p><p>Språkmodellene har brått blitt så kraftfulle og tilgjengelige, at det faktisk kan være mer fristende å spørre en helt generell språkmodell, som stort sett ikke vet hva som gjelder etter 2021, enn en spesifikk chatbot:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/1*i_NKHwHCyRYPFS8g5TeZrw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BcwG8zyYRbCKzUO_CLPpSQ.png" /><figcaption>En chatbot fra “gamledager” er ikke spesielt god til å tolke språklige strukturer. En stor språkmodell kan være vel så nyttig, selv uten fintrening.</figcaption></figure><p>Med spesifikk, og oppdatert, fintrening kan modellen yte langt bedre hjelp enn dette, samtidig som vi kan legge på sikkerhetsmekanismer. Kanskje vil løsningen heller se sånn ut?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ChWfUkn_RjEfCr5Q3qkS2Q.png" /></figure><p>Enten du allerede har investert tid og ressurser i en tidligere bot og akseptert at denne innsatsen nå er en sunk cost, eller om du fornøyd har ventet på det riktige øyeblikket, så er det ingen tvil om at tiden for å skape en nyttig chatbot er her nå.</p><p>Og med det kan jeg endelig slutte å rangere chatbotter etter hvilke som er raskest til å slå seg selv av.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7047b83e5f02" width="1" height="1" alt=""><hr><p><a href="https://medium.com/kantega/ja-n%C3%A5-du-kan-endelig-skrote-chatbotten-din-7047b83e5f02">Ja, nå du kan ENDELIG skrote chatbotten din!</a> was originally published in <a href="https://medium.com/kantega">Kantega</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Anta bias. Alltid]]></title>
            <link>https://medium.com/kantega/anta-bias-alltid-dfcfb8da34a9?source=rss-f51be9b9ecb1------2</link>
            <guid isPermaLink="false">https://medium.com/p/dfcfb8da34a9</guid>
            <category><![CDATA[kunstig-intelligens]]></category>
            <category><![CDATA[teknologi]]></category>
            <category><![CDATA[bias]]></category>
            <category><![CDATA[maskinlæring]]></category>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Nora Gjøen-Gjøsæter]]></dc:creator>
            <pubDate>Mon, 16 Jan 2023 10:02:15 GMT</pubDate>
            <atom:updated>2023-01-26T06:15:58.604Z</atom:updated>
            <content:encoded><![CDATA[<h4>Et maskinlæringssystem blir aldri helt rettferdig. I alle fall ikke mer rettferdig en de data modellen er trent på. Og datasettene vi benytter foreslår som <em>hovedregel</em> at vi diskriminerer.</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Q1W2N8ktU7ytV1sBpLtSqA.png" /></figure><p>De data vi benytter for å trene modeller kan inneholde informasjon som kan oppfattes som urettferdig eller diskriminerende. Det skyldes ikke nødvendigvis feil i datasettet. Det kan for eksempel skyldes sammenhenger vi ikke har tatt høyde for, eller visse grupper som er underrepresentert.</p><p>Det er mulig å fjerne, eller i minste fall dempe, bias fra en maskinlæringsmodell. Men det er ikke nødvendigvis riktig, enkelt eller ønskelig.</p><p>For å forstå utfordringene med å fjerne bias fra en modell, skal vi ta for oss et ganske enkelt, men virkelighetsnært scenario. Vi i Kantega har faktisk bygget en modell med omtrent <a href="https://www.kantega.no/prosjekter/faerre-i-gjeldsklisteret-med-maskinlaering">akkurat samme formål for SpareBank 1 Kreditt.</a></p><h3><strong>Et eksempel — Lånesøknader</strong></h3><p>I dette eksempelet ønsker vi å finne sannsynligheten for at en kunde kommer til å misligholde sine låneforpliktelser. Vi benytter et syntetisk datasett, men utfordringene vi må løse er høyst realistiske.</p><p>Du kan kjøre gjennom eksempelet selv <a href="https://github.com/Kantega-AI-team/synthetic-loan-example">her</a><em>.</em></p><h4><strong>Datasettet</strong></h4><p>La oss innta rollen som maskinlæringsteam i<em> Rettferdig Bank</em>. Vi skal bygge vår egen maskinlæringsmodell for å vurdere om vi vil innvilge lån til kunder. Vi vil bare innvilge lån til kunder vi tror vil betale tilbake på normert tid.</p><p>Vi antar at lånebeløpet er helt likt for alle lånesøknader, og tar utgangspunkt i et historisk datasett, som vi ser et utvalg fra under.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/462/1*ZK3MPsL1T7Bje4yOvaBpNQ.png" /></figure><p>I vårt datasett har vi følgende forklaringsvariabler: Kjønn, etnisitet, alder, utdanning og inntekt. Utfallsvariabelen, <em>mislighold</em>, beskriver hvorvidt vedkommende har misligholdt sine låneforpliktelser. Vi ønsker å gi lån til kunder som ikke vil misligholde sine lån, altså rader der mislighold = 0.</p><p>Som Rettferdig Bank ønsker vi verken å diskriminere på grunnlag av kjønn eller etnisitet, så vi begynner rett og slett med å <em>fjerne</em> disse variablene, og sitter da igjen med følgende utgangspunkt:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/338/1*nazwkYnUsGX6KLUFkLgGYw.png" /></figure><p>Vi har bestemt oss for at det er greit å bruke både alder, utdanning og inntekt for å bestemme hvem som bør for lån. Nå er vi vel ganske safe?</p><h4><strong>Naiv modellering</strong></h4><p>Vi er superivrig — endelig skal vi i gang med maskinlæring for lånevurderinger. Vi hopper rett i trening av et nevralt nettverk som skal si noe om sannsynligheten for mislighold.</p><p>Nevrale nettverk er fleksible matematiske skapninger som kan plukke opp komplekse sammenhenger i data. Også er det ganske kult å kunne si at lånesøknadsvurderingen vår er basert på dyp læring.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/768/1*2KzRD4-a0V-O4GVMaWeeVQ.png" /><figcaption>Vi får endelig ta i bruk maskinlæring for å behandle lånesøknader! Bildet er generert med <a href="https://huggingface.co/CompVis/stable-diffusion-v1-4">Stable Diffusion v1.4.</a> Anta bias fra modellen i seg selv, og prompten som er brukt for å generere akkurat dette bildet</figcaption></figure><p>Vi trener nettverket på et ganske stort datasett, og evaluerer på et separat testdatasett. Og vi oppnår ganske gode resultater.</p><p>I testdatasettet vårt, predikerer vi korrekt (mislighold eller ikke mislighold) på <strong>71 %</strong> av alle kunder. Ikke verst, med så få forklaringsvariabler. Og en god del bedre enn gjetning.</p><p>Toppledelsen i Rettferdig Bank er overbevist, og skikkelig glad for å kunne si at vi er i gang med AI. Innen en uke er modellen satt i drift.</p><p>Hurra!</p><h4><strong>Vi har et problem</strong></h4><p>Etter at modellen har vært i drift et par uker kommer fru Skeptismo fra Complianceavdelingen på besøk i modelleringskroken vår. Hun har oppdaget at vi innvilger en langt større andel av menns lånesøknader enn kvinners. Vi gir også mindre lån til svensker. Fru Skeptismo vil gjerne ha en forklaring.</p><p>Vi bestemmer oss for å undersøke nærmere. Vi ser på kundene som i testdatasettet, og undersøker hvor ofte kunder i hver gruppe blir predikert til å misligholde sine forpliktelser.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/1*j_oVGRHTCcNySh-NvAbo-g.png" /><figcaption>Seleksjon her betyr at at kundene <em>ikke får innvilget lån, fordi de predikeres til å misligholde. Norske menn får oftere lån enn både kvinner og svensker</em></figcaption></figure><p>Whops. Fru Skeptismo har rett. Svensker og kvinner blir i større grad nektet lån. Aller verst er det faktisk for svenske menn.</p><p>Hva har egentlig skjedd her? Vi brukte jo ikke noe data om verken kjønn eller etnisitet da vi trente modellent?</p><h4>Data er alt</h4><p>Forklaringen ligger i datasettet som er brukt for å trene modellen vår. For selv om vi ikke har benyttet kjønn og etnisitet direkte, er det en sammenheng mellom disse sensitive variablene og forklaringsvariablene vi faktisk <em>har</em> tatt i bruk.</p><p>Greit nok, kunne vi sagt. Da er det noe sammenhenger der, men vi har ikke modellert inn noe eksplisitt, så det er vanskelig å bevise at vi har gjort dette intensjonelt. Og det må jo være greit å bruke inntekt, alder og utdanning for å vurdere hvem som skal få lån?</p><p>Men vi tar ikke denne enkle veien. Vi, vi er Rettferdig Bank— og bestemmer oss for å grave dypere.</p><h4><strong>Hvorfor ber modellen oss diskriminere?</strong></h4><p>Vi burde selvfølgelig gjort en skikkelig eksplorativ dataanalyse før vi satte i gang med modelleringen. Men det er mye gøyere å bygge nevrale nettverk enn å se på korrelasjonsmatriser.</p><p>Når det nå viser seg at modellen i stor grad nekter å gi lån til kvinner og svensker, er det heldigvis åpenbart at vi må forstå data bedre.</p><p>Vi begynner med å titte på de data vi brukte for å trene modellen.</p><p>Her viser det seg blant annet at menn tjener mer enn kvinner, og at nordmenn tjener mer enn svensker.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fF9N4f_tvzD0tV9Di8-OvA.png" /><figcaption>Boksplott for inntekt viser at svensker tjener mindre enn nordmenn, og at menn tjener mer enn kvinner</figcaption></figure><p>Siden modellen allerede er i drift, må vi selvfølgelig også granske denne. Vi ser på (gjennomsnittlig) avhengighet til forklaringsvariablene vi har tatt i bruk.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Jo9KASmB0hb7ccoWG54ouQ.png" /><figcaption>Partielle avhengighetsplott. Generelt gir høyere inntekt lavere estimert sannsynlighet for mislighold. Det samme gjør det å være i midten av livet. Merk at forklaringsvariablene er skalert.</figcaption></figure><p>Vi ser blant annet at høyere utdanning og inntekt, gir lavere estimert sannsynlighet for mislighold.</p><p>Dette stemmer kanskje <em>generelt</em>. Men vi vet ikke om dette stemmer i like stor grad for begge kjønn, eller svensker, fordi vi har ekskludert både kjønn og etnisitet fra modelleringen. Vi kan dermed ikke justere for skjevheter.</p><p>Svensker er dessuten kraftig underrepresentert.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/512/1*na_egriWx3uXAe5sh43fuQ.png" /><figcaption>Stemningen er ikke like god når vi finner ut at modellen gjør det vanskelig for kvinner og svensker å få lån. Bildet over er modifisert med Stable Diffusion. Anta bias.</figcaption></figure><p>I tillegg finner vi et stort problem med selve datasettet. <strong>Alle</strong> svensker er nemlig registrert med “Grunnskole” som utdanning<em>. </em>Det kan åpenbart ikke være riktig, og skyldes sannsynligvis måten data er hentet og definert på. Kanskje har det ikke vært mulig å hente data fra svenske utdanningsinstitusjoner.</p><p>Vi kan nå forklare en del av mekanismene som gjør at vi ender opp med å predikere at både kvinner og svensker i mindre grad vil oppfylle sine betalingsforpliktelser.</p><p>Så hva bør vi gjøre? Må vi forkaste modellen? Er det greit at vi har det sånn? Kan vi gjøre noe med dette, uten å ødelegge forklaringskraften i modellen?</p><h3>Hva er en rettferdig modell?</h3><p>Før vi eventuelt gjør grep, bør vi stille oss selv det virkelig store spørsmålet: Hva er egentlig <strong>rettferdig</strong> når man trener en maskinlæringsmodell?</p><p>Dette er, dessverre, fullstendig avhengig av kontekst.</p><p>I noen tilfeller er det kanskje greit å diskriminere, hvis data sier at enkelte grupper bør vurderes ulikt. For eksempel priser vi bilforsikring etter alder, fordi unge sjåfører krasjer oftere. Likevel godtar vi ikke at unge menn må betale mer enn unge kvinner, selv om historiske data sier at risikoen er langt høyere i denne gruppen.</p><p>I noen tilfeller er det verste for en spesiell gruppe at modellene er <em>unøyaktige</em>. For eksempel kan en smarthøyttaler tolke bergensere dårligere enn østlendinger, og dermed gi mindre verdi for de som skarrer. Her vil vi helst eliminere bias for å sikre like god opplevelse uansett dialekt.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/768/1*np4ialkKz7nsaUl4zTnL8g.png" /><figcaption>Det et mange måter å definere ‘rettferdighet på’. Bildet er generert med Stable diffusion.</figcaption></figure><p>I andre tilfeller, som i vårt lånesøknadseksempel, er det å bli <em>selektert</em> enten en fordel eller en ulempe.</p><p>Det er flere måter å vurdere rettferdighet på i en kontekst der det å bli valgt eller ikke valgt kan oppleves urettferdig:</p><ul><li><strong>Demografisk paritet:</strong> Seleksjonsraten skal være lik på tvers av alle gruppene</li><li><strong>Sann-positiv paritet:</strong> Sann-positiv-raten skal være lik på tvers av alle gruppene.</li><li><strong>Utlignet odds: </strong>Både sann-positiv-raten og falsk-positiv-raten skal være lik på tvers av alle grupper.</li></ul><p>Demografisk paritet er kanskje lettest å forstå — vi skal velge like stor andel fra hver gruppe, uansett hvordan disse andelene ser ut i treningsdata.</p><p>Sann positiv-rate-rate betyr hvor stor andel av de som predikeres som positiv som faktisk er det. I vårt eksempel vil det ved sann-positiv-paritet være like høy sannsynlighet for at du faktisk misligholder lånet, gitt at det har blitt predikert at du vil gjøre det, uansett hvilken gruppe du er i.</p><p>Tilsvarende er falsk-positiv-rate hvor stor andel av de som predikeres å være positiv, som <em>ikke </em>viser seg å være det. I vårt tilfelle ville det betydd at det er like stor andel av de vi nekter lån, som egentlig ville ha oppfylt sine betalingsforpliktelser, på tvers av alle grupper. Vi kan gjerne kalle dette ‘falsk alarm’.</p><p>En må vurdere i hvert tilfelle hvilken rettferdighetsmetrikk en ønsker å oppnå, og hvorfor det er riktig.</p><h3>Skadebegrensing i låneeksempelet</h3><p>La oss hoppe tilbake til vårt eksempel, og se hvordan modellen vår ser ut etter rettferdighetsmetrikkene vi nettopp har gått gjennom.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/364/1*VQHCIkWRcPOKwkKmmVZhuw.png" /><figcaption>TPR = True Positive Rate (Sann-positiv-rate). FPR = False Positive Rate (‘Falsk alarm’-rate)</figcaption></figure><p>Som vi allerede har sett er seleksjonsraten til fordel for norske menn, og til ulempe for kvinner og svensker. Men ser vi på sann-positiv-raten (TPR) og falsk-alarm-raten(FPR), blir bildet straks mer komplekst.</p><p>Svenske kvinner for eksempel, har høyest seleksjonsrate, men likevel også høyest sann-positiv-rate. Altså er det størst sannsynlighet for at et individ i denne gruppen faktisk misligholder lånet, gitt at hun ble predikert til å gjøre det. Mens det dessverre også er denne gruppen som har høyest falsk-alarm-rate, altså sannsynlighet for å bli nektet lån selv om man ville ha betalt.</p><p>La oss nå si at vi <em>ikke </em>sikter oss inn på å jevne ut seleksjonsraten (demografisk paritet). Vi godtar at utdanning og inntekt henger sammen med kjønn og etnisitet, og at denne sammenhengen gjør at vi kommer til å nekte noen grupper lån i større grad.</p><p>Men vi ønsker å sikte mot utlignet odds, spesielt fordi vi er opptatt av at det skal være relativt lik falsk-alarm-rate i alle gruppene. Vi ønsker altså ikke å feilaktig nekte lån i større grad i noen av gruppene.</p><h4><strong>Biasdemping i praksis</strong></h4><p>For å forsøke å gjøre modellen mer rettferdig tar vi i bruk <a href="https://arxiv.org/abs/1803.02453">en optimaliseringsalgoritme</a> for å balansere opprettholdt nøyaktighet i modellen, og grep for å oppnå utlignet odds. Det er ikke alltid mulig å finne et perfekt punkt som sikrer både lik FPR og TPR, men en kommer langt nærmere enn vi var under det naive modelleringsregimet.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/1*P4bO7tdxDjlcYDvl0YjySA.png" /><figcaption>ThresholdOptimizereren finner punktet som sikrer lav ulikehet i både falsk-alarm og sann-positiv-raten i alle grupper</figcaption></figure><p>Etter at vi justerer modellen vår gjennom denne algoritmen ender vi opp med følgende ‘rettferdighetstabell’:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/364/1*m0FbQ_ND0bFBrxtUqGq1SA.png" /></figure><p>Vi ser at falsk-alarm-raten og sann-positiv-raten nå er mye mer lik på tvers av gruppene. Det er fortsatt forskjell i seleksjonsraten, men det har vi altså godtatt. Så kan en være uenig i om det er greit eller ikke.</p><p>Selv om denne tabellen ser bedre ut, er ikke alt forbedret. Treffsikkerheten vår har falt fra over 71 % til under 68 %. Det er <em>ikke gitt</em> at dette ville ha et slikt utslag, men en <em>kan</em> altså risikere å miste noe nøyaktighet i det en tilstreber for eksempel utlignet odds.</p><h3>En urettferdig verden</h3><p>Noen vil kanskje legge merke til at maskinlæringen i seg selv ikke kan ta hele skylden for bias i dette eksempelet. Faktisk ville en enkel regel som ‘de med inntekt over X får lån’ også føre til at en mindre andel kvinner og svensker fikk lån enn norske menn.</p><p>Skulle et menneske gjort hele lånesøknadsvurderingen på egenhånd, uten regler, ville en også måtte anta en hel del bias.</p><p>Men det er heldigvis en del grep vi som bygger modeller kan ta, for å begrense urettferdighet ved maskinlæringsmodellering.</p><p>Første steg er å være<em> klar over </em>at modellene våre vil<em> </em>finne disse ‘urettferdige’ mønstrene i data, og de vil da også bruke disse for å gjøre bedre prediksjoner.</p><p>Har vi først erkjent at modellene våre sannsynligvis inneholder bias — bør vi etter beste evne også avdekke, demonstrere og eventuelt også dempe virkningen av slik bias.</p><p>Helt i mål kommer vi sannsynligvis ikke — men vi kan prøve å gjøre modellene våre, og med det også verden — litt mer rettferdig. Etter en eller annen tolkning av rettferdighet. Som sikkert også er biased.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=dfcfb8da34a9" width="1" height="1" alt=""><hr><p><a href="https://medium.com/kantega/anta-bias-alltid-dfcfb8da34a9">Anta bias. Alltid</a> was originally published in <a href="https://medium.com/kantega">Kantega</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[En rettferdig kamp for naturen]]></title>
            <link>https://medium.com/kantega/en-rettferdig-kamp-for-naturen-5239fc9c0ec8?source=rss-f51be9b9ecb1------2</link>
            <guid isPermaLink="false">https://medium.com/p/5239fc9c0ec8</guid>
            <category><![CDATA[maskinlæring]]></category>
            <category><![CDATA[naturvern]]></category>
            <category><![CDATA[matematikk]]></category>
            <category><![CDATA[naturmangfold]]></category>
            <dc:creator><![CDATA[Nora Gjøen-Gjøsæter]]></dc:creator>
            <pubDate>Thu, 25 Aug 2022 12:32:22 GMT</pubDate>
            <atom:updated>2022-08-26T12:09:10.081Z</atom:updated>
            <content:encoded><![CDATA[<p>I årets utgave av Naturkampen har vi forbedret selve rangeringsmodellen bak den endelige resultatlisten. Hvordan sørger man for en mest mulig rettferdig kamp for naturmangfold og naturvern?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*n30_WBLi-Wth3B0e" /><figcaption>Photo by <a href="https://unsplash.com/@lucabravo?utm_source=medium&amp;utm_medium=referral">Luca Bravo</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p><a href="https://naturkampen.sabima.no/"><em>Naturkampen</em> </a>er en rangering av alle Norges kommuner, basert på en rekke kriterier som sier noe om hvor mye kommunene satser på naturen, hvor mange dispensasjoner som medfører naturtap som gis, og hvor godt kommunen jobber med å beskytte naturen.</p><p>Kantega utviklet første versjon sammen med <a href="https://www.sabima.no/">Sabima </a>for tre år siden. Siden har vi vært med å bygge videre på et verktøy med stadig mer påvirkningskraft, gjennom utvikling, UX og nå også matematikk.</p><p>I årets versjon har vi nemlig sett nærmere på selve rangeringsmodellen som ligger til grunn for den endelige resultatlisten. Dette ligger i kjernen av løsningen — hvordan skal en sammenstille resultater for til dels svært ulike kriterier på en god måte?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/863/1*2gqNW1yhGKhzZw4RK-o36Q.png" /><figcaption>Utvikling, UX og data science på lag for en stadig bedre løsning</figcaption></figure><p>Noen av kriteriene er kategoriske, for eksempel om kommunen forsøker å stoppe spredning av fremmede arter. Andre er numeriske verdier — for eksempel hvor mye penger kommunen bruker på naturkompetanse, og de statistiske egenskapene for disse fordelingene spriker enormt.</p><p>Hvordan bør man da gå frem for å sammenstille resultatene for årets <a href="https://www.sabima.no/naturkampen-vurderingskriterier-2022/">15 kriterier</a> på en rettferdig og forståelig måte?</p><p><strong>Forkaste alle poeng</strong></p><p>De første utgavene av Naturkampen var basert på et poengsystem. Poenggivingen måtte tilpasses den enkelte indikator. For et ja/nei-spørsmål innebar dette enten ingen poeng eller full pott. Numeriske verdier, for eksempel andelen bekker og elver med god økologisk tilstand, måtte behandles annerledes — fordi en ønsket å gi gradvis økende poeng jo bedre en kommune presterte.</p><p>Det er enkelt å summere slike poeng, men vanskelig å si noe om hvordan en slik sum skal tolkes. I tillegg er det umulig å unngå at noen kriterier får mer vekt enn andre, fordi de underliggende statistiske egenskapene er ulike. For manglende verdier var en nødt til å vekte opp de resterende kriteriene, noe som også gjorde tolkningen vanskelig.</p><p>I bunn og grunn kunne en også argumentere for at det var rom for å justere sluttrangeringen i favør eller disfavør noen kommuner ved å endre på små regler — en uheldig egenskap ved en konkurranse som bør fremstå så objektiv som overhodet mulig.</p><p>Første steg i utvikling av det nye rangeringssystemet var derfor å <strong>forkaste alle poeng. </strong>Et poengløst system har en del fordeler:</p><ul><li>Det er unødvendig å bestemme hvor mange poeng et spesielt resultat skal gi. Det eneste en behøver er en rangering, som oftest gitt av verdiene selv. Det sier seg selv at det er bedre å ha et politisk ønske om å bli arealnøytral — men nå slipper en altså å kvantifisere dette ønsket ved en poengverdi.</li><li>Avrundingsfeil, som spesielt kan ha mye å si ved aggregering, er ikke et problem</li><li>Både kategoriske og numeriske verdier kan behandles helt likt. Alt en behøver er en rangering som enten sier hvilke kategorier som er bedre enn andre, eller om en ønsker en lav eller høy verdi</li><li>En trenger ikke å bekymre seg for at den underliggende distribusjonen av verdier betyr noe for poenggivningen</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/796/1*dMLABHpY8aV1_mtGYraNEg.png" /><figcaption>Før genererte råverdiene en poengsum — nå ser vi bare på rangeringen</figcaption></figure><p>Med poengene fjernet står en med 15 ulike rangeringer av alle kommuner. Så kommer neste utfordring. Hvordan skal en sammenstille disse 15 rangeringene på en rettferdig måte?</p><p><strong>En umulig oppgave?</strong></p><p>Den fundamentale oppgaven en står igjen med er å utforme et <em>preferansevalgsystem</em>. Man kan altså se på hvert kriterium som en stemmegiver, som rangerer alle kandidater, i dette tilfellet kommune.</p><p>Det er dessverre beviselig at det ikke eksisterer et helt ideelt preferansevalgsystem. <a href="https://en.wikipedia.org/wiki/Arrow%27s_impossibility_theorem"><em>Arrows umulighetsteorem</em> </a>beviser mer konkret at det ikke er mulig å konstruere et system som er både ikke-diktatorisk, paretoeffektivt, som tillater fri rangering, og har egenskapen ofte kalt <em>uavhengighet til irrelevante alternativer</em>.</p><p>Om dette ble for teoretisk er det viktigste å vite at det <strong>ikke eksisterer et perfekt system for å aggregere rangeringer</strong>. Om det ikke ble teoretisk <em>nok</em> anbefales <a href="https://plato.stanford.edu/entries/arrows-theorem/">denne langt mer grundige forklaringen.</a></p><p><strong>Et godt system</strong></p><p>Med viten om at det ikke finnes noe 100% ideelt system, ble oppgaven å velge et <em>godt</em> system. Vi la vekt på å innføre et rettferdig system som var relativt enkelt å forklare og etterprøve.</p><p>Rettferdighet er et stort begrep, men i denne sammenhengen kan en argumentere for at Concordetkriteriet er et fint utgangspunkt. Et preferansevalgssystem som oppfyller dette kriteriet vil alltid velge en kandidat som vinner innbyrdes kamper mot alle andre motstandere, hvis en slik kandidat eksisterer.</p><p>Med krav om en metode som oppfyller Concordetkriteriet stod vi igjen med en <a href="https://en.wikipedia.org/wiki/Condorcet_winner_criterion">håndfull</a> systemalternativer. Valget falt på Copelandmetoden, som er en relativt enkel metode å forklare — her som pseudokode:</p><pre>for hver kommune X:<br>    sett <em>copelandscore</em> = 0<br>    for hver konkurrerende kommune:<br>        finn ut hvem som vinner flest kriterier innbyrdes<br>        dersom X vinner flest:<br>            <em>copelandscore</em> = copelandscore + 1<br>        eller dersom X vinner like mange:<br>            <em>copelandscore</em> = copelandscore + 0.5<br>sluttrangere alle kommuner etter copelandscore</pre><p>Det er forhåpentligvis enkelt å forstå systemet, og det kommer tydelig frem at ethvert kriterium vektlegges på akkurat samme måte. Innenfor dette rammeverket er det også trivielt å legge til nye kriterier.</p><p>I tillegg håndteres kriterier som ikke skal sammenlignes — for eksempel fordi det er irrelevant å sammenligne bygging i strandsone for kommuner uten strandsone — veldig elegant. Det utelates simpelthen fra den innbyrdes sammenligningen kommuner mellom.</p><p>Samtidig er det kanskje noen som spotter en utfordring? Det vil nemlig være en viss sannsynlighet for at to kommuner oppnår akkurat samme Copelandscore, og med det ender uavgjort. Det skjedde så høyt oppe som på 2. plass i årets rangering.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/796/1*clj6sP51Ohfnn8C9hZtekg.png" /><figcaption>Før var sluttrangeringen basert på summering av poengsummer - nå er den basert på et preferansevalgsystem der hvert kriterie en stemmegiver, og kommunene er kandidatene</figcaption></figure><p>For de som er nysgjerrig er det selvfølgelig også, som det beviselig må være, et av Arrow´s ønskelige egenskaper som ikke er oppfylt — nemlig uavhengighet til irrelevante alternativ.</p><p>Dette er dog mest bekymringsverdig om en er redd for taktisk stemmegivning — en lite relevant bekymring når stemmegiver er observerte datapunkt og kandidatene er kommuner.</p><p><strong>Hva betyr dette egentlig for naturen?</strong></p><p>Vi håper det nye rangeringssystemet for Naturkampen er enkelt å forstå, transparent og oppleves rettferdig. Dette gir forhåpentligvis enda mer tyngde og tiltro til det ekstremt nyttige verktøyet Naturkampen er.</p><p>Vi liker alle en fair fight — også når det handler om å være best innen naturvern og naturmangfold. Og som Espen Barth Eide så fint sa det i forbindelse med offentliggjøringen av årets resultater:<a href="https://youtu.be/GkiFvU5Ms9o?t=601"> …fakta skal ha makta</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5239fc9c0ec8" width="1" height="1" alt=""><hr><p><a href="https://medium.com/kantega/en-rettferdig-kamp-for-naturen-5239fc9c0ec8">En rettferdig kamp for naturen</a> was originally published in <a href="https://medium.com/kantega">Kantega</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Kan vi slutte å snakke om kunstig intelligens?]]></title>
            <link>https://medium.com/kantega/kan-vi-slutte-%C3%A5-snakke-om-kunstig-intelligens-2ed9e753aad2?source=rss-f51be9b9ecb1------2</link>
            <guid isPermaLink="false">https://medium.com/p/2ed9e753aad2</guid>
            <category><![CDATA[kunstig-intelligens]]></category>
            <category><![CDATA[teknologi]]></category>
            <category><![CDATA[maskinlæring]]></category>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Nora Gjøen-Gjøsæter]]></dc:creator>
            <pubDate>Wed, 09 Feb 2022 12:19:05 GMT</pubDate>
            <atom:updated>2022-02-10T09:55:03.878Z</atom:updated>
            <content:encoded><![CDATA[<p>Jeg jobber med kunstig intelligens hver dag. Men jeg vil helst slippe å nevne det. Ikke fordi jeg skjemmes — men fordi begrepet i dag er så utvannet og upresist at det nesten ikke har noe verdi.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SaNZhjYqFJxRNYtRUJI3pg.png" /></figure><p>Det fundamentale problemet med begrepet ‘kunstig intelligens’ er at det mangler en tydelig definisjon.</p><p>I følge Store norsk leksikon omfatter kunstig intelligens ‘alle intelligente systemer’¹. På Wikipedia defineres kunstig intelligens som ‘teknikk man bruker for å gi datamaskiner og dataprogrammer en mest mulig intelligent respons’², basert på Jim Tørresens definisjon³. Og det finnes et utall andre forsøk på å definere begrepet. Felles for de aller fleste formuleringene er at de er vage og lite målbare.</p><p>For hva er <em>egentlig</em> et ‘intelligent system’? Og hvordan avgjør man om noe kvalifiserer til merkelappen?</p><p>Kunstig intelligens deles gjerne grovt inn i hovedkategoriene <em>maskinlæring</em> og <em>regelbaserte systemer. </em>Maskinlæringsteknikker er, litt enkelt forklart, teknikker som lærer av observasjoner uten eksplisitt programmering. Regelbaserte systemer, eller ekspertsystemer, er derimot eksplisitt programmert til å utføre en handling basert på forhåndsdefinerte regler.</p><p>Altså <em>kan</em> man i prinsippet kalle ganske mye for kunstig intelligens. For eksempel et system som avgjør om du bør teste deg for en sykdom, basert på svarene du avgir. Men er det dette vi egentlig tenker på når vi hører ‘kunstig intelligens’?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/383/1*nUk7_Ort8OkvAZ1gv24QPA.png" /><figcaption>Er det dette du tenker på når du hører ‘ kunstig intelligens’?</figcaption></figure><p>Mitt inntrykk er at folk flest egentlig tenker på <em>maskinlæring</em> når de hører kunstig intelligens. Altså systemer som på ulike vis former seg selv basert på erfaring.</p><p>‘Maskinlæring’ er bedre definert og mer presist, enn ‘kunstig intelligens’. Så hvorfor velger så mange å rapportere om bruk av sistnevne, når de faktisk har valget? Lyder ‘kunstig intelligens’, ‘KI’ eller ‘AI’ rett og slett bedre?</p><p>Min hypotese er at de som tar avgjørelsen om hvorvidt man vil kalle noe for kunstig intelligens eller ikke, ofte ser på begrepsbruken som en fordel. Man framstår kanskje som mer moderne og fremtidsrettet. Eller man får flere klikk på artikkelen man skriver.</p><p>Men vi som helst ikke<em> </em>vil bruke begrepet i det hele tatt er ikke noe særlig bedre. Vi som gjerne skulle ønske at virkelig interessant bruk av maskinlæring fikk skinne mer gjennom alt det pompøse støyet.</p><p>Vi sitter kanskje bare i et hjørne og himler med øynene. Eller skriver en artikkel som bruker begrepet ‘kunstig intelligens’ 17 ganger.</p><p>[1] Axel Tidemann, Store norske leksikon. <em>Kunstig intelligens</em> <a href="https://snl.no/kunstig_intelligens">https://snl.no/kunstig_intelligens</a></p><p>[2] Wikipedia. <em>Kunstig intelligens</em> <a href="https://no.wikipedia.org/wiki/Kunstig_intelligens">https://no.wikipedia.org/wiki/Kunstig_intelligens</a></p><p>[3] Jim Tørresen (04.12.2013) <em>hva er KUNSTIG INTELLIGENS </em><a href="https://www.universitetsforlaget.no/hva-er-kunstig-intelligens-2">https://www.universitetsforlaget.no/hva-er-kunstig-intelligens-2</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2ed9e753aad2" width="1" height="1" alt=""><hr><p><a href="https://medium.com/kantega/kan-vi-slutte-%C3%A5-snakke-om-kunstig-intelligens-2ed9e753aad2">Kan vi slutte å snakke om kunstig intelligens?</a> was originally published in <a href="https://medium.com/kantega">Kantega</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>