Merhaba güzel insanlar!

Bugün sizlere Veri Bilimi dünyasında sıkça kullanılan bir yöntem olan, müşterileri segmentlere ayırarak, bu müşterilere bulundukları segmentlere özel pazarlama stratejileri geliştirme işlemlerinin nasıl yapıldığından, verileri nasıl yorumladıklarından ve alınabilecek aksiyon kararlarından bahsedeceğim. Bunun için kullanılan RFM Analizini gelin yakından tanıyalım.

Nedir bu RFM?

Recency, Frequency, Monetory kelimelerinin baş harflerinden oluşur.

• Recency : Müşterinin son temasından bugüne kadar geçen süredir.
• Frequency : Müşterinin toplam satın alma sayısıdır.
• Monetary : Müşterinin yaptığı toplam harcamadır.

Bu değerlerin 1 ile 5 arasında puanlanarak müşterilerin gruplara ayrılması işlemine de “Müşteri Segmentasyonu” denir. Örnek segmentler aşağıdaki görselde sunulmuştur.

Bu görsele göre amaç, bütün müşteri gruplarımızı daima “champions” grubuna çekmektir. Yani hem Recency hem Frequency değerlerini arttırmak hedeflenir.

Şimdi ise örnek bir veri seti üzerinden, müşterileri segmentlere ayırma işlemi yaparak pazarlama stratejileri geliştirip, aksiyon fikri önereceğim. Geliştirmeler Kaggle üzerinde Python ile yapılmıştır.Ayrıca Kaggle platformunda paylaşılmış olup notebook olarak kaydedilmiştir. Dilerseniz aşağıdaki linkten notebook detayına da erişebilirsiniz :
https://www.kaggle.com/baharkayan/rfm-analizi-ile-m-teri-segmentasyonu

1). Giriş

https://www.kaggle.com/nathaniel/uci-online-retail-ii-data-set linkindeki veri setini kullanarak;

1. Veri setini “Satış Verileri” ve “İade Verileri” olarak ayıracağım.
2. Satış verisini anlamlandırma ve veri ön işleme adımlarını uygulayacağım.
3. Satış veri setine RFM Analizi ile Müşteri Segmentasyonu işlemini gerçekleştirip, çıkan sonucu pazarlama stratejilerine yönelik aksiyon kararları açısından yorumlayacağım.

Veri Seti Hakkında Genel Bilgiler :

“online_retail_II” isimli veri seti İngiltere merkezli online bir satış mağazasının 01/12/2009–09/12/2011 tarihleri arasındaki satışlarını içermektedir. Bu şirket hediyelik eşya satmaktadır. Promosyon ürünleri gibi düşünebilir. Müşterilerinin çoğu da toptancıdır.

Excelde 2 sheet bulunmaktadır. Ben RFM Analizi için “Year 2010–2011” olan 2. sheeti kullanacağım.

• 1.Sheet : Year 2009–2010
• 2.Sheet : Year 2010–2011

Değişkenler:

• InvoiceNo: Fatura numarası. Eşsiz bir değerdir. Eğer bu kod C ile başlıyorsa, iade anlamına gelir
• StockCode: Ürün kodu. Her bir ürün için eşsiz numaradır
• Description: Ürün ismi
• Quantity: Ürün adedi. Faturalardaki ürünlerden kaçar tane satıldığını ifade etmektedir. C ile başlayanlarda negatif değer almaktadır
• InvoiceDate: Fatura tarihi ve zamanı
• UnitPrice: Ürün fiyatı (Sterlin cinsinden)
• CustomerID: Müşteri numarası. Her bir müşteri için eşsiz numaradır
• Country: Ülke ismi. Müşterinin yaşadığı ülkeyi ifade eder

Linkteki veri setini “+ Add data” butonu ile notebookuma dahil ettim.

2). Kütüphane Ayarları

Bu bölümde, uygulama sırasında genel olarak kullanacağım yapıları ayarlıyorum. Örneğin;

• görselimi bozmaması için warningleri kapatmak,
• sayısal değişkenlerde virgülden sonraki basamak sayısını 2 olarak ayarlamak,
• dataframe çıktılarında tüm çıktıların atlanmadan, aralara üç nokta(…) konulmasını sağlamadan alabilmek.

#Warningleri çalışmamda görmek istemediğim için kapatıyorum.
import warnings
warnings.simplefilter(action='ignore')

import pandas as pd

#virgulden sonra gösterilecek olan sayı 2 basamak olarak ayarlanıyor.
pd.set_option('display.float_format', lambda x: '%.2f' % x)

#Çıktılarda tüm satır ve sütunları görebilmek için kütüphane ayarı yapılıyor.
pd.set_option('display.max_columns', None); 
pd.set_option('display.max_rows', None);

3). Veri Okuma

#Excel okuma işlemini gerçekleştiriyorum. 2.Sheet olan "Year 2010-2011" üzerinden çalışmamı gerçekleştireceğim.
#"df" isimli Dataframe yapımı oluşturuyorum.

df_2010_2011 = pd.read_excel("../input/uci-online-retail-ii-data-set/online_retail_II.xlsx", sheet_name = "Year 2010-2011")
df = df_2010_2011.copy()

#İade faturalarım için df_iade isimli dataframe yapımı oluşturuyorum. "Invoice" kolonu "C" ile başlayanları bu dataframe'e atıyorum.

df_iade = df[df["Invoice"].str.startswith("C", na = False)]

#Orjinal dataframe yapımdan iadeleri çıkartarak, satış verilerini çekiyorum, df_satis olarak kaydediyorum.

df_satis = df[~(df["Invoice"].str.startswith("C", na = False))]

4). Veri Ön İşleme

# Satış veri setinde NaN kontrolü yapıyorum. Değişken bazında NaN olan sayılara bakacağım.
# "Description" için 1454 değerin, "Customer ID" için 134697 değerin NaN olduğunu gözlemledim.
df_satis.isnull().sum()

#Customer ID değerleri NaN olanlar, RFM Analizinde işime yaramayacağı için uçuruyorum.

df_satis.dropna(subset=['Customer ID'], how='all', inplace=True)

#Satış veri setinde hiç NaN veri kalmadığını gözlemledim. 
#Buradan, Description değeri NaN olan tüm kayıtların, Customer ID değerlerinin de NaN olduğu bilgisini çıkarttım.

df_satis.isnull().sum()

#Satış veri setindeki silinen NaN değerlerinin sayısını tutuyorum. Aşağıda doğrulama için kullanacağım.

satis_nan = 134697

# İade veri setinde NaN kontrolü yapıyorum. Değişken bazında NaN olan sayılara bakacağım.
# "Customer ID" için 383 değerin NaN olduğunu gözlemledim.

df_iade.isnull().sum()

#Customer ID değerleri NaN olanları müşteri bazında yorumlayamayacağım ve işime yaramayacağı için uçuruyorum.

df_iade.dropna(subset=['Customer ID'], how='all', inplace=True)

#İade veri setinde hiç NaN veri kalmadığını gözlemledim. 

df_iade.isnull().sum()

#İade veri setindeki silinen NaN değerlerinin sayısını tutuyorum. Aşağıda doğrulama için kullanacağım.

iade_nan = 383

#Satış veri setinin ilk 5 gözlemi
df_satis.head()

# df_satis HAKKINDA YAPISAL BİLGİLER : 
# Burada  Customer ID ve Price değişkenlerinin float tipinde olduğunu görüyorum. Kütüphane Ayarları bölümünde, float değişkenler için "virgülden sonra 2 basamak gösterilsin" ayarı yapmıştım.
# Bu durum Customer ID yi de etkiledi. Yukarıda da "Cutomer ID" için virgülden sonra 2 basamak yazıldığını gözlemledim.
# "Customer ID" aslında kategorik değişken olmalı. Bu değişkene tip dönüşümü uygulayacağım.

df_satis.info()

# Customer ID TİP DÖNÜŞÜMÜ
# Hem satış veri seti, hem de iade veri seti için bu dönüşümü uyguluyorum. 
# İlk önce integera çevirerek, virgülden sonraki basamaklardan kurtulacağım. Sonrasında string tipine dönüştürerek, kategorik değişken yapacağım.

df_satis["Customer ID"] = df_satis["Customer ID"].astype(int)
df_iade["Customer ID"] = df_iade["Customer ID"].astype(int)

#Hem satış veri setinde, hem de iade veri setinde "Customer ID" kolonunu kategorik değişkene çevirmek için string dönüşümü uyguluyorum.

df_satis["Customer ID"] = df_satis["Customer ID"].astype(str)
df_iade["Customer ID"] = df_iade["Customer ID"].astype(str)

#Satış veri setimin yapısal bilgilerine yeniden bakıyorum.
#Customer ID nin kategorik değişkene dönüştüğünü gözlemledim.(object type)

df_satis.info()

#Customer ID nin virgülden sonraki basamaklarının uçtuğunu gözlemliyorum. İşlemimiz başarılı.

df_satis.head()

5). Veriyi Anlama

#Orjinal veri setinin boyut bilgisi
df_2010_2011.shape

# Satış veri seti boyut bilgisi
df_satis.shape

# İade veri seti boyut bilgisi 
df_iade.shape

# Satış ve İade veri setlerinden silinen NaN kayıtların toplamı
top_nan = satis_nan + iade_nan
top_nan

Yaptığım işlemleri doğrulamak için küçük matematiksel hesaplar:

Orjinal Veri Seti = Satış Veri Seti + İade Veri Seti + Satış ve İade’den silinen NaN kayıt sayısı

• df_2010_2011.shape[0] : Orjinal Veri Seti satır sayısı
• df_satis.shape[0] : Satış Veri Seti satır sayısı
• df_iade.shape[0] : İade Veri Seti satır sayısı
• top_nan : Satış ve İade’den silinen NaN kayıt sayısı

# Yukarıda verilen tanımlara göre, ana toplamın tutup tutmadığı kontrolü yapılıyor.
#True döndüğü için verilerde bir kaybımız olmadı. Yaptığımız işlemleri veri sayısı bakımından doğrulamış olduk

df_2010_2011.shape[0] == df_satis.shape[0] + df_iade.shape[0] + top_nan

#df_satis kolon isimleri

df_satis.columns

# df_satis DEĞİŞKENLERİNİN İSTATİSTİKSEL BİLGİLERİ 
# Buraya sadece sayısal değişkenlerin bilgileri gelir.

df_satis.describe().T

#Satış veri setindeki tüm satılan ürünlerin sayısı(Eşsiz ürün kodu toplamı)

df_satis["StockCode"].nunique()

#İade Verisindeki tüm ürünlerin sayısı(Eşsiz ürün kodu toplamı)

df_iade["StockCode"].nunique()

#Satış Verisinde hangi üründen kaçar tane var? İlk 5 gözlemi getir.

df_satis["StockCode"].value_counts().head()

#Satış verisinde en çok sipariş edilen ürünler hangileri? İlk 5 gözlemi getir.

df_satis.groupby("StockCode").agg({"Quantity":"sum"}).sort_values("Quantity", ascending = False).head()

#İade verisinde en çok iade edilen ürünler hangileri? İlk 5 gözlemi getir.
#Buradaki negatiflik, ürünün iade olduğu anlamına gelir. Vektörel bir anlam gibi düşünülebilir. 
# Sayısal olarak -1 büyük olmasına rağmen, miktarsal olarak bir büyüklük ifade etmeyeceğinden, satış verisindekinin aksine, "ascending" değerini burada "True" vererek, en çok iade alanı en başta görebiliriz.

df_iade.groupby("StockCode").agg({"Quantity":"sum"}).sort_values("Quantity", ascending = True).head()

#Satış veri setinde toplam kaç fatura kesilmiştir?

df_satis["Invoice"].nunique()

#Satış veri setinde her bir kayıt için toplam fiyat hesaplayalım ve yeni bir kolon olarak ekleyelim.

df_satis["TotalPrice"] = df_satis["Quantity"]*df_satis["Price"]
df_satis.head()

#Satış veri setinde fatura başına ne kadar para kazanılmıştır? En fazla para kazanılan faturalar hangileridir? İlk 5 gözlemi getirelim.

df_satis.groupby("Invoice").agg({"TotalPrice":"sum"}).sort_values("TotalPrice", ascending = False).head()

#Satış veri setinde en pahalı ürünler hangileridir? İlk 5 gözlemi getirelim.

df_satis.sort_values("Price",ascending = False).head()

#Satış veri setinde hangi ülkeden kaç sipariş geldi?

df_satis.groupby("Country").agg({"Quantity":"sum"}).sort_values("Quantity",ascending = False)

#Satış veri setindeki, ülkelerden alınan maximum sipariş miktarlı ürün kodlarını, Ülke, Ürün Kodu ve Miktar bazında alalım

df_sonuc = df_satis.groupby(["Country","StockCode"]).agg({"Quantity":"sum"}).sort_values("Quantity", ascending = False)
df_sonuc = df_sonuc.reset_index()
df_sonuc.groupby("Country").head(1)

#Satış veri setinde hangi ülke ne kadar kazandırdı?

df_satis.groupby("Country").agg({"TotalPrice":"sum"}).sort_values("TotalPrice",ascending = False)

#Satış veri setinin istatistiksel bilgilerini daha detaylı gözlemleyelim.

df_satis.describe([0.01,0.05,0.10,0.25,0.50,0.75,0.90,0.95, 0.99]).T

6). RFM Skorları ile Müşteri Segmentasyonu

• Recency Değeri Hesaplama İşlemleri
  Recency, Müşterinin son temasından bugüne kadar geçen süredir.

#Veri seti eski tarihli bir veri seti olduğu için, müşterilerin son temasından bugüne kadar olan süreyi hesaplarsak, bu süre çok uzun olacaktır.
#Biz kendimize örnek olması açısından, veri seti üzerinden bir "bugün" belirleyelim. Bunu da veri seti üzerindeki en son tarihli gün olarak alalım.

max_date = df_satis["InvoiceDate"].max()
max_date

#max_date değişkenini datetime tipi olarak almalıyız. Böylece günler arasında çıkartma işlemini yapabileceğiz.
import datetime as dt

bugün = dt.datetime(2011,12,9,12,50,0)
bugün

#Bugünün tarihinden, müşterilerin son alışveriş tarihlerini çıkartarak arada geçen sürenin gün değerlerini yeni bir dataframe yapısına atalım. Bu değeler müşterinin "Recency" değerleridir. İlk 5 gözleme bakalım

df_tempr = (bugün - df_satis.groupby("Customer ID").agg({"InvoiceDate":"max"})).rename(columns={"InvoiceDate":"Recency"})["Recency"].apply(lambda x : x.days)
df_recency = pd.DataFrame(df_tempr)
df_recency.head()

• Frequency Değeri Hesaplama İşlemleri
  Frequency, müşterinin toplam satın alma sayısıdır.

# Her bir müşteriye kesilmiş farklı fatura sayılarını bulursak, müşterinin toplam satın alma sayısını bulmuş oluruz. Bu da frequency değerimizdir.

#İlk önce Müşteri ID ve Fatura No bazında gruplayarak, her bir faturanın Müşteri bazında kaç sefer çoklandığını gözlemliyoruz.İlk 5 gözleme bakalım

df_tempf = df_satis.groupby(["Customer ID","Invoice"]).agg({"Invoice":"count"})
df_tempf.head()

#Şimdi de df_tempf üzerinde her bir müşterideki fatura sayısını saydırmamız lazım. Bulduğumuz değerler, müşterilerin "Frequency" değerleridir. İlk 5 gözleme bakalım

df_frequency = df_tempf.groupby("Customer ID").agg({"Invoice":"count"}).rename(columns = {"Invoice":"Frequency"})
df_frequency.head()

• Monetary Değeri Hesaplama İşlemleri
  Monetary, müşterinin yaptığı toplam harcamadır.

#Her bir müşterinin daha önce hesaplamış olduğumuz TotalPrice değerlerinin toplamı, bize o müşterinin yaptığı toplam harcamayı yani "Monetary" değerini verir. İlk 5 gözlemine bakalım

df_monetary = df_satis.groupby("Customer ID").agg({"TotalPrice":"sum"}).rename(columns = {"TotalPrice":"Monetary"})
df_monetary.head()

Müşteri Bazlı Bulunan RFM Skorlarının Birleştirilmesi

#Concatenate işleminin düzgün yapılabilmesi için satır ve sütun sayılarında, işlemi bozacak bir uyumsuzluk olmadığı kontrolü sağlanır. Tüm RFM dfleri aynı boyuta sahiptir.
print(df_recency.shape, df_frequency.shape, df_monetary.shape)

#Tüm RFM skorlarını tek bir dataframede toplayıp ismine "df_rfm" diyelim

df_rfm = pd.concat([df_recency,df_frequency,df_monetary], axis = 1)
df_rfm.head()

#RFM Skorlarını 1 den 5 e kadar puanlayacağım.

birden_bese = ['1','2','3','4','5']
besten_bire = ['5','4','3','2','1']

#Frequency : Müşterinin toplam satın alma sayısı -> değerinin yüksek olması, puanın yüksek olması anlamına gelir.
#Bu nedenle doğru bir orantı vardır. 1 den 5 e puanladım. Her sınıfın sayılarına baktım

cut_bins = [0,1,2,4,10,210]
df_rfm["FrequencyScore"] = pd.cut(df_rfm["Frequency"], bins = cut_bins, labels = birden_bese)
df_rfm["FrequencyScore"].value_counts()

#Recency : Müşterinin son temasından bugüne kadar geçen süre -> değerin yüksek olması, puanın düşük olması anlamına gelir.
#Bu nedenle ters bir orantı vardır. 5'ten 1'e puanladım. Her sınıfın sayılarına baktım

df_rfm["RecencyScore"] = pd.qcut(df_rfm['Recency'], 5, labels = besten_bire)
df_rfm["RecencyScore"].value_counts()

#Monetary : Müşterinin yaptığı toplam harcama -> değerin yüksek olması, puanın yüksek olması anlamına gelir.
#Bu nedenle doğru bir orantı vardır. 1 den 5 e puanladım. İlk 5 gözlemi aldım. Her sınıfın sayılarına baktım

df_rfm["MonetaryScore"] = pd.qcut(df_rfm['Monetary'], 5, labels = birden_bese)
df_rfm["MonetaryScore"].value_counts()

#RFM skorunun müşteri bazında birleştirilmiş halini RFM_SCORE olarak dataframe yapımıza ekleyelim. İlk 5 gözlemi alalım.

df_rfm["RFM_SCORE"] = df_rfm['RecencyScore'].astype(str) + df_rfm['FrequencyScore'].astype(str) + df_rfm['MonetaryScore'].astype(str)
df_rfm.head()

#En Yüksek RFM_SCORE a sahip ilk 5 müşteri

df_rfm[df_rfm["RFM_SCORE"]=='555'].head()

#En Düşük RFM_SCORE a sahip ilk 5 müşteri

df_rfm[df_rfm["RFM_SCORE"]=='111'].head()

#RFM skorlarının istatistiksel değerlerine bakalım

df_rfm.describe().T

Müşteri Segmentasyonu

Müşterilerimi “Recency” ve “Frequency” değerlerini kullanarak segmentlere ayıracağım :

#Recency ve Frequency Skorlarına göre Müşteri Segmentlerine isim verebilmek için regular expression (regex) yapısı kuruyorum.

seg_map = {
    r'[1-2][1-2]': 'Hibernating',
    r'[1-2][3-4]': 'At Risk',
    r'[1-2]5': 'Can\'t Loose',
    r'3[1-2]': 'About to Sleep',
    r'33': 'Need Attention',
    r'[3-4][4-5]': 'Loyal Customers',
    r'41': 'Promising',
    r'51': 'New Customers',
    r'[4-5][2-3]': 'Potential Loyalists',
    r'5[4-5]': 'Champions'
}

#Regex yapısını kullanarak müşterilerimi segmentlere ayırıyorum ve bulundukları segmentleri "Segmet" kolonunda gösteriyorum. İlk 5 gözleme bakalım

df_rfm['Segment'] = df_rfm['RecencyScore'].astype(str) + df_rfm['FrequencyScore'].astype(str)
df_rfm['Segment'] = df_rfm['Segment'].replace(seg_map, regex=True)
df_rfm.head()

#"Need Attention" sınıfına ait customer ID'leri seçerek excel çıktısı almak istiyorum. İlk 5 gözleme bakıyorum.

need_attention_df = pd.DataFrame()
need_attention_df["NeedAttentionCustomerID"]= df_rfm[df_rfm["Segment"]=='Need Attention'].index
need_attention_df.head()

#Excele alıyorum

need_attention_df.to_csv("Need_Attention.csv")

Bu işlemden sonra, bulunduğumuz dizinde “Need_Attention.csv” isimli csv dosyasının oluşmasını bekliyorum.

7). Yorumlar

#Her bir RFM grubunun ortalama ve adet değerlerini görmek istiyorum.

df_rfm[["Segment", "Recency","Frequency","Monetary"]].groupby("Segment").agg(["mean","count"])

3 müşteri segmenti seçiyorum :

1). Can’t Loose Them

• Bu grupta 12 kişi vardır.
• Ortalama 136.33 gündür alışveriş yapmıyorlar.
• Ortalama 14.92 kez alışveriş yapmışlar.
• Ortalama 4150.68 Birim para kazandırmışlar.

Alınabilecek Aksiyon Kararı : Bu grup uzun zamandır alışveriş yapmıyor fakat toplam satın alma sayıları oldukça yüksektir. Yani firmadan alışveriş yapmaya meyilli bir gruptur. Sadece firma olarak kendimizi kısaca bir hatırlatmalıyız :) Bunun için, son yaptıkları alışverişlere bakılarak, kendilerini uzun zamandır aramızda görmediğimizi bildirmeli ve ilgilenebilecekleri ürünler üzerinden indirim kampanyaları düzenleyerek alışveriş yapmalarını sağlayabiliriz.

2). Need Attention

• Bu grupta 208 kişi vardır.
• Ortalama 50.93 gündür alışveriş yapmıyorlar.
• Ortalama 3.43 kez alışveriş yapmışlar
• Ortalama 1339.38 Birim para kazandırmışlar.

Alınabilecek Aksiyon Kararı : Bu grup hem zamansal olarak hem de toplam satın alma sayıları olarak ortalama değerler göstererek kaybetmeye meyilli olduğumuz, aynı zamanda da kazanmak için aşırı çaba gerektirmeyen müşteri grubudur. Hem satın alma sayılarını, hem de firmamızla temaslarını arttırmalıyız. “Loyal Customers” dediğimiz sadık müşterilerimize yakın bir gruptur. Kendilerini bu gruba çekmek için Frequency değerlerini arttırmalıyız, yani yukarıdaki görsele göre dikeyde bir hareket yaptırmalıyız Küçük meblağlı alışverişler dahi olsa toplam satın alma sayılarını arttırabilecek ve ilgilerini çekebilecek ürün tanıtımları veya promosyonlarla kendilerini sadık müşteri grubuna transfer edebiliriz.

3). New Customers

• Bu grupta 67 kişi vardır.
• Ortalama 6.09 gündür alışveriş yapmıyorlar.
• Ortalama 1 kez alışveriş yapmışlar
• Ortalama 348.64 birim para kazandırmışlar.

Alınabilecek Aksiyon Kararı : Bu müşteri grubu, son temasları taze olan gruptur. Dolayısı ile bu grubun yukarıdaki görsele göre dikeyde hareket etmelerini sağlamalıyız. İlk önce “Potential Loyalists” grubuna, daha sonra da “Loyal Customers” grubuna dahil olmalarını sağlayacak 2 adım attırmalıyız. Bunun için toplam satın almalarını arttırmalıyız. Küçük meblağlarla dahi olsa bize sık sık gelmelerini sağlamalıyız. Yeni müşterilere özel kampanyalar düzenleyerek, bir sonraki hafta veya bir sonraki ay gelecek olan ürün tanıtımlarını yaptıktan sonra, yeni müşterilere özel kampanyalarla harmanlayarak, toplam satın alma sayılarını arttırabiliriz.

Bir önceki yazımda “Apriori Algoritması ile Birliktelik Analizi ve Tavsiye Sistemi Geliştirme” konusunu ele almıştım. Bu linkten erişebilirsiniz.

Bir sonraki yazımda görüşmek üzere,

Sevgiyle kalın.

Herkese merhaba !

Medium platformu ile buluşmamın ilk yazısına kısaca kendimden bahsederek ve bu platforma nasıl giriş yaptığımı anlatarak başlamak istedim. :) Isınma turları olsun ;)

Kurumsal bir firmada IT Departmanında yazılım geliştirerek hayatını idame ettiren Bahar, Veri Bilimi dünyasına herhangi bir dış etki olmadan, içten yanmalı merak duygusu ile giriş yapmıştır :) 1 Mayıs 2020 tarihinden beri aktif olarak bu alanda araştırmalar yaparak kendini geliştirmektedir. Bugün 21 Haziran 2020 olduğunu düşünürsek, epey yeni olduğunu söyleyebiliriz :)
Burası benim için günlük gibi olsun istiyorum, tarihler veriyorum ki geçmişe dönüp baktığımda benim için de bir anı niteliğinde olabilsin :)

Kendimi iyi hissettiren ilk projemi yaptıktan sonra, bunu paylaşma, bir yerlere kaydetme ihtiyacı hissettim. Bu amaçla “Data Science & Machine Learning Bootcamp”ın değerli eğitmeni M.Vahit Keskin önerisi ile Medium ile tanıştım ve buradayım!

Sözü çok fazla uzatmadan çalışmamdan bahsetmek istiyorum. Veri Bilimi dünyasında Association Rule dediğimiz Birliktelik Analizini Apriori Algoritması ile uyguladım ve 7 aşamada geliştirmiş olduğum Tavsiye Sistemini sizlerle paylaştığım “Apriori Algoritması ile Birliktelik Analizi ve Tavsiye Sistemi Geliştirme” başlıklı yazımda görüşmek üzere!

Sevgiyle kalın!

Değerli okurlar merhaba!

Sizlere marketten aynı anda alınan ürünleri içeren veri seti üzerinden, Support ve Confidence değerlerini yorumlayarak 7 adımda basit tavsiye sistemi geliştirip, aksiyon fikri önereceğim. Geliştirmeler JupyterLab üzerinde Python ile yapılmıştır.Ayrıca Kaggle platformunda paylaşılmış olup notebook olarak kaydedilmiştir. Dilerseniz aşağıdaki linkten notebook detayına da erişebilirsiniz :
https://www.kaggle.com/baharkayan/apriori-association-rule

Öncelikle çalışmanın sonunda yorum için kullanacağımız 2 değerden bahsetmek istiyorum:

X: ürün Y: ürün N: toplam alışveriş

• Destek (Support): X ve Y nin birlikte görülme olasılığı
  Support(X, Y) = Freq(X,Y)/N
• Güven (Confidence): X alanların yüzde şu kadarı Y yi de alacak
  Confidence(X, Y) = Freq(X,Y) / Freq(X)

Yukarıda bahsettiğim 7 adım ile geliştirmiş olduğum Tavsiye Sistemi adımlarına geçelim :

1). Veri Okuma

#https://www.kaggle.com/shazadudwadia/supermarket linkindeki dataseti notebookuma dahil ettim. Ardından CSV okuma işlemini gerçekleştiriyorum.

import pandas as pd
df = pd.read_csv('../input/supermarket/GroceryStoreDataSet.csv', names=['products'], header=None)
df

#DataFrame içerindeki verileri merak ettim, verileri çekiyorum.

df.values

#Satır ve Sütun bilgisini merak ettim, boyut bilgisine erişiyorum.

df.shape

2). Veri Hazırlama

Birliktelik analizinin yapılabilmesi için Apriori algoritmasını kullanacağım.

mlxtend kütüphanesinin apriori metodu, veri setini True-False dataframe olarak kabul etmektedir. Veriyi dönüştürmek için yine mlxtend kütüphanesinin veriyi dönüştürme metodlarını kullanacağım. Bu nedenle elimdeki ham veri setini, bu metodların isteyeceği formata dönüştüreceğim.

#Adım1 : Veriyi liste formatına dönüştürdüm. Her bir satırdaki objeleri ',' ile ayırdım.

data = list(df["products"].apply(lambda x : x.split(',')))
data

#Adım2 : mlxtend kütüphanesinin veriyi True-False dataframe ine dönüştürme metodunu uyguluyacağım. İlk önce, kurulu olmayanlar için mlxtend kütüphanesini install ediyorum.

!pip install mlxtend

from mlxtend.preprocessing import TransactionEncoder
te = TransactionEncoder()
te_data = te.fit(data).transform(data)
df = pd.DataFrame(te_data,columns=te.columns_)
df

3). Apriori Algoritmasını Uygulama

Apriori algoritmasının çıktısında, her bir kombinasyonun, tüm veri setindeki frekanslarını elde etmiş oluruz. Örneğin aşağıdaki çıktıda sadece “BISCUIT” in tüm veri setinde görülme sıklığı(frekans) 0.35 iken, “BISCUIT ve BREAD” in tüm veri setinde birlikte görülme sıklığı(frekans) 0.20 dir.

# Apriori algoritmasına min_support değeri 0.2 verildi. Böylece kombinasyonlardaki 0.2 support değerinin altında olan ürün birliktelikleri elenmiş oldu.
# "verbose" argümanının 1 olması ise toplam kaç kombinasyon olduğu bilgisini bize verecektir. Örneğimizde 42 kombinasyon oluşmuştur. 
# En son durumda ise elimizde 16 kombinasyon kalmıştır. 
# Demek ki 42-16 = 26 kombinasyonumuz 0.2 support değerinin altında kalmış ve yorumlarımıza katmayacağımız önemsiz bir oran olarak ele alınmıştır.

from mlxtend.frequent_patterns import apriori
freq_items = apriori(df,min_support=0.20,use_colnames = True, verbose = 1)
freq_items

4). Birliktelik Analizi Uygulama :

mlxtend kütüphanesinin association_rules metodu ile support değerleri elimizde olan veri seti kombinasyonuna birliktelik analizi uygulayacağım. Son çıktımı “support” ve “confidence” değerlerine göre yorumlayıp örnek bir aksiyon fikri önereceğim.

Örnek Birliktelik Analizi Çıktısı Yorumlama :

• BISCUIT ve BREAD in birlikte görülme olasılığı support = 0.20 olduğundan %20 dir.
• BISCUIT alındığında BREAD alınma olasılığı ise confidence = 0.571429 olduğundan %57 civarıdır.

# "min_threshold = 0.3" verilerek, "confidence" değeri 0.3 altında olan değerlerin getirilmemesi tercih olarak sağlandı.

from mlxtend.frequent_patterns import association_rules
df_res = association_rules(freq_items, metric = "confidence", min_threshold = 0.3)
df_res

5). Veri Filtreleme için Hazırlık

Bu kısımda en düşük ve en yüksek confidence değerleri alınarak, bu değerler veri filtrelemede kullanılacak ve aksiyon fikri önerilecektir.

#En yüksek confidence değerini bulalım. Çıktıda en yüksek confidence değerinin 0.80 olduğu görülüyor.

conf_max = df_res['confidence'].max()
conf_max

#En düşük confidence değerini bulalım. Çıktıda en düşük confidence değerinin 0.307 olduğu görülüyor.

conf_min = df_res["confidence"].min()
conf_min

6). Veri Filtreleme

#En düşük, En yüksek ve 0.5 confidence değerine sahip olan veriler filtreleniyor. "confidence" değerine göre artan sırada sıralanıyor.

df_filt = df_res[ (df_res["confidence"] == conf_min) | (df_res["confidence"] == conf_max) | (df_res["confidence"] == 0.5 )]
df_filt.sort_values("confidence", ascending = True)

7). Yorumlar ve Aksiyon Önerisi

• MILK : Süt
• BREAD : Ekmek
• COFFEE : Kahve
• CORNFLAKES : Mısır Gevreği
• BISCUIT : Bisküvi

Yukarıdaki çıktı baz alındığında;

Index = 0 için :
a). Ekmek ve Bisküvinin birlikte alınma olasılığı support = 0.2 olduğu için %20'dir.
b). Ekmek alındığında Bisküvi alınma olasılığı confidence = 0.307692 olduğu için %30'dur.
c). Bisküvinin tek başına alınma olasılığı consequent support = 0.35 olduğu için %35'tir.

Index = 9 için :
a). Kahve ve Mısır Gevreğinin birlikte alınma olasılığı support = 0.2 olduğu için %20'dir.
b). Kahve alındığında Mısır Gevreği alınma olasılığı confidence = 0.5 olduğu için %50'dir.

Index = 3 için :
a). Süt ve Ekmeğin birlikte alınma olasılığı support = 0.2 olduğu için %20'dir.
b). Süt alındığında Ekmek alınma olasılığı confidence = 0.8 olduğu için %80'dir.

Yorumlar :

• Ekmek alan müşterilerin %30'u Bisküvi de almaktadır.
• Kahve alınan satışların yarısında Mısır Gevreği de alınmıştır.
• Süt ve Ekmek tüm alışverişlerin %20 sinde birlikte alınmıştır.

Aksiyon Önerisi :

• Süt alan müşterilerin ekmek alma olasılığı oldukça yüksektir(%80). Bu demek oluyor ki; süt alan müşteriler genelde ekmek de almaktadır ve muhtemelen süt aldıktan sonra ekmek reyonunun yolunu tutacaktır. Süt ve ekmek reyonları market içerisinde birbirinden uzak lokasyonlara konumlandırılarak, süt alan müşterinin ekmek reyonuna giderken, pek çok reyon geçmesi zorunlu kılınabilir. Böylece müşterinin yolculuğu sırasında herhangi bir ürün satın alma olasılığı arttırılabilir.
• Ekmek alan müşterilerin Bisküvi alma olasılığı biraz düşük görünüyor(%30). Bisküvinin tek başına alınma olasılığı da düşük görünüyor(%35). Bisküvi satışını arttırmak için, ekmek rafının hemen yanına bisküvi standı konularak ve fiyatı ucuz olanlar ön plana yerleştirilip, fiyatı koyu etiketle basılarak müşterinin dikkatinin çekilmesi sağlanabilir.

Katkılarından dolayı teşekkürler! :

• M. Vahit Keskin :
  https://www.linkedin.com/in/mvahitkeskin/
• Veri Bilimi Okulu:
  https://www.linkedin.com/in/veribilimiokulu/
• Referans Notebook:
  https://www.kaggle.com/mariekaram/apriori-association-rule

Bir sonraki yazımda “RFM Analizi ile Müşteri Segmentasyonu” konusunu ele alacağım. Bu linkten erişebilirsiniz.

Sevgiyle kalın!