Veri biliminde öngörülen 2018 trendlerini paylaştığım ilk yazıdan sonra makine öğrenmesi dersleri ile ilgili başlangıç-orta düzeyde bir seri yapmaya karar vermiştim şimdi o seriyi bana gelen talepler doğrultusunda güncelledim.

Çünkü bu alanla ilgili standart ders kitapları kişiyi fazla teknik detaya boğduğundan çoğu insanın ya ilk ünite bitmeden pes ettiğini ya da youtube videolarının arka arkası gelmeyen pasifliğinde oradan oraya savrulduğunu gördüm.

Günün sonunda big data, machine learning, deep learning, artificial intelligence diyen ama basit bir regresyon modeli kuramayan meraklılar haline dönüşüyor birçok insan. O sebeple makine öğrenmesi derslerini elimden geldiğince basit olarak kurguladım.

Makine Öğrenmesi Dersleri 2: Görselleştirme

Makine Öğrenmesi Dersleri 3a: Karar Ağaçları (Sınıflandırma)

Makine Öğrenmesi Dersleri 3b: Karar Ağaçları (Regresyon)

Makine Öğrenmesi Dersleri 4a: Lojistik Regresyon

Makine Öğrenmesi Dersleri 4b: Lineer Regresyon

Makine Öğrenmesi Dersleri 5a: Random Forest (Sınıflandırma)

Makine Öğrenmesi Dersleri 5b: Random Forest (Regresyon)

Makine Öğrenmesi Dersleri 6: Doğal Dil İşleme (NLP)

Makine Öğrenmesi Dersleri 7: Boyut Azaltma-PCA

Makine Öğrenmesi Dersleri 8: Cross Validation

Makine Öğrenmesi Dersleri 9: Hiper-parametre Kestirimi

Makine Öğrenmesi Dersleri 10: Sınıflandırma Modellerinde Başarı Kriterleri

Makine Öğrenmesi Dersleri 11: Veri Manipülasyonu

Bu dersleri takip etmek için bilgisayarınıza Python kurmanıza veya veri setini indirmenize gerek yok. İhtiyacınız olan tek şey internet ve bu yazıyı okuduğunuza göre o konuda da bir sorunumuz yok. İzlemeniz gereken adımlar sırasıyla şöyle:

1. Google hesabınızı açın.
2. https://colab.research.google.com/ adresine gidin.
3. NEW PYTHON 3 NOTEBOOK’a tıklayın.
4. Oradaki satıra aşağıdaki kodu yapıştırın ve play tuşuna basın.

Yukarıdaki gibi bir sonuç çıkmış olmalı. Şimdi kütüphanelerimizi çağıralım.

Şimdi sütunları ekleyip veri setimize tekrar bakıyoruz. Her şey yolunda gözüküyor.

İlk yapmamız gereken veri setimizde eksik veri olup olmadığını ve veri tiplerini kontrol etmek.

Yukarıda göreceğiniz gibi her sütunda 32.561 ‘non-null’ kayıt var yani veri setimizde eksik veri yok. Sütunların yanında veri tiplerini de görüyorsunuz. Burada hedef değişkenimiz salary olduğu için onun dağılımına value_counts() fonksiyonuyla bakıyoruz ve seaborn kütüphanesiyle görselleştiriyoruz.

Adımlarımız sırasıyla şöyle:

1. plt.figure() ile görselin enini ve boyunu belirliyoruz.
2. sns.countplot() fonksiyonuna görselleştirmek istediğimiz değişkeni yazıyoruz.
3. value_counts() fonksiyonuyla hedef değişkenin dağılımını buluyoruz.

Maaşı 50K’dan düşük ve yüksek olanların yaş karakteristiğine bakalım şimdi.

Öncelikle df[‘salary’] sütunun <=50K’ya eşit olduklarını seçiyoruz.

1. Bu şartı sağlayan kayıtların [‘age’] sütununa bakıyoruz.
2. describe() fonksiyonuyla bu şartı sağlayan kayıtların [‘age’] sütunuyla ilgili dağılımını elde ediyoruz.
3. Aynı işlemleri df[‘salary’] sütunun >50K’ya eşit olduğu sütunlar için de tekrarlıyoruz.

Bu kısım biraz karışık gelebilir değerlerle oynayıp hata almanızı tavsiye ederim ama çok da takılmanıza gerek yok artık görselleştirme dünyasına giriyoruz.

Veri setindeki kişilerin eğitim durumlarının dağılımını yine value_counts() fonksiyonuyla buluyoruz, yukarıdaki görsele ek olarak x eksenindeki değişkenlerimizi büyükten küçüğe sıralamak istediğimiz için order belirliyoruz ve x eksenimiz iç içe geçmesin diye değerleri 70 derece döndürüyoruz.

plt.figure() ile görselin enini ve boyunu belirliyoruz.

1. sns.countplot() fonksiyonuna görselleştirmek istediğim değişkeni yazıyoruz ve hedef değişkeni büyükten küçüğe sıralıyoruz.
2. x eksenini 70 derece döndürüyoruz ki değerler birbirine karışmasın.
3. value_counts() fonksiyonuyla hedef değişkenin dağılımını buluyoruz.

Yukarıda iki değer alabilen bir özniteliğin yaş karakteristiğini incelemiştik. Eğer bu çalışmayı eğitim gibi çok fazla değer alan bir öznitelik için yapmaya kalkarsak oldukça zaman kaybederiz. Bunun için groupby() fonksiyonuna ihtiyacımız var.

Gruplamak istediğimiz değişkeni belirliyoruz.

1. İncelemek istediğimiz sütunu seçiyoruz.
2. describe() fonksiyonuyla hedef değişkenimizin dağılımını buluyoruz.

Şimdi eğitim durumuna göre insanların haftalık ortalama çalışma saatlerini inceleyeceğiz. Bunu yaparken ayrıca 50K’dan az ve fazla alan kişileri gruplayıp dağılımı öğreneceğiz.

plt.figure() ile görselin enini ve boyunu belirliyoruz.

1. sns.barplot() fonksiyonuna görselleştirmek istediğimiz değişkenin x ve y değerlerini yazıyoruz.
2. hue=’salary’ seçeneği ile veriyi ‘salary’ sütununa göre ikiye ayırıyoruz.
3. default renk seçeneği yerine palette=’inferno’ ile görselleştiriyoruz.
4. x eksenini 70 derece döndürüyoruz.

Şimdi de verimizi cinsiyete göre gruplayıp insanların haftalık ortalama çalışma saatlerini inceleyeceğiz.

plt.figure() ile görselin enini ve boyunu belirliyoruz.

1. sns.pointplot() fonksiyonuna görselleştirmek istediğimiz değişkenin x ve y değerlerini yazıyoruz.
2. hue=’sex’ seçeneği ile veriyi sex’ sütununa göre ikiye ayırıyoruz.
3. default renk seçeneği yerine palette=’dark’ ile görselleştiriyoruz.
4. x eksenini 70 derece döndürüyoruz.

Son olarak yukarıdaki yaptığımız maaş ve cinsiyet gruplamalarını birleştiriyoruz ve buna göre insanların haftalık ortalama çalışma saatlerini inceliyoruz.

plt.subplots() ile görselin enini, boyunu belirliyoruz ve satır, sütun sayısını belirliyoruz.

1. sns.pointplot() fonksiyonuna görselleştirmek istediğimiz değişkenin x ve y değerlerini yazıyoruz.
2. hue=’sex’ seçeneği ile veriyi ‘sex’ sütununa göre ikiye ayırıyoruz.
3. default renk seçeneği yerine palette=’dark’ ile görselleştiriyoruz.
4. data=df[df[‘salary’]==’ <=50K’] ile maaşı 50K’dan az olanları seçiyoruz.
5. ax=ax1 ile ilk figürün yerini belirliyoruz.
6. Aynı adımları maaşı 50K’dan fazla olanlar için tekrarlıyoruz.

İlk ders Python’a veya başka bir programlama diline hakim olan insanlar için kolay gelebilir. Onlar için hızlı bir tekrar olmuştur umarım. İlk defa programlamaya giriş yapanlar için keyifli bir başlangıç olmuştur umarım.

İkinci derse kadar herkesin bu çalışmayı kendi bilgisayarında denemesini tavsiye ederim. Emin olun bilgisayarınızda yapıp düzelteceğiniz 1 hata, buna benzer onlarca yazı okuyup video izlemekten çok daha faydalı olacaktır.

Çalışmadaki veri setine ve kodlara şuradan ulaşabilirsiniz.

Sorunuz olursa bana Linkedin veya Twitter hesaplarından yazabilirsiniz.

Makine Öğrenmesi Dersleri 1: Açıklayıcı Veri Analizi was originally published in Veri Bilimi Türkiye on Medium, where people are continuing the conversation by highlighting and responding to this story.

Bu yazımızda RFM Skorlamanın uygulamasına geçiyoruz. Kullanacağımız veri CD satış verisi olacak.

Bruce Hardie: Datasets

Adresine giderek CDNOW dataset (1/10th sample) dosyasını indirmeniz gerekiyor. Sonrası için R yeterli olacak!

Veriyi RStudio’ya yüklemek için

getwd()

setwd(“/Users/boyaronur/Desktop/CDNOW_sample”)

cdnow <- read.table(“CDNOW_sample.txt”)

Kodu yeterli olacak. getwd() fonksiyonu ile bulunduğumuz dizini öğrendik, sonrasında setwd() fonksiyonu ile çalıştığımız dizini ayarladık. CDNOW_sample.txt dosyası masaüstünde olduğundan dolayı dizini masaüstü olarak belirledim. Bu nedenle read.table fonksiyonuna yalnızca veri dosyasının ismini yazmam yeterli oldu.

Veride bulunan sütunlardan ilki tam veri setindeki müşteri ID’si iken ikinci sütun küçültülmüş veri setindeki ID numaraları. Biz şu an küçültülmüş veri setinde çalıştığımızdan dolayı ilk sütunu silip, diğer sütunları isimlendirebiliriz.

cdnow$V1 <- NULL
colnames(cdnow) <- c(“ID”, “TARIH”, “ADET”, “FIYAT”)
str(cdnow)

Bu işlemi yaptıktan sonra sıra veri dönüşümlerinde. ID’yi factore, TARIH’i ise date değişkenine dönüştürmemiz gerekiyor. Bunun için,

cdnow$ID <- as.factor(as.character(cdnow$ID))
cdnow$TARIH <- as.Date(as.character(cdnow$TARIH), “%Y%m%d”)

Kodu yeterli olacaktır.

Bu işlemden sonra sıra RFM skorlamayı hangi tarihten başlatacağımızı bulmakta. En son satışın gerçekleştiği günü referans günü yapalım. Bunun için en büyük tarih değerini bulmamız yeterli olacaktır. Bunu bulmak da oldukça kolay.

refDay <- max(cdnow$TARIH)
class(refDay)
as.numeric(refDay — cdnow$TARIH)

Kodu ile ilk olarak refDay değişkenine referans günümüzü, yani veri setimizde bulunan en son işlemin tarihini attık. refDay değişkeninden diğer tarihleri çıkardığımızda bile o tarihten kaç gün uzakta oldukları dönüyor.

Artık verimiz hazır! Şimdi Recency, Frequency ve Monetary değerlerini hesaplayalım.

library(dplyr)
rfm_recency <- cdnow %>% group_by(ID) %>% summarise(Recency = as.numeric(refDay) — as.numeric(max(TARIH)))

rfm_frequency <- cdnow %>% group_by(ID) %>% summarise(Frequency = n())

rfm_monetary <- cdnow %>% group_by(ID) %>% summarise(Monetary = sum(FIYAT))

dplyr paketi sayesinde bu işlemi kolayca yapabildik. Şu anda elimizde Recency, Frequency ve Monetary değerleri bulunuyor. Sıradaki dersimizde bu değerleri skorlayacağız!

Bu yazının video derslerine Veri Bilimi Türkiye YouTube kanalımızdan ulaşabilirsiniz.

RFM Skorlama — Veriyi Hazırlama was originally published in Veri Bilimi Türkiye on Medium, where people are continuing the conversation by highlighting and responding to this story.

Bu yazımızda kısaca RFM skorlamadan bahsedeceğiz.

RFM Skorlama müşteri analitiği alanında sıkça kullanılan bir yöntemdir. Müşteri segmentasyonu için uygulanan basit ve güçlü bir yöntemdir. RFM kelimesindeki her harf başka bir kelimeyi teslim eder.

R harfi Recency’i,

F harfi Frequency’i

M harfi Monetary’i temsil etmektedir. Peki bu kelimeler ne anlama gelmekte?

Recency kelimesi müşterilerin en son ne zaman alışveriş yaptığının gün cinsinden değeri anlamına gelmektedir. Örnek üzerinden gidelim. Diyelim ki elimizde 1 Ocak 2018'den 1 Ağustos 2018'e kadar olan bir müşteri verisi bulunuyor. Bu veri müşterilerin ID’sini, ne zaman alışveriş yaptıklarını, alışverişde aldıkları ürün sayısını ve bu alışverişin ne kadar tuttuğunu içersin. 7 ID’sine sahip müşterinin de 2 Ocak ve 22 Haziran tarihlerinde alışveriş yaptığını farzedelim. Burada 7 ID’sine sahip müşterinin recency değerini hesaplamak için kullanacağımız tarih 22 Haziran tarihi olacaktır. Çünkü Recency’de önemli olan müşterinin ‘en son’ ne zaman alışveriş yaptığıdır. Bu nedenle, recency değerimiz 40 gün olacaktır.

Frequency değerimizi hesaplamak için ise müşterinin kaç kez alışveriş yaptığını bulmamız yeterli olacaktır. 7 ID’li müşterimiz bizden 2 kez alışveriş yapmış durumda. Bu nedenle bu müşterinin Frequency değeri 2 olacaktır.

Monetary için ise bu müşterinin yaptığı alışverişlerin toplam miktarını toplamamız gerek. 2 Ocak’taki alışverişi 44 lira tutmuş olsun. 22 Haziran’daki alışverişi ise dolardaki artış nedeniyle aynı ürünleri almış olmasına rağmen 75 lira tutmuş olsun. Bu kişi Monetary değeri artık 75 + 44 = 109 olacaktır.

Bu değerleri sadece 7 ID’sine sahip müşteri için değil, tüm müşteriler için yapacağız. Sonrasında skorlama işlemine geçeceğiz.

Skorlama Nasıl Yapılır?

Skorlama yapmak için R, F ve M değerlerini böleceğimiz noktaları tespit etmemiz gerekmektedir. RFM Skorlama genel olarak tüm değerlerin 1–4 aralığında veya 1–5 aralığında skorlar alması aracılığı ile yapılır. Yani eğer 4 üzerinden yapacaksak en iyi müşterimiz 444 skorunu alacaktır. Bu müşteri oldukça yakın bir zamanda alışveriş yapmış, oldukça sık alışveriş yapmış ve bu alışverişlerinde yüksek fiyatlı ürünler almış bir müşteri olacaktır. 442 skoruna sahip müşteri ise oldukça yakın bir zamanda alışveriş yapan, alışveriş geçmişinde bir çok alışveriş bulunan fakat daha ucuz ürünler alan bir müşteridir. Burada skor aralıklarını belirlerken R, F ve M değerlerinin dağılımlarına bakmak önemlidir. Onları böleceğimiz aralıkları belirler ve skorlamamızı yaparız. Skorlamayı yaptıktan sonra müşterileri yukarıdaki 444–442 ayrımı gibi gruplandırabiliriz.

Sıradaki yazılarımızda bu işlemi R üzerinden nasıl yaparız onu öğreneceğiz.

Bu yazı dizisinin videolarını izlemek için Veri Bilimi Türkiye YouTube kanalımızı ziyaret edebilirsiniz.

RFM Skorlama Nedir? was originally published in Veri Bilimi Türkiye on Medium, where people are continuing the conversation by highlighting and responding to this story.

Gözetimli makine öğrenmesi (supervised machine learning) modelleri temel olarak iki problemi çözmeye çalışır:

• Regresyon
• Sınıflandırma

Regresyon probleminde hedef değişkenimiz y sürekli değerler sınıflandırma probleminde ise kategorik değerler alır.

4a partında lineer regresyondan bahsedip Bay Area ev fiyatları hakkında tahminde bulunacağız.

En temel regresyon modeli olan Lineer regresyon y değişkeni (ev fiyatları) ve veri setindeki x öznitelikleri (enlem, boylam, oda sayısı, evin yaşı, okyanusa uzaklığı vs.) arasındaki ilişkiyi anlamamıza yardımcı olur.

Amacımız bir değişkendeki artışın veya azalışın ev fiyatını nasıl etkilediğini doğru olarak anlayacağımız katsayılar elde etmek ve yeni evler gördüğümüzde tutarlı tahminlerde bulunmak.

• y: ev fiyatı
• x1: oda sayısı
• x2:evin yaşı
• …
• xn: okyanusa uzaklık gibi düşünebilirsiniz.

Modelimizin kalitesini belirleyen ölçüt ise yaptığımız tahminlerle gerçek değer arasındaki fark: hata (residuals), diğer bir deyişle modelimizin açıklamakta yetersiz kaldığı kısım. Lineer regresyonda amacımız bu hatalarla ilgili maliyet fonksiyonlarını (MAE, MSE, RMSE vs.) minimize eden en iyi denklemi bulmak.

Günün sonunda ufak da olsa bir hatanın kalacağını biliyoruz ama bu hata terimlerinde yapısal bir bilginin-örüntünün kalmasını istemiyoruz.

Diğer derslerde olduğu gibi bu dersi takip etmek için de bilgisayarınıza Python kurmanıza veya veri setini indirmenize gerek yok. İzlemeniz gereken adımlar sırasıyla şöyle:

• Google hesabınızı açın.
• https://colab.research.google.com/ adresine gidin.
• NEW PYTHON 3 NOTEBOOK’a tıklayın.
• Oradaki satıra aşağıdaki kodu yapıştırın ve play tuşuna basın.

Modelimizdeki hedef değişken ‘median_house_value’ olduğu için onun dağılımına bakıyoruz ve veri setinin geri kalanından ayırıyoruz.

Makine öğrenmesi modelleri kategorik değişkenleri algılayamadığı için ‘object’ tipindeki değişkenleri one-hot-encoding yöntemiyle 0 ve 1'lere ayırıyoruz. Ayrıca ‘total_bedroom’ değişkenindeki eksik değerleri doldurmamız gerekiyor.

Yapmamız gerekenler sırasıyla şöyle:

• ocean_proximity değişkeni pd.get_dummies() fonksiyonuyla zenginleştirilir.
• Bu değişken veri setinden atılır.
• total_bedroom değişkeni yine o sütunun median() değeriyle doldurulur.

Modelimizi kurmaya hazırız şimdi standart modelleme süreçlerini uygulayacağız.

1. Veriyi eğitim ve test alt-veri setlerine ayırma.
2. Karar ağacı modeli oluşturma.
3. Modeli eğitim verisine ‘fit’ etme.
4. R score hesaplama
5. Intercept ve coefficient hesaplama.

6. Görmediğimiz test verisini modele verip tahminde bulunma.

7. Gerçek değerlerle tahmin değerleri arasındaki ilişkiye bakmak için scatter plot kullanma.

8. Tahmin edilen değerlerle hata terimleri arasında ilişkisel bir yapı olup olmadığını kontrol etmek için scatter plot kullanma.

9. Gerçek değerle tahmin arasındaki benzerliğe göre mean absolute error, mean squared error ve root mean squared error hesaplama.

10. Yukarıda scikit-learn ile yapılan çalışmayı statsmodels.api kullarak da hızlıca yapabiliriz.

Bu tabloyu nasıl okuyacağımıza ‘households’ üzerinden bakalım. Eğer o bölgedeki hane sayısı bir artarsa medyan ev fiyatı 25.25 dolar artıyor.

Ayrıca tablodaki R-squared değeri de önemli, anlamı: Modelin y değişkenindeki varyansın ne kadarını açıkladığı, bizim modelimizde %67'sini açıklıyor.

Bu çalışma standart bir veri bilimi projesinin en basit hali olarak düşünülebilir.

• Veri tiplerini kontrol etme/düzeltme.
• Açıklayıcı veri analizi ve görselleştirme.
• Eksik verileri tahmin etme/veri atama.
• Veri setini eğitim ve test veri-setlerine ayırma.
• Modeli eğitme ve test verisi üzerinde tahmin yapma.
• Gerçek değerlerle tahmin edilen değerler arasındaki ilişkiye bakma.
• Tahmin edilen değerlerle hata terimleri arasındaki ilişkiye bakma.
• Regresyon başarı metriklerine bakma.

Çalışmadaki veri setine ve kodlara şuradan ulaşabilirsiniz.

Sorunuz olursa bana Linkedin veya Twitter hesaplarından ulaşabilirsiniz.

Makine Öğrenmesi Dersleri 4b: Lineer Regresyon was originally published in Veri Bilimi Türkiye on Medium, where people are continuing the conversation by highlighting and responding to this story.

Rassal orman (Random Forest), hiper parametre kestirimi yapılmadan da iyi sonuçlar vermesi hem regresyon hem de sınıflandırma problemlerine uygulanabilir olmasından dolayı popüler makine öğrenmesi modellerinden biri. Rassal ormanı anlamak için önce bu modelin temel blogu olan karar ağaçlarını anlamak gerekiyor. 3. dersi bu konuya ayırmıştık kısaca başarılı bir karar ağacı günlük hayatta bilgi kazancını arttıracak doğru sorular soran ve isabetli tahminler yapan insanlara benzetilebilir.

Fakat geleneksel yöntemlerden biri olan karar ağaçlarının en büyük problemlerinden biri aşırı öğrenme-veriyi ezberlemedir (overfitting). Rassal orman modeli bu problemi çözmek için hem veri setinden hem de öznitelik setinden rassal olarak 10'larca 100'lerce farklı alt-setler seçiyor ve bunları eğitiyor. Bu yöntemle 100'lerce karar ağacı oluşturuluyor ve her bir karar ağacı bireysel olarak tahminde bulunuyor. Günün sonunda problemimiz regresyonsa karar ağaçlarının tahminlerinin ortalamasını problemimiz sınıflandırmaysa tahminler arasında en çok oy alanı seçiyoruz.

Şimdi bütün bunları basit bir örnekle açıklamaya çalışalım: Örneğin bu akşam güzel bir film izlemek istiyorsunuz ve kafanız karışık. Bir arkadaşınızı ararsanız ve o size tercih ettiğiniz film türü, süre, yıl, oyuncu-yönetmen, hollywood-alternatif vs. soru setinden çeşitli sorularla daha önce izlediğiniz filmlere (training set) göre bir tahminde bulunursa bu karar ağacı olur. Eğer 20 arkadaşınız bu soru setinden farklı sorular seçip verdiğiniz cevaplara göre tavsiyede bulunursa ve siz en çok tavsiye edilen filmi seçerseniz bu rassal orman olur.

Rassal orman modelinde farklı veri setleri üzerinde eğitim gerçekleştiği için varyans, diğer bir deyişle karar ağaçlarının en büyük problemlerinden olan overfitting azalır. Ayrıca bootstrap yöntemiyle oluşturduğumuz alt-veri kümelerinde outlier bulunma şansını da düşürmüş oluruz.

Random forest modelinin diğer bir özelliği bize özniteliklerin ne kadar önemli olduğunu vermesi. (Bir özniteliğin önemli olması demek o özniteliğin bağımlı değişkendeki varyansın açıklanmasına ne kadar katkı yaptığıyla alakalı.) Random forest algoritmasına sayıda öznitelik verip en faydalı x tanesini seçmesini isteyebiliriz ve istersek bu bilgiyi istediğimiz başka bir modelde kullanabiliriz.

İlk derslerde olduğu gibi bu dersi takip etmek için de bilgisayarınıza Python kurmanıza veya veri setini indirmenize gerek yok. İzlemeniz gereken adımlar sırasıyla şöyle:

• Google hesabınızı açın.
  - https://colab.research.google.com/ adresine gidin.
  - NEW PYTHON 3 NOTEBOOK’a tıklayın.
  - Oradaki satıra aşağıdaki kodu yapıştırın ve play tuşuna basın.

Modelimizdeki hedef değişken ‘median_house_value’ olduğu için onun dağılımına bakıyoruz ve veri setinin geri kalanından ayırıyoruz.

Makine öğrenmesi modelleri kategorik değişkenleri algılayamadığı için ‘object’ tipindeki değişkenleri one-hot-encoding yöntemiyle 0 ve 1'lere ayırıyoruz. Ayrıca ‘total_bedroom’ değişkenindeki eksik değerleri doldurmamız gerekiyor.

Yapmamız gerekenler sırasıyla şöyle:

• ocean_proximity değişkeni pd.get_dummies() fonksiyonuyla zenginleştirilir.
• Bu değişken veri setinden atılır.
• total_bedroom değişkeni yine o sütunun median() değeriyle doldurulur.

Modelimizi kurmaya hazırız şimdi standart modelleme süreçlerini uygulayacağız.

1. Veriyi eğitim ve test alt-veri setlerine ayırma.
2. Karar ağacı modeli oluşturma.
3. Modeli eğitim verisine ‘fit’ etme.

4. Görmediğimiz test verisine modele verip tahminde bulunma.

5. Gerçek değerle tahmin arasındaki benzerliğe göre mean absolute error, mean squared error ve root mean squared error hesaplama.

6. Rastgele ormandan bir karar ağacı çekip görselleştirme.

7. Sınıflandırma modeli kurulurken yapılan öznitelik önem sıralamasını görselleştirme.

Burada derinliği 8 olan yeni bir model kurup o modelin başarı oranına bakıyoruz ve öznitelik sıralamasını görselleştiriyoruz.

Başarı oranımız ciddi bir şekilde arttı. Bu çalışma standart bir veri bilimi projesinin en basit hali olarak düşünülebilir.

• Veri tiplerini kontrol etme/düzeltme.
• Açıklayıcı veri analizi ve görselleştirme.
• Eksik verileri tahmin etme/veri atama.
• Kategori tipindeki verileri one-hot encoding ile nümerik formata çevirme.
• Veri setini eğitim ve test veri-setlerine ayırma.
• Modeli eğitme ve test verisi üzerinde tahmin yapma.
• Sınıflandırma başarı metriklerine bakma.
• Karar ağacını görselleştirme.
• Yeni modelin başarı metriklerine bakma ve öznitelik sıralamasını görselleştirme.

Çalışmadaki veri setine ve kodlara şuradan ulaşabilirsiniz.

Sorunuz olursa bana Linkedin veya Twitter hesaplarından yazabilirsiniz.

Makine Öğrenmesi Dersleri 5b: Random Forest (Regresyon) was originally published in Veri Bilimi Türkiye on Medium, where people are continuing the conversation by highlighting and responding to this story.

Bu yazımda sizlere Oracle DB — R bağlantısı nasıl yapılır onu göstermeye çalışacağım.

Oracle DB sektörde sık kullanılan bir veritabanı çözümüdür. Bu çözümü R ile birleştirdiğimizde çok gü.lü bir silah elde edebiliriz. Hem de çok kolay bir şekilde! Bunun için ilk olarak yüklememiz gereken bir kaç R paketi bulunuyor, ilk olarak onlardan başlayalım.

install.packages(‘RJDBC’)
install.packages(‘rJava’)

Bu paketler bizim Oracle DB bağlantısını kurmamız için temel fonksiyonları sağlayacak. Oracle bağlantısı kurarken karşılaşabileceğimiz bir sorun R’ın Java’nın yüklü olduğu dizini bulamamasıdır. Bu nedenle R’a Java’nın nerde olduğunu göstermemiz işimize yarayacaktır.

Sys.setenv(JAVA_HOME=’C:/Program Files/Java/jre1.8.0_181')

Kodu ile siz de Java dosyanız nerede ise dizin kısmını değiştirerek bu sorunu çözebilirsiniz. Şimdi yüklediğimiz paketleri çağıralım.

library(rJava)
library(RJDBC)

Bu paketleri çağırdıktan sonra bir RJDBC sürücüsü yüklememiz gerekiyor.

http://www.oracle.com/technetwork/database/enterprise-edition/jdbc-112010–090769.html

Adresinden size uygun jdbc dosyasını indirebilirsiniz. İndireceğiniz dosyanın ismi ojdbc6.jar olacak. Bu dosyayı yükledikten sonra R’a dönüp bir jdbcDriver oluşturacağız. Bunu yapmak da oldukça kolay.

jdbcDriver=JDBC(“oracle.jdbc.OracleDriver”,classPath=”C:/ProgramFiles/directory/ojdbc6.jar”)

Kodu ile indirdiğimiz ojdbc6.jar dosyası sayesinde bir jdbcDriver oluşturduk.

Şimdi son adıma geçebiliriz. Bu adımda bir jdbcConnection oluşturacağız. Bunu oluştururken az önce yarattığımız jdbcDriver, Oracle DB üzerindeki ‘Host ve Port’ bilgisi, database ismi ve kullanıcı adı ve şifre bize lazım olacak. jdbcConnection bağlantımızı aşağıdaki gibi oluşturabiliriz.

jdbcConnection=dbConnect(jdbcDriver,“jdbc:oracle:thin:@//HOST:PORT/DB_ISMI”, “kullanıcı_adı”, “şifre”)

Bu işlemi de tamamladıktan sonra R — Oracle bağlantısını yaptık demektir!

O zaman ilk select’imizi atalım.

table1 = dbGetQuery(jdbcConnection,’SELECT * FROM customers’)

Kodunu çalıştırdığımızda table1 Oracle DB’de bulunan customers tablosunun hepsini alacaktır. Tablonun büyüklüğüne ve sisteminizin gücüne göre bu işlem uzun sürebilir.

R üzerinden Oracle DB’ye veri yüklemek de oldukça kolaydır. Tek bir satırda halledebiliriz.

dbWriteTable(jdbcConnection, “TABLO”, table1)

Kodu ile yukarıda oluşturduğumuz table1 değişkenini Oracle DB’ye TABLO ismi ile yüklemiş olduk.

Bu tabloyu silmek için de

dbRemoveTable(jdbcConnection, “TABLO”)

kodu yeterli olacaktır.

Bu yazımızda Oracle — R bağlantısını gördük. Bu bağlantıdan sonra alabileceğimiz veri ile neler yapabiliriz? Bunları sıradaki yazılarımızda ele alacağız.

R — Oracle DB Bağlantısı was originally published in Veri Bilimi Türkiye on Medium, where people are continuing the conversation by highlighting and responding to this story.

Merhaba arkadaşlar,

Bu yazımızda R ile ulaşabileceğimiz araçları daha da genişletiyor ve Google Analytics bağlantısı nasıl yapılır onu inceliyoruz!

Google Analytics web sitenizdeki dolaşım, satın alma, ziyaretçilerin hangi kanalları kullanarak geldiği gibi verilere ulaşmamızı sağlar. Web, müşteri ve pazarlama analitiği için bize paha biçilemez veriler sunar. Google Analytics bize kendisi bazı raporlar sunar, bu raporlar sayesinde bir takım analitik sonuçlara ulaşabilir ve aksiyon alabiliriz. Fakat Google’ın bu raporları oluşturmak için kullandığı veriyi alıp kendi özel hedeflerimiz doğrultusunda da işleyebiliriz. Bunu yapmak R ile oldukça kolaydır.

Google Analytics bağlantısı için iki farklı kanaldan ilerleyeceğiz. Birisi R üzerinden gereken paketleri yüklemek olacak diğeri ise google analytics üzerinden bu bağlantıyı sağlayacak bilgileri almak olacak. İlk olarak paketlerimizi yükleyelim.

install.packages(“googleAuthR”)
install.packages(“googleAnalyticsR”)

library(“googleAuthR”)
library(“googleAnalyticsR”)

Paketleri yükleyip çağırdıktan sonra google analytics kısmına geçelim.

https://console.developers.google.com adresine girip sol tarafta bulunan

kısmındaki oka tıklıyor ve ‘New Project’ diyoruz.

Yeni projeyi oluşturup seçtikten sonra ilk görselde olduğu gibi Google APIs kısmının yanında projenin ismi çıkacaktır. Sol tarafta oluşan menü aşağıdaki görseldeki gibi olacak ve bizim seçmemiz gereken kısım ‘Credentials’ kısmı.

Credentials kısmına tıkladığımızda karşımıza

ekranı çıkacak. Create credentials diyip OAuth Client ID seçeneğini seçiyoruz. Onu seçtikten sonra çıkan ekranda ‘Configure Consent Screen’ butonuna tıklıyoruz.

Tıkladıktan sonra çıkan ekranda görselde olduğu gibi Product name kısmını doldurup Save dememiz yeterli olacaktır.

Sonrasında çıkan Application type ekranında Other’ı seçiyoruz. Name kısmına istediğinizi yazabilirsiniz.

Bu adımı tamamladıktan sonra ihtiyacımız olan konfigurasyon bilgileri ekrana aşağıdaki görseldeki gibi çıkacaktır.

Bundan sonraki adımımız Analytics API’ı etkinleştirmek olacak. Arama çubuğuna Analytics API yazmanız ve Enable API’a tıklamanız bunun için yeterli olacaktır.

Bu adımı tamamlandıktan sonra R’a geri dönebiliriz.

options(googleAuthR.client_id = “CLIENT_ID”)
options(googleAuthR.client_secret = “CLIENT_SECRET”)

Bu satılardaki CLIENT_ID ve CLIENT_SECRET yerine yukarıdaki OAuth client görselindeki bilgileri giriyoruz. Bu iki satırı çalıştırdıktan sonra authorization için hazırız.

ga_auth()

Kodunu çalıştırdığımızda token’ımız oluşuyor. Google hesabımıza tanımladığımız google analytics hizmetini kullanan hesapların listesini almak için ise

account_list = ga_account_list()

Kodunu çalıştırdığımızda çıkan listeden verilerini çekmek istediğimiz web sitesinin viewId bilgisini almamız gerekiyor. Bu id’yi aldıktan sonra geriye tek bir adım kalıyor.

gadata = google_analytics_3(id = viewId,
start = “2018–07–21”,
end = “2018–07–28”,
metrics = c(“sessions”, “bounceRate”,”avgSessionDuration”),
dimensions = c(“source”, “region”,”sessionDurationBucket”),
max = 5000)

Bu kod ile belirlenen tarih aralığında maximum 5000 satır olmak üzere metrics ve dimensions’da yazılı verileri çekmiş oluyoruz. Çekebileceğimiz diğer veri türlerinin listesi için

https://developers.google.com/analytics/devguides/reporting/core/dimsmets

sitesini inceleyebilirsiniz.

R — Google Analytics Bağlantısı was originally published in Veri Bilimi Türkiye on Medium, where people are continuing the conversation by highlighting and responding to this story.

Serinin 1. ve 2. yazısında Python’ın popüler pandas, matplotlib, seaborn kütüphanelerini kullanarak veri analizi ve görselleştirme çalışmaları yapmıştık, umarım keyifli bir başlangıç olmuştur.

İlk iki yazıyı makine öğrenmesinden ziyade Python’a giriş olarak düşünebiliriz. Bu yazıdan itibaren farklı alanlardaki veri setleri üzerinde çeşitli makine öğrenmesi modelleri kurup bu modellerimizin kalitesini oranlarını arttırmak için çeşitli yöntemler deneyeceğiz.

Makine öğrenmesi modelleri arasında insanın düşünme tarzına en yakın olanın Karar Ağaçları (Decision Tree) olduğu düşünülür. Sözgelimi iş yerinizde öğle arası 12.30–13.30 arasıysa ve saat 12.10'sa biraz daha beklemeliyim diye düşünmeniz en basit karar ağacı modeline örnek olabilir.

İnsanların zihnindeki bazı karar ağaçlarının derinliği yukarıdaki gibi 1–2 olmakla birlikte çoğu zaman çok daha karmaşık modeller kurulur. Örneğin insan kaynakları departmanında çalışan birinin zihninde aşağıdakine benzer bir karar ağacı olabilir.

Eğer bir kişi x-y yaş aralığındaysa a, b, c, d, e okullarından mezunsa en az t yıl tecrübesi varsa ve daha önceki işlerinde çalışma süresi ortalama p yıldan fazlaysa mülakata çağıralım.

Karar Ağaçları bulunulan durumun entropi değerini (rastgelelik derecesini) düşüren seçimler yaparak bilgi kazancını (information gain) maksimize etmeye çalışır. Bunun için de her soruda (düğüm/node) hata fonksiyonunu tekrar hesaplayıp en düşük hataya sahip soruyu/durumu seçer.

Bilgi kazancını anlamak için de hemen herkesin bildiği sayı tutma oyununu düşünebiliriz . Örneğin 1'den 100'e kadar bir sayıyı en az soruyla bulmamız bekleniyorsa “sayı 50'den büyük mü küçük mü?” sorusunun cevabı “sayı 95'ten büyük mü küçük mü?” sorusunun cevabından daha çok bilgi kazanmamızı sağlar. Çünkü ilk soruyla seçenekleri yarıya indiririz. Sonrasında küçük cevabına karşı “sayı 25'ten büyük mü küçük mü?” diye devam ederek oyunu en kısa sürede sonlandırabiliriz.

İlk derste olduğu gibi bu dersi takip etmek için de bilgisayarınıza Python kurmanıza veya veri setini indirmenize gerek yok. İzlemeniz gereken adımlar sırasıyla şöyle:

• Google hesabınızı açın.
• https://colab.research.google.com/ adresine gidin.
• NEW PYTHON 3 NOTEBOOK’a tıklayın.
• Oradaki satıra aşağıdaki kodu yapıştırın ve play tuşuna basın.

Modelimizdeki hedef değişken ‘median_house_value’ olduğu için onun dağılımına bakıyoruz ve veri setinin geri kalanından ayırıyoruz.

Makine öğrenmesi modelleri kategorik değişkenleri algılayamadığı için ‘object’ tipindeki değişkenleri one-hot-encoding yöntemiyle 0 ve 1'lere ayırıyoruz. Ayrıca ‘total_bedroom’ değişkenindeki eksik değerleri doldurmamız gerekiyor.

• ocean_proximity değişkeni pd.get_dummies() fonksiyonuyla zenginleştirilir.
• Bu değişken veri setinden atılır.
• total_bedroom değişkeni yine o sütunun median() değeriyle doldurulur.

Modelimizi kurmaya hazırız şimdi standart modelleme süreçlerini uygulayacağız.

1. Veriyi eğitim ve test alt-veri setlerine ayırma.
2. Karar ağacı modeli oluşturma.
3. Modeli eğitim verisine ‘fit’ etme.

4. Görmediğimiz test verisine modele verip tahminde bulunma.

5. Gerçek değerle tahmin arasındaki benzerliğe göre mean absolute error ve accuracy hesaplama.

Mean Absolute Error: 55653.73 unit.
Accuracy: 68.285 %.

6. Karar ağacını görselleştirme

7. Sınıflandırma modeli kurulurken yapılan öznitelik önem sıralamasını görselleştirme.

Burada derinliği 8 olan yeni bir model kurup o modelin başarı oranına bakıyoruz ve öznitelik sıralamasını görselleştiriyoruz.

Başarı oranımız ciddi bir şekilde arttı. Bu çalışma standart bir veri bilimi projesinin en basit hali olarak düşünülebilir.

Veri tiplerini kontrol etme/düzeltme.

• Açıklayıcı veri analizi ve görselleştirme.
• Eksik verileri tahmin etme/veri atama.
• Kategori tipindeki verileri one-hot encoding ile nümerik formata çevirme.
• Veri setini eğitim ve test veri-setlerine ayırma.
• Modeli eğitme ve test verisi üzerinde tahmin yapma.
• Sınıflandırma başarı metriklerine bakma.
• Karar ağacını görselleştirme.
• Modelin yaptığı öznitelik sıralamasını görselleştirme.

Çalışmadaki veri setine ve kodlara şuradan ulaşabilirsiniz.

Sorunuz olursa bana Linkedin veya Twitter hesaplarından yazabilirsiniz.

Makine Öğrenmesi Dersleri 3b: Karar Ağaçları (Regresyon) was originally published in Veri Bilimi Türkiye on Medium, where people are continuing the conversation by highlighting and responding to this story.

Geçmiş verilere bakarak gelecek hakkında tahminler yapmak finans ve iş analitiğinin en önemli konularındandır. Önümüzdeki ay için x hissesinin değerini tahmin etmek, y semtinde ne kadar elektrik-su tüketileceğini veya depoda ne kadar z ürününden bulunması gerektiğini kestirebilmek ilk akla gelen tahminleme konularındandır.

ARIMA, exponential smoothing ve yapay sinir ağları gibi bir çok istatistiksel ve makine öğrenmesi modeli mevcut olsa da bunlarla başarılı modeller kurabilmek ciddi deneyim ve bilgi gerektiren konulardır. Bu yazıda, Facebook tarafından geliştirilmiş Python ve R dillerinde kullanılabilen açık kaynak kodlu Prophet tahminleme modelinden bahsedeceğim.

İyi tahmin modelleri kurmak uzman olan olmayan herkesin hakkı diyerek yola çıkan Facebook araştırma ekibi Prophet’i Python ve R dillerindeki forecast paketlerinin yerine kullanmalarının arkasındaki 2 motivasyonu şöyle açıklıyor:

1. Prophet ile mantıklı ve doğruluk oranı yüksek tahminler yapmak oldukça kolay. ARIMA, exponential smoothing gibi modelleri kullanırken yanlış seçilen bir parametre çok kötü sonuçlar alınmasına sebep olabilir ve deneyimli analistler bile zaman zaman parametre seçenekleri arasında yanlış olanları seçiyor.

2. Prophet ile yapılan tahminler uzman olmayan insanlar tarafından kolayca özelleştirelebilir. Örneğin tahminleme modelinde bayram ve diğer özel günlerin tarihleri önceden belirlenebilir.

Sklearn model API’ye alışkın olanlar için Prophet’in adımları oldukça benzer sırasıyla fit ve predict metotlarını kullanıyoruz. Anaconda kullanıcıları aşağıdaki gibi paketi indirebilirler.

conda install -c conda-forge fbprophet

Bu çalışmada Ocak 2013-Mayıs 2018 tarihleri arasında Türkiye’deki aylık elektrik tüketimini analiz edip önümüzdeki 2 sene hakkında tahminde bulunmaya çalışacağız.

Çalışmadaki veri setine ve kodlara buradan ulaşabilirsiniz.

Prophet modeli için girdi olarak ‘ds’: tarih ve ‘y’: tahmin etmek istediğimiz nümerik değeri girmemiz gerekiyor. Sonrasında sklearn modellerinden alışkın olduğumuz fit() ve predict() fonksiyonlarını kullanıyoruz.

Model ayrıca veri setindeki değişim (change point) zamanlarını bize kolayca veriyor. Tarihleri ve veri setindeki yerlerine bakalım şimdi de.

Girişte bahsettiğim gibi Prophet modelinin en önemli özelliklerinden biri kolayca özelleştirilebiliyor olması. 2015 Kurban bayramının olduğu Eylül ayını ve 2016 Ramazan bayramının olduğu Temmuz aylarını sezonsal etkileri anlaması için modele ekliyorum ve bu yeni bilgiyle yeniden tahmin yapıyorum.

Tahminde ufak da olsa değişimler olduğu gözüküyor. Şimdi de tahmin sırasında modelin hesaba kattığı genel trendi, özel günlerdeki ve yıl içerisindeki genel sezonsal etkilere bakalım.

Günlük veri kullandığımızda aşağıdaki tabloda haftanın günleri içerisindeki genel etkileri de görebiliriz.

Çalışmadaki veri setine ve kodlara şuradan ulaşabilirsiniz.

Sorunuz olursa bana Linkedin veya Twitter hesaplarından yazabilirsiniz.

Kaynakça

Prophet

Python ile Zaman Serisi Analizi-2 was originally published in Veri Bilimi Türkiye on Medium, where people are continuing the conversation by highlighting and responding to this story.

Boyut Azaltma (Dimensionality Reduction) veri bilimi için oldukça önemli bir yöntem. Başlıca sebepleri şöyle:

• Gerçek hayattaki veriler çok fazla boyuta (özniteliğe) sahip oluyor ve boyut büyüdükçe veri temizlemeden model kurmaya bütün süreçlerde harcamamız gereken zaman ve kaynaklar artıyor.
• Ne kadar çok boyuta sahip olursak görselleştirme de o kadar zor oluyor. 3 boyuttan sonrasını hayal etmek zor ama görsel olarak da yaptığımız çalışmanın bir karşılığı olsun insanlara anlatalım istiyoruz.
• Hemen her veri setinde bazı öznitelikler arasında yüksek korelasyon oluyor ve bu bizim gereksiz bilgiye sahip olmamıza ve modelimizde overfitting problemine sebep olabiliyor.

PCA (Principal Component Analysis) methodu yüksek boyutlu bir veri setinin boyutunu azaltmak için kullanılan en yaygın yöntemlerden biri.

Peki Nasıl?

Boyut küçültmenin en kolay yolu verimizi en iyi tanımlayan öznitelikleri bulup diğerlerini atmaktır (öznitelik seçimi — feature selection). Örneğin 100 boyuttan 10 tanesinin önemli olduğunu belirleyip kalan 90 özniteliği atmak ama bu tahmin edeceğiniz gibi bilgi kaybına sebep oluyor.

Bizim uğraşmamız gereken şey ise öznitelik çıkarımı (feature extraction) yapmak -en az bilgi kaybıyla boyut küçültmek-. Bunu yapmak için verideki dağılımın maksimum varyansını-bilgisini tutan minimum sayıda değişken oluşturuyoruz. Eğer bir değişken her örnek için aynı değere sahip ise gereksiz bir değişkendir. Biz en yüksek varyansa sahip olan değişkenleri bulmalıyız. Buna en güzel örneklerden biri HDI (İnsani Kalkınma Endeksi) hesaplaması olabilir. Ülkelerin sahip olduğu değişkenlerden bazıları (wiki): resmi dil, yüz ölçümü (toplam), su oranı, nüfus, nüfus yoğunluğu, GSYH, para birimi, trafik akışı, hukuk, dış ilişkiler, din, eğitim, sağlık, sanayi, tarım, turizm…

Yukarıdakine ek olarak ülkeden ülkeye değişen yüzlerce değişken sıralayabiliriz. PCA metodu sanayi, tarım, turizm vs. ekonomiyle ilgili yüzlerce değişkeni ve nüfusu kullanıp kişi başına düşen gayri safi milli gelir diye tek bir değişken oluşturuyor. Yani yüzlerce boyutluk bilgi en az bilgi kaybıyla tek boyutta tutulmuş oluyor.

HDI hesaplamalarında sadece 5 özniteliğe bakılarak pek de itiraz edilmeyecek bir tablo karşımıza çıkıyor.

• Kişi başına düşen gayri safi milli gelir
• Kişi başına düşen gayri safi milli gelir sıralaması — HDI sıralaması
• Beklenen ortalama yaşam süresi
• Beklenen eğitim yılı
• Ortalama eğitim yılı

Şimdi öğrendiklerimizi makine öğrenmesinin en temel veri setlerinden biri olan el yazısı verisi üzerinde uygulayalım.

Kütüphaneler tamam şimdi sklearn veri setinde yer alan el yazısı veri setini yükleyelim ve X, y değişkenlerine bakalım.

Veri setimizde farklı şekilde yazılmış 1797 rakam var ve her rakam 64 boyutlu bir matrisle ifade ediliyor. Her rakam için çok farklı temsiller (vektörler) mevcut.

El yazısıyla yazılmış 0 ve 1 rakamlarını temsil eden farklı vektörlere bir bakalım.

0 rakamını temsil eden vektörler arasında farklılık var kabul fakat 1 rakamını temsil eden vektörlere kıyasla fark oldukça az. Bunu daha görünür yapmak için PCA dönüşümünü uygulayıp ve rakamların iki boyutlu dünyasına bakalım.

Vektörler arasındaki uzaklığa hızlıca bakarsak kötü bir dönüşüm olmadığını anlarız.

Şimdi bütün rakamların PCA dönüşümü sonrasındaki iki boyutlu vektörlerini gösterelim, rengarenk bir dünya bizi bekliyor.

Çalışmadaki veri setine ve kodlara şuradan ulaşabilirsiniz.

Sorunuz olursa bana Linkedin veya Twitter hesaplarından yazabilirsiniz.

Makine Öğrenmesi Dersleri 7: Boyut Azaltma (Dimensionality Reduction) was originally published in Veri Bilimi Türkiye on Medium, where people are continuing the conversation by highlighting and responding to this story.