ChatGPT, yapay zeka alanda bir oyun değiştirici oldu. Bu yapay zeka aracı, doğal dil işleme alanındaki teknikler ile geliştirildiği sır değil.

Peki doğal dil işleme nedir?

Doğal dil işleme, yapay zekanın bir alt alanıdır ve metin, ses verilerini analiz etmeyi amaçlar. Bu alan, İngilizce olarak kısaca NLP olarak ifade edilir.

NLP teknikleriyle insan dilini anlayabilir, yorumlayabilir ve manipüle edebilirsiniz.

Örneğin, bir e-maili, spam veya değil şeklinde sınıflandırma, sosyal medya gönderilerinin duygu analizini yapma, metin üretme, bir metni özetleme gibi görevleri doğal dil işleme teknikleri ile yapabilirsiniz.

Ama unutmayın doğal dil işleme sadece yazılı metinler ile uğraşmaz. Bu alanın computer vision yani bilgisayar görüşü ve speech recognition yani ses tanıma gibi alanlarda da uygulamaları vardır.

Örneğin bir resmi tanımlamak için metin oluşturma, ya da bir ses verisini metne çevirme gibi görevleri doğal dil işleme teknikleri ile yapabilirsiniz.

Şanslıyız ki doğal dil işleme analizleri yapmak için son zamanlarda harika kütüphaneler geliştirildi.

Bu kütüphanelerden biri de HuggingFace🤗 tarafından geliştirilen Transformers kütüphanesidir.

Transformers nedir?

Transformers, özellikle büyük dil modelleri ile çalışmak için harika bir kütüphanedir.

Sadece bir kaç satır kod yazarak evet yanlış duymadınız sadece bir kaç satır kod ile kolayca doğal dil işleme analizleri yapabilirsiniz.

Bu analizleri yapmak için yapmanız gereken önceden eğitilmiş bir modeli almak ve bu modeli kendi veri setinize göre ayarlamak.

İşte bu kadar.

2017 yılında geliştirilen Transformer mimarisi ile son zamanlarda BERT ve GTP modellerine dayanan birçok model geliştirildi.

Bu modelleri sıfırdan eğitmek için güçlü bilgisayarlar ve zaman gerekir. Amerika'yı tekrar keşfetmeye gerek yok değil mi? Bu önceden eğitilmiş modelleri Transformers kütüphanesi ile alıp kullanabilirsiniz. Böylece zamandan ve paradan tasarruf edersiniz.

Bu yazımızda Transformers ile pratik doğal dil işleme analizlerinin nasıl yapılacağını ele alacağız. Duygu analizi, zero-shot sınıflandırma, metin üretme, metindeki varlıkları bulma, soru-cevap, metin özetleme ve çeviri gibi görevleri pipeline ile nasıl yapılır inceleyeceğiz.

Kısaca Transformers ile 7 temel doğal dil işleme problemini çözeceğiz.

Bu analizler için Google ücretsiz olarak sunduğu Colab’ı kullanacağız. Ama isterseniz VS Code ya da Notebook da kullanabilirsiniz.

Doğal dil işleme analizlerini yaparken çok fazla matematiksel işlem yapıldığı için GPU gereklidir. Şanslıyız ki Colab bize ücretsiz GPU’yu desteği sağlar. Unutmadan ücretsiz GPU kullanmak için Kaggle platformunu da kullanabilirsiniz.

Hadi öncelikle Transformers kütüphanesini yükleyelim. pip ile bu kütüphaneyi yüklemek çok kolay. Yükleme yaparken ekrana çok fazla kod yazılmaması için -q flagını kullanalım.

!pip install -q transformers

Tamam Transformers yüklendi artık bu arkadaş ile analizler yapabiliriz.

Doğal dil işleme analizleri yapmak için en kolay yol pipeline kullanmaktır. Hadi bu sınıfı import edelim.

from transformers import pipeline

Harika, doğal dil işleme görevlerini yapmak her şey hazır. Artık ellerimizi kirletme vakti geldi.

1. Duygu analizi

Öncelikle duygu analizi ile başlayalım. Duygu analizi, pozitif veya negatif gibi bir metnin duygusunu çıkarmaktır. Bu analizi yapmak için pipeline’dan bir örnek alalım.

classifier = pipeline("sentiment-analysis")

Pipeline, duygu analizi için varsayılan bir ön eğitimli modeli ve bu modelin tokenizer’ını HuggingFace 🤗 Hub’dan indirdi ve önbelleğe yükledi. Artık bu objeyi istediğimiz metnin duygusunu çıkarmak için kullanabiliriz.

Hadi bir metin alalım ve bu metnin duygusunu bulalım.

text = "It's great to learn NLP for me"

Şimdi pipeline’ımız ile bu metnin duygusunu bulalım.

classifier(text)

# Output:
[{'label': 'POSITIVE', 'score': 0.999805748462677}]

Bu komutu çalıştırdığımızda metnin etiketi ve skoru ekrana yazılır. Bu çıktı bize metnin yüzde 99 olasılıkla pozitif olduğunu söylüyor.

Çok basit değil mi?

İsterseniz çıktıyı Pandas DataFrame formatına çevirebiliriz.

import pandas as pd
outputs = classifier("It's great to learn NLP for me.")
pd.DataFrame(outputs)

İşte etiket ve skor karşımıza geldi. Harika değil mi? Bir kaç satır kod ile duygu analizini yaptık.

Şimdi başka bir pipeline kullanarak zero-shot sınıflandırma nasıl yapılır bakalım.

2. Zero-Shot Sınıflandırma

Diyelim ki etiketi olmayan verileriniz var bu verileri sınıflandırmak istiyorsunuz. Bu analizi yapmak için bir zero-shot pipeline kullanabiliriz.

Genellikle ön eğitimli modeller eğitilirken etiketli veriler kullanılır. Size iyi haberim şu ki sınıflandırma yaparken modelin eğitildiği verilerin etiketlerini kullanmayabilirsiniz.

Bunun nasıl yapıldığını göstermek için hadi zero-shot-classification için bir pipeline alalım.

classifier = pipeline("zero-shot-classification")

Tamam, pipeline’ımızı ayarladık. Hadi sınıflama yapmak için bir metin alalım.

text = "This is a tutorial about Hugging Face."

Süper, metnimiz hazır. Şimdi aday etiketlerimizi belirleyelim.

candidate_labels = ["tech", "education", "business"]

Muhteşem, etiketlerimizi belirledik ve bir değişkene atadık. Şimdi pipeline’ımıza metni ve etiketleri verelim ve tahminleri DataFrame formatına çevirelim.

classifier(text, candidate_labels)
outputs = classifier(text, labels)
pd.DataFrame(outputs)

Gördüğünüz gibi etiketlerin olasılıkları yazıldı. En yüksek olasılıklı etiket education çıktı.

Dikkat ederseniz verimize göre modeli fine-tune etmeden tahmin yaptık. Pipeline direk olarak olasılık değerlerini hesapladı.

Hatırlayın, modelde etiketler yoktu etiketleri biz belirledik. Bundan dolayı bu analize zero-shot sınıflandırma denir.

Tamam, kendimiz etiketleri belirleyerek nasıl tahminler yaptırabileceğimizi gördük.

Hadi devam edelim ve metin üretme görevi nasıl yapılır bakalım.

3. Metin Üretme

İtiraf edelim hepimiz ChatGPT gibi yapay zeka araçları ile metin üretiyoruz.

Ama bazen bir konu hakkında kendiniz metin üretmek isteyebilirsiniz. Metin üretmenin amacı anlamlı cümleler oluşturmaktır. Bunu yapmak için önce bir pipeline oluşturalım.

generator = pipeline("text-generation")

Şimdi bu modele bir prompt verelim. Bunun için bir prompt oluşturalım.

prompt= "This tutorial will walk you through how to"

Şimdi bu promptu modele verelim ve metni otomatik olarak tamamlamasını isteyelim.

outputs = generator(prompt)
print(outputs)

# Output:
[{'generated_text': "This tutorial will walk you through how to create a basic application that allows you to start with a simple login experience through a browser window or similar.\n\nCreating a Simple App using Django's Web UI\n\nFirst, we'll build a simple app"}]

Gördüğünüz gibi pipeline’daki ön tanımlı model ile metin tamamlandı.

İsterseniz metnin uzunluğunu belirleyebilirsiniz. Hadi metnin uzunluğunu 50 ile sınırlandıralım. Ayrıca çıktının ilk bileşenini alalım. Böylece çıktıyı daha iyi görürüz.

outputs = generator(prompt, max_length=50)
print(outputs[0]['generated_text'])

# Output:
This tutorial will walk you through how to design your "troubleshooting" console (also known as "console manager"). All you have to do is configure your Console Manager via:

Veee ön tanımlı modele göre metin üretildi. Burada rasgele bir metin ürettik. Bu komutu her çalıştırdığımızda farklı bir metin üretilir.

İsterseniz farklı bir model ile metin üretebilirsiniz. HuggingFace 🤗 Hub da bir çok kullanabileceğiniz model var.

Hadi model hub’a gidelim.

Sol taraftan metin üretme görevini seçelim. Model olarak GPT tabanlı bir model kullanmak isteyelim.

GPT kadar etkili ama biraz daha küçük distilgpt2 modelini arama kısmına yazalım.

Model kartta, bu modelin GPT2'nin daha küçük versiyonu olduğu yazıyor. Model hakkında diğer bilgileri bu karttan görebilirsiniz.

Hadi bu modeli kopyalayalım ve indirmek için pipeline kullanalım.

generator = pipeline("text-generation", model="distilgpt2")

Harika, modelimiz analiz için hazır. Hadi şimdi bu modele göre bir metin üretelim.

prompt= "This tutorial will walk you through how to"
outputs = generator(prompt, max_length=50)
print(outputs[0]['generated_text'])

# Output:
""""
This tutorial will walk you through how to achieve more details with the tutorials shown below.

Please also notice these links have the new default code:
1. Change the default code to the first command.
2. Change the default code to
"""

Gördüğünüz gibi spesifik bir model kullanarak verdiğimiz prompta göre metin üretildi.

Harika, metin üretme pratik şekilde nasıl yapılır gördük.

Hadi devam edelim ve varlık ismi tanıma denen NER görevini nasıl yapılır bakalım.

4. Named Entity Recognition (NER)

Doğal dil işleme dünyasında ürünler, yerler, insanlar gibi gerçek dünya objeleri named entities yani isimlendirilmiş varlıklar olarak adlandırılır.

Bu objeleri, metinden çıkarmaya ise named entity recognition yani varlık ismi tespiti denir.

Bu yazıda bu analize kısaca NER diyelim.

NER ile bir metindeki isim, yer, ürün gibi objeleri etiketleyebiliriz.

Hadi basit bir metin alalım ve bu metindeki objelerin etiketlerini çıkarmak isteyelim.

Öncelikle NER analizi yapmak için bir pipeline oluşturalım.

ner = pipeline("ner", grouped_entities=True)

Tamam ön tanımlı modeli indirdik. Şimdi bir metin alalım.

text = "My name is Tirendaz from Turkey. HuggingFace is a nice platform."

Hadi bu metni pipeline’a verelim.

ner_tagger = pipeline(
    "ner", 
    # Modelin tahminlere göre kelimeleri gruplaması için
    aggregation_strategy="simple")

Ardından bulunan daha iyi görmek için sonuçları DataFrame formatına çevirelim.

import pandas
pd.DataFrame(outputs)

Gördüğünüz gibi metinde geçen yer, kişi, organizasyon isimleri bulundu.

Pipeline ile NER analizi yapmak ne kadar kolay oldu değil mi? Sadece bir kaç satır kod ile analizi bitirdik.

Hadi devam edelim ve soru-cevap analizleri nasıl yapılır bakalım.

5. Soru-Cevap

Soru-cevap projelerini yapmak için context olarak adlandırılan bir metin parçasını ve bir soruyu modele veririz. Model metne göre sorunun cevabını döndürür.

Bunu göstermek için hadi bir pipeline oluşturalım.

reader = pipeline("question-answering")

Şimdi bir metin alalım.

text = "My name is Tirendaz and I love Berlin."

Ardından bir soru oluşturalım.

question="Where do I like?"

Tamam, metin ve soru değişkenlerimizi oluşturduk. Şimdi bu değişkenleri pipeline’ımıza verelim.

outputs = reader( question=question, context=text)

Hadi sonucu daha iyi görmek için verileri DataFrame çevirelim.

pd.DataFrame([outputs])

Gördüğünüz gibi soru verdiğimiz metne göre cevaplandırıldı. Cevabın yeri bile gösterildi.

Harika değil mi? Pipeline ile soru cevap görevlerini bu şekilde yapıyoruz.

Dikkat ederseniz mantık hep aynı. Bir görev için pipeline oluştur. Bu pipeline ile analizi yap.

Hadi metin özetleme nasıl yapılır bakalım.

6. Metin Özetleme

Metin özetlemenin amacı bildiğiniz gibi uzun metinleri özetlemek. Bunun için modele bir metin veririz ve model, metnin özet bir versiyonunu bize verir.

Bu görev, diğer NLP görevlerinden daha kompleks. Ama bu görevi pipeline ile yapmak çok kolay. Bunu göstermek için öncelikle bir pipeline oluşturalım.

summarizer = pipeline("summarization")

Ardından bir metin alalım. Örneğin, Wikipedia’daki MrBeast başlığından bir parça kullanalım.

text =""" James Stephen Donaldson[b] (born May 7, 1998), known professionally as MrBeast (or Jimmy Donaldson), is an American YouTuber, entrepreneur and philanthropist. He is credited with pioneering a genre of YouTube videos that centers on expensive stunts and challenges.[12] With over 184 million subscribers as of September 18, 2023,[13] he is the most-subscribed individual user on the platform and the second-most-subscribed channel overall,[14][15] and has ranked on the Forbes list for the highest paid YouTube creator in 2022.[16]
Donaldson grew up in Greenville, North Carolina. He began posting videos to YouTube in early 2012, at the age of 13,[17] under the handle MrBeast6000. His early content ranged from Let's Plays to "videos estimating the wealth of other YouTubers".[18] He went viral in 2017 after his "counting to 100,000" video earned tens of thousands of views in just a few days, and he has become increasingly popular ever since, with most of his videos gaining tens of millions of views.[18] His videos, typically involving challenges and giveaways, became increasingly grand and extravagant.[19] Once his channel took off, Donaldson hired some of his childhood friends to co-run the brand. As of 2023, the MrBeast team is made up of over 250 people, including Donaldson himself.[20][21] Other than MrBeast, Donaldson runs the YouTube channels Beast Reacts, MrBeast Gaming, MrBeast 2 (formerly MrBeast Shorts),[22] and the philanthropy channel Beast Philanthropy.[23][24] He formerly ran MrBeast 3 (initially MrBeast 2), which is now inactive.[25][26] As of 2023, he is the highest paid YouTuber,[27] and has an estimated net worth of $500 million.[28]
Donaldson is the founder of MrBeast Burger and Feastables; and a co-creator of Team Trees, a fundraiser for the Arbor Day Foundation that has raised over $23 million;[29][30] and Team Seas, a fundraiser for Ocean Conservancy and The Ocean Cleanup that has raised over $30 million.[31] Donaldson won the Creator of the Year award four times at the Streamy Awards in 2020, 2021, 2022, and 2023; he also won the Favorite Male Creator award twice at the Nickelodeon Kids' Choice Awards in 2022 and 2023. In 2023, Time magazine named him as one of the world's 100 most influential people."""

Tamam özetlenecek metnimiz, text değişkenine atadık. Şimdi pipeline kullanarak özetleme yapalım.

outputs = summarizer(
    text, 
    # Maksimum uzunluğu belirleyelim:
    max_length=60, 
    # Çıktıdaki ekstra boşlukları kaldıralım:
    clean_up_tokenization_spaces=True)

Tamam metnin özetini yaptırdık. Şimdi çıktıdaki ilk boyutun özet metnini görelim.

print(outputs[0]['summary_text'])

# Output:
"""
James Stephen Donaldson, known as MrBeast, is an American YouTuber, entrepreneur and philanthropist. He is credited with pioneering a genre of YouTube videos that centers on expensive stunts and challenges. With over 184 million subscribers as of September 18, 2023, he is the most
"""

Gördüğünüz gibi metin özetlenmiş oldu. Özet çok kötü değil mi? Pipeline ile özetleme görevini de bu şekilde yapmış olduk.

Hadi devam edelim ve en son çeviri görevi nasıl yapılır bakalım.

7. Çeviri

Çeviride bildiğiniz gibi bir dildeki bir metin alınır ve diğer dildeki bir metne çevrilir.

Bu görev bir seq-to-seq yani diziden diziye görevidir. Yani modele bir dizi veririz ve modelden bir dizi alırız.

Bunu göstermek için hadi bir pipeline alalım.

translator = pipeline("translation_en_to_de")

Tamam, pipeline’ımızı oluşturduk. Hadi devam edelim ve bir metin alalım.

text = "I hope you enjoy it."

Ve bu metnin çevirisini yapalım.

outputs = translator(text, clean_up_tokenization_spaces=True)
print(outputs[0]['translation_text'])

# Output:
Ich hoffe, Sie genießen es

Süper, gördüğünüz gibi çeviri yapıldı.

Sizde, istediğiniz bir dilden başka bir dile çeviri yapabilirsiniz.

Örneğin Türkçeden İngilizceye mi çeviri yapmak istiyorsunuz o zaman model hub gidin, bu görevi yapan modeli bulun ve pipeline’da bu modeli kullanın. İşte bu kadar basit.

Sonuç

HuggingFace 🤗 doğal dil işleme analizleri için harika bir platform. Bu platform içindeki Transformers kütüphanesi ile doğal dil işleme projelerinizi kolayca yapabilirsiniz.

Bu blog yazısında Transformers içindeki pipeline’lar ile doğal dil işleme görevleri, bir kaç kod satırı ile nasıl yapılır gördük.

HuggingFace 🤗 ekosistemi ile doğal dil işlemenin inceliklerini öğrenmek için Udemy kursumuzu şiddetle tavsiye ederim.

Aşağıdaki yazılar da dikkatinizi çekebilir.

• Derin Öğrenme Yol Haritası
• Makine Öğrenmesi Yol Haritası 2023

Bu derste kullandığım notebook ’un linkine buradan ulaşabilirsiniz.

Hadi bağlanalım YouTube, Twitter, Instagram, Linkedin.

Gelecek makalelerde görüşmek üzere. Şimdilik hoşça kalın.

Veri analizinin en önemli aşamalarından biri veri görselleştirmedir. Veri görselleştirme ile verilerinizi daha iyi anlayabilir ve harika modeller kurabilirsiniz.

Bu yazıda, 2023 veri bilimi maaşları veri setini kullanarak veriye dayalı meslekleri inceleyeceğiz. Makalenin sonunda bu meslekler ile ilgili bazı tavsiyelerde bulunacağım.

Hadi verimizi yüklemek ile başlayalım.

Veri Setini Yükleme

Kullanacağımız veri seti Kaggle’da bulunan veri bilimi maaşları 2023 veri seti.

İlk önce veri setini yükleyelim. Veri setini yüklemek için Pandas kütüphanesini kullanalım. Bu kütüphane veri manipülasyonu yapmak için harika bir kütüphanedir.

import pandas as pd

Bu derste kullandığım notebook’un linkine buradan ulaşabilirsiniz. Şimdi bu kütüphane içindeki read_csv metodu ile veri setini yükleyelim.

df=pd.read_csv('ds_salaries.csv')

Veri setinizin notebook ile aynı dizinde olduğuna dikkat edin. Şimdi veri setinin ilk 5 satırını görelim. Bunun için head metodunu kullanalım.

df.head()

Gördüğünüz gibi veri setinde çalışma yılı, senior, junior gibi tecrübe seviyesi, uzaktan çalışma, sözleşme gibi çalışma şekli, meslek ismi, maaş ve şirket lokasyonu gibi sütunlar var.

Tamam veri seti kısaca tanıdık. Şimdi veri setindeki satır ve sütun sayılarına bakalım. Bunun için shape metodunu kullanalım.

print("Number of rows and columns in the dataset:",df.shape)

# Output
Number of rows and columns in the dataset: (3755, 11)

Gördüğünüz gibi veri setinde 3755 satır ve 11 sütun var. Şimdi veri setinin sütunlarının özelliklerini inceleyelim. Bunun için info metodunu kullanalım.

df.info()

Burada sütunların isimlerini, sütun sayılarını, eksik verileri ve sütun tiplerini görebilirsiniz. Gördüğünüz gibi sütunlarda eksik veri yok. Eksik verileri kontrol etmek için isnull metodunu kullanabiliriz. Hadi bunu gösterelim.

print("Number of missing data in the dataset:",df.isnull().sum().sum())

# Output
Number of missing data in the dataset: 0

Unutmayın, bir sum metodu ile her bir sütundaki eksik verileri iki sum metodu kullanarak tüm veri setindeki eksik verileri görebiliriz. Burada gördüğünüz gibi veri setinde eksik veri yok.

Harika, veri setimiz gayet temiz. Tabi her zaman veri setleri böyle temiz olmaz. Verileri nasıl veri ön işleme yapıp temizleyeceğinizi kanalımızdaki veri bilimi derslerinde bulabilirsiniz.

Şimdi devam edelim ve sütunlardaki tek değerlere bakalım.

print(df.nunique())

Vee sütunlardaki unique değerlerin sayısı ekrana yazıldı. Mesela yıl sütundaki tek değerlere bakalım.

df["work_year"].value_counts()

# Output
2023    1785
2022    1664
2021     230
2020      76
Name: work_year, dtype: int64

Gördüğünüz gibi veri setinde 2020'den 2023'e kadar 4 yıl var.

Süper. Şimdiye kadar veri setini yükledik ve veri setini tanımak için bazı metotları kullandık.

2023'deki En İyi 10 Meslek

Hadi şimdi 2023'de en fazla talep gören ilk 10 mesleğe bakalım. Öncelikle 2023 yılını ve job_title sütununu seçelim. Ardından bu en fazla tercih edilen ilk 10 mesleği alalım.

jobs = df[df['work_year']==2023]['job_title'].value_counts().nlargest(10).reset_index()

Tamam, en fazla 10 mesleği seçtik. Şimdi bu mesleklerin sütun grafiğini çizdirelim. Bunun için matplotlib ve seaborn kütüphanelerini kullanalım. Bu kütüphaneler veri görselleştirme için harikadır. Bu kütüphaneleri A’dan Z’ye öğrenmek için kanalımızdaki veri görselleştirme derslerini izleyebilirsiniz.

Bu kütüphaneleri kullanmak için öncelikle import edelim.

import matplotlib.pyplot as plt
import seaborn as sns

Ardından grafiklerin özelliklerini ayarlayalım.

sns.set_theme()
sns.set(rc = {"figure.figsize":(10,6), "figure.dpi":300})

Harika grafik özelliklerini ayarladık. Şimdi devam edelim ve ilk 10 mesleğin grafiğini çizdirelim.

fig, ax = plt.subplots()
ax = sns.barplot(ax = ax, data=df, y = jobs['index'], x = jobs.job_title)
ax.set(ylabel='Job Titles',xlabel='Counts', title='Top 10 Job Titles in 2023')
ax.bar_label(ax.containers[0], padding = 2)

Gördüğünüz gibi en fazla veri mühendisi var daha sonra veri bilimci geliyor. Şaşırdık mı hayır. Çünkü veri mühendisliği yeni trend.

Veri mühendisi ne iş yapar diye sorabilirsiniz. Veri mühendisleri, kabaca verileri analize hazır hale getirir. Veri bilimi projelerinde veri mühendisleri kritik bir rol oynar.

Tamam ilk 10 mesleği gördük. Şimdi devam edelim ve tecrübe seviyelerine bakalım.

Deneyim Düzeyleri

Öncelikle deneyim sütunundaki tek değerle bakalım.

df['experience_level'].unique()

# Output
array(['SE', 'MI', 'EN', 'EX'], dtype=object)

Gördüğünüz gibi 4 farklı tecrübe kategorisi var. Bu değerler kısaltılmış halde. Bunların uzun değerlerini yazalım.

df['experience_level'] = df['experience_level'].replace('EN','Junior')
df['experience_level'] = df['experience_level'].replace('MI','Mid-level')
df['experience_level'] = df['experience_level'].replace('SE','Senior')
df['experience_level'] = df['experience_level'].replace('EX','Director')

Tamam, tecrübe değerlerinin isimlerini değiştirdik. Şimdi bunların sayısının sütun grafiğini çizdirelim.

fig, ax = plt.subplots()
sns.countplot(ax = ax, data = df, x = df.experience_level)
ax.set(xlabel='', ylabel='Counts', title='Experience Levels')
ax.bar_label(ax.containers[0])

Gördüğünüz gibi en fazla senior daha sonra mid-level ve Junior var. En az sayıda ise director var.

Harika. Deneyim seviyelerini gördük. Şimdi devam edelim ve istihdam türlerine bakalım.

İstihdam Türleri

Veri biliminde bir kaç istihdam türü var. Bunları görmek için öncelikle istihdam türleri sütununu ele alalım.

df['employment_type'].unique()

# Output:
array(['FT', 'CT', 'FL', 'PT'], dtype=object)

Gördüğünüz gibi 4 istihdam türü var. Bunların isimlerini değiştirelim.

df['employment_type'] = df['employment_type'].replace('FT','Full-Time')
df['employment_type'] = df['employment_type'].replace('PT','Part-Time')
df['employment_type'] = df['employment_type'].replace('CT','Contract')
df['employment_type'] = df['employment_type'].replace('FL','Freelance')

Şimdi deneyim düzeylerine göre her bir istihdam türünün sayılarını görelim.

fig, ax = plt.subplots()
sns.countplot(ax = ax, data = df, x = df.employment_type, hue = 'experience_level')
ax.set(xlabel='', ylabel='Counts', title='Employmnetn Types Count')
ax.bar_label(ax.containers[0])
ax.bar_label(ax.containers[1])
ax.bar_label(ax.containers[2])
ax.bar_label(ax.containers[3])

Gördüğünüz gibi full time çalışan en fazla senior. Daha sonra mid-level ve Junior. Yine en az sayıda director var.

Tamam, çalışma kategorilerine baktık. Şimdi tecrübe seviyelerine göre ortalama maaşlara bakalım.

Deneyim Düzeylerine Göre Ortalama Maaşlar

Deneyim düzeylerine göre ortalama maaşlar farklılık gösterir. Bu farklılığı görmek için öncelikle çalışma tipine göre verileri gruplayalım ve salary-in-usd sütununu seçelim. Bunların ortalamasını alalım ve 0. basamağa göre yuvarlayalım. Bu değerleri azalana göre sıralayalım. En son indeksleri resetleyelim. En son sütun grafiğimizi çizdirelim.

avg_salaries = df.groupby('employment_type')['salary_in_usd'].mean().round(0).sort_values(ascending = False).reset_index()
fig, ax = plt.subplots()
sns.barplot(ax =ax,data = df , x = 'employment_type', y = 'salary_in_usd',errorbar = None, hue = 'work_year')
ax.set(xlabel='', ylabel='Dollars', title='Average Salaries in Dollars Per Year')
ax.bar_label(ax.containers[3], padding = 2)

Kırmızı ile gösterilen 2023 ortalama maaşlar. Beklediğimiz gibi ortalama olarak en çok full-time çalışanlar maaş alıyor. Daha sonra freelance çalışanlar. En son yıllara göre maaş ortalamalarına bakalım.

Yıllara Göre Maaş Ortalamaları

Son yıllarda veriye dayalı meslekler çok popüler oldu. Bunun maaşların yansımasına bakalım. Öncelikle maaşları seçelim ardından yıllara göre bu verileri gruplayalım ve mean metodu ile ortalamalarını bulalım.

year_based_salary = df['salary_in_usd'].groupby(df['work_year']) .mean()
plt.title("Average Salaries based on Work Year")
plt.xlabel('Work Year')
plt.ylabel('Salary')
sns.lineplot(x=['2020', '2021', '2022','2023'], y=year_based_salary)
plt.show()

Gördüğünüz gibi her sene veriye dayalı mesleklerin ortalama maaşları artıyor. Özellikle 2021'den 2022'ye büyük bir sıçrama olmuş.

Son Sözler

Bu makalede, veriye dayalı mesleklerin maaşlarını inceledik. Son yıllarda üretilen verinin artması ile veriye dayalı meslekler çok popüler oldu. En çok talep gören alan veri mühendisliği. Daha sonra veri bilimi.

Sonuç olarak araştırmayı seviyorsanız veri bilimci olmanızı tavsiye ederim. Model kurmayı ve modeli canlıya almayı seviyorsanız makine öğrenmesi mühendisliğine yönelebilirsiniz. Verileri analiz etmeyi seviyorsanız veri analistliği tam size göre. Eğer bulut bilişim, veri tabanları, programlama gibi alanlara ilginiz varsa veri mühendisliğini öneririm.

Makaleyi okuduğunuz için teşekkür ederim. Bu derste kullandığım notebook’un linkine buradan ulaşabilirsiniz. Hadi bağlanalım: YouTube | Udemy | Twitter | Instagram | LinkedIn.

Aşağıdaki yazılar da dikkatinizi çekebilir:

• Makine Öğrenmesi Yol Haritası 2023
• VERİ BİLİMİ NASIL ÖĞRENİLİR?

Yazıyı beğendiyseniz alttaki alkış butonuna bir kaç defa basmayı unutmayın 👏 Gelecek yazılarda görüşmek üzere. Şimdilik hoşça kalın.

Bildiğiniz gibi derin öğrenme modellerinin eğitimi uzun zaman alır. İsterseniz, modeli eğitim esnasında ya da eğitim bittikten sonra kaydedebilirsiniz.

Bu blog yazısında Keras ile modelinizi nasıl kaydedeceğinizi ve kaydedilen modeli nasıl yükleyeceğinizi adım adım göstereceğim. Ayrıca model eğitiminde çok sık kullanılan ModelCheckpoint callbacki anlatacağım.

Veri Setini Yükleme

Model kaydetmeyi göstermek için MNIST veri setini kullanalım. Bu veri seti rakamların görüntülerinden oluşur.

MNSIT veri setini yüklemek için öncelikle TensorFlow ve Keras’ı import edelim.

import tensorflow as tf
from tensorflow import keras

Şimdi Keras’ı kullanarak eğitim ve test veri setlerini yükleyelim. Bunun için load_data metodunu kullanalım.

(train_images, train_labels), (test_images, test_labels) = tf.keras.datasets.mnist.load_data()

Eğitim girdi ve çıktı veri setleri 60,000 örneklemden ve test girdi ve çıktı veri setleri 10,000 örneklemden oluşuyor.

Veri Ön İşleme

Veri analizinin en önemli adımlarından biri veri ön işlemedir. Derin öğrenmede, normalleştirme ve regülerleştirme gibi bazı veri ön işleme teknikleri modelin performansını attırır.

Öncelikle kodları daha hızlı çalıştırmak için bu veri setlerinden ilk 1000 örneği alalım. İlk olarak çıktı değişkenleri için bunu yapalım.

train_labels = train_labels[:1000]
test_labels = test_labels[:1000]

Aynı şeyleri eğitim verileri için de yapalım. Veri örnekleri rakam resimlerinden oluşuyor. Bu resimler iki boyutlu. Bu verileri modele vermeden önce reshape metodu ile bir boyuta çevirelim. Ayrıca hem modelin performansını arttırmak hem de eğitimlerin daha hızlı olması için verileri normalleştirelim.

train_images = train_images[:1000].reshape(-1, 28 * 28) / 255.0
test_images = test_images[:1000].reshape(-1, 28 * 28) / 255.0

Tamam, veri setlerimizi modele uygun hale getirdik. Hadi devam edelim ve model kurma aşamasına geçelim.

Model Kurma

Keras’da model kurmak için en kolay yöntem Sequential tekniğinidir. Bu teknik ile katmanlar art arda sıralanır. Sequnetial tekniğini daha ayrıntılı öğrenmek için aşağıdaki yazıyı inceleyebilirsiniz.

Derin Öğrenme için Yapay Sinir Ağları

Kodlarımızın daha derli toplu olması için modelimizi bir fonksiyon içinde tanımlayalım.

def create_model():
  model = tf.keras.Sequential([
    keras.layers.Dense(512, activation='relu',input_shape=(784,)),
    keras.layers.Dropout(0.2),
    keras.layers.Dense(10)
  ])
 
   model.compile(
     optimizer='adam',
     loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
     metrics=[tf.keras.metrics.SparseCategoricalAccuracy()]
   )
   return model

Harika, basit bir Sequential model tanımladık. Şimdi bu fonksiyondan model isminde bir örnek obje alalım.

model = create_model()

Şimdi modelimizin mimarisini summary metodu ile görelim.

model.summary()

Gördüğünüz gibi modelimiz bir girdi, bir regülerleştirme ve bir çıktı katmanından oluşuyor.

ModelCheckpoint Callback ile Model Ağırlıklarını Kaydetme

Eğittiğiniz bir modeli tekrar kullanmak için veya eğitim sürecinin kesintiye uğraması durumunda eğitime kaldığınız yerden devam etmek için modelinizi kaydedebilirsiniz.

Bildiğiniz gibi bir modeli eğitmek demek aslında modelin parametre denen ağırlıklarını kaydetmek demektir.ModelCheckpoint callback ile model eğitimi esnasında modelin ağırlıklarını kaydedebilirsiniz. Bunu göstermek için bu callbackten bir örnek alalım.

Öncelikle os modülü ile modelin kaydedileceği dizini oluşturalım.

import os
checkpoint_path = "training_1/my_checkpoints"
checkpoint_dir = os.path.dirname(checkpoint_path)

Tamam, dizinimizi oluşturduk. Şimdi modelin ağırlıklarını kaydetmek için bir callback oluşturalım.

checkpoint_cb = tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_path,
    # Modelin sadece ağırlıklarını kaydedelim
    save_weights_only=True)

Harika, callbackimizi oluşturduk. Şimdi fit metodunu çağıralım ve callbackimizi bu metoda geçirelim.

model.fit(train_images, 
          train_labels, 
          epochs=10,
          validation_data=(test_images, test_labels),
          callbacks=[checkpoint_cb])

Böylece model ağırlıklarını dizinimize kaydettik. Kullandığımız callback, her epoch sonunda checkpoint dosyalarını günceller. Hadi eğitim sonunda dizinde yer alan dosyalara bakalım.

os.listdir(checkpoint_dir)

# Output
['my_checkpoints.index', 'my_checkpoints.data-00000-of-00001', 'checkpoint']

Dizinde kaydedilen dosyalar karşımıza geldi.

Ağırlıkları Model Yükleme

Bu ağırlıkları bir modele yükleyebiliriz. Unutmayın, kaydedilen ağırlıkları sadece aynı mimariye sahip modeller için kullanabilirsiniz.

Hadi bunu göstermek için sıfırdan bir model örneği alalım.

model = create_model()

Bu modelin katsayılarını henüz eğitmedik. Bu katsayılar rasgele oluşturuldu. Şimdi evaluate metodu ile bu eğitilmemiş modelin test verileri üzerindeki doğruluk skoruna bakalım.

loss, acc = model.evaluate(test_images, test_labels, verbose=2)
print(f"Untrained model, accuracy: {100 * acc:5.2f}%")

# Output:
Untrained model, accuracy: 10.70%

Gördüğünüz gibi eğitilmemiş modelin test verileri üzerindeki doğruluğu yaklaşık yüzde 10. Bu oldukça kötü bir skor.

Şimdi daha önce kaydettiğimiz ağırlıkları load_weights metodu ile modele yükleyelim ve bu modelin test verileri üzerindeki doğruluk skoruna bakalım.

model.load_weights(checkpoint_path)

Tamam, kaydettiğimiz ağırlıkları modele yükledik. Şimdi modeli tekrar test edelim.

loss, acc = model.evaluate(test_images, test_labels, verbose=2)
print(f"Untrained model, accuracy: {100 * acc:5.2f}%")

#Output:
Untrained model, accuracy: 87.40%

Gördüğünüz gibi modelin doğruluğu yüzde 90'lara yaklaştı.

Bu bölümde model ağırlıklarının nasıl kaydedileceğini ve bu ağırlıkların nasıl yükleneceğini gördük. Şimdi devam edelim ve tüm modeli nasıl kaydedeceğimize bakalım.

Tüm Modeli Kaydetme

Modelinizi canlıya almak için kaydetmeniz gerekir. Tek bir dosyada modelin mimarisini, ağırlıklarını ve eğitim konfigürasyonunu kaydetmek için save metodunu kullanabiliriz.

Modelinizi, SaveModel ve HDF5 şeklinde iki farklı formatta kaydedebilirsiniz. Unutmayın, Keras'daSavedModel formatı ön tanımlı olarak kullanılır.

Hadi son modelimizi kaydedelim. Bunun için bir dizin oluşturalım.

mkdir saved_model

Şimdi bu dosyanın içine modelimizi kaydedelim.

model.save('saved_model/my_model')

Güzel, modelimizi kaydettik. Hadi bu dizin içindeki dosyalara bakalım.

ls saved_model/my_model

# Output:
assets fingerprint.pb keras_metadata.pb  saved_model.pb  variables

Modeli canlıya almak için modelin kaynak kodlarına gerek yok. Deploy için SavedModel yeterlidir. Hadi bu dosyalara yakından bakalım.

saved_model.pb dosyası, modelin mimarisini ve hesaplama grafiklerini içerir.

keras_metadata.pb dosyasında, Keras tarafından gerekli ekstra bilgiler vardır.

variables alt dizini, ağırlık ve bias gibi parametre değerlerini içerir.

assets alt dizini, özniteliklerin ve sınıfların isimleri gibi ekstra dosyaları içerir.

Harika, modeli nasıl kaydedeceğimizi gördük. Şimdi model yükleme nasıl yapılır bakalım.

Model Yükleme

Kaydettiğiniz modeli load_model metodu ile yükleyebilirsiniz. Bunu yapmak için öncelikle model mimarisini oluşturalım ve daha sonra modeli yükleyelim.

new_model = create_model()
new_model = tf.keras.models.load_model('saved_model/my_model')

Tamam, modeli yükledik. Hadi bu modelin mimarisine bakalım.

new_model.summary()

Bu modelin, orijinal modeldeki aynı argümanlar ile compile edildiğini unutmayın. Hadi bu modelin test verileri üzerindeki doğruluğuna bakalım.

loss, acc = new_model.evaluate(test_images, test_labels, verbose=2)
print(f'Restored model, accuracy: {100 * acc:5.2f}%')

# Output:
Restored model, accuracy: 87.40%

Gördüğünüz gibi yüklediğimiz modelin test verileri üzerindeki doğruluk skoru, yüzde 87.

Modeli, h5 formatında da kaydedebilirsiniz. Fakat çoğu TensorFlow deployment aracı, SavedModel formatını ister.

Son Sözler

Bu blog yazısında, derin öğrenme modelleri nasıl kaydedilir ve nasıl yüklenir konularını işledik. İlk olarak ModelCheckpoint callback ile model ağırlıklarının kaydetmeyi gördük. Daha sonra modeli deploy etmek için tüm modeli kaydetmeyi ve yüklemeyi inceledik.

Bu yazının daha ayrıntılı videosunu, YouTube kanalımızdaki katılda veya Udemy kursumuzda bulabilirsiniz.

Yazıyı okuduğunuz için teşekkür ederim. Herhangi bir sorunuz varsa yorumlara yazabilirsiniz. Bu derste kullandığım notebookun linkine buradan ulaşabilirsiniz.

Hadi bağlanalım: YouTube | Udemy | Twitter | Instagram | LinkedIn.

Aşağıdaki yazılar da dikkatinizi çekebilir:

• Derin Öğrenme Yol Haritası
• Makine Öğrenmesi Yol Haritası 2023

Yazıyı beğendiyseniz alttaki alkış butonuna bir kaç defa basmayı unutmayın.

Gelecek yazılarda görüşmek üzere. Şimdilik hoşça kalın.

2022 yapay zekanın yılı oldu ve bu sadece başlangıç! ChatGPT ve Midjourney gibi araçlarla herkes yapay zekanın gücünü gördü ve gerçekten inanılmaz bir şey olduğunu anladı. Yapay zeka artık hayatımızın merkezinde.

En son yapılan araştırmaya göre, bu canavarın 300 milyon işin yerine geçebileceği söyleniyor. Trendler 6–7 senede bir değişiyor ve şimdi yeni trend yapay zeka! Bu trendi takip etmek için yapay zeka canavarını öğrenmemiz gerekiyor. Evet, bazı meslekler yapay zeka sayesinde ölecek ama aynı zamanda çok daha fazla yeni iş fırsatı da doğacak. Örneğin, prompt mühendisliği şimdiden trend. Prompt mühendisleri, doğru girdileri kullanarak yapay zekanın en iyi şekilde çalışmasını sağlıyor.

Birçok insan yapay zekanın gücünü ChatGPT ile öğrendi ama hala bu canavarla ne yapılabileceğini bilmiyor. Bu blog yazımda ChatGPT ’nin ne kadar heyecan verici olduğunu size göstereceğim!

ChatGPT ile yapacaklarınızın sınırı yok ama sadece 8 farklı senaryo üzerinden bu canavarla neler yapabileceğinizi anlatacağım. Hazır olun, çünkü yapay zeka treni hızla ilerliyor ve bu canavarla tanışmak için en heyecanlı zaman! Öncelikle ChatGPT nedir kısaca bakalım.

ChatGPT nedir?

ChatGPT aslında bir diyalog robotu. Teknik bir ifade ile bir yapay zeka dil modeli. ChatGPT ile sorularınıza cevap bulabilir, öneriler alabilir ve hatta sohbet edebilirsiniz. Belki ilerde en iyi arkadaşınız ChatGPT olacak.

Bu model ilk olarak GPT-3.5 modeli baz alınarak geliştirildi ve özellikle sohbet etmek için eğitildi. GPT-4'ün çıkması ile çıkması ChatGPT, bu modeli kullanmaya başladı. Bu diyalog robotu eskiden sadece metin girdisi kabul ediyorken artık görsel girdileri de kabul etmeye başladı. Yani bu arkadaşa, istediğiniz bir web sitesini çizip verdiğinizde, o da size bu sitenin kodlarını veriyor.

Muhteşem değil mi?

ChatGPT ile yapacaklarınız hayallerinizle sınırlı. Ama bu canavarı nasıl kullanacağınızı bilmeniz gerekiyor. İşte bu videoda farklı senaryolar üzerinden ChatGPT’yi günlük hayatta nasıl kullanabileceğinizi göstereceğim.

ChatGPT’yi ücretsiz olarak kullanabilirsiniz. Ama aylık 20 dolar verirseniz bu diyalog robotunu GPT-4 tabanlı olarak daha hızlı kullanabilirsiniz. Tamam kısaca ChatGPT’yi nedir inceledik. Şimdi kullanım senaryolarına bakalım.

1. Özetleme

Her gün, finans, motivasyon, programlama gibi alanlarda yeni kitaplar çıkıyor değil mi? Gerçekçi olalım, bu kitapların çoğunu okumak için vakit bulamıyoruz. İşte tam bu nokta da ChatGPT imdadımıza yetişiyor. Okumak istediğimiz ama bir türlü okuyamadığımız kitapların özetini ChatGPT’den isteyebiliriz.

Örneğin George Orwell’ın hayvan çiftliği kitabının özeti görmek isteyelim. Hadi ChatGPT’ye soralım.

George Orwell'ın hayvan çiftliği kitabını özetler misin?

Tabi ki bütün kitabı okumak daha iyi ama vaktiniz yoksa bu şekilde kitap hakkında fikir edinebilir. Ve bu özete bakarak, kitap için zaman ayırıp ayırmayacağına karar verebilirsiniz.

Harika değil mi?

Hızlı ve güvenilir kitap özetleri için ChatGPT ’ye başvurabilirsiniz. Tamam ChatGPT’nin bir kitabı nasıl özetlediğini gördük. Hadi şimdi öneri için bu arkadaşı nasıl kullanabileceğimize bakalım.

2. En Beğenilen Ürünleri Bulma

Her zaman en kaliteli ürünleri bulmak ve en iyi kitapları okumak isteriz. En iyileri bulmak için çoğu zaman ürün hakkında yazılmış yorumları okuruz. Ama bu süreç çok yorucu ve çok zaman alıcıdır değil mi? Artık rahat olun, ChatGPT en iyi ürünleri bulmada sizi yardımcı olur.

Örneğin veri bilimi alanında uzmanlaşmak istiyorsunuz. Bunun için en iyi kitapları bulmak istiyorsunuz. Bunu ChatGPT’ye sormanız yeterli.

Veri bilimi hakkında en iyi 5 kitabı öner misin?

Bu şekilde ChatGPT’den tatil, film, bilgisayar, telefon tavsiyeleri alabiliriz.

Tamam, ChatGPT’den istediğimiz ürün hakkında nasıl öneriler alabileceğimizi gördük. Hadi devam edelim ve ChatGPT’yi pazarlama konusunda nasıl kullanabileceğimize bakalım.

3. Sosyal Medya Reklamları Oluşturma

Hepimizin farklı alanlarda uzmanlıkları var. Örneğin ben veri bilimi, yapay zeka ve programlama alanları ile ilgilenmeyi seviyorum ve bu alanlarda uzmanlaşmak istiyorum. Ama her alanda uzman olamayız değil mi?

Örneğin bir web geliştiricisi düşünelim. Bu kişi tamam web geliştirme ve tasarımda uzman olabilir ama bir yandan iş bulabilmesi için kendi reklamını yapması gerekiyor. Ya da reklam için ajanslara ödeme yapması gerekiyor.

Paradan tasarruf etmek için ChatGPT sizin can kurtarıcınız olabilir. Bu arkadaş, para kazanmada kesinlikle kraldır. Örneğin bir Facebook reklamı oluşturmak istiyorsunuz. Hadi bunu ChatGPT’ye soralım.

En iyi web geliştirme ajansı için bir Facebook reklamı oluştur musun?

Artık reklam metni için ajans aramanıza gerek yok. ChatGPT, sizin işlerinizi saniyeler içinde yapıyor.

Size güzel bir haberim var. ChatGPT yalnızca reklamla sınırlı değil. E-posta kampanyalarından sosyal medya gönderilerine kadar her türlü pazarlama içeriğinizi bu arkadaşa yaptırabilirsiniz. Böylece hem zamandan hem de paradan tasarruf edebilirsiniz.

Tamam, ChtGPT’yi pazarlama alanında nasıl kullanabileceğimizi gördük. Hadi şimdi devam edelim ve bu arkadaşı içerik üretmede nasıl kullanacağımıza bakalım.

4 . İçerik Üretme

İçerik üretmek günümüzün en önemli yeteneklerinden biri haline geldi. İçerik üreterek hem kendinizi geliştirebilir hem de geniş bir network oluşturabilirsiniz. İçerik üretirken dikkat edilmesi gerekenlerden şeylerden biri de ilgi çekici başlıklar kullanmaktır.

Ben kendi tecrübelerimden biliyorum. Bir YouTube videosu ya da bir blog yazısı yazdığımda içerik ne kadar kaliteli olursa olsun başlık dikkat çekici değil ise maalesef tıklanmıyor. Akılda kalıcı başlıklar bulmak için ChatGPT’yi kullanabiliriz. Bu arkadaşı kullanarak creative isimler, başlıklar oluşturabilirsiniz.

Örneğin yapay zeka destekli bir eğitim platformu startup fikriniz var. Bu projede, öğrencilerin öğrenme hızını artırmak için yapay zeka teknolojilerini kullanmak istiyorsunuz. Bu startup fikri için ilgi çekici bir başlık bulmak istiyorsunuz. Bunun için ChatGPT’yi kullanabilirsiniz. Hadi soralım.

Yapay zeka destekli bir eğitim platformu oluşturmak istiyorum. 
Bu startup fikri için ilgi çekici ve akılda kalıcı 10 isim önerir misin?

İsterseniz blog yazınız için isterseniz YouTube kanalınız için bu şekilde dikkat çekici başlıklar üretebilirsiniz.

Tamam, ChatGPT’yi fikir üretmede nasıl kullanacağımızı gördük. Şimdi gerçek hayat hikayelerini öğrenmede bu arkadaşı nasıl kullanacağımıza bakalım.

5. Kişisel Gelişim

Sizi bilmem ama ilham almak için gerçek hayat hikayelerini okumayı seviyorum. Yaşanmış olayları okumak ve onlardan ders çıkarmak hoşuma gidiyor. Ama gerçekçi olalım, uzun hayat hikayeleri okumak bazen göz korkutucu olabilir.

İşte ChatGPT’nin oyuna girdiği yer burası. Başarılı insanların gerçek hikayelerinin özetini görmek istediğinizde bu arkadaş oldukça yetenekli. Örneğin Steve Jobs’ın hayatını ilham almak için öğrenmek istiyorsunuz. Bunun için ChatGPT’den yardım alabilirsiniz. Hadi soralı:

Apple'ın kurucusu Steve Jobs'ın hikayesini beni motive etmesi için anlatır mısın?

Steve Jobs’ın hayat hikayesi bir çok insan için ilham kaynağıdır. Nasıl olmasın ki 19 yaşında şirket kurup Steve Wozniak ile ilk Apple bilgisayarı üretiyor. Daha sonra kendi kurduğu şirketten kovuluyor. Bu noktada, birçok kişi kariyerinin bittiğine inanıyor. Ancak Jobs, NeXT adlı başka bir bilgisayar şirketi kuruyor ve Pixar adlı bir animasyon stüdyosunu satın alıyor. Pixar’ın Disney tarafından satın alınmasıyla, büyük başarı elde ediyor.

Bu başarılarının ardından kendi kurup kovulduğu Apple’a CEO olarak geri geliyor ve iPod, iPhone ve iPad gibi yenilikçi ürünlerin geliştirilmesini sağlıyor.

Harika değil mi?

Bu şekilde Bill Gates gibi başarılı insanların hayat hikayelerini öğrenebilir ve onların hikayerinden ilham alabilirsiniz.

Tamam bu bölümde kişisel gelişim için ChatGPT’yi nasıl kullanabileceğimize baktık. Hadi şimdi ChatGPT’nin karmaşık konuları nasıl basitleştirdiğine bakalım.

6. Kompleks Konuları Basitleştirme

Bir çok kez kompleks, anlaması zor konularla karşılaşmışızdır. Bu konuları anlamak için saç baş yolduğumuz olmuştur. Peki karmaşık kavramları basitleştirerek anlatan biri olsa ne harika olur değil mi? Evet size harika bir haberim var. ChatGPT, sizin için her şeyi basitleştirir.

İster bir programcı, ister pazarlamacı veya sadece meraklı bir öğrenci olun, ChatGPT, en kompleks konuları sizin için anlaşılması kolay hale getirir. Örneğin ChatGPT ’den kuantum computing’i basitçe bize açıklamasını isteyelim.

Kuantum computing'i ben 5 yaşımdaymışım gibi açıklayabilir misin?

İster en son karmaşık teknolojik konuları öğrenmek isteyin, isterseniz kompleks akademik terimleri kavramak isteyin ChatGPT sizin hizmetinizde. Bu arkadaştan zor konuların basitleştirmesini isteyin, arkanıza yaslanın ve sadece sihirli kelimeleri okuyun.

Tamam, böylece ChatGPT’nin nasıl karmaşık konuları anlaşılabilir hale getirdiğini gördük. Hadi devam edelim ve ChatGPT’yi dil becerilerini geliştirmede nasıl kullanabileceğimize bakalım.

7 . Dil Becerilerini Geliştirme

Ülkemizde ilk okuldan itibaren İngilizce eğitimi verilir ama öğrenciler bir türlü istenen seviyeye getirilemez. İnsan büyüdükçe, İngilizce becerilerini geliştirme konusunda biraz daha çekingen oluyor. Ana dili İngilizce olan ülkelerde yaşamıyorsanız özellikle gramer kurallarını ve günlük hayatta kullanılan tabirleri öğrenmek zor olur.

Fakat korkmayın, ChatGPT saniyeler içinde dil becerilerinizi geliştirmenize size yardımcı olur. Örneğin writing konusunda kendinizi geliştirmek istiyorsunuz. Önce söylemek istediklerinizi kendi tarzınızda yazın. Daha sonra hataları düzeltme ve yazıyı daha iyi hale getirme işini ChatGPT’ye bırakın.

Örneğin diyelim ki bir şirketten ödeme almak istiyorsunuz. Basitçe bir cümle yazdınız. Bu cümleyi daha resmi bir dile çevirmek istiyorsunuz. Bu işi ChatGPT’ye yaptırabilirsiniz.

Bu cümleyi daha resmi olarak tekrar yaz: 
"I want to receive payment. Can you send the invoice"

Gördüğünüz gibi saniyeler için de bu cümleyi daha resmi olarak yazdı. Gramer düzeltme, yazıyı daha akıcı hale getirme veya çeviri gibi işler için ChatGPT’yi kullanabilirsiniz.

Tamam bu arkadaşı dil konusunda nasıl kullanabileceğinizi gördük. Hadi son olarak işe girmek için ChatGPT’yi nasıl kullanabileceğimize bakalım.

8 . Mülakatlara Hazırlanma

İşe girmek için mülakatta başarılı olmak büyük bir challenge’dır, değil mi? Mükatlarda bilginizi ve becerilerinizi göstermek istersiniz ama bir yandan da insan kaynakları mümkün olan en düşük maaşı vermeye çalışır.

Mülakatlarda başarılı olmak için ChatGPT’den en iyi ipuçlarını ve püf noktalarını öğrenebilirsiniz. Hadi bir örnekle bunu gösterelim.

Bir mülakatçı ol ve bir veri bilimci olarak bana en zor 10 soruyu sor mısın?

ChatGPT’nin cevaplarına çalışarak bir uzman gibi mülakatta sorulan sorulara cevap verebilirsiniz.

Ancak durun hepsi bu kadar değil. ChatGPT, daha iyi bir maaş için pazarlık yapmanıza da yardımcı olur.

Mülakatçı, maaş konusunda bana soru sorduğunda nasıl cevap vereyim?

Mülakatlar aslında bir taktik savaşıdır. Kendinizi güzel ifade ederseniz istediğinizi koparabilirsiniz. Bu ip uçlarından yararlanarak, iş verenden potansiyelinize uygun bir maaş alabilirsiniz.

Tamam, böylece ChatGPT’yi iş görüşmelerinde nasıl kullanabileceğimizi gördük.

Son Sözler

ChatGPT’yi kullanarak birçok işinizi daha kolay ve daha kısa sürede yapabilirsiniz. Unutmayın yapay zeka, bizim rakibimiz değil yardımcımız yani şimdilik.

Bu blog yazısında, ChatGPT’nin 8 farklı alanda kullanım senaryosunu gördük. Bu arkadaşı kod yazma, cv oluşturma, senaryo yazma, hatta tasarım için bile kullanabilirsiniz.

Hadi bağlanalım: YouTube | Udemy | Twitter | Instagram | LinkedIn.

• Yazılım Öğrenmek için Ücretsiz 10 Web Sitesi
• Derin Öğrenme Yol Haritası

Kaynaklar

• I used ChatGPT every day for 3 months here’s what I’ve learned

Geçen yazımda Subclassing API yaklaşımı ile esnek bir katman nasıl oluşturulur anlatmıştım. Bu makalede bir adım daha ileri atacağız ve bu yöntem ile nasıl model kuracağımızı göreceğiz.

Sequential API ve Functional API ile model kurmak kolaydır ama bu yöntemler ile kompleks modeller oluşturmak zordur. İleri düzey derin öğrenme modelleri kurmak için Subclassing API kullanmak daha iyi bir fikir.

Bunu göstermek için bir regresyon problemini ele alalım. Bunun için geçen derslerde kullandığımız California Housing veri setini kullanalım. Bu veri seti California’daki ev fiyatlarını ve bu evlerin özelliklerini gösteriyor.

Yapay zekaya ilginiz varsa TensorFlow ve Keras ile derin öğrenme Udemy kursumuzu inceleyebilirsiniz.

Hadi veri setini yüklemek ile başlayalım.

Veri Setini Yükleme

Öncelikle fetch_california_housing fonksiyonunu ile veri setimizi import edelim.

from sklearn.datasets import fetch_california_housing
housing = fetch_california_housing()

Tamam veri setini housing değişkenine atadık. Hadi veri ön işleme aşamasına geçelim.

Veri Ön İşleme

Veri ön işleme veri analizinin önemli aşamalarından biridir. Unutmayın ne kadar iyi veriniz varsa o kadar iyi model kurabilirsiniz. Öncelikle veri setimizi eğitim, validasyon ve test şeklinde parçalayalım. Eğitim verileri ile model kurulur, validasyon verileri ile hiperparametre ayarı yapılır ve test verileri ile model test edilir. Hadi veri setini parçalamak için Scikit-Learn’ deki train_test_split fonksiyonunu kullanalım.

from sklearn.model_selection import train_test_split

X_train_full, X_test, y_train_full, y_test = train_test_split(
      housing.data, housing.target, random_state=42)

X_train, X_valid, y_train, y_valid = train_test_split(
      X_train_full, y_train_full, random_state=42)

Tamam, böylece veri setlerimizi oluşturduk. Artık model kurma aşamasına geçebiliriz.

Model Kurma

Bu bölümde Subclassing API ile nasıl model kurulacağını göstereceğim. Öncelikle TensorFlow ve Keras’ı import edelim.

import tensorflow as tf
from tensorflow import keras

Subclassing yönteminde, constructor ’da katmanları tanımlanır ve call metodunda sinir ağı inşa edilir. Şimdi bir mimari ele alalım:

İki girdisi ve bir çıktısı olan bir model kurmak isteyelim. Bunun için bir sınıf oluşturalım. Geçen derste anlattığım gibi esnek bir katman oluştururken keras.layer.Layer sınıfından miras alıyorduk. Model kurarken keras.Model sınıfından miras alacağız. Miras almak demek kalıtım almak demek. Bu yöntem, bir üst sınıfın tüm değişken ve metotlarını başka bir sınıfın içinde kullanmamızı sağlar.

class WideAndDeepModel(tf.keras.Model):
    def __init__(self, units=30, activation="relu", **kwargs):
        super().__init__(**kwargs) 
        self.norm_layer_wide = tf.keras.layers.Normalization()
        self.norm_layer_deep = tf.keras.layers.Normalization()
        self.hidden1 = tf.keras.layers.Dense(units, activation=activation)
        self.hidden2 = tf.keras.layers.Dense(units, activation=activation)
        self.main_output = tf.keras.layers.Dense(1)    
    def call(self, inputs):
        input_wide, input_deep = inputs
        norm_wide = self.norm_layer_wide(input_wide)
        norm_deep = self.norm_layer_deep(input_deep)
        hidden1 = self.hidden1(norm_deep)
        hidden2 = self.hidden2(hidden1)
        concat = tf.keras.layers.concatenate([norm_wide, hidden2])
        output = self.main_output(concat)
        return output

Harika, böylece modelimizin mimarisini oluşturduk. Şimdi modelden bir örnek alalım. Öncelikle sizin de benim ürettiğim sonuçları bulmanız için set_seed metodunu kullanalım ve ardından örneğimizi oluşturalım.

tf.random.set_seed(42)
model = WideAndDeepModel(30, activation="relu", name="my_model")

Tamam böylece modelden bir örnek aldık. Şimdi modeli compile edelim. Bu aşamada modelde kullanacağımız loss, optimizer ve metriği belirleyeceğiz. Optimizer olarak genelde kullanılan Adam’ı kullanalım.

optimizer = tf.keras.optimizers.Adam(learning_rate=1e-3)
model.compile(loss="mse", optimizer=optimizer, 
              metrics=["RootMeanSquaredError"])

Tamam böylece modelimizi compile ettik. Modelimizde iki girdi var değil mi? Şimdi bu girdileri oluşturalım. Önce eğitim için girdileri oluşturalım. Toplamda 7 girdi değişkenimiz var. Bunlardan ilk 5 öznitelik wide girdi son 5 öznitelikte deep girdisi olsun.

X_train_wide, X_train_deep = X_train[:, :5], X_train[:, 2:]
X_valid_wide, X_valid_deep = X_valid[:, :5], X_valid[:, 2:]
X_test_wide, X_test_deep = X_test[:, :5], X_test[:, 2:]

Tamam model için girdi verilerimizi oluşturduk. Şimdi model eğitim aşamasına geçelim.

Model Eğitim

Modeli eğitmeden önce modelin normalleştirme katmanı için adapt metodunu kullanmamız gerekiyor. Bu metot ne yapıyordu? Eğitim verilerinden ortalama ve varyans gibi istatistikleri öğreniyordu. Daha sonra bu istatistikler test verileri için kullanılıyordu. Öncelikle girdi verilerini adapt metodu ile veri ön işleme yapalım. Her iki girdinin de ayrı ayrı istatistikleri olacağı için bu metodu ikisi içinde kullanalım.

model.norm_layer_wide.adapt(X_train_wide)
model.norm_layer_deep.adapt(X_train_deep)

Tamam, artık fit metodunu çağırıp eğitime başlayabiliriz.

history = model.fit((X_train_wide, X_train_deep),
                    y_train,
                    validation_data=((X_valid_wide, X_valid_deep), y_valid),
                    epochs=10)

Modelin eğitim ve validasyon verileri için loss ve metrik değerlerini burada görebilirsiniz. Tamam böylece modelimizi eğittik. Hiperparametreleri ayarlayarak modelin performansını arttırabiliriz ama bu yazı, Keras’ı öğrenmeye yönelik olduğu için şimdilik bu değerler ile çok uğraşmayalım. Şimdi modeli test verisini kullanarak değerlendirelim.

eval_results = model.evaluate((X_test_wide, X_test_deep), (y_test, y_test))
eval_results

# Output:
loss: 0.3589 - root_mean_squared_error: 0.5991

Modelimizin test verisi üzerindeki loss ve metrik değerlerini burada görebilirsiniz.

Yeni Verileri Tahmin Etme

Şimdi bir adım daha ileri atalım ve modelimizin yeni verileri nasıl tahmin ettiğine bakalım. Öncelikle test verisinden bir kaç örnek alalım.

X_new_wide, X_new_deep = X_test_wide[:3], X_test_deep[:3]

Tamam elimizde örnek veriler var. Şimdi modelimizi kullanarak bu verilerin etiketlerini tahmin edelim. Bunun için predict metodunu çağıracağız.

y_pred= model.predict((X_new_wide, X_new_deep))
y_pred

# Output:
1/1 [==============================] - 0s 113ms/step
array([[0.4832632],
       [1.6469457],
       [3.5325484]], dtype=float32)

Modelin tahmin ettiği değer bunlar. Şimdi gerçek değerlere bakalım.

y_test[:3]

# Output:
array([0.477  , 0.458  , 5.00001])

Gerçek etiketlerde bu değerler. Tahminleri dediğim gibi daha iyi hale getirebiliriz. Bu yazıda Subclassing API ile nasıl bir derin öğrenme model kuracağınızı anlattım.

Son Sözler

Sonuç olarak kompleks modeller kurmak için en iyi yol Subclassing yöntemi. Bu yöntemin Functional API ile arasındaki en büyük fark call metodunu kullanmak. Bu yöntem içinde for döngüsü ya da if ifadesi kullanabiliriz. Dolayısıyla araştırma yapmak, yeni deneyler tasarlamak için Subclassing yöntemi idealdir.

Bu yazıda anlattıklarımı daha ayrıntılı olarak görmek için aşağıdaki videoyu izleyebilirsiniz.

Bu derste kullandığım notebook’a buradan ulaşabilirsiniz. Aşağıdaki yazılarda dikkatinizi çekebilir.

• Derin Öğrenme Yol Haritası
• Yapay Zekada Yeni Devrim: GPT-4

Bir yazının daha sonuna geldik. Yazıyı okuduğunuz için teşekkür ederim. Yazı hoşunuza gittiyse aşağıdaki alkış simgesine bir kaç kez tıklamayı unutmayın. Gelecek makalelerde görüşmek üzere. Şimdilik hoşça kalın.

Hadi bağlanalım: YouTube | Udemy | Twitter | Instagram | LinkedIn.

Nihayet merakla beklenen OpenAI’ın son canavarı GPT-4 çıktı. Bu model, OpenAI’ın derin öğrenme alanındaki en büyük dönüm noktalarından biri. GPT-4'ün diğer modellerden en büyük farkı çoklu model olması. Yani ChatGPT’ye metin giriyoruz ya işte bu yeni modele artık görselde girebileceğiz. GPT-4, metin ve görsel promptları kabul ediyor.

Bunu daha iyi anlamak için hadi OpenAI’ın GPT-4 tanıtım videosunda gösterdiği örneğe bakalım.

Önce bir website şablonu kağıda çiziliyor. Daha sonra bu kağıdın fotoğrafı çekiliyor. Ardından GPT-4'e bu görsel girdi olarak verilip, bu şablonu renkli bir web sitesine çevir dendiğinde, GPT-4 gerekli kodları veriyor. Gördüğünüz gibi model resmi algıladı ve çıktıyı verdi. Bu şekilde istediğiniz web sitesini kağıda çizip bir kaç saniye içinde oluşturabiliyorsunuz.

Harika değil mi?

ChatGPT gibi metinsel veriyi de GPT-4'e verebiliyorsunuz. Diyelim ki bir oyun yapmak istiyorsunuz. Ama kod yazmayla uğraşmak istemiyorsunuz. İstediğiniz oyunu GPT-4 söylemeniz yeter.

Bammm! Model size oyunun kodlarını veriyor, bu kodları kullanarak oyununuzu yapabiliyorsunuz.

Hadi başka bir örneğe bakalım. JavaScript ve gerekli HTML ve CSS kodları kullanarak bana yılan oyunu yap diyorsunuz.

GPT-4 size gerekli kodları veriyor. Muhteşem değil mi? GPT-4 ile daha bir çok şey yapabilirsiniz. Bu yazının sonunda GPT-4 ile neler yapabileceğinizi daha iyi anlayacaksınız. Hadi bu makalede neler konuşacağımıza bakalım.

• Öncelikle GPT-4 aslında nedir inceleyeceğiz.
• GPT-4'ün gücünü anlamak için bir önceki versiyonu olan GPT-3.5 ile karşılaştıracağız.
• GPT-4'e nereden kullanabileceğimize bakacağız.
• En son, bu modeli API olarak kullanmak isteyenler için GPT-4 kullanım fiyatlarını ele alacağız.

Hadi GPT-4 nedir ile başlayalım.

GPT-4 Aslında Nedir?

GPT-4, 2017 yılında Google beyin takımı tarafından geliştirilen Transformers mimarisine dayanıyor.

Transformers, encoder ve decoder’dan oluşuyor. Bu mimari devrim niteliğindeydi ve özellikle dilden dile çeviri görevlerinde harika sonuçlar verdi. Son 5 yılda, Google çevirinin insan seviyesinde çeviriler yapması bu mimariden dolayı.

Bu mimariye dayanan iki önemli model var. Bunlardan bir BERT diğeri de GPT. BERT daha çok metin sınıflandırma gibi görevler için kullanılırken, GPT, daha çok metin üretmek için kullanılır. İşte GPT-4, Transformers mimarisine dayanıyor.

Bu modeli eğitmek için internetteki veriler kullanıldı. Tabi bu büyük veriler ile çalışmak kolay değil. Model eğitimi için Azure ile ortaklaşa çalışarak iki yıl içinde süper bir bilgisayar tasarlandı. Bu sistemi denemek için geçen sene GPT-3.5 modeli eğitildi. Düşünün, bütün dünyayı hayran bırakan ChatGPT, GPT-3.5 üzerine inşa edildi. GPT-4'ün gücünü buradan da anlayabilirsiniz.

Tamam, GPT-4'ün arkasındaki mimariyi gördük ve gelişim sürecine kısaca baktık. Hadi Open AI kendi web sayfasında GPT-4'ün neler yapabileceğini gösterdiği bir kaç örneğe bakalım.

Yukarıdaki resmi, modele verdiğinizde ve panel panel resmi tanımla dediğinizde, model görselde olanları algılıyor ve size açıklıyor. GPT-4 çıktı olarak, üç panelli bir Lightning Cable adaptör paketi gösterildiğini söylüyor. İşte panel panel resimlerde neler olduğunu açıklıyor. Model, resimlerdeki objeleri tek tek tanımladı.

Harika değil mi?

Örneğin, bu resimde, gördüğünüz gibi bir adam taksinin arkasında ütü yapıyor. Olağan dışı bir hadise değil mi? Bu resimdeki durumun absürt olduğunu biz anlıyoruz.

Bu resimde olağan dışı nedir diye GPT-4'e sorduğumuzda, model, “Buradaki olağan dışılık, bir adamın hareket halindeki bir taksinin tavanına takılı bir ütü masasında ütü yapmasıdır” şeklinde size cevap veriyor.

Düşünün, model, bir insan gibi önce görseldeki nesneleri tanıyor. Zaten nesne tanımayı, yapay zeka modelleri yapabiliyordu. Ama burada model, nesnelerin olağan dışılıklarını algılıyor. Yani resmi neredeyse bir insan gibi fark ediyor ve çıkarımda bulunuyor.

5 sene önce resimleri yapay zeka tanıyıp çıkarımda bulunacak deselerdi kimse inanmazdı. Ama yapay zekanın kısa sürede geldiği noktaya bakın.

GPT-4'ün bir önceki versiyonu GPT-3.5. ChatGPT bu model kullanılarak geliştirildi. Hadi GPT-4'ü daha iyi anlamak için bu modeli GPT-3.5 ile karşılaştıralım.

GPT-3.5 vs GPT-4

GPT ailesi şimdiye kadar olmaz denilenleri başardı. Bu ailenin üyelerini şu videoda anlattım.

GPT ailesinin en son iki üyesi GPT-3.5 ve GPT-4. Hadi bu modelleri daha iyi anlamak için birbiriyle karşılaştıralım.

İlk fark, GPT-3.5 sadece metin verileri ile çalışırken GPT-4 metin verileri haricinde, görsel ve video verileri ile de çalışabiliyor. Bu iki model arasındaki en büyük fark.

Parametre sayısı olarak GPT-3'ün 175 milyar parametresi vardı. GPT-4'ün 100 trilyon parametresi var. Büyüklüğü görebiliyor musunuz? Yani bu model, GPT-3'den yaklaşık 500 kez daha büyük.

Şimdi, karşılıklı sohbet bakımından iki modeli karşılaştıralım. Basit sohbetlerde bu iki model arasında fark yok, fakatttt kompleks sohbetlerde, GPT-4'ün farkı ortaya çıkıyor. Kompleks sohbetlerde, GPT-4, daha güvenilir, daha creative ve daha fazla nüanslara dikkat ediyor. Yani bu arkadaş, metinsel veriler ile de harika şekilde çalışıyor.

Hadi şimdi Open AI’ın özellikle vurguladığı sınav karşılaştırmasına geçelim. GPT-4, gerçek dünya problemlerini çözmekte insandan daha az kapasitede olmasına rağmen, akademik ve profesyonel sınavlarda insan seviyesinde başarı gösteriyor.

Ne güzel değil mi? Sınavdayken, GPT-4 yanınızda olursa, ister akademik ister başka bir profesyonel sınav olsun, kolayca yüksek puan alabilirsiniz.

OpenAI araştırmacıları, insanlar için yapılan sınavlar üzerinde GPT-3.5 ve GPT-4'ü test ettiler. Bu sınavlar hem çoktan seçmeli hem de açık uçlu sorulardan oluşuyor.

Yukarıdaki grafikte sınavları ve bu sınavlardaki modellerin başarısını görebilirsiniz. Grafik, GPT-3.5'un performansına göre düşükten yükseğe sıralanıyor. Yeşiller GPT-3.5 başarısını, maviler GPT-4'ün başarısını gösteriyor.

Dikkat ederseniz hemen hemen bütün sınavlarda, GPT-4 daha iyi başarı gösteriyor. Çoğu sınavda GPT-4'un başarısı, yüzde 80'ni geçmiş hatta bazılarında 100'e yakın. Bu sınavlar basit sınavlar değil akademik ve profesyonel sınavlar. Yani çoğu insanın çaktığı testler.

Şimdiye kadar, büyük veriler üzerinde eğitilen bir çok model geliştirildi. Bu modelleri karşılaştırmak için çeşitli benchmark testler kullanılır. Bu testlerde, örneğin, bir kelimeden sonra gelecek kelimeyi modelin nasıl tahmin ettiği ölçülür. Genelde bu testler ingilizcedir.

Bu grafikte çeşitli dillerdeki modellerin skorlarını görüyorsunuz. Bakın ilk seçenek rasgele bir şık seçildiğinde doğru cevabı bulma yüzdesi. 4 seçenekli bir sınavda doğru cevabı bulma olasılığı yüzde 25'dir değil mi? Örneğin, Google tarafından geliştirilen PaLM modelinin test skoru ingilizce dili için yüzde 69, GPT-3.5 modelinin yüzde 70 ve GPT-4'un yüzde 85.

İnanılmaz. GPT-4 karşılaştırmalı testlerde diğer modelere fark atmış. Hatta, bu testleri diğer dillere çevirip o dilde test yapıldığında yine GPT-4 harika sonuçlar vermiş. 26 dilin 24'ünde GPT-4 rakiplerinden daha iyi skorlar elde etmiş.

Tamam, GPT-4 mükemmel bir model ama hiç mi bunun kötü tarafı yok diye sorabilirsiniz. Bu modelin yüksek kabiliyetlerine rağmen GPT ailesinin diğer üyeleri gibi bazı limitleri var. GPT ailesinin doğruluk oranlarını, OpenAI araştırmacıları karşılaştırmış.

Yatay eksende alanlar ve düşey eksende modellerin doğruluk oranları yer alıyor. Bu oran ne kadar 1'e yakınsa o kadar ideal insansı cevaplar elde edildiği anlamına geliyor.

Bakın, yeşil renk GPT-4'ü gösteriyor. Yapılan testlerde, bu arkadaş, diğer modellere göre daha doğru çıktılar veriyor ama maalesef yüzde yüz doğru cevap veremediğini görüyoruz. Yani GPT-4'ün kesin sonuçlar üretmesi için biraz daha yol alması gerekiyor.

Tamam, bu bölümde GPT modellerini karşılaştırdık ve GPT-4'ün nasıl güçlü bir model olduğunu gördük. Ama bazı limitlerinin de olduğundan bahsettik. Hadi şimdi nereden GPT-4'ü kullanabileceğinize bakalım.

GPT-4 Nereden Kullanılır?

Bildiğiniz gibi yakın zamanda OpenAI, ChatGPT’ye paralı abonelik getirdi. Aylık 20 dolara ChatGPT’ye abone olabiliyorsunuz. Eğer ücretli aboneliğiniz varsa direk olarak GPT-4'ü kullanabilirsiniz. Yani anlayacağınız GPT-4'ü hemen kullanmak tamamen duygusal nedenlere dayanıyor.

Eğer aboneliğiniz yoksa, bu canavarı kullanmanın başka bir yolu, bekleme listesine kayıt olmak ve sıranın size gelmesini beklemek. Bu sıra size ne zaman gelir bilemiyorum. Gelse bile muhtemelen sınırlı bir kullanım sunacaklar. Yani illa ki sizi paralı aboneliğe yönlendiriyorlar. Sıra geldiğinde OpenAI playground sayfasında GPT-4 modeli size açılacak.

GPT-4'ü erişebilmenin diğer bir yolu Bing kullanmak. Bildiğiniz gibi Bing Microsoft tarafından geliştirilen bir arama motorudur. Bu motora daha önce ChatGPT’yi monte etmişlerdi. Microsoft’ta kurumsal başkan yardımcısı Yusuf Mehdi, Bing’in ön izlemesinin arkasındaki motorun, GPT-4 olarak değiştirdiklerini açıkladı. Dolayısıyla Bing Chat’i kullanarakta GPT-4'e erişebilirsiniz. Ama bunun için yine bekleme listesine kaydolmanız gerekiyor. Ben kaydoldum bakalım sıra ne zaman gelecek.

GPT-4'e erişmenin başka yolları da var ama ben en kolayları anlattım. Sizin bildiğiniz yöntem varsa yorumlara yazın. Tamam bu bölümde GPT-4'e nasıl erişebileceğinizi anlattım. Hadi GPT-4'ün fiyatlandırmasına bakalım.

GPT-4 API Fiyatlandırması

Geliştiriciler GPT modellerini uygulamalarında kullanabilir. Yani sizde GPT modellerini bir API olarak kendi applerinize monte edebilirsiniz. Size güzel bir haberim var. GPT-4 API’yı hemen uygulamalarınızda kullanabilirsiniz. ChatGPT için API biraz geç çıkmıştı. OpenAI, GPT-4'ün API’nı hemen kullanıma açtı.

Peki fiyatlandırma nedir derseniz hadi ücretlendirmeye bakalım. Dikkat edin GPT-4 API, gpt-4–0314 olarak isimlendirildi. Fiyatlandırma, token üzerinden yapılıyor. Token, karakter dizisi demek. Yani, tokenı, metnin en küçük parçası olarak düşünebilirsiniz. Bir token, bir sembol veya bir kelime olabilir. Ölçü olarak, 1000 token yaklaşık 750 kelimeye denk geliyor.

Bakın görselde, modellerin token olarak fiyatları yer alıyor. Örneğin, 2133 token yaklaşık 1600 kelimeye karşılık geliyor. Bu kelime sayısı ile bir medium blog yazısı yazabilirsiniz. Tamamlama için bunun fiyatı 0.128 dolar, prompt için 0.064 dolar. GPT-3.5 için fiyat 0.004 dolar. Diğer modellerin fiyatlarını burada görebilirsiniz. Tabi bu modeller GPT-4 kadar güçlü değil.

En yüksek token sayısına bakalım. Bu yaklaşık 1 milyon kelimeye denk geliyormuş. Bu kelime sayısı ile Harry Potter kitaplarını yazabilirsiniz. Yani GPT-4'e Harry Potter kitaplarını yazdırmanın maliyeti prompt olarak 43 dolar.

GPT-4 ile ChatGPT maliyet performans açısından karşılaştırdığımızda, Prompt için GPT-4, ChatGPT’ den 14 kat, tamamlamada 29 kat daha pahalı. Peki değer mi bu farka derseniz? Bu sizin bileceğiniz bir iş. GPT-4 gücünü grafiklerde gördünüz. Bu model, daha doğru ve daha nüanslı çıktılar veriyor. Karar sizin. GPT-4 API’ın ücretlendirmesi de bu şekilde.

Son Sözler

GPT-4, hem metinsel hem de görsel girdiler alan OpenAI’ın geliştirdiği son yapay zeka modeli. Bu modelle yapacaklarınızın sınırı yok. Unutmayın yapay zeka bizim rakibimiz değil yardımcımız. Yapay zekayı kullanarak hem günlük hem de mesleki projelerimizi daha kolay yapabiliriz.

Bu makalede, GPT-4'ün gücünü gördük ve limitlerini inceledik. Ayrıca nereden kullanabileceğinize ve API fiyatlandırmasına baktık.

Sizin bu model hakkında düşüncüleriniz nedir? Ücretli aboneliğe geçip bu modeli kullanmaya değer mi? Bir sonraki GPT nasıl bir model olur? Cevaplarınızı merak ediyorum yorumlara yazın tartışalım.

Diğer sosyal medya hesaplarımızdan da içerikler üretiyoruz . Hadi bağlanalım: YouTube | Udemy | Twitter | Instagram | LinkedIn.

Bu makalelerde dikkatinizi çekebilir 👇

• Derin Öğrenme Yol Haritası
• Yazılım Öğrenmek için Ücretsiz 10 Web Sitesi

Yazıyı okuduğunuz için teşekkür ederim. Gelecek makalelerde görüşmek üzere.

Derin öğrenme özellikle son 10 yılda çok popüler oldu. Son zamanlarda geliştirilen ChatGPT gibi yapay zeka araçları derin öğrenme teknikleri ile inşa edildi

Bu blog yazımda, derin öğrenmeye giriş yapacağız ve bir yol haritası çizeceğiz. Hadi bu makalede işleyeceğimiz konulara hızlıca bakalım.

• Derin öğrenme nedir?
• Derin öğrenme vs makine öğrenmesi
• Derin öğrenme algoritmaları
• Derin öğrenmenin uygulama alanları
• Derin öğrenme için kütüphaneler
• Derin öğrenme nasıl öğrenilir?
• Tavsiye kaynaklar

Hadi konulara dalalım.

Derin Öğrenme Nedir?

Derin öğrenme aslında bir makine öğrenmesi tekniği olan yapay sinir ağları algoritmasının genişletilmiş halidir. Yapay sinir ağları, bir gizli katmandan oluşurken, derin sinir ağları birden fazla gizli katmandan oluşur.

Kısaca derin öğrenme, bir makine öğrenmesi tekniğidir ve büyük verilerdeki gizli kalıpları bulmak için kullanılır. Daha önce klasik makine öğrenmesi teknikleri ile çözülemeyen resim sınıflandırma, dilden dile çeviri ve sürücüsüz arabalar gibi problemler, derin öğrenme teknikleri ile çözülebildi.

Yapay zekaya ilginiz varsa TensorFlow ve Keras ile derin öğrenme Udemy kursumuzu inceleyebilirsiniz.

Derin Öğrenme vs Makine Öğrenmesi

Derin öğrenme, makine öğrenmesinin bir alt alanı olarak görülse de arasında bazı farkları vardır. Hadi bu farklara hızlıca bakalım.

Veri Özellikleri

Makine öğrenmesi, çoğunlukla tablo şeklindeki yapısal veriler için kullanılırken, derin öğrenme genellikle resim, video ve metin gibi yapısal olmayan veriler için kullanılır.

Veri Boyutu

Makine öğrenmesi, küçük ve orta hacimli veriler için kullanılırken, derin öğrenme büyük verileri analiz etmek için kullanılır.

Eğitim Süresi

Makine öğrenmesi, analizleri kısa sürerken, derin öğrenme analizleri bazen günler bazen haftalar sürebilir.

Uygulama Alanları

Makine öğrenmesi, genellikle sınıflandırma, regresyon ve kümeleme gibi görevleri için kullanılırken, derin öğrenme çoğunlukla görüntü, ses ve doğal dil işleme gibi alanlarda kullanılır.

İşlem gücü

Makine öğrenmesi projeleri basit bir bilgisayar ile yapılabilirken, derin öğrenme projeleri için güçlü bilgisayarlar gereklidir.

Derin Öğrenme Algoritmaları

Derin öğrenme aslında bilimden çok sanat gibidir. Projeniz için doğru mimariyi oluşturursanız harika modeller kurabilirsiniz. Hadi derin öğrenmede kullanılan bazı algoritmalara bakalım.

Convolutional Neural Networks (CNNs)

Bahsedeceğim ilk algoritma CNN’dir. Bu mimari, görüntü işleme alanında çığır açtı. Bu algoritmanın sayesinde, bilgisayarlar insan seviyesinde görme kabiliyeti kazandı. Bu mimari, görüntülerin içindeki desenleri algılamak ve kalıpları çıkarmak için filtreler ve katmanlar kullanır. Bu çalışma biçiminden dolayı, resimlerin sınıflandırılması, nesnelerin tanınması, yüz tanıma ve benzeri uygulamalar için genellikle bu mimari kullanılır.

Recurrent Neural Networks (RNNs)

CNN’ler, görüntü işlemede iyi sonuçlar verdi ama çeviri gibi doğal dil işleme analizleri için iyi performans göstermedi. Doğal dil işleme ve zaman serisi gibi örüntülerin zamanla değiştiği uygulamalar için RNN mimarisi geliştirildi. RNN’ler, geçmiş verileri hafızasında sakladı ve gelecekteki verileri tahmin etmek için bu verileri kullandı. Bu mimarinin de çeşitli handikapları vardı. Daha sonra bu handikapların üstesinden gelmek için yeni modern mimariler geliştirildi.

Generative Adversarial Networks (GANs):

Özellikle sanat, tasarım ve video oyunları gibi alanlarda üretimi arttırmak için çığır açan bir başka derin öğrenme algoritması GAN’lardır. GAN’lar görüntü ve doğal dil işleme gibi alanlarda veri üretmek için sık sık kullanılır. Örneğin, bir GAN, fotoğrafların benzerlerini üretebilir veya gerçekçi insan konuşması oluşturabilir. Ancak, GAN’ların bazı etik sorunları da bulunmaktadır. Sahte veriler ile insanları manipüle etmek için kullanılabilir. Tabii bu sahte verileri tespit etmek için de algoritmalar geliştiriliyor.

Autoencoders:

Artık günümüzde devasa boyutta veri var. Bu verileri bir bütün olarak anlamlandırmak takdir ederseniz ki çok zor. Veriyi anlamak için en iyi yöntemlerden biri boyut indirgemedir. Boyut indirgeme için Autoencoders mimarisi kullanılır. Autoencoder’lar, verilerin sıkıştırılmış bir temsilini öğrenir ve daha az boyutlu veriler üzerinde işlem yapmayı sağlar. Örneğin kalın bir kitap düşünün. Bu kitabı sadece birkaç cümleyle tanımlamak istiyorsunuz. İşte Autoencoders bu özetlemeyi yaparlar.

Transformers

Transformers, doğal dil işleme uygulamaları için tasarlanmış bir derin öğrenme mimarisidir. Bu mimari, matematiksel hesaplamalar yaparak, metnin anlamını ortaya çıkarır ve birçok dikkat mekanizması kullanarak metnin farklı yönlerini ele alır. Bu mimari çeviri görevlerinde harika sonuçlar verdi. Zaten son senelerde google translate ya da ChatGPT’nin nasıl insan seviyesinde çeviriler yaptığını görüyorsunuz.

Transformers, bir cümleyi çevirirken, önce cümleyi küçük parçalara ayırır ve ardından her bir parçanın anlamını belirlemek için birçok matematiksel hesaplamalar yapar. Vee sonra bu parçaları bir araya getirerek, tam bir cümle oluşturur ve çeviri gerçekleşir. Son zamanlarda geliştirilen ChatGPT gibi yapay zeka araçları Transformers mimari kullanılarak geliştirildi.

Derin Öğrenme Uygulama Alanları

Derin öğrenme, bilgisayarların öğrenme ve karar verme yeteneğini arttıran bir tekniktir. Bu tekniğin, birçok farklı uygulama alanı vardır. Hadi bu alanlardan bazılarına bakalım.

Görüntü İşleme

Bir bilgisayar, derin öğrenme teknikleri sayesinde bir resimdeki nesneleri tanıyabilir ve bu nesneleri doğru şekilde sınıflandırabilir. Örneğin, derin öğrenmeyi, resim sınıflandırma, nesne tespiti yapma, yüz tanıma, ve görüntü restorasyonu gibi projelerde kullanabilirsiniz.

Doğal Dil İşleme

Derin öğrenmenin çok fazla kullanıldığı diğer bir alan doğal dil işlemedir. Örneğin, derin öğrenmeyi, çeviri, metin sınıflandırma, metin üretme, duygu analizi ve diyalog sistemleri gibi projeleride kullanılabilirsiniz. Derin öğrenmenin doğal dil işlemede son zamanlardaki en popüler uygulaması ChatGPT’ dir. ChatGPT, yapay zeka araçlarının neler yapabileceğini herkese gösterdi.

Ses İşleme

Derin öğrenme ile yapabileceklerinizin sınırı yok. Özellikle son zamanlarda ses işleme için derin öğrenme teknikleri çok sık kullanılıyor. Artık sizin 3 saniyelik sesinizden bir çok ses üretilebiliyor. Ses üretmenin dışında, derin öğrenmeyi, konuşma tanıma, konuşmayı sentez etme ve müzik analizi yapma gibi birçok ses işleme projesinde kullanabilirsiniz.

Sağlık

Derin öğrenmenin, sağlık alanında da birçok uygulaması var. Örneğin, hastalıklara tanı koyma, ilaç üretme ve sağlık analitiği yapma gibi konularda derin öğrenmeyi kullanabilirsiniz.

Otomasyon

Derin öğrenmenin bir diğer kullanım alanı otomasyondur. Bu teknik ile robotik ve otomatik kontrol sistemleri gibi alanlarda projeler yapabilirsiniz.

Finans

Derin öğrenmeyi finans alanında da kullanabilirsiniz. Örneğin, bu tekniği, finansal risk analizi, portföy yönetimi ve kredi riski tahminleme gibi konularda kullanabilirsiniz.

Tarım

Derin öğrenmenin bir çok kullanım alanı var ama son olarak tarım alanına bakalım. Derin öğrenmeyi, bitki hastalıklarını tespit etme, ürünleri sınıflandırma ve tahminleme gibi projeler için kullanabilirsiniz.

Burada bahsettiğim kullanımlar derin öğrenmenin sadece bir kaç uygulaması. Bu yaklaşım, birçok farklı alanlarda kullanılabilir ve gelecekte daha da fazla alanda kullanım potansiyeli var.

Derin Öğrenme Frameworkleri

Biraz önce bahsettiğim gibi derin öğrenme analizleri yoğun matematiksel işlemler gerektirir. Bu işlemleri elle bilgisayara yaptırmak oldukça zordur. Şanslıyız ki derin öğrenme projeleri yapmak için son zamanlarda harika kütüphaneler geliştirildi.

Aslında bunlara, kütüphaneden ziyade kompleks oldukları için framework demek daha doğru. Bu frameworkler ile harika derin öğrenme modelleri eğitebilir ve bu modellerin performansını izleyebilirsiniz. Hadi derin öğrenme için kullanabileceğiniz frameworklere bakalım.

TensorFlow

En çok kullanılan framework Google tarafından geliştirilen TensorFlow’ dur. TensorFlow ile uçtan uca derin öğrenme projelerinizi yapabilirsiniz. Bunun anlamı bu framework ile veri ön işleme, model eğitme ve modeli canlıya alma adımlarını yapabilirsiniz. TensorFlow, Python, C++ ve Java gibi farklı programlama dilleri ile kullanılabilir. Bu frameworkun, GPU ve TPU desteği vardır.

Keras

Ayrıca, TensorFlow, 2019 yılında daha önce ayrı bir kütüphane olan Keras’ı bünyesine kattı. Keras, yapay zeka uzmanı olmayanların bile kolayca analizler yapabildiği insan diline yakın bir API’dır.

Keras ile Kompleks Derin Öğrenme Modelleri Nasıl Kurulur?

PyTorch

PyTorch, Facebook tarafından geliştirilen açık kaynaklı bir derin öğrenme framework’udur. Kolay ve esnek olduğundan bu framework, hızla popüler oldu. Endüstride, daha çok TensorFlow kullanılırken, PyTorch genellikle akademik araştırmalar için kullanılır.

Hugging Face

Derin öğrenme için bahsedeceğim son framework Hugging Face’dir. Hugging Face, doğal dil işleme (NLP) uygulamaları için açık kaynaklı bir platformdur. Hugging Face, veri bilimcilerinin GitHub’ı olmayı amaçlıyor. Bu framework içinde hem önceden eğitilmiş modelleri hem de bir çok veri setleri bulabilirsiniz.

Hugging Face içindeki kütüphaneleri kullanarak hem derin öğrenme modellerinizi eğitebilir hem de bu modelleri kendi hesabınızdan canlıya alabilirsiniz. Hugging Face, PyTorch ve TensorFlow’u desteklemektedir. Bu framework, genellikle doğal dil işleme projeleri için kullanılsa da, son zamanlarda geliştirdikleri Diffusers kütüphanesi ile bilgisayar görüsü projeleriniz içinde kullanabilirsiniz.

Derin Öğrenme Nasıl Öğrenilir?

Arkadaşlar derin öğrenme projeleri yapmak için bir kaç alanı bilmeniz gerekiyor. Gözünüz korkmasın, bahsedeceğim alanları, temel düzeyde bilmeniz yeterli. Derin öğrenmenin üç ana saç ayağı var. Bunlar uygulamalı matematik, bilgisayar bilimi ve alan bilgisi.

Uygulamalı Matematik

Uygulamalı matematik, özellikle, lineer cebir, olasılık ve istatistiği kapsıyor. Derin öğrenme modelleri, matris hesaplamaları üzerine kurulduğu için lineer cebir, temel bir konudur.

Olasılık, bildiğiniz gibi verilerin olasılık dağılımlarını anlamak için kullanılır. Derin öğrenme modelleri, aslında verilerin olasılık dağılımlarını tahmin eder. Dolayısıyla, derin öğrenme için olasılık teorisini bilmek önemlidir.

Derin öğrenme için bir diğer önemli alan istatistiktir. İstatistik, bildiğiniz gibi verilerin analiz edilmesi, keşfedilmesi ve özetlenmesi için kullanılan bir bilim dalıdır. Derin öğrenmede ortalama, standart sapma, veriyi standartlaştırma, regülerleştirme, metrikler gibi teknikler sık sık kullanılır. Dolayısıyla, temel istatistiksel teknikleri bilmek, daha iyi derin öğrenme modelleri kurmanıza yardımcı olur.

Bilgisayar Bilimi

Derin öğrenmenin bir diğer saç ayağı bilgisayar bilimidir. Derin öğrenme için öncelikle bir programlama dili öğrenmelisiniz. Bu alanda en çok kullanılan programlama dili Python’dır. Python’ın yazım dili kolay olduğu için bir çok kütüphane bu dilde yazılmıştır. Derin öğrenme analizlerinizi daha hızlı yapmak için paralel programlama tekniklerini kullanabilirsiniz.

Alan Bilgisi

Derin öğrenme için bir diğer saç ayağı alan bilgisi. Büyük verinin, derin öğrenme için çok önemli olduğunu söylemiştik. Veriler hangi alandan geliyorsa o alanla ilgili bilgi sahibi olmanız daha doğru derin öğrenme modelleri kurmanızı sağlar.

Derin Öğrenme için Kaynaklar

Bir konuyu öğrenmek için herkesin ayrı bir yoğurt yiyişi vardır. Kimi video izleyerek kimi okuyarak öğrenmeyi seviyor. Ben hem izleyerek hem de okuyarak öğrenmeyi seviyorum. Derin öğrenme için hem görsel hem de yazılı birçok kaynak var. Bu kaynakları, veri bilimi için kaynaklar isimli GitHub sayfamızda toplamaya çalışıyorum.

GitHub - TirendazAcademy/Awesome-Data-Science-Resources: This repo contains resources on data scince, machine learning, deep learning, data engineering, and SQL.

Bu repoda derin öğrenme ile ilgili ücretli ücretsiz birçok kaynak bulabilirsiniz. Siz de bu repoya katkıda bulunabilirsiniz. Bu bölümde, severek okuduğum kitaplardan bahsetmek istiyorum.

Hands-On Machine Learning with Scikit-Learn & TensorFlow

Derin öğrenme için önereceğim ilk kitap, Hands-On Machine Learning kitabıdır. Derin öğrenme için kitap tavsiyesi istendiğinde genellikle ilk bu kitap akla gelir. Bu kitap iki bölümden oluşuyor. İlk bölümde, Scikit-Learn ile makine öğrenmesi ve ikinci bölümde TensorFlow ve Keras ile derin öğrenme anlatılıyor. Gerçekten teori ve pratiği beraber veren ender kitaplardan biri. Geçen sene üçüncü baskısı çıktı. Zevkle okuyacağınız bir kitap.

Deep Learning with Python

Diğer bir önereceğim kitap Deep Learning with Python kitabıdır. Bu kitapta, gerçekten derin öğrenme için efsane bir kitap. Bu kitap, Keras’ın geliştiricisi tarafından yazıldı. Şu an TensorFlow’da Keras takım lideri olarak çalışıyor. Uygulamalar ile derin öğrenmenin temellerini öğrenmek için harika bir kitap. Geçenlerde bu kitabın ikinci baskısı çıktı.

AI and Machine Learning for Coders

Üçüncü olarak önereceğim kitap AI and Machine Learning for Coders. Bu kitabı da sıkılmadan okuyacağınızı düşünüyorum. Kitap, TensorFlow ile direk yapay zeka tekniklerini öğretmekle başlıyor. Adım adım uygulamalar ile derin öğrenmeyi öğretiyor. Bilgisayar görüsü, doğal dil işleme ve zaman serileri gibi alanlarda yeniyseniz bu kitap tam size göre. Bu kitap, ayrıca TensorFlow ekosistemini de çok güzel anlatıyor.

Python Machine Learning with PyTorch & Scikit-Learn

PyTorch ile yazılmış diğer bir derin öğrenme kitabı Python Machine Learning. Bu kitapta iki bölümden oluşuyor. İlk bölümde Scikit-Learn ile makine öğrenmesi algoritmaları anlatılıyor. İkinci bölümde, PyTorch ile derin öğrenme teknikleri gösteriliyor.

Son Sözler

Tebrikler. Bu yazıda derin öğrenme için bilmeniz gereken konuları öğrendiniz. En iyi öğrenme yaparak öğrenmedir. Kaggle gibi platformlardaki veri setlerini kullanarak bol bol derin öğrenme alıştırmaları yapabilirsiniz. Derin öğrenme analizleri için GPU veya TPU gereklidir. Bunun için ücretsiz GPU ve TPU desteği sağlayan Google Colab veya Kaggle platformlarını kullanabilirsiniz.

Makaleyi okuduğunuz için teşekkür ederim. Bu yazıyı beğendiyseniz aşağıdaki alkış tuşuna bir kaç kez basmayı ve arkadaşlarınız ile paylaşmayı unutmayın. Hadi bağlanalım: YouTube | Udemy | Twitter | Instagram 😊

• Derin Öğrenme için Yapay Sinir Ağları
• Keras ile Kompleks Derin Öğrenme Modelleri Nasıl Kurulur?

Gelecek yazılarda görüşmek üzere. Şimdilik hoşça kalın.

Keras ile üç türlü model oluşturabilirsiniz. Bunlardan en kolayı Sequential API’dir. Bu API ile yapay zeka uzmanı olmayanlar bile kolayca basit derin öğrenme modelleri kurabilir. Ama esnek olmadığı için bu yöntemi kullanarak kompleks modeller kurmak zordur. Çok girdili ve çok çıktılı modeller kurmak için Funcional API kullanmak daha iyidir. Bu yöntem hem basittir hem de esnektir.

Hem Sequential API hem de Functional API deklaratiftir. Yani kullanmak istediğiniz katmanları ve bu katmanların nasıl bağlanacağını deklare etmekle modelin mimarisini oluşturursunuz. Daha sonra bu modeli veriler ile beslersiniz. Bu şekilde yaparak modelinizi kolayca kaydedebilir, kopyalayabilir ve paylaşabilirsiniz. Deklaratif yaklaşımda modelin tamamı, sabit katman grafiklerinden oluştuğu için hata ayıklamak oldukça basittir. Functional API nasıl kullanıldığını görmek için aşağıdaki makaleyi inceleyebilirsiniz.

Keras ile Kompleks Derin Öğrenme Modelleri Nasıl Kurulur?

Tamam, Sequential API ve Functional API’nin avantajlarını gördük ve bu API’lerin deklaratif bir yaklaşım olduğunu öğrendik. Fakat dinamik modeller kurmak için deklaratif yaklaşım uygun değildir. Örneğin, bazı modeller döngüler, koşullu dallanmalar ve diğer bazı dinamik davranışlar içerebilir. Böyle durumlarda Subclassing API kullanmak daha iyidir. Akademik araştırmalar için genellikle daha dinamik olduğu için Subclassing API kullanılır.

Bu makalede, Subclassing API ile nasıl esnek ve dinamik derin öğrenme katmanları oluşturulacağını göstereceğim.

Yapay zekaya ilginiz varsa TensorFlow ve Keras ile derin öğrenme Udemy kursumuzu inceleyebilirsiniz.

Keras Subclassing API Nedir?

Subclassing API, Keras kütüphanesinin bir parçasıdır ve yapay sinir ağı modellerinin kurulmasında kullanılır. Bu API, Keras Sequential veya Functional API’den farklı olarak, model sınıfının alt sınıf olarak tanımlanmasını ve ağın doğrudan alt sınıftan üretilmesini sağlar. Eğer araştırma projesi veya akademik çalışmalar yapacaksanız Subclassing API yaklaşımı tam size göre.

Subclassing API’nin avantajlarından biri, ağ mimarisindeki herhangi bir özelleştirme gerektiğinde daha fazla esneklik sağlamasıdır. Bununla birlikte, API’nin kullanımı, kod yazma ve hata ayıklama açısından diğer Keras API’lerine göre daha zor olabilir.

Tamam kısaca Subclassing API’ye kısaca baktık. Hadi bu API ile esnek ve dinamik katmanlar ve modeller kurabilirsiniz. Bu makalede Subclassing API ile özelleştirilmiş katmanlar nasıl oluşturulacağına odaklanacağız. Hadi basit bir katman oluşturmak ile başlayalım.

Keras Subclassing API ile Katman Oluşturma

Bu bölümde sıfırdan Subclassing API ile basit bir katman nasıl oluşturulur göreceğiz. Bildiğiniz gibi derin öğrenme modellerinde genellikle dense katman kullanılır. Dense katman kendinden önceki bütün nöronlar ile bağlantılıdır.

Hadi Subclassing API’yi kullanarak tam bağlantılı bir dense katman oluşturalım. Bunun için keras.layers.Layer sınıfından miras alan bir sınıf oluşturmamız gerekir.

Bunu göstermek için öncelikle TensorFlow ve Keras’ı import edelim.

import tensorflow as tf 
from tensorflow import keras

Şimdi Linear isminde bir sınıf oluşturalım. Dikkat edin burada, önce ağırlıkları ve bias’i tanımlayacağız daha sonra bu örnek nitelikleri ile işlem yapmak için bir call metodu tanımlayacağız.

class Linear(keras.layers.Layer):
  def __init__(self, units=32, input_dim = 32):
    super(Linear,self).__init__()
    # Katman ağırlıklarını oluşturalım
    w_init= tf.random_normal_initializer()
    self.w=tf.Variable(
        initial_value=w_init(shape=(input_dim,units), dtype="float32"),
        trainable=True 
    )
    # bias oluşturalım
    b_init = tf.zeros_initializer()
    self.b = tf.Variable(
        initial_value=b_init(shape=(units,), dtype="float32"),
        trainable=True
    )
  
  def call(self,inputs):
    return tf.matmul(inputs, self.w) + self.b

İşte bu kadar. Subclassing API ile basit bir dense katmanı oluşturduk.

Bu esnek katmanının nasıl çalıştığını görmek için bir örnek veri alalım ve bu örnek veriyi katman üzerinden geçirelim. Hadi bir girdi verisi oluşturalım. Bunun için basitçe 1 değerlerini içeren, 2*2 boyutlarında bir matris oluşturalım.

x = tf.ones((2,2))
print(x)

# Output: 
<tf.Tensor: shape=(2, 2), dtype=float32, numpy=
array([[1., 1.],
       [1., 1.]], dtype=float32)>

Bu bizim girdi verimiz olacak. Şimdi bu Linear sınıfından bir örnek alalım. Bu katmanın nöron sayısı için 4 ve girdi boyutu için 2 yazalım.

linear_layer = Linear(4, 2)

Tamam, sınıftan bir katman örneği oluşturduk. Şimdi verimizi bu katmandan geçirelim.

y = linear_layer(x)
print(y)

# Ouyput:
<tf.Tensor: shape=(2, 4), dtype=float32, numpy=
array([[ 0.06356013, -0.02136349,  0.0958024 ,  0.04870867],
       [ 0.06356013, -0.02136349,  0.0958024 ,  0.04870867]],dtype=float32)>

Bammm. İşte Keras Subclassing API kullanarak esnek bir katman örneği oluşturduk ve katmandan örnek verileri geçirdik.

Burada ne oldu? Önce rasgele başlangıç ağırlıkları üretildi. Sonra bu değerler, x girdisi ile matris çarpımı yapıldı. Ve çıkan sonuca bir bias eklendi.

Bu katmandaki ağırlıkların ve biaslerin izlendiğini unutmayın. Hadi bu katmanda kullanılan ağırlıkları ve bias değerlerini görelim. Bunun için weights niteliğini kullanalım.

print(linear_layer.weights)

# Output:
[<tf.Variable 'Variable:0' shape=(2, 4) dtype=float32, numpy=
 array([[ 0.08850016, -0.0294551 ,  0.04489021,  0.01145601],
        [-0.02494004,  0.0080916 ,  0.0509122 ,  0.03725266]],
       dtype=float32)>,
 <tf.Variable 'Variable:0' shape=(4,) dtype=float32, numpy=array([0., 0., 0., 0.], dtype=float32)>]

İlk kısım başlangıç ağırlıklarını ve ikinci kısım bias değerlerini gösteriyor. Hatırlarsanız bias başlangıçta sıfır değerlerinden oluşuyordu. Burada bu sıfır değerlerini görebilirsiniz.

Katman Ağırlıklarını Oluşturmak için Kısa Yol

Bir katmana ağırlık eklemek için biraz önce TensorFlow’daki Variable’ı kullandık. Katmana ağırlık eklemek için add_weight() metodunu da kullanabilirsiniz. Hadi bu metodun nasıl kullanıldığını görelim.

from tensorflow.python.ops.init_ops_v2 import Initializer
class Linear(keras.layers.Layer):
  def __init__(self, units=32, input_dim = 32):
    super(Linear,self).__init__()
    # Ağırlıkları oluşturalım
    self.w = self.add_weight(shape=(input_dim, units),
                             initializer="random_normal",
                             trainable = True)
    # Bias oluşturalım
    self.b = self.add_weight(shape=(units),
                             initializer = "zeros",
                             trainable = True)
  def call(self,inputs):
    return tf.matmul(inputs, self.w) + self.b  

Harika add_weight metodunu kullanarak esnek bir katman oluşturduk. Hadi örnek verilerimizi bu katman üzerinden geçirelim.

x = tf.ones((2, 2))
linear_layer = Linear(4, 2)
y = linear_layer(x)
print(y)

# Output:
<tf.Tensor: shape=(2, 4), dtype=float32, numpy=
array([[0.07724835, 0.0008499 , 0.106326  , 0.02716313],
       [0.07724835, 0.0008499 , 0.106326  , 0.02716313]], dtype=float32)>

Gördüğünüz gibi katmanın üzerinden veriler geçti ve çıktı değerleri üretildi.

Veri Boyutu Girmeden Katman Oluşturma

Yukardaki örnekte input_dim argümanını, shape parametresine geçirdik. Fakat bir çok durumda girdilerinizin boyutunu önceden bilemeyebilirsiniz. Hatta bazen katmanı örneklendirdikten sonra girdi boyutunu katmana geçirmek isteyebilirsiniz. Böyle durumlarda sınıfa bir build metodu ekleyip ağırlıkları bu metotta oluşturabilirsiniz. Hadi bunun nasıl yapıldığını görelim.

class Linear(keras.layers.Layer):
  def __init__(self, units=32):
    super(Linear,self).__init__()
    self.units = units
  # Ağırlıkları oluşturma
  def build(self,input_shape):
    self.w = self.add_weight(shape=(input_shape[-1],self.units),
                             initializer = "random_normal",
                             trainable = True)
    self.b = self.add_weight(shape = (self.units,),
                             initializer = "random_normal",
                             trainable = True)
  def call(self, inputs):
    return tf.matmul(inputs, self.w) + self.b               

Bu katmanda call metodu çağırıldığında build metodu otomatik olarak çalışacak. Şimdi bu sınıftan bir katman örneği alalım.

linear_layer = Linear(32)

Dikkat edin bu örnekte girdinin boyutunu yazmadık. Sadece nöron sayısını belirledik. Şimdi girdimizi katmana verelim.

y = linear_layer(x)
print(y)

# Output:
<tf.Tensor: shape=(2, 32), dtype=float32, numpy=
array([[ 0.12529299, -0.0561902 ,  0.03834991, -0.07893594,  0.00859061,
         0.08317355, -0.05678261,  0.0037364 , -0.04070574, -0.12113686,
         0.03729274,  0.01368941, -0.05131226,  0.03087646, -0.02225749,
         0.04070945,  0.01450459,  0.08193067,  0.0622445 ,  0.1920329 ,
        -0.0106803 , -0.07432184,  0.003447  ,  0.11814891, -0.07613041,
         0.01972482, -0.08320747,  0.13414364,  0.00047702, -0.15275721,
         0.09923995, -0.06166402],
       [ 0.12529299, -0.0561902 ,  0.03834991, -0.07893594,  0.00859061,
         0.08317355, -0.05678261,  0.0037364 , -0.04070574, -0.12113686,
         0.03729274,  0.01368941, -0.05131226,  0.03087646, -0.02225749,
         0.04070945,  0.01450459,  0.08193067,  0.0622445 ,  0.1920329 ,
        -0.0106803 , -0.07432184,  0.003447  ,  0.11814891, -0.07613041,
         0.01972482, -0.08320747,  0.13414364,  0.00047702, -0.15275721,
         0.09923995, -0.06166402]], dtype=float32)>

Bammm. Girdimizin boyutunu girmeden katmandan verileri geçirdik. Harika, girdi boyutunu bilmediğimiz durumlarda nasıl katman oluşturacağımızı gördük.

Katmanlardan Oluşan Bloklar

Bazen art arda gelen katmanları birleştirmek isteyebilirsiniz. Yani veriler bir katmana girsin sonra bu katmandan çıkan değerler diğer bir katmana girsin şeklinde devam etsin. Hadi bir katmanın örneğinin diğer bir katmana girdi olarak geçtiği bir senaryo düşünelim.

Bu senaryo aslında aşağıdaki makalede anlattığım çok katmanlı bir perceptron yani kısaca MLP.

Derin Öğrenme için Yapay Sinir Ağları

Hadi art arda gelen katmanlardan oluşan bir sinir ağı inşa edelim.

class MLPBlock(keras.layers.Layer):
  def __init__(self):
    super(MLPBlock, self).__init__()
    # Katmanları tanımlayalım
    self.linear_1 = Linear(32)
    self.linear_2 = Linear(32)
    self.linear_3 = Linear(1)
  
  # Katman işlemlerini tanımlayalım
  def call(self, inputs):
    x = self.linear_1(inputs)
    x = tf.nn.relu(x)
    x = self.linear_2(x)
    x = tf.nn.relu(x)
    return self.linear_3(x)

Tamam, böylece art arda katmanlardan oluşan ve bu katmanların birbirine bağlandığı bir blok oluşturduk. Bu yaklaşım, dıştaki katmanın içteki katmanın ağırlıklarını kullanmasını sağlar. Şimdi bu sınıftan bir örnek alalım.

mlp = MLPBlock()

Bu sınıfa bir veri verelim.

y = mlp(tf.ones(shape=(3, 64)))

Tamam, veriler 3 katmanlı bloktan geçti. Hadi ağırlıklara bakalım.

print(mlp.weights)

# Output:
[<tf.Variable 'mlp_block/linear_5/Variable:0' shape=(64, 32) dtype=float32, numpy=
 array([[ 0.03181227, -0.03552845, -0.00532066, ...,  0.12079153,
         -0.07475913,  0.0099043 ],
        [ 0.0015341 , -0.02581516, -0.03239488, ...,  0.0370282 ,
          0.02811593, -0.03380568],
        [-0.00715649,  0.0582541 ,  0.04256558, ...,  0.0377348 ,
          0.10212301, -0.03072884],
        ...,
        [ 0.05020842, -0.10764688,  0.00189259, ..., -0.0117731 ,
          0.02547028, -0.06487002],
        [-0.00168144, -0.01505039, -0.0209573 , ..., -0.01630844,
         -0.0164077 , -0.07637613],
        [-0.05147887,  0.09903259,  0.01605012, ...,  0.02922877,
          0.0156203 ,  0.07475672]], dtype=float32)>,
 <tf.Variable 'mlp_block/linear_5/Variable:0' shape=(32,) dtype=float32, numpy=
 array([-0.01699487,  0.01961638,  0.04468011, -0.07827999,  0.06531694,
         0.04750273, -0.01846105, -0.04750106,  0.04930599,  0.03066118,
        -0.13191342, -0.00432053,  0.04816367,  0.11426394,  0.01057771,
         0.07847259, -0.05077245,  0.08985738,  0.02169767, -0.02449624,
         0.00086025,  0.01822815, -0.01215468,  0.01937916, -0.0667214 ,
         0.05271372,  0.02958361, -0.08584312, -0.00931098, -0.07165599,
        -0.05130129,  0.01846607], dtype=float32)>,
....
....
....

Bammm. Gördüğünüz gibi her üç katman için ağırlıklar ve biasler hesaplandı.

Unutmayın, TensorFlow blok katmanlar oluştururken, __init__() fonksiyonunda katmanları oluşturmanızı ve call metodunda ağırlıkların hesaplanmasını öneriyor.

Bu yazının daha ayrıntılı anlatımını aşağıdaki videoda bulabilirsiniz.

Son Sözler

Tebrikler. Bu makalede Keras Subclassing API ile nasıl esnek katmanlar oluşturabileceğinizi öğrendiniz. Keras Subclassing API ile esnek loss ve metrik fonksiyonları da oluşturabilirsiniz. Bu yazıda kullandığım notebooka buradan ulaşabilirsiniz.

Makaleyi okuduğunuz için teşekkür ederim. Bu yazıyı beğendiyseniz aşağıdaki alkış tuşuna bir kaç kez basmayı ve arkadaşlarınız ile paylaşmayı unutmayın. Hadi bağlanalım: YouTube | Udemy | Twitter | Instagram 😊

Aşağıdaki makaleler de dikkatinizi çekebilir:

• Makine Öğrenmesi Yol Haritası 2023
• Makine Öğrenmesi için Bilmeniz Gereken Kütüphaneler

Gelecek yazılarda görüşmek üzere. Şimdilik hoşça kalın.

Keras Sequential API ile kolay ve temiz bir şekilde modeller kurabilirsiniz. Fakat, çoklu girdilerin ve çıktıların olduğu kompleks modeller kurmak için bu API, çok kullanışlı değildir. Kompleks modeller için daha esnek olduğu için Keras Functional API kullanmak daha mantıklıdır.

Bunu göstermek için 2016'da ortaya çıkan Wide & Deep sinir ağı mimarisini ele alalım.

Bu mimari, verideki, hem derin kalıpları hem de basit kuralları bulmaya yardımcı olur.

Yapay zekaya ilginiz varsa TensorFlow ve Keras ile derin öğrenme Udemy kursumuzu şiddetle tavsiye ederim. İndirim kuponu için tirendaziletisim@gmail.com adresine mail atmanız yeterli.

Hadi bu deep-wide sinir ağını Keras Functional API ile nasıl kuracağımıza bakalım.

Veri Setini Yükleme

Keras Functional API nasıl kullanıldığını göstermek için Scikit -Learn’ deki California Housing veri setini kullanalım. Bu veri setini fetch_california_housing fonksiyonu ile yükleyelim.

from sklearn.datasets import fetch_california_housing
housing = fetch_california_housing()

Tamam veri setini yükledik. Şimdi eğitim ve test verilerini oluşturalım. Unutmayın eğitim verisi ile model kurulur, test verisi ile model değerlendirilir. Veri setini parçalamak için Scikit-Learn’ deki train_test_split fonksiyonunu kullanalım.

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
    housing.data, housing.target,random_state=42)

Tamam veri setlerimiz model için hazır. Şimdi Functional API ile derin sinir ağımızı inşa edelim.

Derin Sinir Ağı Modeli Kurma

Öncelikle rasgeleliği sabitlemek için TensorFlow’daki set.seed fonksiyonunu kullanalım.

import tensorflow as tf
tf.random.set_seed(42)

Şimdi katmanlarımızı tek tek inşa edelim. Unutmayın önce kullanacağımız katmanları oluşturacağız sonra bu katmanlar ile modelimizi inşa edeceğiz.

normalization_layer = tf.keras.layers.Normalization()         #(1)
hidden_layer1 = tf.keras.layers.Dense(30, activation="relu")  #(2)
hidden_layer2 = tf.keras.layers.Dense(30, activation="relu")
concat_layer = tf.keras.layers.Concatenate()                  #(3)
output_layer = tf.keras.layers.Dense(1)                       #(4)

Hadi bu kodların üzerinden geçelim.

(1) Öncelikle Normalization katmanını yazdık. Bu katman, Scikit-Learn’ deki StandardScaler’ın yaptığı işi yapar. Yani bu fonksiyon sayısal verileri normalleştirmemize yardımcı olur. Bu katmanı kullanmak için adapt metodunu çağırmamız gerekecek. Bu metot, verilerinin ortalaması ve varyansını hesaplar. Bu metodu fit metodundan önce çağırıcağız. Bu katmanı kullandığımız için Flatten katmanı kullanmamıza gerek yok.

(2) Normalization katmanından sonra iki gizli katman oluşturduk. Bu katmanlara 30 nöron geçirdim ve aktivasyon fonksiyonu olarak ReLU yazdık.

(3) Katmanlarımızı birleştirmek için concat_layer isminde bir birleştirme katmanı oluşturduk. Bu katmanda istediğimiz katmanların çıktılarını birleştirebiliriz.

(4) En son çıktı katmanını yazdık. Problemimiz regresyon olduğu için yani sadece bir sayısal değer tahmin edeceğimiz için çıktı katmanına bir nöron geçirdik.

Tamam, böylece modelde kullanacağımız katmanları oluşturduk. Şimdi bu katmanlar ile sinir ağımızı inşa edelim.

input_ = tf.keras.layers.Input(shape=X_train.shape[1:])
normalized = normalization_layer(input_)
hidden1 = hidden_layer1(normalized)
hidden2 = hidden_layer2(hidden1)
concat = concat_layer([normalized, hidden2])
output = output_layer(concat)

Hadi bu kodların üzerinden geçelim. Önce girdi değişkenimizi oluşturduk. Daha sonra normalleştirme katmanını yazdık. Verilerimiz normalleştirme katmanından geçtikten sonra, gizli katmana gelecek. Dolayısıyla normalleştirme katmanı değişkenini gizli katmana girdi olarak verdik. Dikkat ederseniz Functional API’da bir katmanın çıktısını diğer katmana girdi olarak veriyoruz. Daha sonra ilk gizli katman çıktısını ikinci gizli katmana girdi olarak yazdık. Ardından girdi ve ikinci gizli katmanın çıktısını birleştirmek için birleştirme katmanını kullandık. En son bu birleştirme katmanından geçen verileri çıktı katmana verdik.

Harika, tek tek katmanların girdilerini ve çıktılarını oluşturduk. Şimdi bir Keras modeli oluşturalım. Modeli kurarken girdilerimizi ve çıktılarımızı modele geçirelim.

model = tf.keras.Model(inputs=[input_], outputs=[output])

Hadi şimdi summary metodu ile modelimizin özetini görelim.

model.summary()

Bu tabloda, katmanları, katmanların çıktılarını, parametre sayılarını ve bağlantılı katmanları görebilirsiniz. Dikkat ederseniz, Concatenate katmanı, input ve dense 1 yani ikinci gizli katmanla bağlantılı. Buradaki none, batch sayısı yerine kullanılıyor. Batch sayımız ne ise bu sayı none yerine geçecek.

Tamam, böylece model mimarimizi oluşturduk. Şimdi modeli derleyelim. Modeli derlerken loss fonksiyonu, optimizer ve kullanacağınız metriği probleminize göre belirlemelisiniz.

optimizer = tf.keras.optimizers.Adam(learning_rate=1e-3)

model.compile(
    loss="mse", 
    optimizer=optimizer, 
    metrics=["RootMeanSquaredError"])

Harika, modelimizi derledik. Artık modelimiz eğitim için hazır.

Model Eğitim

Modeli eğitmek için fit metodunu çağıracağız. Fakat daha önce eğitim verilerini normalleştirmek için adapt metodunu kullanalım. Bu metot normaleştirme için eğitim verilerinin ortalamasını ve standart sapmasını hesaplayacak.

normalization_layer.adapt(X_train)

Artık modeli fit metodunu çağırarak eğitmeye hazırız. Validasyon verisi kullanmak için validation_split parametresini kullanalım.

history = model.fit(X_train, y_train, epochs=20, validation_split=0.2)

Bu komutu çalıştırdığımızda model eğitilmeye başlar.

Dikkat ederseniz her bir epoch’da eğitim ve validasyon veri setleri için loss ve metrik değerleri hesaplanıyor. Her bir epoch’da loss değerlerinin düştüğünü görüyoruz. Bu modelin verilerden öğrendiği anlamına gelir. Buradaki amacım Functional API’nin nasıl kullanılacağını göstermek. Siz daha farklı mimariler ile daha iyi modeller inşa edebilirsiniz.

Model Değerlendirme

Modelimizi eğittikten sonra test veri seti üzerinde performansını görelim. Bunun için evaluate metodunu çağırmamız yeterli.

mse_test = model.evaluate(X_test, y_test)

# Output:
162/162 [==============================] - 0s 3ms/step - 
loss: 0.3089 - root_mean_squared_error: 0.5558

Burada loss ve metriğin değerini görebilirsiniz. Şimdi test verisinden bir kaç değer alalım ve bu değeri tahmin edelim.

X_new = X_test[:3]

Şimdi predict metodunu çağırarak bu verileri kurduğumuz modele göre tahmin edelim. Verileri daha iyi görmek için Pandas DataFrame yapısını kullanalım.

import pandas as pd
y_pred = model.predict(X_new)
pd.DataFrame(y_pred)

# Output:
0  0.631996
1  1.136796
2  4.315046

Tamam, böylece ilk üç evin fiyatlarını tahmin ettik. Hadi şimdi gerçek değerlere bakalım.

pd.DataFrame(y_test[:3])

# Output:
0  0.47700
1  0.45800
2  5.00001

Verilerin gerçek etiketleri de bu şekilde. Genel olarak modelimizin tahminleri kötü değil.

Son Sözler

Bu yazımda, Keras Functional API ile nasıl kompleks sinir ağları kurabileceğinizi anlattım. Bu analizde tek bir girdinin ve tek bir çıktının olduğu bir yapay sinir ağı inşa ettik. Fakat bazı durumlarda birden fazla girdi ve birden fazla çıktı kullanmak isteyebilirsiniz. Böyle durumlarda nasıl derin sinir ağları inşa edeceğinizi öğrenmek için aşağıdaki videoyu izleyebilirsiniz.

Makaleyi okuduğunuz için teşekkür ederim. Umarım faydalı bir makale olmuştur. Bu derste kullandığım notebook’a buradan ulaşabilirsiniz. Sorularınız varsa yorumlara yazabilirsiniz. Bu yazıyı beğendiyseniz aşağıdaki alkış tuşuna basmayı ve arkadaşlarınız ile paylaşmayı unutmayın. Hadi bağlanalım: YouTube | Udemy | Twitter | Instagram 😊

Aşağıdaki yazılar da dikkatinizi çekebilir:

• Makine Öğrenmesi Yol Haritası 2023
• Derin Öğrenme için Yapay Sinir Ağları

Gelecek yazılarda görüşmek üzere. Şimdilik hoşça kalın.

Kaynaklar

• Hands-on Machine Learning with Scikit-Learn, Keras and TensorFlow

Arkadaşlar doğa her zaman insanlar için ilham kaynağı olmuştur. Örneğin, kuşlardan esinlenerek uçaklar icat edilmiştir. Aynı şekilde beyindeki nöronlardan esinlenerek yapay sinir ağları geliştirilmiştir. Yapay sinir ağları, derin öğrenmenin çekirdeğidir. Size belki garip gelecek ama resim sınıflandırma, öneri sistemleri, dilden dile çeviri gibi kompleks makine öğrenmesi problemleri yapay sinir ağları ile çözülebilmiştir.

Bu derste derin öğrenmenin temeli olan yapay sinir ağları mimarisini ele alacağız. Hadi bu derste öğreneceğimiz konulara bakalım. Öncelikle yapay sinir ağları nedir öğreneceğiz. Daha sonra perceptron ve multilayer perceptron nedir bakacağız. Ve en son basit bir sinir ağı ile regresyon ve sınıflandırma problemleri nasıl çözülür inceleyeceğiz. Hadi yapay sinir ağları nedir ile başlayalım.

Yapay Sinir Ağları

Belki şaşıracaksınız ama yapay sinir ağlarının tarihi 1943 yıllarına dayanıyor. Hadi şimdi son yıllarda bu yaklaşımın neden popüler olduğuna bakalım. Bildiğiniz gibi internet ve sosyal medyanın gelişmesi ile üretilen veri miktarı arttı ve büyük veri ortaya çıktı. Bu büyük veri, yapay sinir ağlarının eğitimine olanak sağladı.

Klasik makine öğrenmesi algoritmaları büyük verileri analiz etmede zorluk çekerken, yapay sinir ağları büyük veriler üzerinde güzel performans gösterdi. Yapay sinir ağlarının popüler olmasının bir sebebi de makinelerin hesaplama gücünün artması. Oyun sektörünün gelişmesi ile GPU’su yüksek güçlü makineler geliştirildi. GPU’lar matematiksel hesaplamaları daha kolay yaptığı için yapay sinir ağları daha hızlı eğitilebildi. Yapay sinir ağlarının son yıllarda patlamasının bir sebebi de CNN, RNN, Transformers gibi harika mimarilerin geliştirilmesi. Ayrıca son zamanlarda geliştirilen TensorFlow ve PyTorch gibi kütüphaneler ile bu mimariler daha kolay eğitilebildi.

Yapay zekaya ilginiz varsa TensorFlow ve Keras ile derin öğrenme Udemy kursumuzu inceleyebilirsiniz.

Hadi şimdi yapay sinir ağlarını daha iyi anlamak için biyolojik bir sinir ağına bakalım.

Biyolojik Sinir Ağları

Aşağıda biyolojik bir sinir ağını görüyorsunuz.

Ben biyolog değilim ama hadi genel hatları ile bu nörona bakalım. Bu sinir ağı, Nucleus denen cell body, bir çok branşa ayrılmış dendrite’ler ve uzun bir axon’dan oluşuyor. Dikkat ederseniz axon’un uzunluğu cell body’den çok daha fazla. Axonlar, diğer nöronların dentrite’leri veya cell body’leri ile birleşen bir çok branşa ayrılıyor. Biyolojik nöronlar, axonlar boyunca hareket eden kısa elektriksel gerilimler üretir. Eğer bir nöron yeterli miktar uyarı alırsa, kendi elektriksel gerilimi ateşlenir. Genel olarak biyolojik nöronlar bu yolla çalışır.

Bu çalışmayı basit gibi görebilirsiniz ama nöronların birbirleri ile bağlanması ile milyarlarca sinir ağı yönetilebilir. Tamam genel olarak biyolojik sinir ağlarının nasıl çalıştığına baktık. İşte bu biyolojik nöronlardan oluşan sinir ağları taklit edilerek yapay sinir ağları geliştirildi. Hadi şimdi yapay sinir ağlarının en temel birimi olan perceptron ’a bakalım.

Perceptron

Yapay sinir ağı mimarisini anlamak için öncelikle en basit yapay sinir ağı mimarisi olan perceptron ’u anlamamız gerekir. Bu mimari, 1957 yılında Frank Rosenblatt tarafından geliştirildi.

Yukarıda gördünüz gibi, bu mimaride, girdiler ve çıktı sayılardan oluşur ve her bir girdinin bir ağırlığı vardır. Örneğin x1'in ağırlığı w1, x2'nin ağırlığı w2 ve x3'ün ağırlığı w3. Bu ağırlıklanan girdiler öncelikle toplanır daha sonra bir bias eklenir. Bu toplam, bir step fonksiyonundan geçirilir. Bu fonksiyon, örneğin bir işaret fonksiyonu olabilir.

İşaret fonksiyonu bildiğiniz gibi sıfırdan küçük değerleri -1'e, sıfır değerlerini sıfıra ve sıfırdan büyük değerleri 1'e götürür. Basit bir percetron ’u, lineer bir ikili sınıflandırma için kullanabilirsiniz. Örneğin önce girdilerin lineer bir fonksiyonu hesaplanır, ardından çıkan sonuç bir treshold yani bir eşik değerini geçerse, sonuç pozitif olur. Belirli bir tresholdu geçmezse sonuç negatif olur. Çok basit değil mi? Ama bu basit mantıkla ChatGPT gibi yapay zeka araçları geliştirildi.

Bu bahsettiğim örnek, threshold logic unit, kısaca TLU denen, tek bir lineer fonksiyondan oluşuyor. Bir perceptron, bir layerda yani katmanda, birden çok birbiri ile bağlantılı lineer fonksiyondan oluşabilir.

Yukarıdaki görselde iki tane girdi ve üç tane çıktı var. Girdilerin bulunduğu layer ’a input layer, çıktıları üreten TLU ’ların bulunduğu katmana output layer denir. Dikkat ederseniz girdilerin hepsi bütün nöronlarla bağlantılı. Bu şekildeki bir katmana tam bağlantılı layer ya da dense layer denir.

Bakın bu perceptron ’un üç farklı çıktısı var. Hatırlarsanız binary yani ikili sınıflandırma da etiket sayısı ikiydi. Burada üç çıktı olduğu için bu sınıflandırma multilabel denen çok etiketli sınıflandırmadır. Tabi bu mimariyi multiclass denen çok sınıflı sınıflandırma için de kullanabilirsiniz.

Peki bu noktada percetronlar nasıl eğitilir şeklinde bir soru aklınıza gelebilir. Hadi kısaca bu sorunun cevabına bakalım. Perceptronların eğitim mantığını anlarsanız yapay sinir ağlarının çalışma mantığını daha iyi anlarsanız.

Öncelikle her bir girdiye rasgele bir ağırlık verilerek girdilerin toplamı bulunur ve daha sonra bu toplama bir bias eklenir. Unutmayın, bir nöron diğer bir nöronu sık sık tetiklediğinde, aralarındaki bağlantı daha çok güçlenir. Nöronlardan geçen girdiler bir çıktı üretir. Bu çıktı bir tahmindir. Tahminin ne kadar hata yaptığına bakılır. Daha az hata ile tahmin yapmak için ağırlıklar güncellenir.

Tamam basitçe perceptron nedir gördük. Perceptron, XOR gibi bazı basit problemleri çözemedi.

Perceptron ’un eksikliklerini ortadan kaldırmak için çok katmanlı multilayer perceptron geliştirildi. Hadi multilayer perceptronlara yakından bakalım.

Çok Katmanlı Perceptron

Multilayer perceptronlar bir girdi katman, bir gizli katman ve birde çıktı katmanda oluşur. Bu basit bir çok katmanlı perceptrondur.

Bu yapay sinir ağı mimarisinde, bir gizli katman var. Eğer birden fazla gizli katman olursa buna derin sinir ağı denir. İşte derin öğrenme bu mimariden geliyor.

Harika değil mi? Derin öğrenmenin temelini gördük. Derin öğrenme, modern yapay zeka mimarilerinin gelişmesi ile popüler oldu.

Tamam girdiler sinir ağlarından geçiyor ve bir tahmin yapılıyor. Fakat bu tahmin nasıl iyileştirilecek. İşte tam burada backpropagation tekniği ortaya çıktı. Bu teknik ile hata geriye doğru dağıtılarak ağırlıklar güncellenir Ve en iyi tahmin elde edilinceye kadar bu döngü devam ediyor.

Süper bir yaklaşım değil mi? Hadi backpropagation ile yapay sinir ağlarının nasıl çalıştığına bakalım. Önce batch denilen bir grup veri alınır. Bu batch sayısı örneğin 32 olabilir. Bu veriler eğitim esnasında bir çok kez bütün sinir ağdan geçer. Bu her bir geçişe epoch deniyor. Derin öğrenme derslerinde çok sık kullanacağımız epoch ve batch’in ne demek olduğunu öğrendik.

Bir batch veri, girdi katmanından sinir ağına girer. Bu girdi katmanından geçen veriler, gizli katmandan geçerken çıktı hesaplanır. Bu çıktılar diğer katmana iletilir. Bu şekilde girdiler bütün katmanlardan geçerek bir sonuç ortaya çıkar. Bu geçişe forward pass yani ileriye doğru geçiş denir. Sinir ağının çıktısı bir tahmindir. Unutmayın her bir katmanlardan geçen sonuçlar saklanır.

Peki hocam niye saklanıyor derseniz. Bunun sebebi tahmin hatasının geriye doğru dağıtılırken ağırlıkların güncellenmesi için.

Hocam hata nasıl ölçülüyor derseniz. Bunun için loss fonksiyonu kullanılır. Loss fonksiyonu, gerçek değer ile tahmin değerini karşılaştırır ve bir tahmin hatasını bulur. Her bir batch sinir ağından geçer ve bir tahmin hesaplanır. Ve bu tahminin hatası ölçülür. Bu hata geriye doğru girdi katmanına kadar dağıtılır ve ağırlıklar güncellenir. Güncellenen ağırlıklara göre diğer batch tahmin edilir ve yine tahmin hatası hesaplanır. Bu hataya göre ağırlıklar güncellenir. Bu şekilde bütün veriler sinir ağından geçer. Unutmayın başlangıçtaki ağırlıklar rasgele verilir. Diğer türlü yapay sinir ağının eğitimi başarısız olur.

Tamam böylece yapay sinir ağlarının nasıl çalıştığını gördük. Şu ana kadar yapay sinir ağlarının teoriğini anlattım. Biraz sonra multilayer perceptronlar ile ilgili uygulamalar yapacağız. Bu mimarinin yapısını anlarsanız daha iyi mimariler oluşturabilirsiniz. Fakat bu mimarideki aktivasyon fonksiyonu hakkında biraz daha konuşalım.

Hatırlayın perceptronlarda kullanılan aktivasyon, step fonksiyonuydu. Multilayer perceptronlarda kullanılan aktivasyon fonksiyonu ise sigmoid, hiperbolik tanjant ya da ReLU olabilir. En çok kullanılan fonksiyon ReLU’dur.

Niye aktivasyon fonksiyonu kullanıyoruz şeklinde bir soru aklınıza gelebilir. Aktivasyon fonksiyonunu kullanmamızın sebebi, mimarimize nonlineerlik kazandırmak istememizdir. Böylece mimarimiz daha esnek olur. Eğer aktivasyon fonksiyonu kullanmazsak kompleks problemleri çözemeyiz.

Tamam şimdiye kadar sinir ağlarının yapısını ve nasıl çalıştığını öğrendik. Ayrıca backpropagation algoritmasına baktık. Hadi şimdi bir uygulama ile ellerimizi kirletelim. Öncelikle regresyon problemini ele alalım.

Yapay Sinir Ağları ile Regresyon

Bildiğiniz gibi regresyon probleminde sayısal bir değer tahmin edilir. Dolayısıyla sinir ağımızın çıktısı bir nöron olmalıdır. Eğer çok değişkenli bir regresyon problemimiz olsaydı boyut sayısına göre nöron olurdu. Örneğin, bir resim içindeki bir nesnenin merkezini bulmak için iki boyutlu bir koordinat sistemi tahmin etmemiz gerekir. Dolayısıyla çıktı katmanında iki nöron olması gerekir.

Regresyon problemini çözmek için Scikit-Learn içindeki MLPRegressor sınıfını kullanabiliriz. Bu sınıfı kullanarak bir multilayer perceptron modeli kurabiliriz. Bunu göstermek için california housing veri setini kullanalım. Bu veri seti, ev fiyatlarını gösteriyor. Amacımız bir evin özelliklerine göre fiyatı tahmin edecek bir model kurmak.

Hadi bu veri setini yüklemek için Scikit-Learn içindeki fetch_california_housing fonksiyonunu çağıralım. Öncelikle bu fonksiyonu import edelim.

from sklearn.datasets import fetch_california_housing

Hadi bu veri setini bir değişkene atayalım. Bu makalede kullandığım notebook’a buradan ulaşabilirsiniz.

housing = fetch_california_housing()

Şimdi veri setini eğitim ve test şeklinde parçalayalım. Unutmayın, eğitim verisi ile model kurulur. Test verisi ile model değerlendirilir. Modeli parçalamak için train_test_split fonksiyonunu kullanalım. Öncelikle bu fonksiyonu import edelim.

from sklearn.model_selection import train_test_split

Şimdi bu fonksiyon ile veri setimizi parçalayalım.

X_train_full, X_test, y_train_full, y_test = train_test_split(
   # girdi ve çıktı verilerimizi yazalım.
   housing.data, housing.target, 
   # Rasgeleliği sabitlemek için random_state parametresini kullanalım. 
   random_state=42
   # Sizde bu parametreye 42 yazarsanız benim elde ettiğim sonuçları bulursunuz.
)

Şimdi modelin parametrelerini ayarlamak için validasyon verisini oluşturalım. Bunun için yine train_test_split fonksiyonunu kullanalım.

X_train, X_valid, y_train, y_valid = train_test_split(
   #eğitim verisini parçalamak için eğitim girdi ve çıktı değişkenlerini yazalım.
   X_train_full, y_train_full,
   #Yine rasgeleliği sabitlemek için random_state parametresini kullanalım.
   random_state=42)

Tamam veri setlerimizi oluşturduk. Şimdi modelimizi kuralım. Bunun için MLPRegressor sınıfını import edelim.

from sklearn.neural_network import MLPRegressor

Bu sınıftan bir örnek alalım.

mlp_reg = MLPRegressor(
# gizli katman sayısını ve her katmandaki nöron sayısını belirleyelim.
# 3 katman ve her katman da 50 nöron olsun.
hidden_layer_sizes=[50, 50, 50], 
random_state=42)

Harika, modelimiz için bir örnek oluşturduk. Veri seti sayısal değerlerden oluşuyor. Bu sayısal değerleri standartlaştıralım. Böylece modelimizi daha doğru ve daha hızlı kurarız. Bunun için StandardScaler sınıfını import edelim. Ölçekleme ve model kurma işlemlerini daha kolay yapmak için pipeline kullanalım.

from sklearn.preprocessing import StandardScaler

Öncelikle make_pipeline fonksiyonunu import edelim.

from sklearn.pipeline import make_pipeline

Bu fonksiyon ile bir pipeline inşa edelim.

pipeline = make_pipeline(
   #Önce ölçekleme fonksiyonunu yazalım.
   StandardScaler(), 
   # Sonra modelimizi yazalım.
   mlp_reg)

Bu pipeline ile önce veri ölçeklenecek sonra model kurulacak.

Harika pipeline’ımızı oluşturduk.

Şimdi fit metodunu çağıralım ve modelimizi eğitelim.

pipeline.fit(
   # Model eğitimi için eğitim verilerini kullanalım.
   X_train, y_train)

Tamam modelimizi eğittik. Şimdi bu modelli kullanarak validasyon verilerini tahmin edelim.

y_pred = pipeline.predict(
   # Validasyon veri setini yazalım.
   X_valid)`

Tamam validasyon verisini tahmin ettik. Şimdi mean_squared_error fonksiyonu ile bu modelin tahmin hatasını bulalım. Öncelikle bu fonksiyonu import edelim.

from sklearn.metrics import mean_squared_error

Şimdi bu fonksiyonu kullanarak tahmin hatasını bulalım.

rmse = mean_squared_error(
   #önce gerçek değerleri yazalım
   y_valid,
   # şimdi tahmin değerlerini yazalım.
   y_pred, squared=False)

Modelin hata kareler hatası 0.5 civarı çıktı. Bu değer kötü bir değer değil. Uutmayın veri setinizde aykırı değer çoksa hata metriği olarak ortalama mutlak hata metriğini de kullanabilirsiniz. Biz bu modeli kurarken çıktı katmanında bir aktivasyon fonksiyonu kullanmadık. İsterseniz aktivasyon fonksiyonu olarak ReLU kullanabilirsiniz. Bu problem basit olduğu için sinir ağını oluşturmak için Scikit-Learn kütüphanesini kullandım.

Gelecek yazımda daha kompleks mimariler için Keras anlatmayı planlıyorum. Hocam burada bir çok hiperparametre var. Bunları nasıl seçeceğiz diyebilirsiniz. Hadi şimdi regresyon için optimum model kurmak için en uygun olabilecek hiperparametrelere bakalım.

Gizli katman için tabi probleminize bağlı olarak 1'den 5'e kadar katman kullanabilirsiniz. Gizli katman başına nöron sayısı olarak 10'dan 100'e kadar değer yazabilirsiniz. Çıktı katmanındaki nöron sayısını boyut sayısına göre belirleyebilirsiniz. Gizli katmanlarda aktivasyon fonksiyonu olarak, ReLU kullanabilirsiniz. Çıktı katmandaki aktivasyon fonksiyonu olarak ya kullanmazsınız ya da ReLU, sigmoid veya tanh kullanabilirsiniz. Loss fonksiyonu olarak bizim yaptığımız gibi hata kareler ortalaması metriğini kullanabilirsiniz.

Tamam regresyon için basit bir yapay sinir ağının nasıl kurulacağını gördük.

Yapay Sinir Ağları ile Sınıflandırma

Multilayer perceptronu sınıflandırma görevleri içinde kullanabilirsiniz. Örneğin, ikili sınıflandırma problemi için, son katmana sigmoid aktivasyon fonksiyonu yazarak, tek bir çıktı için bir nöron ekleyebilirsiniz. Son katmanda sigmoid fonksiyonu kullandığımız için çıktı 0 ile 1 arasında olacak. Belli bir threshold değerinden büyükse pozitif küçükse negatif sınıfı tahmin edecek.

Multilayer perceptron mimarisini çok kategorili problemler içinde kullanabilirsiniz. Bunun için son katmana sınıf sayısı kadar nöron eklersiniz. Örneğin rakam sınıflandırması için son katmana 10 nöron yerleştirirsiniz. Bakın bu problemde çok etiketli sınıflandırmadan farklı olarak sadece bir sınıf tahmin edilir. Dolayısıyla sınıf başına bir nöron yerleştirildiğinden, aktivasyon fonksiyonu olarak son katmanda softmax kullanılır. Bu fonksiyonun bütün tahminleri 0 ile 1 arasındadır ve bu tahminlerin toplamı birdir.

Sınıflandırma probleminde multilayer perceptronu kullanmak için MLPClassifier sınıfını kullanabilirsiniz. Bu sınıfı biraz önce gösterdiğim regresyon gibi kullanabilirsiniz.

Çok kategorili sınıflandırma problemi için model kurarken hadi kullanabileceğiniz hiperparametrelere bakalım. Gizli katman sayısı probleminize göre 1'den 5'e kadar olabilir. Çıktı nöron sayısı için kategori başına bir nöron yazabilirsiniz. Çok etiketli iki sınıflandırma için etiket başına bir ve aktivasyon fonksiyonu olarak sigmoid kullanabilirsiniz. Evet arkadaşlar optimum olabilecek hiperparametreleri de gördük.

Sonuç

Bu makalede yapay sinir ağlarına giriş yaptık ve bu ağların en basiti olan perceptron ve çok katmanlı perceptron mimarini inceledik. Yapay sinir ağlarının çalışma prensibini gördük. En son bir uygulama yaptık ve regresyon ve sınıflandırma için çok katmanlı perceptronların nasıl kullanılacağına baktık.

Hadi bağlanalım YouTube | Medium | Twitter | Instagram | TikTok

• Makine Öğrenmesi Yol Haritası 2023
• Makine Öğrenmesi için Bilmeniz Gereken Kütüphaneler

Gelecek yazılarda görüşmek üzere. Hoşça kalın.