<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Ilahe Nuriyeva on Medium]]></title>
        <description><![CDATA[Stories by Ilahe Nuriyeva on Medium]]></description>
        <link>https://medium.com/@ilahe.85?source=rss-3cf784d9b9a5------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*HasKZdUOQHePiyFo2IJt4g.jpeg</url>
            <title>Stories by Ilahe Nuriyeva on Medium</title>
            <link>https://medium.com/@ilahe.85?source=rss-3cf784d9b9a5------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 17:03:14 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@ilahe.85/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[RAG nədir? Chatbotlarda onun rolu nədən ibarətdir?]]></title>
            <link>https://medium.com/@ilahe.85/rag-n%C9%99dir-chatbotlarda-onun-rolu-n%C9%99d%C9%99n-ibar%C9%99tdir-4b99f72ba661?source=rss-3cf784d9b9a5------2</link>
            <guid isPermaLink="false">https://medium.com/p/4b99f72ba661</guid>
            <dc:creator><![CDATA[Ilahe Nuriyeva]]></dc:creator>
            <pubDate>Sun, 26 Oct 2025 06:06:14 GMT</pubDate>
            <atom:updated>2025-10-26T06:06:14.333Z</atom:updated>
            <content:encoded><![CDATA[<h3>Retrieval Augmented Generation (RAG)</h3><p><strong>Retrieval Augmented Generation (RAG)</strong> — xüsusi sahələrdə (bu relyasion verilənlər bazası, NoSQL sistemləri, Parquet fayllar və digər sənədlər ola bilər) verilmiş sorğulara <strong>daha dəqiq, səmərəli və kontekstə uyğun cavablar </strong>təqdim etmək üçün istifadə edilən müasir yanaşmadır.</p><p>Adi hallarda <strong>LLM (Large Language Model)</strong> cavab verərkən yalnız öz təlim məlumatlarına əsaslanır. Yəni, əgər model <strong>2024-cü ilə qədərki məlumatlarla öyrədilibsə</strong>, o, <strong>2025-ci ildə yaranmış məlumatlardan xəbərsiz olacaq. </strong>Yeni məlumatları əlavə etmək üçün isə modelin <strong>yenidən train </strong>olunması tələb olunur.</p><p>RAG yanaşması isə fərqli işləyir.<br> O, modeli yenidən öyrətmir — əvəzində <strong>retrieval (axtarış)</strong> mexanizmini istifadə edərək, <strong>sorğu zamanı aktual və uyğun məlumatı real vaxtda</strong> tapır.<br> Beləliklə, LLM cavab yaradarkən bu <strong>əlavə kontekstdən</strong> istifadə edir və <strong>daha dəqiq, aktual cavab</strong> verir.</p><p>Bu <strong>əlavə kontekst (external context)</strong> <strong>vector embedding</strong> formasında modelə ötürülür — yəni, mətnlər əvvəlcə rəqəmsal vektor formasına çevrilir, sonra model bu vektorlar vasitəsilə mənanı anlayır və kontekstə uyğun cavab yaradır.</p><h4>Vector Database</h4><p>Strukturlaşdırılmamış verilənləri vektor formasında saxlayan verilənlər bazasıdır. Bu bazalar <strong>vektorların oxşarlığı</strong> əsasında məlumatları tapmağa imkan verir və axtarış performansını xeyli artırır.</p><h4>Embedding</h4><p>Mürəkkəb məlumatları (məsələn, mətn, şəkil, audio və s.) rəqəmsal vektorlar şəklində təqdim etməyə imkan verən üsuldur. Bu vektorlar məlumatın <strong>əsas mənasını və semantik əlaqələrini</strong> əks etdirir. Beləliklə, obyektlər arasındakı <strong>oxşarlıq və əlaqə</strong> daha aydın görünür, filtrasiya və axtarış isə daha səmərəli olur.</p><h4>RAG necə işləyir?</h4><ol><li>Məlumatlar rəqəmsal vektor (embedding) şəklində vector verilənlər bazasında (məsələn: PGVector, Elasticsearch, Weaviate, FAISS və s.) saxlanılır.</li><li><strong>İstifadəçi sual verir.</strong></li><li><strong>Retriever</strong> vector bazada sənədlər arasında axtarış aparır.</li><li>Tapılmış məlumatlar <strong>LLM</strong>-ə ötürülür.</li><li>Model bu məlumatlara əsaslanaraq <strong>kontekstə uyğun cavab</strong> formalaşdırır.</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GZCfIpWq8W69Y1i_JmI70g.jpeg" /></figure><h4>Sadə bir Chatbot nümunəsi quraq</h4><ol><li>İlk öncə bizə lazım olacaq kitabxanaları skriptə import edək.</li></ol><p>2. PDF faylından (məsələn, <em>spark_tuning.pdf</em>) məlumat oxuyaq və <strong>chunklara (</strong>hissələrə) bölək.</p><pre>pdf_path = os.path.join(os.path.dirname(__file__), &quot;spark-tuning.pdf&quot;)<br>loader = PyPDFLoader(pdf_path)<br>docs = loader.load()<br><br>splitter = TokenTextSplitter(chunk_size=1000, chunk_overlap=100)<br>chunks = splitter.split_documents(docs)Bu hissələrdən vektor təqdimatları (vector embeddings) yaradılır — bunun üçün OpenAIEmbeddings kitabxanası istifadə olunur.</pre><p>3. Hər hansı bir <strong>Vector Database</strong> seçmək lazımdır. Biz <strong>PGVector</strong> istifadə edəcəyik. Əvvəlcə <strong>PostgreSQL</strong> verilənlər bazasına daxil olub <strong>vector extension</strong>-u aktivləşdirək və <strong>vektor məlumatlarını saxlamaq üçün xüsusi bir baza</strong> yaradaq.<br>Daha sonra həmin bazaya qoşulmaq üçün ayrıca <strong>istifadəçi</strong> yaradıb bütün privelegiyaları verək.</p><pre>CREATE EXTENSION IF NOT EXISTS vector;<br>CREATE DATABASE ragdb;<br>CREATE USER raguser WITH PASSWORD &#39;******&#39;;<br>GRANT ALL PRIVILEGES ON DATABASE &quot;PGVectors&quot; TO raguser;</pre><p>4. Pdf-dən oxunan məlumatları vectorlara çevirək.</p><pre>embeddings = OpenAIEmbeddings(api_key=OPENAI_API_KEY, model=&quot;text-embedding-3-large&quot;)<br><br>vectorstore = PGVector.from_documents(<br>    documents=chunks,<br>    embedding=embeddings,<br>    collection_name=COLLECTION_NAME,<br>    connection=PG_CONN,<br>    use_jsonb=True,<br>   )</pre><p>5. İstifadəçinin <strong>sual (prompt və ya query)</strong> göndərəcəyi zaman, həmin sorğu əsasında <strong>VectorDB-də</strong> axtarış aparan və <strong>uyğun kontekstual məlumat</strong> əldə edən hissəni formalaşdıraq.</p><pre><br><br>retriever = vectorstore.as_retriever(search_type=&quot;similarity&quot;, search_kwargs={&quot;k&quot;: 4})<br><br>llm = ChatOpenAI(<br>    openai_api_key=OPENAI_API_KEY,<br>    model_name=&quot;gpt-4o-mini&quot;,  <br>    temperature=0,<br>)<br><br>chatQA = ConversationalRetrievalChain.from_llm(<br>    llm=llm,<br>    retriever=retriever,<br>    memory=None<br>)<br>while True:<br>    qry = input(&quot;Question (type &#39;exit&#39; to exit): &quot;)<br>    if qry.strip().lower() == &quot;exit&quot;:<br>        break<br>    resp = chatQA.invoke({&quot;question&quot;: qry, &quot;chat_history&quot;: []})<br>    print(resp[&quot;answer&quot;])</pre><p>Artıq scripti run edib pdf-də saxlanılan məlumatlardan bir sorğu göndərə bilərik.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uz9ZfYnHkcx5WvnoWjN4Dg.png" /></figure><p>Scriptin tam versiyasını əlavə edirəm.</p><p><a href="https://github.com/nilahe/chatbots.git">https://github.com/nilahe/chatbots.git</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4b99f72ba661" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[CDC — Change Data Capture (Məlumat Dəyişikliklərinin İzlənilməsi)]]></title>
            <link>https://medium.com/@ilahe.85/cdc-change-data-capture-m%C9%99lumat-d%C9%99yi%C5%9Fiklikl%C9%99rinin-i%CC%87zl%C9%99nilm%C9%99si-640f0a3bbc0f?source=rss-3cf784d9b9a5------2</link>
            <guid isPermaLink="false">https://medium.com/p/640f0a3bbc0f</guid>
            <category><![CDATA[cdc]]></category>
            <category><![CDATA[debezium]]></category>
            <dc:creator><![CDATA[Ilahe Nuriyeva]]></dc:creator>
            <pubDate>Wed, 08 Oct 2025 16:06:55 GMT</pubDate>
            <atom:updated>2025-10-08T17:37:46.716Z</atom:updated>
            <content:encoded><![CDATA[<h3>CDC — <em>Change Data Capture (Məlumat Dəyişikliklərinin İzlənilməsi)</em></h3><p>“Change Data Capture” — yəni <strong>CDC </strong>verilənlər bazasında baş verən dəyişiklikləri (<strong>INSERT, UPDATE, DELETE</strong>) avtomatik şəkildə izləyib başqa birsistemə (məsələn, <strong>Kafka</strong>, <strong>Spark Streaming</strong> ilə <strong>Data Lake</strong> və s.) ötürmək üsuludur. Burada məqsəd məlumatın real vaxtda sinxronizasiyasını təmin etməkdir.</p><p>Məsələn:<br> Verilənlər bazasında <em>card_transactions</em> cədvəlində yeni əməliyyat yazılır.<br> Bu dəyişiklik avtomatik olaraq Kafka-da uyğun topikə göndərilir.<br> Ordan da bu məlumatlar Data Lake-ə ötürülür.</p><p>CDC-nin implementasiyası üçün 2 əsas yanaşma mövcuddur:</p><p>Trigger və audit cədvəlləri — Dəyişikliklər trigger-lər vasitəsilə xüsusi audit cədvəllərə yazılır. Bu yanaşma sadədir, amma performans baxımından məhdudiyyətlərə malikdir.</p><p>Log-based CDC — Verilənlər bazasında baş verən dəyişikliklərin <strong>log cədvəllər vasitəsilə izlənilməsidir.</strong> Bu üsul daha performanslı və itkisiz ötürülmə üçün daha uyğundur.</p><p>Logların izlənilməsi üçün bir çox texnologiyalar — <strong>Debezium</strong>, <strong>Maxwell</strong>, <strong>GoldenGate</strong> kimi vasitələr mövcuddur.</p><p>Debezium həm <strong>open source</strong> olduğu, həm də demək olar ki, bütün verilənlər bazaları üçün connector-ları (Oracle, Postgres, MySQL, SQL Server, MongoDB və s.) olduğu üçün hazırda geniş tətbiq olunur. Logların izlənilməsi üsulu verilənlər bazasının növündən asılı olaraq dəyişir.</p><p>Bu məqalədə nümunə kimi <strong>Oracle</strong> və <strong>PostgreSQL</strong> verilənlər bazalarında Debezium-un necə işlədiyinə baxacağıq.</p><p>İlk olaraq Oracle-dan başlayaq. Oracle-da cədvəldə hər dəfə məlumat dəyişəndə — yeni sətir əlavə olunanda (<strong>INSERT</strong>), sətir yeniləndikdə (<strong>UPDATE</strong>), silindikdə (<strong>DELETE</strong>) bu əməliyyatların hamısı <strong>redo log</strong> adlı fayllara yazılır. Bu log fayllar verilənlər bazasının dəyişiklik jurnalı kimidir.</p><p>Bu proses belə işləyir:<br> İstifadəçi bazada bir dəyişiklik edir.<br> Bu dəyişiklik əvvəlcə <strong>Redo Log Buffer</strong> adlı yaddaş sahəsinə yazılır (RAM-da saxlanılır). Daha sonra bu məlumatlar <strong>LGWR (Log Writer)</strong> prosesi vasitəsilə aktiv <strong>redo log</strong> faylına (diska) yazılır.</p><p>Əgər verilənlər bazası <strong>ARCHIVELOG</strong> rejimində işləyirsə, o zaman sistemdə <strong>ən azı </strong>2 redo log faylı olur:<br>1. hazırda aktiv olan dəyişiklər üçün olan<br>2. arxiv üçün istifadə olunan.</p><p>Bu zaman:<br> Aktiv redo log dolanda, Oracle “log switch” əməliyyatı həyata keçirir.<br> Yəni yazma prosesi növbəti redo log faylına keçir. Eyni zamanda, əvvəlki redo log faylı <strong>arxiv log</strong> faylına köçürülür. Bu şəkildə Oracle həm yeni əməliyyatları yazmağa davam edir, həm də köhnə logları arxivləşdirir.</p><p><strong>LogMiner</strong> — Oracle Database-in tərkib hissəsidir və o, bizə verilənlər bazasında baş verən bütün dəyişikliklərin tarixini (yəni redo log fayllarını) oxumağa və təhlil etməyə imkan verir. Sadə dillə desək, <strong>LogMiner</strong> Oracle-un daxilində olan xüsusi bir “araşdırma mexanizmidir” — o, verilənlər bazasında nə zaman və hansı əməliyyatların (INSERT, UPDATE, DELETE və s.) baş verdiyini log fayllarından oxumağa imkan yaradır.</p><p>Verilənlər bazasının ölçüsündən və dəyişikliklərin həcmindən asılı olaraq redo log fayllarının ölçüsü və sayı dəyişə bilər.</p><p>Əgər biz <strong>Debezium</strong> vasitəsilə verilənlər bazasında olan dəyişiklikləri izləyəcəyiksə, ilk öncə bazanın <strong>ARCHIVELOG</strong> rejimində işlədiyindən əmin olmalıyıq. Daha sonra Debezium verilənlər bazasına hansı istifadəçi ilə qoşulacaqsa, həmin istifadəçinin <strong>archive log</strong> və <strong>redo log</strong> fayllarına çıxış icazəsi olmalıdır. Bunlar verilənlər bazası administratorları tərəfindən idarə olunur. Ən yaxşı praktika — Debezium üçün verilənlər bazasında ayrıca istifadəçi (user) yaradılmasıdır.</p><p>Oracle Database üçün nümunə connector file əlavə edirəm.</p><pre>{<br>  &quot;name&quot;: &quot;oracle-cdc-logminer&quot;,<br>  &quot;config&quot;: {<br>    &quot;connector.class&quot;: &quot;io.debezium.connector.oracle.OracleConnector&quot;,<br>    &quot;database.hostname&quot;: &quot;oracle-hostname&quot;,<br>    &quot;database.port&quot;: &quot;1521&quot;,<br>    &quot;database.user&quot;: &quot;debezium&quot;,<br>    &quot;database.password&quot;: &quot;*****&quot;,<br>    &quot;database.dbname&quot;: &quot;BANKDB&quot;,<br>    &quot;database.pdb.name&quot;: &quot;ORCLPDB1&quot;,<br>    &quot;database.connection.adapter&quot;: &quot;logminer&quot;,<br>    &quot;log.mining.strategy&quot;: &quot;online_catalog&quot;,<br>    &quot;schema.include.list&quot;: &quot;TX&quot;,<br>    &quot;table.include.list&quot;: &quot;TX.TRANSACTIONS,TX.CARDS&quot;,<br>    &quot;topic.prefix&quot;: &quot;oraclecdc&quot;,<br>     &quot;snapshot.mode&quot;: &quot;initial&quot;,<br>    &quot;key.converter&quot;: &quot;org.apache.kafka.connect.json.JsonConverter&quot;,<br>    &quot;value.converter&quot;: &quot;org.apache.kafka.connect.json.JsonConverter&quot;,<br>    &quot;key.converter.schemas.enable&quot;: &quot;false&quot;,<br>    &quot;value.converter.schemas.enable&quot;: &quot;false&quot;<br>  }<br>}</pre><p><strong>PostgreSQL</strong>-də proses aşağıdakı kimidir.</p><p><strong>Logical replication</strong> — PostgreSQL-də verilənlər bazasındakı dəyişiklikləri (INSERT, UPDATE, DELETE və s.) müəyyən cədvəllər üzrə digər verilənlər bazasına ötürmək üsuludur. PostgreSQL hər bir əməliyyatı/dəyişikliyi əvvəlcə <strong>WAL (Write Ahead Log)</strong> adlı log faylında saxlayır. PostgreSQL-in “logical decoding” funksiyası verilənlər bazasında baş verən dəyişiklikləri (INSERT, UPDATE, DELETE və s.) WAL-dan çıxarıb oxumağa imkan verir.</p><p><strong>Logical decoding</strong> bu WAL faylındakı məlumatları oxuyur və tərcümə edir, yəni onları binar formadan çıxarıb insan və ya tətbiqlər üçün oxunaqlı struktura (JSON formatına) çevirir. Bu çevrilmə <strong>output plug-in</strong> adlanan bir modul vasitəsilə edilir. Bu output plug-in vasitəsilə <strong>Debezium</strong> həmin dəyişiklikləri oxuya və emal edə bilir.</p><p>Qeyd edim ki, Debezium PostgreSQL verilənlər bazasına hansı istifadəçi ilə qoşulacaqsa, həmin istifadəçinin <strong>replication</strong> yaratmaq hüququ olmalıdır.</p><p>Bir nümunə Debezium connector file-ı əlavə edirəm.</p><pre>{<br>  &quot;name&quot;: &quot;card-transactions-connector&quot;,<br>  &quot;config&quot;: {<br>    &quot;connector.class&quot;: &quot;io.debezium.connector.postgresql.PostgresConnector&quot;,<br>    &quot;plugin.name&quot;: &quot;pgoutput&quot;,<br>    &quot;tasks.max&quot;: &quot;1&quot;,<br><br>    &quot;database.hostname&quot;: &quot;127.0.0.1&quot;,<br>    &quot;database.port&quot;: &quot;5432&quot;,<br>    &quot;database.user&quot;: &quot;debezium&quot;,<br>    &quot;database.password&quot;: &quot;*****&quot;,<br>    &quot;database.dbname&quot;: &quot;exampledb&quot;,<br><br>    &quot;database.server.name&quot;: &quot;bankdb&quot;,<br>    &quot;schema.include.list&quot;: &quot;public&quot;,<br>    &quot;table.include.list&quot;: &quot;public.card_transaction&quot;,<br><br>    &quot;slot.name&quot;: &quot;debezium_slot&quot;,<br>    &quot;publication.name&quot;: &quot;debezium_pub&quot;,<br><br>    &quot;tombstones.on.delete&quot;: &quot;false&quot;,<br>    &quot;include.schema.changes&quot;: &quot;false&quot;,<br>    &quot;decimal.handling.mode&quot;: &quot;string&quot;,<br>    &quot;time.precision.mode&quot;: &quot;adaptive_time_microseconds&quot;,<br>    &quot;snapshot.mode&quot;: &quot;initial&quot;<br>  }<br>}</pre><p>Debezium Postgres connector-u başladığında <em>(connector.class=io.debezium.connector.postgresql.PostgresConnector)</em> konfiqurasiyada bu kimi sətirləri görürük:</p><pre>&quot;slot.name&quot;: &quot;debezium_slot&quot;,<br>&quot;plugin.name&quot;: &quot;pgoutput&quot;,<br>&quot;publication.name&quot;: &quot;dbz_publication&quot;</pre><p>Slot Debezium da “memory checkpoint” kimidir. Əgər bu adda slot hələ mövcud deyilsə, Debezium ilk qoşulanda avtomatik olaraq yaradır. Slot PostgreSQL tərəfdə saxlanılır, amma Debezium tərəfində onun vəziyyəti <strong>Kafka offset</strong> ilə sinxron gedir.</p><p>Yəni:<br> Kafka consumer harada dayandığını bilir,<br> PostgreSQL də slot vasitəsilə hansı məlumatların ötürüldüyünü bilir.</p><p>Bu, dəqiq, ardıcıl və itkisiz dəyişiklik ötürülməsini təmin edir.</p><p>Debezium həmin slot-u daimi saxlayır. Yəni connector hər dəfə restart olsa belə, eyni slotdan oxumağa, dəyişiklikləri qaldığı yerdən izləməyə davam edir.</p><p>Debezium dəyişiklikləri oxuduqdan sonra connector faylında qeyd etdiyimiz topic-ə göndərir. Kafka tərəfdə isə həmin topic Kafka consumer vasitəsilə dinlənib məlumat əldə edilə bilər. Və ya <strong>Spark Streaming read</strong> vasitəsilə həmin məlumat oxunub <strong>Data Lakehouse</strong>-a və ya istənilən hədəf bazaya yazıla bilər.</p><p>Debezium connectorların verdiyi imkanları haqqında daha geniş məlumatı Debezium dokumentasiyadan ozumaq olar.</p><p><a href="https://debezium.io/documentation/reference/stable/index.html"><em>Debezium Documentation :: Debezium Documentation</em></a></p><p>Növbəti məqalədə lokal mühitdə test edə bilmək üçün endtoend scriptlər əlavə edəcəm.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=640f0a3bbc0f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Sintetik data nədir? Necə yaratmaq olar?]]></title>
            <link>https://medium.com/@ilahe.85/sintetik-data-n%C9%99dir-nec%C9%99-yaratmaq-olar-91c84a3e402f?source=rss-3cf784d9b9a5------2</link>
            <guid isPermaLink="false">https://medium.com/p/91c84a3e402f</guid>
            <dc:creator><![CDATA[Ilahe Nuriyeva]]></dc:creator>
            <pubDate>Thu, 11 Sep 2025 20:28:40 GMT</pubDate>
            <atom:updated>2025-09-11T20:28:40.994Z</atom:updated>
            <content:encoded><![CDATA[<p>Bəzən, iş prosesində, xüsusilə də local mühitdə research apararkən bizə böyük həcmdə real olmayan data lazım olur. Bunun üçün, sintetik datanın generasiyasına ehtiyac duyuruq. Sintetik data real datanın təqlidi olub, müəyyən alqoritmlər və ya LLM modelləri vasitəsilə yaradılır. Bu data real mühitdəki məlumatların əsas xüsusiyyətlərini və strukturunu özündə əks etdirir, lakin həqiqi müştəri, əməliyyat və ya sifariş haqqında məlumat daşımır.</p><p>Süni intellektin inkişaf etdiyi müasir dövrdə bəzi hallarda məqsədyönlü şəkildə real datanın istifadəsi məhdudlaşdırılır və modellərin train olunması və s. kimi proseslərdə sintetik data istifadə olunur.</p><p>Ümumilikdə, sintetik datanın istifadəsinə bir neçə səbəbdən ehtiyac yarana bilər.</p><p><strong>Təhlükəsizlik: </strong>Bank və ya hər hansı digər bir sahənin datalarının məxviliyini qorumaq üçün test mühitlərdə modellərin öyrədilməsi zamanı onların sintetik versiyalarından istifadə olunur.<br><strong> Araşdırma və inkişaf: </strong>Böyük həcmdə real datanın olmadığı mühitlərdə süni data faydalı olur.</p><p><strong>Necə yaratmaq olar?</strong></p><p>Sintetik datanı yaratmaq üçün bir çox üsullar mövcuddur. Bunlardan ən geniş yayılanı LLM-lərlə (ChatGPT, GPT-4o və s.) yaratmaqdır. LLM-lər mətn, JSON, SQL cədvəlləri yaratmaqda çox effektivdir. Məsələn, müştəri məlumatları, şikayətləri, email datasetləri, kart əməliyyatları və s. kimi məıumatları generasiya etmək olar. LLM-lərin üstünlüyü ondan ibarətdir ki, kontekst olaraq daha zəngin, struktur baxımından isə real dataya daha yaxın olurlar. Eyni zamanda istifadəsi çox rahatdır.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dw81NVvsU2dAmT-Z84L-ug.png" /></figure><p>Digər bir variant isə sadə generatorlarla (məsələn, Faker, Mockaroo) yaratmaqdır. Faker sintetik data yaratmaq üçün olan Python kitabxanasıdır. Kitabxananın .name(), .address(), .credit_card_number() və s. funksiyaları vasitəsilə müxtəlif sintetik məlumatlar generasiya etmək mümkündür.</p><p>Gəlin həm OpenAI, həm də Faker vasitəsilə sintetik data generasiyası üçün bir neçə nümunə quraq.</p><p><strong>Hazır scriptləri </strong><a href="https://github.com/nilahe/synthetic_data_examples.git"><strong><em>https://github.com/nilahe/synthetic_data_examples.git</em></strong></a><strong> linkindən yükləyə bilərsiz (</strong>scriptlərdə import olunan kitabxanaların kompüterə yükləndiyinə əmin olaq<strong>).</strong></p><p>İlk öncə OpenAI vasitəsi ilə sintetik datanın yaradıldığı nümunəyə baxaq. syntheticdata_cust__via_openai.py faylında gördüyümüz script OpenAI API-dən istifadə edərək müştərilərə aid sintetik data generasiya edir və nəticəni JSON formatındanDataFrame-ə çevirir.</p><p>Bu üsulun üstünlüyü ondan ibarətdir ki, script çox sadədir, heç bir əlavə alqoritm qurmağa ehtiyac qalmır, sadəcə düzgün prompt formalaşdırmaq lazımdır.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1Qi__iK8cEaHdKwFTCqe3g.jpeg" /></figure><p>Ardınca python script vasitəsilə PostgreSQL bazasında customers_syn adlı cədvəl yaradılır və həmin dataset ora insert olunur. Verilənlər bazasına daxil olub cədvəli select edəndə sintetik datanın yarandığını görürük</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-TsXXkscsRaOGuoL3cNTUg.jpeg" /></figure><p>Lakin, OpenAI ilə böyük həcmdə datasetləri yaratmaq çox baha başa gəlir.</p><p>Gəlin Faker vasitəsi ilə müştəri siyahısı, onlara aid olan kartlar və həmin kartlardan keçən əməliyyatları göstərən sintetik data generasiya edən nümunələrə baxaq .</p><p>İlk öncə müştəri haqqında məlumatları yaradaq (<em>syntheticdata_cust_via_fakes.py</em>). Bunun üçün bizə lazım olan kitabxanaları, eləcə də Faker kitabxanasını scriptə import edirik (kitabxananın kompüterimizə yükləndiyinə əmin olaq). Daha sonra sadə loop daxilində istədiyimiz sayda faker kitabxanasının uyğun funksiyalarını çağırmaqla (bizim halda 300 000) müştəri haqqında sintetik məlumatları generasiya edib datafarmedə saxlayırıq. Növbəti addımda isə verilənlər bazasında customers cədvəli yaradıb, məlumatları 10 000-lik batch-lər halında sürətli şəkildə ora insert edirik. Əgər customer_id artıq cədvəldə mövcuddursa, ON CONFLICT şərti ilə təkrar yazılmır.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EqGscInh2hkA7wNuvVeyxQ.jpeg" /></figure><p>Kartlar haqqında məlumat yaradarkən, önəm verdiyimiz məqamlardan biri kartların bağlı olduğu müştəri nömrələrinin mövcud customers cədvəlindən seçilməsidir.</p><p>Kiçik hesablamalar əlavə etməklə uydurma kart əməliyyatları məlumatları da generasiya etmək mümkündür (syntheticdata_transactions_table_via_faker.py). Bu scriptdə real datasetlərin paylanmasına yaxın nəticə əldə etmək üçün müəyyən parametrlər (məsələn, əməliyyat tipinin <em>purchase</em> və ya <em>refund</em> olması və s.) paylanmaya uyğun şəkildə generasiya olunur. Daha ətraflı araşdırmaq istəyənlər GitHub linki vasitəsilə tam scriptə baxa bilərlər.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=91c84a3e402f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Data Platformaları]]></title>
            <link>https://medium.com/@ilahe.85/data-platformalar%C4%B1-d51182f803d7?source=rss-3cf784d9b9a5------2</link>
            <guid isPermaLink="false">https://medium.com/p/d51182f803d7</guid>
            <dc:creator><![CDATA[Ilahe Nuriyeva]]></dc:creator>
            <pubDate>Wed, 03 Sep 2025 17:54:47 GMT</pubDate>
            <atom:updated>2025-09-03T17:54:47.898Z</atom:updated>
            <content:encoded><![CDATA[<p><strong>Data </strong>— ən sadə formada <strong>faktların və rəqəmlərin toplusudur</strong>. O, müxtəlif formalarda qarşımıza çıxa bilər: rəqəmlər, sözlər, şəkillər, səslər və videolar. Əslində, data həyatımızın hər anında bizimlədir — ölçülə bilər, toplanıla bilər, sorğulana və təhlil edilə bilər.</p><p><strong>Datanın həyatımıza təsiri. </strong>Bugünkü dünyada data artıq sadəcə informasiya deyil, inkişafın və dəyişimin əsas gücüdür. Onun təsiri həyatımızın hər sahəsində özünü göstərir.</p><ul><li><strong>Gündəlik həyatımızda — </strong>Sosial media platformalarında paylaşdığımız hər foto, yazdığımız hər şərh istifadəçi məlumatı kimi saxlanılır. Online alış-veriş etdikdə, bizim davranışlarımız məlumat bazalarında toplanır, öyrənilir və gələcəkdə bizə uyğun təkliflər təqdim olunur.</li><li><strong>Biznes dünyasında — </strong>Şirkətlər data əsasında qərarlar qəbul edir, strategiyalarını müəyyənləşdirir və rəqabət üstünlüyü qazanır. Digər tərəfdən performansın artırılması, risklərin azaldılması və gələcək planların qurulması məhz datanın gücü ilə mümkün olur.</li></ul><p><strong>Data Engine — </strong>böyük həcmdə məlumatın toplanması, saxlanması, idarə olunması, təhlil edilməsi və vizuallaşdırılması üçün mərkəzləşdirilmiş sistemlərin məcmusudur. O, datanı dəyərə çevirir və həm biznesə, həm də fərdlərə doğru qərar qəbul etməkdə yol göstərir.</p><p>Bu prosessdə hər şey məlumatların source sistemlərdən toplanması ilə<strong> </strong>başlayır. Data platformasına məlumatlar müxtəlif mənbələrdən gələ bilər. Bunlar müxtəlif verilənlər bazaları<strong> (</strong>SQL, NoSQL kimi strukturlaşdırılmış və yarı-strukturlaşdırılmış məlumatlar),<strong> </strong>loqlar<strong> (</strong>Text, CSV və digər fayl formatları), web səhifələr və API-lar ola bilər.</p><p>Məlumatların platformaya daşınması isə iki əsas yanaşma ilə həyata keçirilir:</p><p><strong>Batch Processing — </strong>Böyük həcmdə məlumatlar müəyyən zaman aralığı ilə periodik qaydada (məsələn, gündəlik və ya saatlıq) toplanır və emal edilir. Bu üsul keçmiş tarixə olan məlumatların analizi üçün istifadə olunur.</p><p><strong>Real-Time Streaming — </strong>Məlumatlar data platformaya anında, davamlı şəkildə daxil olur və dərhal emal edilir. Məsələn, kartdan keçən əməliyyatların dərhal data platformada əks olunması. Bu yanaşma<strong> </strong>monitorinq, fraud hallarının aşkarlanması və real-time analitikası üçün<strong> </strong>vacibdir.</p><p>Data etibarlı və istifadəyə hazır formada saxlanmalıdır. Datanın formasından (strukturlaşdırılmış, yarıstrukturlaşdırılmış, strukturlaşdırılmamış), axın formasından (batch yoxsa realtime olması) asılı olaraq onun saxlanması üçün platforma seçilir. Bunun üçün geniş istifadə olunan platformaları nəzərdən keçirək:</p><p><strong>Data Warehouses </strong>strukturlaşdırılmış məlumatların saxlanması üçün nəzərdə tutulmuşdur. Məlumatlar mənbələrdən DataWarehouse-a <strong>batch rejimində ETL </strong>toolları vasitəsi<strong> </strong>ötürülür.</p><p>ETL prosesi 3 əsas addımdan ibarətdir:</p><p><strong>Extract </strong>— məlumatların müxtəlif mənbələrdən götürülməsi.</p><p><strong>Transform </strong>— məlumatların təmizlənməsi, uyğun formata salınması və data modelə uyğunlaşdırılması.</p><p><strong>Load </strong>— transformasiya olunmuş məlumatların DataWarehouse-a yüklənməsi.</p><p>İlk mərhələdə məlumatlar olduğu kimi <strong>ODS</strong>-ə (Operational Data Store) yüklənir. Source sistemlərdə məlumatların saxlanma strukturu adətən elə qurulur ki, <strong>tranzaksiyaların icra olunması </strong>daha optimal olsun. Data Warehouse-da isə məlumatların quruluşu analitik hesabatların hazırlanması və yüksək performanslı analizlərin aparılması üçün optimallaşdırılır.</p><p>Məhz bu səbəbdən ODS-dən gələn məlumatların DWH sxeminə yazıla bilməsi üçün onlar əvvəlcə <strong>Stage </strong>sxemində transformasiya edilir. Bu mərhələdə məlumatlar təmizlənir, uyğun formata salınır.</p><p>Stage mərhələsindən sonra məlumatlar artıq DWH sxemində yerləşən cədvəllərə yazılır. Burada məlumatlar əvvəlcədən müəyyən edilmiş <strong>data modelə</strong> (məsələn, star<strong> </strong>model<strong> </strong>və ya snowflake model) uyğun saxlanılır.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Q1iiHLFAj6244MP_mpfBPg.png" /></figure><p><strong>Data Lake:</strong> Həm strukturlaşdırılmış, həm də strukturlaşdırılmamış böyük həcmli məlumatların saxlanması üçün nəzərdə tutulur. Burada, datanın ötürülməsini həm batch, həm də real time axın formasında reallaşdırmaq mümkündür.</p><p><strong>Strukturlaşdırılmış</strong> data, müəyyən bir formata, struktura uyğun gələn məlumatdır. Bu məlumatlar adətən cədvəl şəklində təqdim olunur. Məsələn, relational VB, Excel file, cədvəllər.</p><p><strong>Yarıstrukturlaşdırılmış </strong>məlumatlara json, xml tipli fayllar misal ola bilər.</p><p><strong>Strukturlaşdırılmamış</strong> məlumat, müəyyən bir format və ya strukturla təşkil edilməmiş, daha sərbəst formada olan məlumatdır. Məsələn, mətn faylları, səs faylları, şəkillər, videolar və s.</p><p><strong>Data Lake</strong> böyük həcmli məlumatları fayl şəklində (parquet, avro, XML, JSON və s.) saxlamaq üçün bir növ <strong>repository </strong>rolunu oynayır. Data Lake müxtəlif mənbələrdən gələn hər cür məlumatı qəbul edə bildiyi üçün keyfiyyətə nəzarət, məlumatların korlanması və düzgün <strong>partition</strong> olunmaması ilə bağlı problemlər yarana bilər. Zəif idarə olunan Data Lake-də həmçinin zəif performans və təhlükəsizlik riskləri ortaya çıxır.</p><p><strong>Data Lakehouse</strong> isə bu problemləri həll etmək üçün storage layer üzərində əlavə <strong>metadata layer</strong> qurur. Bu təbəqə məlumatın etibarlılığı üçün <strong>ACID (Atomicity, Consistency, Isolation, Durability)</strong> tranzaksiyalarını dəstəkləyən, streaming inteqrasiyalarına imkan verən funksionallıqları təmin edir. Bundan əlavə<strong>, </strong>Data Lakehouse schema evolution<strong>, </strong>time travel kimi funksionallıqları da dəstəkləyir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-kdv2rVYkLto18-c4Ylt9Q.png" /></figure><p>Başqa sözlə desək, <strong>Data Lakehouse</strong> həm Data Lake-in, həm də Data Warehouse-un üstünlüklərini özündə birləşdirən hibrid arxitekturadır<strong>.</strong></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d51182f803d7" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Apache Spark: Join Növləri.]]></title>
            <link>https://medium.com/@ilahe.85/apache-spark-paylanm%C4%B1%C5%9F-hesablama-engini-distributed-compute-engine-olmaqla-b%C3%B6y%C3%BCk-h%C9%99cmli-1dac5513003a?source=rss-3cf784d9b9a5------2</link>
            <guid isPermaLink="false">https://medium.com/p/1dac5513003a</guid>
            <dc:creator><![CDATA[Ilahe Nuriyeva]]></dc:creator>
            <pubDate>Mon, 28 Jul 2025 20:36:46 GMT</pubDate>
            <atom:updated>2025-07-28T20:50:06.314Z</atom:updated>
            <content:encoded><![CDATA[<p>Apache Spark: Join Növləri.</p><p>Apache Spark paylanmış hesablama engini (distributed compute engine) olmaqla, böyük həcmli məlumatların emalı üçün geniş istifadə olunur. Bu proseslərin ən vacib hissələrindən biri də join əməliyyatlarıdır. Bu məqalədə Spark-da istifadə olunan əsas join strategiyalarını izah edəcəyik.</p><p>İlk öncə bir neçə əsas anlayışın izahını verək.</p><p><strong>Shuffle nədir və niyə baş verir?</strong></p><p>Shuffle prosesini daha yaxşı anlamaq üçün əvvəlcə Apache Spark-ın ümumi işləmə prosesinə baxaq.<br> İlk olaraq, bizim yazdığımız kod (Python, Scala, SQL və s.) Spark-ın <strong>driver proqramı </strong>tərəfindən oxunub təhlil olunur və<strong> logical plan</strong> qurulur. Logical planda Spark nə iş görəcəyini müəyyən edir, amma hansı executorlarda necə icra olunacağı hələ ki müəyyənləşmir. Daha sonra logical plan <strong>physical plana</strong> çevrilir. Burada artıq hansı join seçiləcəyi və hansı executorlarda icra olunacağı müəyyən olunur. Spark görüləcək işi<strong> Directed Acyclic Graph</strong> <strong>(DAG)</strong> şəklində modelləşdirir. DAG əsasında Spark-da bir iş bir neçə stage-ə (mərhələyə) bölünür. Bir stage, Spark-ın eyni anda (paralel) icra edə biləcəyi əməliyyatlar qrupudur. Hər stage bir və ya bir neçə task-dan ibarətdir. Həmin task-lar executor-lara (işçi node) göndərilir və paralel şəkildə icra olunur. Bu proses rekursiv şəkildə baş verir və bir stage-in nəticəsi digər stage-lərə ötürülür. Bu cür stage-lər arasında məlumat ötürülməsi zamanı shuffle baş verir. Başqa sözlə desək, shuffle bir partition-dakı məlumatların bir neçə executor arasında bölüşdürülməsi, bir stage-in çıxışının digər stage-in girişinə çevrilməsi zamanı baş verən məlumat mübadiləsidir.</p><p><strong>Hash Partitioning nədir?</strong><br> Tutaq ki, Products və Orders cədvəllərini product_id sütununa görə join etmək istəyirik. Hash partitioning zamanı Spark product_id sütununu hasha çevirir, sonra hər iki cədvəli bu hash dəyəri üzrə partitionlara bölür, yəni, eyni hash dəyərinə malik olan sətrlər eyni partitiona düşür.</p><h3>Broadcast Hash Join</h3><p>Əgər join olunan cədvəllərdən biri kiçik həcmli cədvəl (və ya DataFrame), digəri isə böyük cədvəl olarsa, kiçik cədvəl bütün işçi node-lara paylanır (“broadcast olunur”). Bu, böyük cədvəldə iterasiya edərkən kiçik cədvəli RAM-da saxlamağa imkan verir. Adətən kiçik cədvəlin ölçüsü 10 MB-dan kiçik olarsa broadcast hash join istifadə olunur. Bu həcm threshold-nu <em>spark.sql.autoBroadcastJoinThreshold</em> vasitəsilə dəyişmək olar. Lakin, burada diqqət etmək lazımdır ki, kiçik cədvəl işçi node-da RAM-a tam yerləşsin, əks halda OOM (Out Of Memory) səhvi baş verə bilər.</p><p>Qeyd edək ki, Broadcast Hash Join join olunan cədvəllərdən biri kiçik olduqda ən optimal seçimdir və bu halda shuffle baş vermədiyi üçün performans yüksək olur.</p><h3>Shuffle Hash Join</h3><p>Bu strategiyada join olunan hər iki dataset shuffle olunur. Yəni, hər iki dataset-ə baxılır və eyni açara (key) malik olan sətrlər eyni partition daxilində bir araya gətirilir. Məsələn, yuxarıda Products və Orders cədvəlləri misalında, hər iki cədvəldə product_id=10 olan sətrlər eyni executora göndərilir ki, birlikdə emal oluna bilsinlər. Burada, iki dataset-dən ölçücə kiçik olan seçilir, məlumatlar key sütununu əsas götürərək hash table (key-value strukturu) formasında yaddaşa yerləşdirilir.<br> Məsələn, tutaq ki, Products dataseti Orders datasetindən kiçikdir:</p><pre>Product_id    Product_name<br>   1          Lenovo ThinkPad X1<br>   2          HP LaserJet Pro M404<br>   3          Logitech MX Master 3<br><br></pre><p>Bu dataset aşağıdakı kimi hash_table-a çevrilir:</p><pre>hash_table = {<br>1: &quot;Lenovo ThinkPad X1&quot;,<br>2: &quot;HP LaserJet Pro M404&quot;,<br>3: &quot;Logitech MX Master 3&quot;<br>}</pre><p>Böyük datasetdəki hər bir sətir bu hash table ilə müqayisə olunur. (lookup kimi). Hash table-də bu axtarış çox sürətli baş verir.<br> Qeyd edək ki, hər partition daxilində hash join icra olunur.</p><h3>Sort Merge Join</h3><p>Bu strategiya join olunan datasetlər join-də iştirak edən sütunun dəyərlərinə görə sort edilərək merge olunması prinsipinə əsaslanır. Əgər datasetlərdə məlumatlar artıq sort olunmuş halda saxlanılırsa, böyük cədvəllər üçün sort merge join ən uyğun və performance baxımından ən effektiv yanaşmalardan biridir.</p><h3>Shuffle-and-Replicate Nested Loop Join</h3><p>Bu join üsulu Oracle-dan tanıdığımız Cartesian join-ə bənzəyir. Burada hər iki dataset-in bütün partition-ları cluster-dəki müxtəlif executor node-lar arasında replikasiya olunur. Nəticədə, hər executor node-da həm birinci, həm də ikinci dataset-in bütün sətrləri mövcud olur. Sonra həmin executor node üzərində Nested Loop join əməliyyatı icra olunur: yəni, birinci dataset-in hər bir sətri ikinci dataset-in hər bir sətri ilə join olunur. Bu proses bütün executor node-lar üzrə paralel olaraq həyata keçirilir.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1dac5513003a" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>