<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Furkan Durmuş on Medium]]></title>
        <description><![CDATA[Stories by Furkan Durmuş on Medium]]></description>
        <link>https://medium.com/@Furkandurmus?source=rss-606901b922c------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*rJWvYHrGBTCP8WP9ugUuIg.jpeg</url>
            <title>Stories by Furkan Durmuş on Medium</title>
            <link>https://medium.com/@Furkandurmus?source=rss-606901b922c------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 13:49:51 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@Furkandurmus/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[No GPU? No Problem: A Free LLM Server with Colab, Ollama and Cloudflare Tunnel]]></title>
            <link>https://medium.com/@Furkandurmus/no-gpu-no-problem-a-free-llm-server-with-colab-ollama-and-cloudflare-tunnel-525a9e846c11?source=rss-606901b922c------2</link>
            <guid isPermaLink="false">https://medium.com/p/525a9e846c11</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[google-colab]]></category>
            <dc:creator><![CDATA[Furkan Durmuş]]></dc:creator>
            <pubDate>Tue, 03 Nov 2026 11:02:06 GMT</pubDate>
            <atom:updated>2026-11-05T15:57:07.770Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GaNljzhunl9obXAi6ytWJQ.png" /></figure><h3>How I turned Google Colab’s free T4 GPU into a model server I can reach from the internet, and the mistakes I made along the way</h3><p>When you start building an LLM agent, the first wall is almost always the same: hardware. To run an 8-billion-parameter model at a reasonable speed, you need a powerful graphics card, and not everyone has one at home. I didn’t.</p><p>The solution was in front of me all along: <strong>Google Colab gives you a free T4 GPU.</strong> The only problem is that Colab is a notebook environment, not an API server that can receive requests from outside. This is where Ollama and Cloudflare Tunnel come in.</p><p>In this post, we will run the Qwen3:8b model with <a href="https://ollama.com/">Ollama</a> on Colab’s free GPU, then use <a href="https://developers.cloudflare.com/cloudflare-one/connections/connect-networks/do-more-with-tunnels/trycloudflare/">Cloudflare Tunnel</a> to open the server to your own computer. I used this method in my penetration-testing agent project, Q-Breach. So I won’t show you a perfect, smooth setup. I’ll show you the real errors I hit and how I fixed them.</p><h3>The big picture</h3><p>The flow has only three parts: <strong>Colab → cloudflared tunnel → your local machine.</strong> Ollama runs inside Colab’s private network. cloudflared exposes it through a temporary public URL. You then connect to that address with a normal HTTP request, or with LangChain’s ChatOllama class.</p><h3>Step 1: Turn on the GPU in Colab</h3><p>Open a new notebook at <a href="https://colab.research.google.com/">colab.research.google.com</a>. Without a GPU, Ollama runs on the CPU, and an 8B model takes minutes instead of seconds to answer. So the first job is to enable the GPU:</p><ol><li>Go to <strong>Runtime → Change runtime type</strong>.</li><li>Choose <strong>T4 GPU</strong> as the hardware accelerator and save.</li></ol><p>To check that the GPU is really connected, run this in the first cell:</p><pre>!nvidia-smi</pre><p>You should see a <strong>Tesla T4</strong> line in the output. If you don’t, the runtime type was not set.</p><h3>Step 2: Install Ollama (and meet the first error)</h3><p>Ollama is an open-source server for running LLMs locally. The official install is one line:</p><pre>!curl -fsSL https://ollama.com/install.sh | sh</pre><p>When I ran it, I got my first error. Colab’s standard image does not include the zstd package, but Ollama&#39;s install script needs it:</p><pre>ERROR: This version requires zstd for extraction. Please install zstd and try again</pre><p><strong>The fix:</strong> install zstd with apt before you install Ollama.</p><pre>!apt-get -qq update &amp;&amp; apt-get -qq install -y zstd<br>!curl -fsSL https://ollama.com/install.sh | sh</pre><p>Colab keeps its image minimal, so you have to add any system packages yourself. Keep this in mind, because it will come up again in your next project.</p><h3>Step 3: Start Ollama with the right settings</h3><p>After the installation, we will start Ollama in the background. There are two subtle points here.</p><p><strong>First, </strong><strong>OLLAMA_HOST.</strong> By default, Ollama only listens on 127.0.0.1. Requests that come through the tunnel arrive from a different interface inside Colab, so we need Ollama to listen on 0.0.0.0:11434.</p><p><strong>Second, the 403 Forbidden error.</strong> After I opened the tunnel and sent my first request from outside, I got this:</p><pre>403 Forbidden</pre><p>The reason is that Ollama checks the Host header of incoming requests. This is a protection against DNS rebinding attacks. Requests coming through the Cloudflare tunnel carry Host: xxxx.trycloudflare.com, so they are rejected. In my case, setting OLLAMA_ORIGINS=* solved the problem:</p><pre>import os, subprocess, time<br># Stop any process left from a previous run<br>subprocess.run([&quot;pkill&quot;, &quot;-f&quot;, &quot;ollama serve&quot;])<br>time.sleep(2)<br>env = os.environ.copy()<br>env[&quot;OLLAMA_HOST&quot;] = &quot;0.0.0.0:11434&quot;<br>env[&quot;OLLAMA_ORIGINS&quot;] = &quot;*&quot;<br>ollama_proc = subprocess.Popen(<br>    [&quot;ollama&quot;, &quot;serve&quot;],<br>    stdout=subprocess.PIPE,<br>    stderr=subprocess.STDOUT,<br>    env=env,<br>)<br>time.sleep(5)<br>print(&quot;ollama serve started, pid:&quot;, ollama_proc.pid)</pre><p>Note: OLLAMA_ORIGINS=* is not recommended for production, because it opens the door to everyone. It is acceptable for a temporary demo or development tunnel.</p><h3>Step 4: Pull the model</h3><p>While the server is running, downloading the model takes one line:</p><pre>!ollama pull qwen3:8b</pre><p>In its quantized form (Q4_K_M), qwen3:8b is about 5.2 GB, so it fits easily in the T4&#39;s 15 GB of VRAM. The download can take a few minutes. When it finishes, test quickly from inside Colab that the model really answers:</p><pre>!curl -s http://localhost:11434/api/generate -d &#39;{&quot;model&quot;: &quot;qwen3:8b&quot;, &quot;prompt&quot;: &quot;hello, are you working?&quot;, &quot;stream&quot;: false}&#39;</pre><h3>Step 5: Expose it with Cloudflare Tunnel</h3><p>Right now, Ollama only works inside Colab’s private network. To reach it from your own computer, we need a tunnel. Cloudflare Tunnel’s free “quick tunnel” feature gives you a temporary public URL without even needing an account:</p><pre>import subprocess, time, re<br># Stop any old tunnel (otherwise you get a &quot;Text file busy&quot;<br># error while downloading)<br>subprocess.run([&quot;pkill&quot;, &quot;-f&quot;, &quot;cloudflared&quot;])<br>time.sleep(2)<br>!wget -q https://github.com/cloudflare/cloudflared/releases/latest/download/cloudflared-linux-amd64 -O cloudflared<br>!chmod +x cloudflared<br>tunnel_proc = subprocess.Popen(<br>    [&quot;./cloudflared&quot;, &quot;tunnel&quot;, &quot;--url&quot;, &quot;http://localhost:11434&quot;],<br>    stdout=subprocess.PIPE,<br>    stderr=subprocess.STDOUT,<br>    text=True,<br>)<br>public_url = None<br>for _ in range(60):<br>    line = tunnel_proc.stdout.readline()<br>    if not line:<br>        continue<br>    print(line.strip())<br>    match = re.search(r&quot;https://[a-zA-Z0-9.-]+\.trycloudflare\.com&quot;, line)<br>    if match:<br>        public_url = match.group(0)<br>        break<br>print(&quot;\n=== PUBLIC URL ===&quot;)<br>print(public_url)</pre><p>When you run it, you will see a line like this in the logs:</p><pre>Your quick Tunnel has been created! Visit it at:<br>https://barn-watching-established-outlined.trycloudflare.com</pre><p>This address is now the door to your Ollama server in Colab. You can send requests to it from a browser or from any HTTP client.</p><h3>Step 6: The ghost process and the 524 error</h3><p>This was the sneakiest error of the whole setup, and you will probably meet it too. After I re-ran the cells a few times, even a simple “1+1” question started to <strong>time out after 2 minutes</strong>:</p><pre>Error 524: A timeout occurred<br>The origin web server did not return a complete response within the<br>120-second Proxy Read Timeout window.</pre><p><strong>The diagnosis.</strong> When I ran nvidia-smi, I saw a llama-server process holding 5.4 GB of GPU memory. But ollama ps listed no models at all:</p><pre>!nvidia-smi<br>!ollama ps</pre><pre>| 0 Tesla T4 ...  5455MiB / 15360MiB ...<br>| ... llama-server  5452MiB |<br>NAME   ID   SIZE   PROCESSOR   CONTEXT   RUNNER   UNTIL<br>(empty)</pre><p><strong>The cause.</strong> ollama serve starts a llama-server child process inside itself. When I re-ran the cells, I used pkill -f &quot;ollama serve&quot; to clean up the old process. But this command only killed the parent. The child process did not match the pattern, so it stayed alive as an <strong>orphan</strong> and kept holding the GPU memory. The new ollama serve could not handle requests properly because of this conflict, so the requests hung forever and then hit cloudflared&#39;s limit of about 120 seconds, which gave the 524 error.</p><p><strong>The fix.</strong> Kill both processes separately:</p><pre>subprocess.run([&quot;pkill&quot;, &quot;-f&quot;, &quot;ollama serve&quot;])<br>subprocess.run([&quot;pkill&quot;, &quot;-f&quot;, &quot;llama-server&quot;])<br>time.sleep(3)</pre><p>The cleanest way is to restart the Colab session completely (Runtime → Restart session). That clears all orphan processes automatically.</p><h3>Step 7: Connect from your own computer</h3><p>Once you have the tunnel URL, you can send requests to the model running on Colab’s GPU from your own machine, without even opening Colab:</p><pre>curl -X POST &quot;https://xxxx-xxxx.trycloudflare.com/api/chat&quot; -d &#39;{<br>  &quot;model&quot;: &quot;qwen3:8b&quot;,<br>  &quot;messages&quot;: [{&quot;role&quot;: &quot;user&quot;, &quot;content&quot;: &quot;hello&quot;}],<br>  &quot;stream&quot;: false<br>}&#39;</pre><p>From Python, with requests:</p><pre>import os<br>import requests<br>from dotenv import load_dotenv<br>load_dotenv()<br>MODEL_SERVER_URL = os.environ[&quot;MODEL_SERVER_URL&quot;]  # the tunnel URL from .env<br>MODEL_NAME = os.environ.get(&quot;MODEL_NAME&quot;, &quot;qwen3:8b&quot;)<br>response = requests.post(<br>    f&quot;{MODEL_SERVER_URL}/api/generate&quot;,<br>    json={&quot;model&quot;: MODEL_NAME, &quot;prompt&quot;: &quot;hello, are you working?&quot;, &quot;stream&quot;: False},<br>    timeout=60,<br>)<br>print(response.json()[&quot;response&quot;])</pre><p>If you are building an agent (which is exactly what I did in Q-Breach), you can connect with LangChain too:</p><pre>from langchain_ollama import ChatOllama<br>llm = ChatOllama(<br>    base_url=MODEL_SERVER_URL,  # the tunnel URL<br>    model=&quot;qwen3:8b&quot;,<br>    temperature=0,<br>)</pre><p>Thanks to base_url, LangChain does not know whether the model runs on Colab or on your own machine. It is completely transparent to you.</p><h3>The limits of this setup</h3><p>It is free and fast, but it is a convenience for demos and development, not for production. Here is what you should know:</p><ul><li><strong>The tunnel URL is temporary.</strong> A quick tunnel gives you a new random address every time you start it. For a permanent address, you can set up a “named tunnel” with a free Cloudflare account.</li><li><strong>A hard limit of about 120 seconds per request.</strong> If one response takes longer, you get a 524 error. With long generations, especially when “thinking” mode is on, you can go over this limit.</li><li><strong>The Colab session can drop.</strong> Closing the tab, staying idle for a long time, or running out of the free quota will stop the server. You will need to re-run the cells and get a new URL.</li><li><strong>The model leaves memory.</strong> By default, Ollama unloads a model from GPU memory after about 5 minutes without use. The next request then has a “cold start” delay.</li><li><strong>Security is loose.</strong> Anyone who knows the tunnel URL can send requests to your model. Use it only in an environment with no sensitive data or API keys.</li></ul><h3>Who is this for?</h3><p>This setup works especially well in these cases:</p><ul><li><strong>People without a GPU who want to build an LLM agent:</strong> students, people doing a graduation or course project, hobby projects.</li><li><strong>People who don’t want to rent an expensive cloud GPU:</strong> for example, researchers who want to compare a local model (Qwen, Llama, Mistral) with an API model (Claude, GPT).</li><li><strong>People preparing a short demo:</strong> it is enough to show a weekend project live.</li></ul><p>It is also clear where it does not work: a service that is always running and open to real users (Colab’s session limits and the temporary tunnel are not suitable for that), and any application that handles sensitive data.</p><h3>Alternatives</h3><ul><li><strong>Colab Pro/Pro+:</strong> if you want longer sessions and stronger GPUs (A100/V100).</li><li><strong>Your own machine:</strong> Apple Silicon Macs run Ollama well with Metal acceleration, and you don’t need a tunnel at all.</li><li><strong>Cloudflare Named Tunnel:</strong> if you want a permanent URL; you can set it up with a free account.</li><li><strong>Other tunnel tools like ngrok or Pinggy:</strong> a similar setup to cloudflared.</li><li><strong>RunPod, Lambda, Vast.ai:</strong> GPU rental services for serious and constant workloads, paid by the hour but more controlled.</li></ul><h3>Final thoughts</h3><p>The combination of Colab, Ollama and Cloudflare Tunnel turns a free GPU into an LLM server you can reach from the internet in a few minutes. On paper the setup looks simple, but the real errors along the way (the missing zstd, the 403 Forbidden, the ghost processes) are what really cost time. I wrote this post so that you don&#39;t have to lose that time like I did.</p><p>It is not a production environment, but it is exactly what you need to quickly test a weekend project, a class assignment or an idea.</p><p>You can find the working notebook and the SQL injection agent project that uses this setup in the Q-Breach repository. If you get stuck, write in the comments.</p><p>The full project is also available on GitHub: <a href="https://github.com/furkandrms/cloudflare-ollama-bridge">https://github.com/furkandrms/cloudflare-ollama-bridge</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=525a9e846c11" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Connect Your Windows PC to Your AI Agent with Copilot Studio Computer Use]]></title>
            <link>https://medium.com/@Furkandurmus/connect-your-windows-pc-to-your-ai-agent-with-copilot-studio-computer-use-5b4163fa02da?source=rss-606901b922c------2</link>
            <guid isPermaLink="false">https://medium.com/p/5b4163fa02da</guid>
            <category><![CDATA[computer-use]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[microsoft-copilot-studio]]></category>
            <category><![CDATA[microsoft]]></category>
            <category><![CDATA[power-automate]]></category>
            <dc:creator><![CDATA[Furkan Durmuş]]></dc:creator>
            <pubDate>Fri, 19 Jun 2026 10:08:32 GMT</pubDate>
            <atom:updated>2026-06-19T10:08:32.152Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mBOArcq1FPky_Gnb-Q5fFQ.gif" /></figure><blockquote><em>Learn how to set up your local Windows PC as a Personal Desktop Agent (PDA) using Microsoft Copilot Studio’s Computer Use feature a step by step guide to automating tasks with AI agents that see, click, and type just like humans.</em></blockquote><h3>Automate Your Desktop with AI: Getting Started with Copilot Studio Computer Use</h3><p>Microsoft Copilot Studio’s <strong>Computer Use</strong> feature enables your AI agents to perform tasks by visually interpreting your computer screen — clicking buttons, typing text, and navigating interfaces exactly the way a human would. This opens the door to automating a wide range of workflows that were previously handled manually.</p><p>In this guide, I’ll walk you through exactly how I configured a local Windows machine as a <strong>PDA (Personal Desktop Agent)</strong> for Copilot Studio Computer Use, step by step.</p><h3>What Is Computer Use?</h3><p>Computer Use is powered by an AI model known as <strong>Computer Using Agents (CUA)</strong>. Here’s what makes it unique:</p><ul><li><strong>Visual screen interpretation: </strong>The agent captures screenshots and analyzes the interface in real time.</li><li><strong>Adaptive navigation: </strong>Unlike macro based automation, it can adapt even when button positions or UI elements change between sessions.</li><li><strong>Natural language instructions: </strong>No coding required; you simply describe what you want the agent to do.</li><li><strong>Cross platform compatibility: </strong>Works seamlessly with both web browsers and desktop applications.</li></ul><p>The key difference from traditional <strong>RPA (Robotic Process Automation)</strong> tools is that instead of recording fixed screen coordinates, Computer Use re-analyzes the screen at every step. This makes it significantly more resilient to UI changes and software updates.</p><h4>A Note on Performance</h4><p>This flexibility does come with a trade off. Because a screenshot is captured and analyzed at each step, Computer Use can be slower than conventional RPA solutions. For processes where speed is critical and tasks need to be completed within seconds, this latency should be factored into your planning. <strong>Computer Use is best suited for scenarios where accuracy and adaptability matter more than raw speed.</strong></p><h3>When Should You Use Computer Use?</h3><p>Computer Use delivers the most value in situations where <strong>API integrations don’t exist</strong> or where building custom integrations into legacy systems would be prohibitively expensive. By seeing the screen and acting like a user, AI agents can automate a broad range of manual workflows.</p><h4>Key Use Cases</h4><ul><li><strong>Extracting and reporting data from legacy applications</strong></li><li><strong>Auto filling web forms</strong></li><li><strong>Transferring data manually between multiple systems</strong></li><li><strong>Executing repetitive operations in CRM and ERP platforms</strong></li><li><strong>Conducting research based on defined criteria and generating summary reports</strong></li><li><strong>Taking action in different systems based on email or document content</strong></li></ul><p><strong>Real world example:</strong> An agent deployed at an airline company could visit specific travel agency websites, collect fare data, and automatically compare those prices against internal systems then compile the results into a structured report. Similarly, many applications without native API support can now be brought into automated workflows using Computer Use.</p><h3>Setup: How to Configure Your Local Machine as a Personal Desktop Agent</h3><p>To use your local Windows machine within Copilot Studio, start by navigating to the <strong>Tools</strong> section on the dashboard of either a newly created or an existing agent. From there, activate the <strong>Computer Use</strong> feature.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*09gz9Edb3remvnXJGUPL6Q.png" /></figure><p>Once you’ve enabled Computer Use, you’ll be taken to the <strong>configuration detail page</strong>. This is where you define how your AI agent will behave. The page includes the following settings:</p><ul><li><strong>Instructions field: </strong>Define exactly what Computer Use should do; this is where you describe the agent’s task in natural language.</li><li><strong>Name and description: </strong>Label your configuration for easy identification within your workspace.</li><li><strong>Model selection: </strong>Choose the underlying AI model that will power the Computer Use agent.</li><li><strong>Input parameters: </strong>Specify any required input variables the agent will need to complete its task.</li></ul><p>Once you’ve filled in these details, you can use the <strong>machine selection dropdown</strong> (shown in the screenshot below) to specify which device the agent should connect to and operate on.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HyA-UUYjNvT1h72M8dnDHw.png" /></figure><blockquote>To get the best performance out of Computer Use, it’s essential to write your instructions in a <strong>clear, step by step format</strong>. The reason for this is straightforward: by providing explicit, sequential steps, you ensure the agent stays focused solely on the defined task without deviating into unintended actions or making assumptions about what to do next. Well structured instructions are the single biggest factor in getting accurate, reliable results from your Computer Use agent.</blockquote><p>On this page, you’ll notice that Microsoft provides a <strong>hosted machine option </strong>a ready to use environment managed by Microsoft. However, since our goal in this guide is to connect our <strong>own local Windows machine</strong>, we’ll skip the hosted option and proceed by <strong>adding a new custom machine</strong> instead.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MjbcUbjPyOYOxTK0gohGwg.png" /></figure><p>When you click to add a new machine, the system automatically <strong>redirects you to Power Automate</strong>. Before anything else, the first step is to download and install <strong>Power Automate Desktop</strong> on your local Windows machine.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MJhsatcbUygmmFNqDCgXJA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BcMisw7DEjmglVl26jn_QQ.png" /></figure><p>Once the installation is complete, open the <strong>Power Automate Machine Runtime</strong> application from your desktop to register your computer with the system. After the registration process is finished, your local machine will appear listed under the <strong>Machines</strong> section inside Power Automate.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*643c-ZNpQQgz-1eru5XdiA.png" /></figure><blockquote>At this stage, you’ll also need to select <strong>which environment</strong> your machine should operate in.</blockquote><p>After completing this step, your machine is now fully registered and ready to be used with the <strong>Computer Use</strong> feature inside Copilot Studio agents. Your local machine will now appear directly within the <strong>Computer Use</strong> section of your Copilot Studio Agent.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0lg3-HIcURx90g3r2zdd0g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LeBya_5-axNXvH0g8aPg2Q.png" /></figure><h4><strong>Setting Up the Connection in Copilot Studio</strong></h4><p>Once the machine configuration is complete, head back to <strong>Copilot Studio</strong>, select the local machine you just registered, and initiate the connection process.</p><p>Since we’re using a local machine, you’ll be prompted at this stage to enter your <strong>Domain / Username</strong> and <strong>Password</strong> credentials to proceed. Once the connection is successfully established, your machine is live and ready to use.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*50W428qp8hlxZ4cDIwL_Hg.png" /></figure><p>At the bottom of the page, you’ll find additional options that allow you to <strong>restrict the agent to a specific URL</strong> or configure <strong>trusted connection settings</strong>.</p><p>In this example, since the agent will be used for general purpose research tasks, I’m leaving the URL field empty. However, I’m keeping the <strong>HTTPS requirement enabled</strong> due to secure connection requirements.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JpPz9H2DXiUCpWZx1MIMAQ.png" /></figure><p><strong>Congratulations!</strong> You now have a fully functional AI agent infrastructure running on your own local machine capable of conducting research and performing tasks on your behalf. You can associate this machine with any agent you create in Copilot Studio and deploy it across a wide range of automation scenarios.</p><h3>Errors I Encountered &amp; How I Fixed Them</h3><blockquote><strong><em>Power Automate Browser Extension Error</em></strong></blockquote><blockquote><strong><em>Error Message: </em></strong><em>There was an error communicating with the Microsoft Power Automate browser extension. Please make sure the extension is installed and enabled.</em></blockquote><blockquote><strong><em>Root Cause: </em></strong><em>The Power Automate browser extension was not installed or was disabled in the browser.</em></blockquote><blockquote><strong><em>Solution: </em></strong><em>If you’re using Chrome, install the </em><strong><em>Power Automate extension</em></strong><em> from the Chrome Web Store.</em></blockquote><blockquote><em>Fully close and relaunch your browser after installation.</em></blockquote><blockquote><strong><em>⚠️ Chrome / msedgewebview2 Permission Error</em></strong></blockquote><blockquote><strong><em>Error Messages: </em></strong><em>Application not allowed: chrome isn’t currently on the allowed list of applications.</em></blockquote><blockquote><em>Application not allowed: msedgewebview2 isn’t currently on the allowed list of applications.</em></blockquote><blockquote><strong><em>Root Cause: </em></strong><em>Access Control restrictions were enabled on the Computer Use tool, blocking certain applications.</em></blockquote><blockquote><strong><em>Solution: </em></strong><em>Navigate to the relevant Computer Use tool inside Copilot Studio and go to the </em><strong><em>“Allowed Websites and Desktop Applications”</em></strong><em> section. Add the affected applications to the allow list, or update your Access Control configuration accordingly.</em></blockquote><h3>Best Practices &amp; Key Considerations for Computer Use</h3><p>While Computer Use is more flexible than traditional RPA solutions, there are several important factors to keep in mind to ensure reliable and consistent results:</p><ul><li><strong>Keep the session active: </strong>The machine must not lock its screen or close the user session while the agent is running.</li><li><strong>Manage pop ups and notifications: </strong>Unexpected pop up windows or system alerts can interrupt the agent’s workflow.</li><li><strong>Factor in processing time and cost: </strong>Workflows with a high number of steps may result in longer execution times and higher usage costs.</li><li><strong>Maintain a stable internet connection:</strong> Connectivity issues or performance degradation can directly impact agent behavior.</li><li><strong>Test thoroughly before going live: </strong>For critical business processes, comprehensive testing in a non production environment is strongly recommended.</li><li><strong>Prioritize API based approaches when available: </strong>If an API integration is feasible, it should always be the first choice. Computer Use delivers the most value specifically in scenarios where APIs are unavailable or integration development is impractical.</li></ul><p>The right mindset for Computer Use is to focus on <strong>flexibility and ease of use over raw speed</strong> particularly when dealing with legacy applications or repetitive manual operations driven through a user interface.</p><h3>What Your Agent Can Do Once Setup Is Complete</h3><p>When the full setup is finalized, your Copilot Studio agent will be able to:</p><ul><li><strong>Navigate autonomously</strong> by visually reading the computer screen</li><li><strong>Fill out forms and collect data</strong> from websites</li><li><strong>Send screenshots back to Copilot Studio</strong> for further processing</li><li><strong>Integrate with systems that have no API</strong>, as long as they have a user interface</li></ul><p>Computer Use fundamentally expands what AI agents can access. Rather than being limited to systems with APIs, virtually <strong>any application with a user interface</strong> becomes a potential automation target. This gives organizations the opportunity to revisit processes they previously considered too complex or too costly to automate and rethink what’s possible with AI driven workflows.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5b4163fa02da" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Copilot Is No Longer Just an Assistant, It’s Your Business Partner: The Work IQ Era Begins]]></title>
            <link>https://medium.com/peakup-tech-news/copilot-is-no-longer-just-an-assistant-its-your-business-partner-the-work-iq-era-begins-c0d4640b7ea6?source=rss-606901b922c------2</link>
            <guid isPermaLink="false">https://medium.com/p/c0d4640b7ea6</guid>
            <category><![CDATA[github-copilot]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[microsoft-copilot]]></category>
            <category><![CDATA[microsoft-365]]></category>
            <category><![CDATA[microsoft-ignite]]></category>
            <dc:creator><![CDATA[Furkan Durmuş]]></dc:creator>
            <pubDate>Sun, 14 Dec 2025 20:33:47 GMT</pubDate>
            <atom:updated>2025-12-23T13:38:16.840Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fl0qoWWthqIgZjaECSb72w.png" /></figure><h3><strong>What Happened at Microsoft Ignite 2025?</strong></h3><p>The Microsoft Ignite conference held in November 2025 marked a major step forward in AI-powered productivity tools. In the opening keynote, Ryan Roslansky and other Microsoft executives introduced the most notable development among more than 70 innovations: <strong>Work IQ</strong>.</p><p>This advancement is positioned as the new intelligence layer behind Microsoft 365 Copilot and aims to pave the way for companies referred to as <strong>“Frontier Firms”</strong> — organizations led by humans but operating alongside AI agents.</p><p>So, what exactly is Microsoft aiming to achieve by combining the Frontier Firm concept with Work IQ? Let’s take a closer look together:</p><p>The <strong>“Frontier Firm”</strong> emerges as a new business model introduced by Microsoft in its 2025 Work Trend Index report and at the Ignite event. Unlike traditional organizational structures, Frontier Firms view artificial intelligence as a core business service and place human–AI teams at the very center of how work gets done. Here are the key characteristics of this concept:</p><p>“Frontier Firm”, Microsoft’un 2025 Work Trend Index raporunda ve Ignite etkinliklerinde tanıttığı yeni bir işletme modeli olarak karşımıza çıkıyor. Geleneksel şirket yapısından farklı olarak Frontier Firm’ler yapay zekâyı işletmenin temel bir hizmeti olarak görür ve insan–AI ekiplerini işin merkezine yerleştirir. İşte bu kavramın ana hatları:</p><ul><li><strong>Human–agent teams:</strong> In Frontier Firms, humans are responsible for strategy and relationship management, while agents handle repetitive, rules-based, or time-consuming tasks and hand the process back to humans in situations of uncertainty. This allows employees to focus on more creative, high-value work.</li><li><strong>Every role becomes an agent manager:</strong> Each position gains new capabilities such as breaking work down into steps, defining the AI’s “definition of success,” establishing the necessary checkpoints, and reviewing outcomes. For this reason, Frontier Firms add the role of “agent boss” to their organizational charts and equip employees with the skills needed to work effectively with agents.</li><li><strong>Three-stage transformation:</strong> The Work Lab article summarizes the transition to a Frontier Firm in three phases: in the first stage, AI works like an assistant to accelerate tasks; in the second stage, agents join processes as “digital teammates”; and in the third stage, agents manage entire workflows, with humans focusing solely on guidance and exception handling.</li><li><strong>Making work visible:</strong> Frontier Firms map processes step by step to uncover hidden bottlenecks and identify how AI can create value at those points.</li></ul><blockquote>In Microsoft’s article <strong>“Three Things Frontier Firms Understand About AI,”</strong> it is emphasized that these organizations make their workflows transparent and ensure that every step is traceable through data.</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/764/1*i9WtEqreZNQpeOYxWsB7mw.png" /><figcaption>new era of workforce dynamics</figcaption></figure><p>In summary, a <strong>Frontier Firm</strong> is a new-generation type of organization that treats AI not merely as a tool, but as a core component of the company — bringing together human creativity, agent-based automation, and data-driven decision-making.</p><p>It is shaped not only by AI models, but also by the company’s data, relationships, timelines, work patterns, and internal dynamics. <strong>Work IQ</strong> is precisely the three-layer intelligence architecture designed to meet this need, bridging <strong>Data</strong>, <strong>Memory</strong>, and <strong>Inference</strong>. In doing so, agents can understand not just the task itself, but also why and how it is performed, forming the functional backbone of the Frontier Firm architecture. This layer enables Copilot to understand you, your work, and your organization, to deliver responses and recommendations that are more contextual and tailored to the company.</p><h3><strong>Components of Work IQ: Data, Memory, and Inference</strong></h3><p>Microsoft’s Work IQ approach transforms Copilot from a traditional assistant into an enterprise intelligence layer that understands the true context of work. This architecture is built on three core pillars: <strong>Data</strong>, <strong>Memory</strong>, and <strong>Inference</strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/429/1*AfqBcdUqjvmC5XMZld0hzQ.png" /></figure><h3><strong>1. Data: A Semantically Connected Knowledge Network</strong></h3><p>Work IQ processes all internal organizational content not merely as lists of files, but as a knowledge network connected through relationships between projects, people, topics, and timelines.</p><p>Emails, PowerPoint presentations, Teams meeting notes, and OneDrive files are treated not as isolated documents, but as interconnected conceptual nodes.</p><p>As a result, Copilot does more than just search for keywords — it understands the underlying context of the question, tracks changes within a project, identifies relevant stakeholders, and takes previous discussions into account.</p><p>This semantic structure makes Copilot’s responses more accurate, more natural, and more aligned with enterprise needs.</p><h3><strong>2. Memory: Personal and Organizational Work Memory</strong></h3><p>Built on top of the data layer, memory learns how both individuals and the organization operate.</p><p><strong>Personal memory:</strong></p><ul><li>People you communicate with frequently</li><li>Your writing style</li><li>Your daily work rhythm</li><li>Topics and projects you work on most often</li></ul><p>Using these signals, Copilot develops a personalized “work language” and shapes its recommendations accordingly.</p><p><strong>Organizational memory:</strong></p><ul><li>Cross-department interactions</li><li>Process steps</li><li>Approval mechanisms</li><li>Organization-wide work habits</li></ul><p>This layer enables Copilot and AI agents to understand company-specific workflows and act in alignment with the organization’s culture.</p><blockquote>As noted by <strong>Yahoo Finance</strong>, Work IQ enables Copilot to learn your working habits, select the right agent, and generate contextually appropriate responses.</blockquote><p><strong>3. Inference: Proactive and Contextual Recommendations</strong></p><p>The inference layer combines insights from data and memory, enabling Copilot to evolve from a passive responder into a proactive work partner.</p><p>Copilot can:</p><ul><li>Suggest relevant information from your most recent meeting notes while you are preparing a presentation.</li><li>Automatically surface the most up-to-date files related to a project when you are working on a document.</li><li>Select the most suitable AI agent and link the necessary resources when you assign a task.</li></ul><p>As a result, Copilot becomes not just a command-driven tool, but a true team member that understands why and how work is done.</p><h3><strong>Enterprise Benefits and Use Cases of Work IQ</strong></h3><p>The true power of <strong>Work IQ</strong> lies not in processing or modeling data, but in transforming that data into organization-specific operational intelligence. This intelligence delivers benefits at both the strategic and operational levels.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/881/1*sG03ZtzjeCYj3xK49X-x9A.png" /></figure><h3><strong>1. Faster and More Accurate Decision-Making</strong></h3><p>The inference layer strengthens decision processes by interpreting signals coming from different parts of the organization.</p><p><strong>Key capabilities:</strong></p><ul><li>Detects relationships and timing patterns across data.</li><li>Proactively highlights trends, risks, and opportunities.</li><li>Presents not only outcomes, but also clear cause-and-effect relationships.</li></ul><p><strong>Use cases:</strong></p><ul><li>Automatically detects declines in sales performance.</li><li>Identifies communication breakdowns that lead to project delays.</li><li>Anticipates potential cash flow challenges for finance teams.</li></ul><p>In short, Work IQ provides the organization with an analytical layer that “reveals what isn’t being explicitly said.”</p><h3><strong>2. Personalized Productivity</strong></h3><p>Every employee has a unique pace and working style. By learning these differences, the memory layer delivers a personalized Copilot experience for each user:</p><ul><li>Generates content aligned with your writing style.</li><li>Proactively suggests the templates and data sources you use most often.</li><li>In repetitive tasks, it not only speeds things up but also anticipates where you are likely to begin.</li></ul><p>This represents a shift from a “one size fits all AI” to a personalized work intelligence for everyone within the organization.</p><h3><strong>3. Agent-Based Automation: The Real Game Changer</strong></h3><p>Work IQ elevates automation to an entirely new level by enabling agents to understand context.</p><p>An agent:</p><ul><li>Understands the purpose and priority of a task.</li><li>Knows which people it needs to communicate with.</li><li>Remembers the expected format of the output.</li><li>Automatically applies company rules and policies.</li><li>Escalates exceptions to a human manager when uncertainty arises.</li></ul><p>This forms the foundation of Microsoft’s <strong>“agent boss”</strong> model:</p><ul><li>Humans define <em>what</em> needs to be done.</li><li>Agents determine <em>how</em> it gets done.</li></ul><p>To illustrate with a real-world scenario, imagine building a sales pipeline with the support of a sales agent. This agent can assist by:</p><ul><li>Scanning CRM records</li><li>Identifying missing data</li><li>Requesting information from sales representatives</li><li>Updating customer segmentation</li><li>Reporting potential issues to management</li></ul><p>This agent doesn’t merely follow instructions — it makes intelligent decisions based on business context.</p><h3><strong>Work IQ and Other IQ Components</strong></h3><p>Work IQ was not the only innovation introduced at Ignite 2025. According to Cloud Wars’ analysis, Microsoft also announced <strong>Fabric IQ</strong> and <strong>Foundry IQ</strong> as part of its new intelligence layer:</p><ul><li><strong>Fabric IQ:</strong> Adds business logic to data and analytics, making them understandable for both humans and agents. It semantically unifies insights coming from Power BI and other data sources.</li><li><strong>Foundry IQ:</strong> Simplifies agents’ access to enterprise knowledge sources and makes it easier for developers to build <strong>RAG (Retrieval-Augmented Generation)</strong> models.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*c81Kd1NJVOv813-wFGNyqA.gif" /></figure><p>Together, these three components form Microsoft’s <strong>“IQ” layer</strong>. While <strong>Work IQ</strong> provides context at the individual and organizational levels, <strong>Fabric IQ</strong> focuses on data interpretation, and <strong>Foundry IQ</strong> optimizes knowledge access. Combined, they deliver a rich and unified context for Copilot and AI agents.</p><h3><strong>Privacy, Security, and Compliance: Work IQ’s Invisible Shield</strong></h3><p>In a world where Copilot and Work IQ are becoming deeply embedded in everyday workflows, one critical question stands out:<br><strong>“How does all this intelligence respect the privacy of our data?”</strong></p><p>Microsoft answers this by embedding an almost invisible protection layer directly into the architecture of Work IQ. At every data touchpoint Copilot accesses, Work IQ automatically inherits Microsoft 365’s built-in permissions, security policies, and sensitivity labels. In other words, Work IQ does not <em>learn</em>, process, or infer from any content you are not authorized to access. Copilot sees exactly what you see — no more, no less.</p><p>This is a crucial assurance, especially for those concerned about personal data being transformed into personal memory. While Work IQ’s memory structure recognizes your individual working style, this information is <strong>not</strong> used for model training, <strong>not</strong> shared with other users, and <strong>not</strong> transferred to Microsoft’s central AI models. Microsoft explicitly states that data used to generate responses is not used for training purposes. This makes Copilot a business partner that can be safely positioned within internal enterprise processes.</p><p>Of course, authorization alone is not enough. In an era where organizations are developing more and more AI agents, administrators need robust governance tools. This is where the <strong>Copilot Control System</strong> comes into play. Through this management console, IT administrators can centrally monitor and manage:</p><ul><li>Which agents can access what</li><li>Which tasks agents are allowed to perform</li><li>Which policies apply</li><li>Agent activities and audit logs</li></ul><p>This capability is especially critical in regulated industries such as finance, legal, public sector, and healthcare, where it significantly expands the practical usability of Work IQ. It prevents agents from operating outside organizational rules, sharing data with the wrong people, or accessing sensitive information.</p><p>In short, Work IQ doesn’t just offer a smarter way of working — it also delivers the protection layer that allows AI to operate safely within enterprise environments. Without this level of trust, the Frontier Firm vision would not be realistic. Because the companies of the future will need not just intelligence, but <strong>trusted intelligence</strong>.</p><p>All of these developments point to one clear conclusion: <strong>Work IQ is not merely a technology that enhances Copilot’s capabilities; it represents a new mindset that shapes how organizations will work in the future.</strong> The combination of data, memory, and inference layers elevates AI from a simple assistant to a business partner that understands context, masters workflows, and makes proactive decisions. Processes that are fragmented, disconnected, and time-consuming today are transformed — through the context and security framework provided by Work IQ — into a holistic, intelligent, and trustworthy system.</p><p>This is precisely where the <strong>Frontier Firm</strong> vision is grounded: a working world that is faster, more flexible, and more predictable, where human creativity and trusted AI operate side by side. And at the center of this transformation lies a single truth: <strong>Copilot is no longer just a tool — it is the new business partner of organizations, powered by Work IQ.</strong></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c0d4640b7ea6" width="1" height="1" alt=""><hr><p><a href="https://medium.com/peakup-tech-news/copilot-is-no-longer-just-an-assistant-its-your-business-partner-the-work-iq-era-begins-c0d4640b7ea6">Copilot Is No Longer Just an Assistant, It’s Your Business Partner: The Work IQ Era Begins</a> was originally published in <a href="https://medium.com/peakup-tech-news">PEAKUP Tech News</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Google Cloud Üzerinde Proje Oluşturma ve Video Intelligence API ile Görüntü İşlemeye Giriş]]></title>
            <link>https://medium.com/@Furkandurmus/google-cloud-%C3%BCzerinde-proje-olu%C5%9Fturma-ve-video-intelligence-api-ile-g%C3%B6r%C3%BCnt%C3%BC-i%CC%87%C5%9Flemeye-giri%C5%9F-1d25c6ed67a3?source=rss-606901b922c------2</link>
            <guid isPermaLink="false">https://medium.com/p/1d25c6ed67a3</guid>
            <category><![CDATA[google-cloud-platform]]></category>
            <category><![CDATA[yolo]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[computer-vision]]></category>
            <category><![CDATA[analysis]]></category>
            <dc:creator><![CDATA[Furkan Durmuş]]></dc:creator>
            <pubDate>Mon, 10 Nov 2025 12:20:01 GMT</pubDate>
            <atom:updated>2025-11-10T12:20:01.316Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1020/1*-QcCeqWuH5yex3IKuALt7w.jpeg" /></figure><p>Önceki yazımda, Google Cloud’un sunduğu <strong>Video Intelligence API</strong> hizmetine genel bir bakış atmış, ne işe yaradığını ve hangi alanlarda kullanılabileceğini anlatmıştım. Henüz o yazıyı okumadıysanız, aşağıdaki bağlantıdan ulaşabilirsiniz:</p><p>🔗 <a href="https://medium.com/@Furkandurmus/google-cloud-video-intelligence-api-video-analizinde-yeni-nesil-%C3%A7%C3%B6z%C3%BCm-2f27c54e8a78">Google Cloud Video Intelligence API: Video Analizinde Yeni Nesil Çözüm</a></p><p>Bu yazıda ise daha teknik bir perspektifle ilerleyerek, Google Cloud üzerinde bir proje nasıl oluşturulur, Video Intelligence API nasıl aktif hale getirilir ve video içerikleri üzerinde nasıl analizler gerçekleştirilir gibi konulara adım adım değineceğiz.</p><p>Eğer siz de video içeriklerini yapay zekâ ile analiz etmek, sahneleri bölmek, nesneleri takip etmek ya da konuşmaları metne dökmek istiyorsanız — bu yazı tam size göre!</p><p>Google, Video Intelligence API hizmeti için her kullanıcıya <strong>aylık 1000 dakika video analiz kotasını ücretsiz</strong> olarak sunuyor. Bu limit aşıldığında ise kullanıma göre ücretlendirme devreye giriyor.</p><p>Güncel fiyatlandırma bilgilerine buradan ulaşabilirsiniz:</p><p><a href="https://cloud.google.com/video-intelligence/pricing">Pricing | Google Cloud</a></p><p>Öncelike Video Intelligence API’yi kullanmak için Google Cloud Platform üzerinden yeni bir proje oluşturmamız gerekiyor. Bunun için aşağıdaki link üzerinden Google Cloud Console’a giriş yapabilirsiniz:</p><p><a href="https://cloud.google.com/?hl=en">Cloud Computing Services | Google Cloud</a></p><p>Link açıldıktan sonra ise aşağıdaki gibi sayfa çıkacak ve buradan “Console” butonuna basarak kendi dashboardunuza ulaşabileceksiniz.</p><blockquote><em>Eğer Google Cloud Platformu ilk kez kullanıyorsanız 3 ay boyunca size 300 dolarlık bir kredi veriyor.</em></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gJ86tGQY40YkDMe81XSNaQ.png" /></figure><p>Sonrasında ise dashboard üzerinden projelerimiz listelendiği pop-up’ı açıyoruz ve “Create New Project” diyerek proje oluşturma sayfasına gidiyoruz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HBAktxerGrDNJpg_xpiFSw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Fvf0xubomzb4QAWnHHlFyg.png" /></figure><p>Bu sayfada ise proje ismimizi ve organizasyon seçerek projeyi oluşturuyoruz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Qm3680h_AJVV1ksmuWW82Q.png" /></figure><p>Proje oluştuktan sonra ise artık API’mizi aktif etmeye geliyor sıra. Arama çubuğuna “Cloud Video Intelligence API” yazarak servisimize ulaşıyoruz ve projemizi aktif ediyoruz. Burada önemli bir nokta API’yi aktif ettikten sonra porje içerisinde kullancağımız bir service_account.json dosyası almamız gerekmektedir. Aksi takdirde API’miz çalışmayacaktır.</p><p>Şimdi ise bu API’mizi kullanabileceğimiz basit bir proje yapmaya geldi sıra. Ben bu API’yi size proje içerisinde kullanmak için doğrudan Python dilini kullanacağım.</p><blockquote><em>Cloud Video Intelligence API; Python, Java, Node.js, C++, Go, PHP, Ruby gibi diller içerisinde de kullanılabilmektedir.</em></blockquote><p>Analize başlamadan önce aşağıdakilerin yüklü ve tanımlı olduğundan emin olun:</p><ul><li>Google Cloud SDK üzerinden oluşturulmuş bir <strong>service account JSON dosyası</strong></li><li>Python ortamı + gerekli kütüphaneler</li></ul><pre>pip install google-cloud-videointelligence<br>export GOOGLE_APPLICATION_CREDENTIALS=&quot;path/to/your/service-account.json&quot;</pre><h3>Etiket Tespiti (Label Detection) Uygulaması</h3><p>Aşağıdaki Python kodu:</p><ul><li>Yerel bir .mp4 video dosyasını okur</li><li>Google Video Intelligence API’ye gönderir</li><li>Videodaki sahnelerde geçen nesne ve olayları tespit eder</li><li>Sonuçları zaman bilgisi ve güven skoru ile birlikte bir <strong>JSON dosyasına</strong> yazar</li></ul><pre>import json<br>from google.cloud import videointelligence<br><br>def analyze_local_video(video_path, output_json_path):<br>    client = videointelligence.VideoIntelligenceServiceClient()<br><br>    with open(video_path, &quot;rb&quot;) as file:<br>        input_content = file.read()<br><br>    features = [videointelligence.Feature.LABEL_DETECTION]<br><br>    operation = client.annotate_video(<br>        request={<br>            &quot;features&quot;: features,<br>            &quot;input_content&quot;: input_content,<br>        }<br>    )<br><br>    print(&quot;The process has started, please wait...&quot;)<br>    result = operation.result(timeout=180)<br>    print(&quot;The transaction has been completed.&quot;)<br><br>    annotation_results = result.annotation_results[0]<br>    final_output = []<br><br>    for label in annotation_results.segment_label_annotations:<br>        label_info = {<br>            &quot;label&quot;: label.entity.description,<br>            &quot;segments&quot;: []<br>        }<br>        for segment in label.segments:<br>            label_info[&quot;segments&quot;].append({<br>                &quot;start_time&quot;: segment.segment.start_time_offset.total_seconds(),<br>                &quot;end_time&quot;: segment.segment.end_time_offset.total_seconds(),<br>                &quot;confidence&quot;: round(segment.confidence, 2)<br>            })<br>        final_output.append(label_info)<br><br>    with open(output_json_path, &quot;w&quot;, encoding=&quot;utf-8&quot;) as f:<br>        json.dump(final_output, f, indent=4, ensure_ascii=False)<br><br>    print(f&quot;Output JSON file created: {output_json_path}&quot;)<br><br># Example Usage<br>analyze_local_video(&quot;video.mp4&quot;, &quot;result.json&quot;)</pre><h3>🧾 Örnek Çıktı (JSON Formatında)</h3><pre>[<br>  {<br>    &quot;label&quot;: &quot;Dog&quot;,<br>    &quot;segments&quot;: [<br>      {<br>        &quot;start_time&quot;: 0.0,<br>        &quot;end_time&quot;: 6.7,<br>        &quot;confidence&quot;: 0.89<br>      }<br>    ]<br>  },<br>  {<br>    &quot;label&quot;: &quot;Running&quot;,<br>    &quot;segments&quot;: [<br>      {<br>        &quot;start_time&quot;: 3.5,<br>        &quot;end_time&quot;: 9.2,<br>        &quot;confidence&quot;: 0.76<br>      }<br>    ]<br>  }<br>]</pre><p>Tüm bu yazıda anlattığımız yapının örnek Python kodlarını içeren açık kaynak GitHub reposuna aşağıdaki bağlantıdan ulaşabilirsiniz:</p><p>🔗 <strong>GitHub Reposu:</strong></p><p><a href="https://github.com/furkandrms/google-video-intelligence-api">https://github.com/furkandrms/google-video-intelligence-api</a></p><p>Bu repoda neler var?</p><ul><li>Yerel video dosyalarıyla çalışan örnek uygulama</li><li>Google Cloud Video Intelligence API’ye doğrudan içerik gönderme (GCS olmadan)</li><li>Etiket tespiti (label detection) sonuçlarını JSON dosyasına kaydetme</li><li>Temiz ve sade Python kod yapısı</li></ul><blockquote><em>⭐ Reponu beğendiyseniz yıldızlamayı ve katkıda bulunmayı unutmayın.</em></blockquote><p>Google Cloud Video Intelligence API, yerel dosyalarla da kolayca entegre edilebilen esnek bir çözümdür. Bu yöntem sayesinde sadece birkaç satır Python koduyla videolarınızdan etiket çıkarımı yapabilir ve sonuçları ileri analizlerde kullanmak üzere yapılandırılmış JSON dosyalarına aktarabilirsiniz.</p><p>Bir sonraki adımda, OBJECT_TRACKING ya da SPEECH_TRANSCRIPTION gibi daha gelişmiş özelliklerle bu yapıyı genişletmek mümkün. Onları da bir sonraki blog yazısında ele alacağız.</p><p>Umarım bu içerik, veri bilimi yolculuğunuzda size yol gösterici olur. Daha fazla bilgi, <a href="https://www.linkedin.com/in/furkandurmus/">güncelleme ve ipucu için takipte kalın. </a>Geri bildirimleriniz benim için değerli.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1d25c6ed67a3" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Google Cloud Video Intelligence API: Video Analizinde Yeni Nesil Çözüm]]></title>
            <link>https://medium.com/@Furkandurmus/google-cloud-video-intelligence-api-video-analizinde-yeni-nesil-%C3%A7%C3%B6z%C3%BCm-2f27c54e8a78?source=rss-606901b922c------2</link>
            <guid isPermaLink="false">https://medium.com/p/2f27c54e8a78</guid>
            <category><![CDATA[object-detection]]></category>
            <category><![CDATA[google-cloud-platform]]></category>
            <category><![CDATA[computer-vision]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[vision-language-model]]></category>
            <dc:creator><![CDATA[Furkan Durmuş]]></dc:creator>
            <pubDate>Sun, 05 Oct 2025 14:48:09 GMT</pubDate>
            <atom:updated>2025-10-05T14:48:09.658Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DPqnZHhnAA_ABaDPF8NJFQ.jpeg" /></figure><p>Yapay zeka teknolojilerinin hızla gelişmesi, bulut sistemlerinde köklü dönüşümlere yol açtı. Özellikle görüntü işleme (computer vision) alanındaki bu ilerlemeler, bulut tabanlı servislerin yeteneklerini ciddi ölçüde artırdı. Bu yazıda, Google Cloud’un öne çıkan çözümlerinden biri olan ve video içeriklerini analiz etme konusunda güçlü olanaklar sunan <strong>Video Intelligence API</strong>’yi detaylı şekilde inceleyeceğiz.</p><p>Google Cloud Video Intelligence API, video ve görüntü içeriklerinden çeşitli analizler yapmamızı sağlayan, tam yönetimli bir yapay zeka servisidir. Önceden eğitilmiş makine öğrenimi modelleri kullanarak şu yetenekleri sunar:</p><ul><li><strong>İçerikten anlam çıkarma</strong> ve otomatik etiketleme</li><li><strong>Nesne ve sahne tanıma</strong></li><li><strong>Duygu analizi</strong></li><li><strong>Konuşmayı metne çevirme</strong> (speech-to-text)</li><li><strong>Videodaki nesneleri algılama ve takip etme</strong></li><li><strong>Uygunsuz içerik tespiti</strong></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mR__xCOs_j8c5A0hMq3B5Q.gif" /></figure><blockquote>Burada haklı bir soru akla geliyor: “OpenCV, YOLO gibi kütüphanelerle zaten bunları yapabiliyoruz. Neden Video Intelligence API’yi kullanalım?”</blockquote><p>Evet, OpenCV, YOLO, MediaPipe gibi açık kaynak kütüphanelerle video analizi gerçekleştirmek mümkün. Ancak bu araçlar genellikle daha fazla mühendislik çabası ve sistem kurulum süreci gerektirir. Video Intelligence API ise farklı bir katmanda, hazır, ölçeklenebilir ve bakım maliyeti neredeyse sıfır olan bir çözüm sunar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*s2ZjCYDh8VHUoNNJD6cMlg.png" /></figure><h3>Ne Zaman Hangisini Kullanmalı?</h3><p><strong>Geleneksel kütüphaneleri tercih edin:</strong></p><ul><li>Özel, domain-spesifik bir model eğitmeniz gerekiyorsa</li><li>Edge cihazlarda (IoT, mobil) çevrimdışı çalışma ihtiyacınız varsa</li><li>Tam kontrol ve özelleştirme istiyorsanız</li><li>Veri güvenliği nedeniyle videoları buluta göndermek istemiyorsanız</li></ul><p><strong>Video Intelligence API’yi tercih edin:</strong></p><ul><li>Hızlı prototipleme ve pazara çıkış istiyorsanız</li><li>Altyapı yönetimiyle uğraşmak istemiyorsanız</li><li>Değişken video işleme yükleriniz varsa</li><li>Genel kullanım senaryolarında (etiketleme, nesne tanıma vb.) yeterli doğruluk arıyorsanız</li></ul><blockquote><strong><em>Etiketleme (Label Detection):</em></strong><em> Videoda geçen nesne, ortam veya aktiviteleri otomatik olarak tanımlar. Örneğin bir sahil videosunda “deniz”, “kumsal”, “güneş batımı” gibi etiketleri saniyeler içinde çıkarır.</em></blockquote><blockquote><strong><em>Kullanım senaryosu:</em></strong><em> Video arşivlerini otomatik kategorize etme, arama motorları için metadata üretme.</em></blockquote><blockquote><strong><em>Sahne Değişikliği Algılama (Shot Change Detection): </em></strong><em>Video içerisindeki sahne geçişlerini milisaniye hassasiyetiyle tespit eder. Bu sayede uzun videolar anlamlı segmentlere ayrılabilir.</em></blockquote><blockquote><strong><em>Kullanım senaryosu:</em></strong><em> Otomatik video özet çıkarma, highlight reel oluşturma, reklam yerleştirme noktalarını belirleme.</em></blockquote><blockquote><strong><em>Nesne Takibi (Object Tracking): </em></strong><em>Bir nesnenin video boyunca hareketini frame-by-frame izler, koordinatlarını belirler. Bir kişinin veya aracın video içindeki tüm yolculuğunu takip edebilir.</em></blockquote><blockquote><strong><em>Kullanım senaryosu:</em></strong><em> Güvenlik kameraları analizi, spor videoları analizi, trafik izleme.</em></blockquote><blockquote><strong><em>Metin Tanıma (Text Detection — OCR): </em></strong><em>Video karelerinde görünen yazılı içerikleri tespit eder ve çıkarır. Tabela, afiş, altyazı gibi tüm metinler okunabilir.</em></blockquote><blockquote><strong><em>Kullanım senaryosu:</em></strong><em> Belgesel arşivlerinde arama, tabelaların otomatik çevirisi, erişilebilirlik iyileştirme.</em></blockquote><blockquote><strong><em>Konuşma Tanıma (Speech Transcription): </em></strong><em>Videoda geçen konuşmaları yüksek doğrulukla yazıya döker. 125&#39;den fazla dil ve lehçeyi destekler.</em></blockquote><blockquote><strong><em>Kullanım senaryosu:</em></strong><em> Otomatik altyazı üretimi, içerik moderasyonu, toplantı kayıtlarını aranabilir hale getirme.</em></blockquote><blockquote><strong><em>Uygunsuz İçerik Tespiti (Explicit Content Detection): </em></strong><em>Müstehcen veya rahatsız edici içerikleri beş kategoride (çok düşük, düşük, olası, yüksek, çok yüksek) otomatik olarak tespit eder.</em></blockquote><blockquote><strong><em>Kullanım senaryosu:</em></strong><em> Kullanıcı tarafından yüklenen içeriklerin otomatik moderasyonu, reklam güvenliği, marka koruması.</em></blockquote><h3>Fiyatlandırma ve Maliyet Optimizasyonu</h3><p>Video Intelligence API, kullandığınız kadar ödeme modeli ile çalışır. İlk 1000 dakika ücretsizdir. Sonrasında özellik bazında dakika başı ücretlendirme yapılır.</p><h3>Sınırlamalar ve Dikkat Edilmesi Gerekenler</h3><p>Her teknolojinin olduğu gibi Video Intelligence API’nin de bazı sınırlamaları var:</p><ul><li><strong>Özel domain problemleri:</strong> Çok spesifik senaryolarda önceden eğitilmiş modeller yetersiz kalabilir</li><li><strong>Latency:</strong> Real-time işleme için değil, asenkron işleme için optimize edilmiştir</li><li><strong>Maliyet:</strong> Çok yüksek hacimlerde özel çözümler daha ekonomik olabilir</li><li><strong>Bağımlılık:</strong> Google Cloud ekosisteminden çıkmak istediğinizde migration maliyeti oluşur</li></ul><p>Google Cloud Video Intelligence API, video analizi süreçlerini büyük ölçüde kolaylaştıran ve hızlandıran güçlü bir araçtır. Özellikle büyük hacimli video içerikleriyle çalışan işletmeler, içerik üreticileri ve geliştiriciler için zamandan ve maliyetten tasarruf sağlayan ideal bir çözüm sunar.</p><p>Klasik görüntü işleme kütüphanelerinin aksine, sunucu kurulumu, model eğitimi veya sürekli bakım gibi teknik zorluklarla uğraşmanıza gerek kalmaz. Sadece API çağrıları yaparak profesyonel düzeyde video analizi gerçekleştirebilirsiniz.</p><p>Medya şirketlerinden e-ticaret platformlarına, güvenlik sistemlerinden eğitim teknolojilerine kadar geniş bir yelpazede kullanım alanı bulan bu servis, yapay zeka destekli video analizini demokratikleştirerek herkesin erişimine sunuyor.</p><p>Eğer projelerinizde video içerik analizi ihtiyacınız varsa ve hızlı, ölçeklenebilir bir çözüm arıyorsanız Video Intelligence API’yi değerlendirmenizi ve kendi kullanım senaryonuz için potansiyelini keşfetmenizi kesinlikle tavsiye ederim. Yapay zeka destekli video analizi artık sadece büyük teknoloji şirketlerinin tekelinde değil — birkaç satır kod ile siz de bu gücü projelerinize katabilirsiniz.</p><p>Ayrıntılı bilgi ve açıklama için:</p><p><a href="https://cloud.google.com/video-intelligence/docs/how-to?source=post_page-----e178491bf890---------------------------------------">How-to Guides | Video Intelligence API | Google Cloud</a></p><p><em>Bir sonraki yazımda ise Google Video Intelligence API yapısını teknik olarak ele alıp, küçük bir proje yapacağız.</em></p><p><em>Takipte kalın.</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2f27c54e8a78" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Vector Search Nedir? Vector Searchlerin Mantığını Kavrama]]></title>
            <link>https://medium.com/@Furkandurmus/vector-search-nedir-vector-searchlerin-mant%C4%B1%C4%9F%C4%B1n%C4%B1-kavrama-7ee39d33b766?source=rss-606901b922c------2</link>
            <guid isPermaLink="false">https://medium.com/p/7ee39d33b766</guid>
            <category><![CDATA[vector-search]]></category>
            <category><![CDATA[agents]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[retrieval-augmented-gen]]></category>
            <dc:creator><![CDATA[Furkan Durmuş]]></dc:creator>
            <pubDate>Mon, 19 May 2025 12:40:51 GMT</pubDate>
            <atom:updated>2025-05-19T12:40:51.705Z</atom:updated>
            <content:encoded><![CDATA[<p>Günümüzde arama motorları ve yapay zeka uygulamaları, sadece kelime eşleştirmeyle yetinmeyip <em>anlamı</em> da yakalayabilen sonuçlar sunuyor. Bunun arkasındaki en güçlü teknolojilerden biri ise <strong>Vector Search</strong> yani vektör tabanlı arama yöntemleri. Geleneksel anahtar kelime aramaları, kelimelerin tam eşleşmesine odaklanırken, Vector Search verileri matematiksel vektörlere çevirip içerikler arasındaki <strong>anlamsal yakınlığı</strong> buluyor. Peki bu nasıl oluyor? Arama sonuçları bizim ne demek istediğimizi nasıl anlıyor? İşte bu yazıda, Vector Search’ün mantığını sade bir dille inceleyecek ve bu teknolojinin neden arama dünyasında devrim yarattığını adım adım kavrayacağız.</p><h3>Vektör Nedir?</h3><p>Vektör kelimesi matematiksel bir terim olsa da, aslında oldukça basit bir şekilde açıklanabilir. Vektörü <strong>sayılardan oluşan bir liste</strong> gibi düşünebiliriz. Ancak burada sadece sayılar değil, <strong>anlamlar ve bu anlamlar arasındaki ilişkiler</strong> de temsil edilir.</p><p>İnsan beyninin çalışma yapısına baktığımızda, örneğin biri bize “kedi” kelimesini söylediğinde, zihnimiz yalnızca bu kelimeye odaklanmaz. Aynı anda “pisi”, “mama”, “evcil hayvan” ve hatta farklı hayvan isimleriyle de <strong>bağlantı kurar</strong>. İşte vektörler de benzer şekilde çalışır. Fakat bunu <strong>sayısal değerler üzerinden yaparlar</strong> ve kelimeler arasındaki ilişkiyi bu değerler arasındaki <strong>matematiksel yakınlığa</strong> göre belirlerler.</p><p>Örneğin:</p><ul><li><strong>“kedi” → [0.15, 0.92, -0.33, …]</strong></li><li><strong>“pisi” → [0.14, 0.90, -0.30, …]</strong></li></ul><p>Burada her kelime, çok boyutlu bir <strong>vektör uzayında</strong> belirli bir noktaya karşılık gelir. “Kedi” ve “pisi” vektörlerinin sayısal değerleri birbirine yakın olduğu için, aralarındaki <strong>anlam benzerliği</strong> de yüksektir.</p><p>Bu yaklaşım sayesinde arama motorları, yalnızca kelimelere değil, kelimelerin <strong>anlamlarına</strong> da odaklanarak çok daha doğru ve akıllı sonuçlar üretebilir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*L-bXWy99pfqPT6wCvDtXZQ.png" /></figure><h3>Vector Search Nasıl Çalışır? Semantic Search’ten Farkı Nedir?</h3><p><strong>Geleneksel arama motorları</strong> ve <strong>semantic search</strong> (anlamsal arama) sistemleri, genellikle <strong>anahtar kelime eşleme (keyword matching)</strong> mantığıyla çalışır. Kullanıcı arama kutusuna ne yazdıysa, sistem de veritabanında aynı kelimeleri birebir arar. Ancak bu yöntem, kelimelerin <strong>anlamını</strong> tam olarak yakalayamaz. Eş anlamlılar, farklı ifade biçimleri veya bağlamlar genellikle gözden kaçar.</p><p>İşte bu noktada <strong>Vector Search</strong> devreye girer. Vector Search, sorguları sadece kelimeler üzerinden değil, <strong>anlam vektörleriyle</strong> temsil ederek işler. Böylece, kullanıcıların <strong>neyi kastettiğini</strong> daha iyi anlayan ve daha doğru sonuçlar sunan bir yapı ortaya çıkar.</p><h4>Adım Adım Vector Search Mantığı:</h4><ol><li>Sorgunun Vektöre Dönüştürülmesi</li></ol><p>Kullanıcının yazdığı arama ifadesi (örneğin: <em>“en yakın kahveci”</em>) özel bir model tarafından <strong>çok boyutlu bir vektöre</strong> çevrilir. Bu modele <strong>embedding modeli</strong> denir. Vektör, sorgunun <strong>anlamsal temsili</strong> olarak matematiksel bir form kazanır.</p><p>2. Veritabanındaki Belgelerin Vektörlerle Temsili</p><p>Arama yapılacak tüm içerikler (ürünler, makaleler, görseller vb.) daha önceden <strong>vektörlere dönüştürülür</strong>. Böylece her belge, <strong>vektör uzayında</strong> belirli bir konuma karşılık gelir.</p><p>3. Benzerlik Hesaplama (Similarity Search)</p><p>Kullanıcının sorgu vektörü ile veritabanındaki belge vektörleri arasındaki benzerlik ölçülür. Bu işlemde genellikle cosine similarity veya öklid mesafesi gibi matematiksel yöntemler kullanılır. Amaç, sorgunun anlamına en yakın içerikleri tespit etmektir.</p><p>4. En Uygun Sonuçların Getirilmesi</p><p>Benzerliği en yüksek olan vektörler belirlenir ve bu vektörlere karşılık gelen içerikler, <strong>arama sonuçları</strong> olarak kullanıcının karşısına çıkar.</p><h4>Vector Search ve Semantic Search Arasındaki Fark</h4><p>Her iki yöntem de kullanıcının <strong>anlam arayışına</strong> daha iyi cevap verebilmek için geliştirilmiştir. Ancak <strong>Vector Search</strong>, kelimeler arasındaki <strong>anlamsal ilişkiyi matematiksel olarak modelleyerek</strong> daha isabetli sonuçlar sunar. <strong>Semantic Search</strong> ise genellikle kelime tabanlı ilişkilendirme ve basit anlamsal analizler yapar.</p><p>Kısacası, <strong>Vector Search</strong> daha derin ve bağlamsal bir anlama sahiptir. Bu sayede, farklı kelimelerle ifade edilen ama aynı anlamı taşıyan sorgular bile doğru sonuçlarla eşleştirilebilir.</p><blockquote>Her ne kadar farklı tekniklerle çalışsalar da hem <strong>Vector Search</strong> hem de <strong>Semantic Search</strong>, kullanıcıların aradığı bilgiye <strong>daha yüksek doğrulukla ulaşmasını</strong> sağlar. Günümüz arama teknolojileri ise bu iki yaklaşımı birleştirerek en iyi sonucu elde etmeye odaklanmaktadır.</blockquote><h3>Vector Search Nerelerde Karşımıza Çıkıyor?</h3><p>Günlük hayatımızda bir şeyler aramak istediğimizde, artık sadece <strong>anahtar kelimelerle arama yapmak</strong> yeterli olmuyor. <strong>Gelişen Büyük Dil Modelleri (LLM — Large Language Models)</strong> sayesinde, arama motorları çok daha <strong>anlamlı ve bağlamsal aramalar</strong> yapabiliyor. Bu gelişim, arama sonuçlarının kalitesini önemli ölçüde artırıyor.</p><p>Örneğin:</p><ul><li><strong>Google’ın geliştirdiği Gemini modeli</strong></li><li><strong>OpenAI modellerinin Bing arama motoruna entegrasyonu</strong></li></ul><p>Bu sistemler, kullanıcının aradığı cevabı daha iyi anlamlandırıp, daha <strong>doğru ve hızlı sonuçlar</strong> sunabiliyor. Hatta bazen, kullanıcıya özel olarak <strong>arama sonuçlarından özet çıkararak</strong> aradığı bilgiye doğrudan ulaşmasına yardımcı oluyor.</p><h4>Chatbotlar ve Vector Search Kullanımı</h4><p>Arama motorlarının dışında da <strong>Vector Search</strong> karşımıza sıkça çıkıyor. Özellikle şirketlerin sunduğu <strong>müşteri hizmetleri chatbotlarında</strong> bu teknoloji aktif olarak kullanılıyor.</p><p>Bir ürünle ilgili yaşadığınız bir sorun ya da merak ettiğiniz bir konu olduğunda, genellikle ilk olarak bir <strong>chatbot</strong> ile karşılaşırsınız. Bu sistemlerde, <strong>Vector Search</strong> ve <strong>RAG (Retrieval-Augmented Generation)</strong> gibi teknolojiler birlikte çalışır.</p><p>Kısaca nasıl işler?</p><ul><li>Şirketin ürünleri ve sık yaşanan problemlerle ilgili <strong>dokümanlar, kullanım kılavuzları</strong> ve benzeri bilgiler vektörlere dönüştürülerek sisteme yüklenir.</li><li>Bu bilgiler, <strong>OpenAI, Gemini gibi LLM modelleriyle</strong> önceden işlenir.</li><li>Kullanıcı bir soru sorduğunda, chatbot bu vektörleri kullanarak <strong>anlamsal olarak en yakın cevabı</strong> bulur ve yanıtlar.</li></ul><p>Bu sistemlerin en büyük avantajı:</p><ul><li><strong>Şirketlerin müşteri hizmetleri yükünü azaltması</strong> (maliyet ve zaman tasarrufu)</li><li><strong>Kullanıcıların dakikalarca beklemeden hızlıca çözüm bulması</strong></li></ul><blockquote>Vector Search teknolojisi, arama motorlarından chatbotlara kadar pek çok alanda karşımıza çıkıyor. Anlam odaklı arama yapma yeteneği sayesinde, hem şirketlerin iş süreçlerini optimize ediyor hem de kullanıcılara <strong>hızlı, doğru ve verimli çözümler</strong> sunuyor.</blockquote><h3>Vector Search Hangi Veritabanlarında Kullanılabilir? Uygulamalarda Nasıl Entegre Edilir?</h3><p>Günümüzde birçok modern veritabanı, <strong>vektör tabanlı arama (vector similarity search)</strong> desteği sunmaktadır. Bu veritabanları sayesinde, metin, görsel, ses gibi veriler vektörlere dönüştürülerek <strong>anlamsal olarak en yakın sonuçların</strong> bulunması sağlanabilir.</p><h4>Vector Search Destekleyen Popüler Veritabanları</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PJLLqMmwJqqIvUTWZS4ztw.png" /></figure><p>Bugün artık arama motorları sadece yazdıklarımızı değil, <strong>ne demek istediğimizi</strong> de anlamaya çalışıyor. Bu dönüşümün merkezinde ise <strong>Vector Search teknolojisi</strong> yer alıyor. Metinleri matematiksel vektörlere dönüştürerek, kelimeler arasındaki <strong>anlamsal yakınlıkları</strong> tespit edebilen bu yöntem, arama deneyimini çok daha doğru, kişiselleştirilmiş ve hızlı hale getiriyor.</p><p>Gelişmiş <strong>LLM modelleri</strong>, <strong>vektör destekli veritabanları</strong> ve <strong>chatbot sistemleri</strong> sayesinde, Vector Search artık sadece teknoloji devlerinin değil, her ölçekteki geliştiricinin ve ürünün bir parçası haline geldi. Kullanıcı deneyimini iyileştirmek isteyen her platform için bu teknoloji, güçlü bir araç.</p><p>Siz de uygulamalarınıza daha <strong>anlam odaklı</strong>, daha <strong>akıllı arama sistemleri</strong> eklemek istiyorsanız, Vector Search teknolojisini yakından tanımaya başlamanın tam zamanı.</p><blockquote>Doğru bilgiye hızlı ulaşmak artık bir ayrıcalık değil, bir beklenti. Bu beklentiyi karşılayan teknolojilerden biri de kesinlikle Vector Search.</blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7ee39d33b766" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[PySpark İle Data Analizi]]></title>
            <link>https://medium.com/@Furkandurmus/pyspark-i%CC%87le-data-analizi-ea3b680d6f2d?source=rss-606901b922c------2</link>
            <guid isPermaLink="false">https://medium.com/p/ea3b680d6f2d</guid>
            <category><![CDATA[pyspark]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[büyük-veri]]></category>
            <category><![CDATA[apache-spark]]></category>
            <category><![CDATA[big-data]]></category>
            <dc:creator><![CDATA[Furkan Durmuş]]></dc:creator>
            <pubDate>Wed, 20 Mar 2024 21:31:25 GMT</pubDate>
            <atom:updated>2024-03-20T21:31:25.195Z</atom:updated>
            <content:encoded><![CDATA[<p>Bu yazımızda PySpark ile birlikte veri analizi ve görselleştirmesi yapacağız. Ancak önce, PySpark’ın hangi alanlarda kullanıldığına bir göz atalım.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ROMwAsMOqWZwPeBUvSB2XA.png" /></figure><p><strong>PySpark Nedir?</strong></p><p>PySpark, Apache Spark’ın Python için geliştirilmiş bir kütüphanesidir ve büyük veri işleme için özel olarak tasarlanmıştır. Verinin hızla artması ve karmaşıklığının artmasıyla birlikte, veri analizi ve işleme ihtiyaçları da önemli ölçüde artmıştır. PySpark, büyük veri kümelerini hızlı ve etkili bir şekilde işleyebilme yeteneğiyle bu ihtiyaca cevap vermektedir. Özellikle dağıtık sistemlerde veri işleme, analiz ve makine öğrenimi gibi birçok alanda tercih edilmektedir.</p><p>PySpark, paralel işleme modelleriyle (örneğin, Resilient Distributed Dataset) veri üzerinde paralel işlemleri kolaylaştırır ve büyük veri kümeleri üzerinde karmaşık işlemleri hızlı bir şekilde gerçekleştirebilir.</p><p>Veri bilimcileri ve analistler, PySpark’ı tercih etmektedir çünkü Apache Spark’ın sunduğu hız ve ölçeklenebilirlik avantajlarını Python’un kolay ve esnek yazımıyla birleştirir. Bu sayede, veri ön işleme, keşifsel veri analizi, veri temizleme, dönüştürme ve zenginleştirme gibi aşamalar daha verimli bir şekilde gerçekleştirilebilir. Ayrıca, PySpark SQL, DataFrame ve MLlib gibi modülleri sayesinde SQL sorgulamaları, yapısal veri işleme ve makine öğrenimi görevleri de kolaylıkla yapılabilir.</p><p>Bu yazıda, PySpark kullanarak etkili veri analizleri ve görselleştirmeler nasıl yapılacağını ele alacağız. PySpark’ın sunduğu özelliklerden nasıl yararlanabileceğimizi, temel işlemlerden başlayarak ileri düzey analiz tekniklerine kadar adım adım inceleyeceğiz. Ayrıca, veri bilimi projelerinde PySpark’ın nasıl bir rol oynayabileceğini ve bu güçlü aracı kullanarak nasıl değerli içgörüler elde edebileceğimizi keşfedeceğiz.</p><p><strong>Peki Hadoop nedir ve Apache Spark’tan farkları nelerdir bir göz atalım.</strong></p><p>Hadoop ve Apache Spark, büyük veri işleme için iki popüler framework arasında yer almaktadır. Her ikisi de büyük veri işleme ve analizinde kullanılır, ancak farklı yaklaşımlar ve özellikler sunarlar. İşte Hadoop ve Apache Spark arasındaki temel farklar:</p><p><strong>1. İşleme Modeli ve Performans:<br></strong> — Hadoop, MapReduce modeline dayanır. Bu model, büyük veri kümelerini paralel olarak işlemek için kullanılır, ancak ara sonuçları disk üzerinde saklar ve bu nedenle I/O yoğun olabilir. Bu durum, bazı durumlarda performansı etkileyebilir.<br> — Apache Spark ise, RDD (Resilient Distributed Dataset) adı verilen bir veri yapısını kullanır. Spark, bu veri yapısı üzerinde in-memory hesaplama yaparak işlem performansını artırır. Bu nedenle, Spark genellikle Hadoop’dan daha hızlıdır.</p><p><strong>2. API ve Kullanım Kolaylığı:<br></strong> — Hadoop, Java tabanlı bir ekosistemdir ve genellikle MapReduce programlama modelini kullanır. Bu, bazı kullanıcılar için öğrenmesi ve kullanması zor olabilir.<br> — Apache Spark ise, birden fazla programlama diliyle (Python, Scala, Java) kullanılabilen zengin bir API’ya sahiptir. Ayrıca, Spark SQL, DataFrame API ve MLlib gibi yüksek seviye API’lar sağlayarak, kullanım kolaylığını artırır.</p><p><strong>3. Veri İşleme Yetenekleri:<br></strong> — Hadoop’un temel odak noktası batch işlemedir. Yani, veri kümesi üzerinde bir işlemi sıralı olarak gerçekleştirir.<br> — Apache Spark ise, batch işleme yanında interaktif sorgular, akış işleme (stream processing) ve karmaşık analizler gibi çeşitli işleme modellerini destekler. Bu esneklik, Spark’ı daha geniş bir kullanım alanına sokar.</p><p><strong>4. Ekosistem ve Entegrasyon:<br></strong> — Hadoop, HDFS (Hadoop Distributed File System) ve YARN (Yet Another Resource Negotiator) gibi bileşenleri içeren geniş bir ekosistem sunar. Bu ekosistem, büyük ölçekli veri depolama ve işleme için kapsamlı bir çözüm sağlar.<br> — Apache Spark da kendi ekosistemine sahiptir ve genellikle diğer büyük veri teknolojileriyle (örneğin, Hadoop, HBase, Cassandra) entegre çalışabilir. Ancak, Hadoop ekosistemi kadar geniş değildir.</p><p>Sonuç olarak, Apache Spark genellikle Hadoop’dan daha hızlı, daha kullanıcı dostu ve daha esnek bir büyük veri işleme çözümü olarak kabul edilir. Ancak, her iki teknolojinin de belirli kullanım senaryoları ve avantajları vardır, bu nedenle iş gereksinimlerinize ve altyapınıza bağlı olarak tercih edilirler.</p><p>Apache Spark ve Hadoop arasındaki farklara baktık. Şimdi ise PySpark ile basit bir Data Engineering projesi yapalım. Bu proje ile birlikte siz de PySpark kullanarak büyük veri setleri projelerine giriş yapabileceksiniz.</p><h3><em>Elektrik Araç Popülasyon Analizi</em></h3><p>Projeye başlamadan önce veri setimizi istediğiniz formatta buradan ulaşabilirsiniz. Bu site içerisinde binlerce açık veri seti bulunmaktadır. Bu veri setine bağlı kalmadan da kendinizde istediğiniz veri setini inceleyebilirsiniz. Veri setine aşağıdaki linkten ulaşabilirsiniz:</p><p><a href="https://catalog.data.gov/dataset/electric-vehicle-population-data">https://catalog.data.gov/dataset/electric-vehicle-population-data</a></p><p>Ben veri setimi direkt olarak yerel bilgisayarıma indirerek analizini yapacağım. Bunun içinde csv formatında verimi indiriyorum.</p><p>Sonrasında ise gerekli kütüphanelerin kurulumlarını yapmamız gerekiyor. Bunun için eğer kendi yerel bilgisayarınızda çalışacaksanız PySpark’ı yerel bilgisayarınıza kurmanız gerekmektedir. Bunun yerine Google Colab gibi sanal bir ortam üzerinden de kodlarınızı yazabilirsiniz. Öncesinde gerekli olan PySpark kütüphanesini kuralım:</p><blockquote>Yerel bilgisayarınızda çalışacaksanız eğer aşağıdaki linkten PySpark kurulumuna bakabilirsiniz: <a href="https://spark.apache.org/docs/latest/api/python/getting_started/install.html">https://spark.apache.org/docs/latest/api/python/getting_started/install.html</a></blockquote><p>Ben direkt olarak kodlarımı Google Colab üzerinden yazarak analiz etmeyi ve görselleştirmeyi yapacağım. Bunun içinde öncesinde pyspark’ı kuruyorum.</p><pre>pip install pyspark</pre><p>Sonrasında ise gerekli olan kütüphaneleri içeri aktarma işlemini yapmamız gerekiyor:</p><pre>from pyspark.sql import SparkSession<br>from pyspark.sql.functions import col, sum as _sum, lit, count, avg, when<br>from pyspark.ml.feature import StringIndexer</pre><p>Verimizi içeri aktarmadan önce “SparkSession” yapmamız gerekmektedir. Bunun amacı Apache Spark’ın Python API’lerini kullanarak Spark işlemlerini başlatmak ve yapılandırmak için kullanılan bir giriş noktasıdır.</p><pre><br>spark = SparkSession.builder \<br>    .appName(&quot;Electric Vehicle Population Data&quot;) \<br>    .config(&quot;spark.some.config.option&quot;, &quot;some-value&quot;) \<br>    .getOrCreate()</pre><ol><li>SparkSession.builder: Bu, SparkSession oluşturucu nesnesini başlatır. SparkSession, Spark işlemlerini başlatmak ve yapılandırmak için kullanılan bir giriş noktasıdır.</li><li>.appName(&quot;Electric Vehicle Population Data&quot;): Bu satır, Spark uygulamasının adını belirler. Burada &quot;Electric Vehicle Population Data&quot; olarak adlandırılmıştır. Bu, Spark UI ve diğer Spark bileşenleri tarafından kullanılacak bir kimlik sağlar. Yani, bu uygulamanın izlenmesi veya tanımlanması gerektiğinde bu isim kullanılacaktır.</li><li>.config(&quot;spark.some.config.option&quot;, &quot;some-value&quot;): Bu satır, SparkSession yapılandırmasını belirler. &quot;spark.some.config.option&quot; ile belirtilen bir yapılandırma seçeneği ve &quot;some-value&quot; olarak belirlenen bir değer atanmıştır. Bu yapılandırma seçeneği ve değeri, Spark&#39;ın çeşitli yapılandırma ayarlarını belirlemek için kullanılır. Örneğin, Spark&#39;ın çalışma modu veya bellek ayarları gibi.</li><li>.getOrCreate(): Bu satır, mevcut bir SparkSession örneğinin olup olmadığını kontrol eder. Eğer varsa, mevcut olanı alır. Yoksa, yeni bir SparkSession örneği oluşturur. Bu, Spark uygulamasında yalnızca bir SparkSession örneğinin olmasını sağlar ve mevcut bir oturumun kullanılmasını veya yeni bir oturumun oluşturulmasını sağlar.</li></ol><p>SparkSession kurulumunu yaptıktan sonra ise artık verimizi içeri aktarma vakti geldi. Bunun içinde veri setimizin bulunduğu path’i kopyalıyoruz ve içeri aktarma işlemini yapıyoruz.</p><pre>data = spark.read.csv(&quot;path/Electric_Vehicle_Population_Data.csv&quot;, header= True, inferSchema= True)<br>data.show()<br><br>---<br><br>+----------+---------+------------+-----+-----------+----------+---------+--------+---------------------+-------------------------------------------------+--------------+---------+--------------------+--------------+--------------------+--------------------+-----------------+<br>|VIN (1-10)|   County|        City|State|Postal Code|Model Year|     Make|   Model|Electric Vehicle Type|Clean Alternative Fuel Vehicle (CAFV) Eligibility|Electric Range|Base MSRP|Legislative District|DOL Vehicle ID|    Vehicle Location|    Electric Utility|2020 Census Tract|<br>+----------+---------+------------+-----+-----------+----------+---------+--------+---------------------+-------------------------------------------------+--------------+---------+--------------------+--------------+--------------------+--------------------+-----------------+<br>|5UXKT0C59G|   Yakima|      Zillah|   WA|      98953|      2016|      BMW|      X5| Plug-in Hybrid El...|                             Not eligible due ...|            14|        0|                  15|     206822717|POINT (-120.26317...|          PACIFICORP|      53077002201|<br>|5YJ3E1EA2J|Snohomish|     Edmonds|   WA|      98020|      2018|    TESLA| MODEL 3| Battery Electric ...|                             Clean Alternative...|           215|        0|                  21|     137721636|POINT (-122.37507...|PUGET SOUND ENERG...|      53061050502|<br>|1G1RE6E4XE|   Kitsap|Port Orchard|   WA|      98367|      2014|CHEVROLET|    VOLT| Plug-in Hybrid El...|                             Clean Alternative...|            38|        0|                  26|     197718468|POINT (-122.68470...|PUGET SOUND ENERG...|      53035092704|<br>|2C4RC1L76M|   Skagit|         Bow|   WA|      98232|      2021| CHRYSLER|PACIFICA| Plug-in Hybrid El...|                             Clean Alternative...|            32|        0|                  40|     256274308|POINT (-122.44063...|PUGET SOUND ENERG...|      53057950801|<br>|5YJ3E1EA2J| Thurston|     Olympia|   WA|      98513|      2018|    TESLA| MODEL 3| Battery Electric ...|                             Clean Alternative...|           215|        0|                   2|     259176578|POINT (-122.81754...|PUGET SOUND ENERG...|      53067012331|<br>|WA1E2BFY8N|Snohomish|   Snohomish|   WA|      98296|      2022|     AUDI|      Q5| Plug-in Hybrid El...|                             Not eligible due ...|            23|        0|                   1|     207797957|POINT (-122.15134...|PUGET SOUND ENERG...|      53061052108|<br>|KNDCE3LG2K| Thurston|     Olympia|   WA|      98506|      2019|      KIA|    NIRO| Battery Electric ...|                             Clean Alternative...|           239|        0|                  22|     256221178|POINT (-122.88747...|PUGET SOUND ENERG...|      53067010300|<br>|5YJ3E1EB9K|Snohomish|     Edmonds|   WA|      98020|      2019|    TESLA| MODEL 3| Battery Electric ...|                             Clean Alternative...|           220|        0|                  32|     477226991|POINT (-122.37507...|PUGET SOUND ENERG...|      53061050700|<br>|WBY8P2C57K|     King|     Seattle|   WA|      98102|      2019|      BMW|      I3| Battery Electric ...|                             Clean Alternative...|           153|        0|                  43|     121649510|POINT (-122.32226...|CITY OF SEATTLE -...|      53033006100|<br>|1FADP5CU2D| Thurston|       Lacey|   WA|      98503|      2013|     FORD|   C-MAX| Plug-in Hybrid El...|                             Not eligible due ...|            19|        0|                  22|     115266077|POINT (-122.8285 ...|PUGET SOUND ENERG...|      53067011200|<br>|5YJ3E1EB4J|Snohomish|     Bothell|   WA|      98021|      2018|    TESLA| MODEL 3| Battery Electric ...|                             Clean Alternative...|           215|        0|                   1|     342719737|POINT (-122.17945...|PUGET SOUND ENERG...|      53061051914|<br>|1N4BZ0CP5H|     King|   Fall City|   WA|      98024|      2017|   NISSAN|    LEAF| Battery Electric ...|                             Clean Alternative...|           107|        0|                   5|     180389240|POINT (-121.89361...|PUGET SOUND ENERG...|      53033032601|<br>|KM8JBDD23R| Thurston|     Olympia|   WA|      98502|      2024|  HYUNDAI|  TUCSON| Plug-in Hybrid El...|                             Clean Alternative...|            33|        0|                  22|     261210449|POINT (-122.92145...|PUGET SOUND ENERG...|      53067010600|<br>|5YJYGDEF1L|Snohomish|     Bothell|   WA|      98012|      2020|    TESLA| MODEL Y| Battery Electric ...|                             Clean Alternative...|           291|        0|                   1|     122587244|POINT (-122.1873 ...|PUGET SOUND ENERG...|      53061052107|<br>|1N4BZ0CP9H|     King|     Seattle|   WA|      98117|      2017|   NISSAN|    LEAF| Battery Electric ...|                             Clean Alternative...|           107|        0|                  36|     123284094|POINT (-122.37275...|CITY OF SEATTLE -...|      53033001702|<br>|5YJ3E1EA0J|Snohomish|     Edmonds|   WA|      98026|      2018|    TESLA| MODEL 3| Battery Electric ...|                             Clean Alternative...|           215|        0|                  21|     476175171|POINT (-122.33568...|PUGET SOUND ENERG...|      53061050300|<br>|5YJSA1E27J|     King|     Seattle|   WA|      98117|      2018|    TESLA| MODEL S| Battery Electric ...|                             Clean Alternative...|           249|        0|                  36|     348575874|POINT (-122.37275...|CITY OF SEATTLE -...|      53033001500|<br>|JN1AZ0CP9B|     King|    Bellevue|   WA|      98006|      2011|   NISSAN|    LEAF| Battery Electric ...|                             Clean Alternative...|            73|        0|                  41|     162746104|POINT (-122.16937...|PUGET SOUND ENERG...|      53033024905|<br>|WBY1Z4C56E|   Kitsap|   Bremerton|   WA|      98312|      2014|      BMW|      I3| Plug-in Hybrid El...|                             Clean Alternative...|            72|        0|                  35|     221479254|POINT (-122.65223...|PUGET SOUND ENERG...|      53035080900|<br>|1G1FY6S08K| Thurston|       Lacey|   WA|      98516|      2019|CHEVROLET| BOLT EV| Battery Electric ...|                             Clean Alternative...|           238|        0|                  22|     286453072|POINT (-122.74742...|PUGET SOUND ENERG...|      53067012221|<br>+----------+---------+------------+-----+-----------+----------+---------+--------+---------------------+-------------------------------------------------+--------------+---------+--------------------+--------------+--------------------+--------------------+-----------------+<br>only showing top 20 rows</pre><p>Burada header=True parametresi, dosyanın ilk satırının sütun isimlerini içerdiğini belirtir. inferSchema=True parametresi, Spark&#39;ın veri tiplerini otomatik olarak saptamasını sağlar, böylece verinin şemasını bizim için çıkartmış olur.</p><p>Şimdi ise verimizideki sütun isimlerini inceleyelim ve hangi türde sütunlarımız var görelim.</p><pre>data.printSchema()<br><br>---<br><br>root<br> |-- VIN (1-10): string (nullable = true)<br> |-- County: string (nullable = true)<br> |-- City: string (nullable = true)<br> |-- State: string (nullable = true)<br> |-- Postal Code: integer (nullable = true)<br> |-- Model Year: integer (nullable = true)<br> |-- Make: string (nullable = true)<br> |-- Model: string (nullable = true)<br> |-- Electric Vehicle Type: string (nullable = true)<br> |-- Clean Alternative Fuel Vehicle (CAFV) Eligibility: string (nullable = true)<br> |-- Electric Range: integer (nullable = true)<br> |-- Base MSRP: integer (nullable = true)<br> |-- Legislative District: integer (nullable = true)<br> |-- DOL Vehicle ID: integer (nullable = true)<br> |-- Vehicle Location: string (nullable = true)<br> |-- Electric Utility: string (nullable = true)<br> |-- 2020 Census Tract: long (nullable = true)</pre><blockquote><em>- </em><strong><em>VIN (1–10):</em></strong><em> Elektrikli aracın benzersiz kimlik numarasını temsil eden bir dize (string) sütunu. NULL değerlere izin verilir (nullable = true).</em></blockquote><blockquote><em>- </em><strong><em>County</em></strong><em>: Elektrikli aracın bulunduğu ilçeyi temsil eden bir dize (string) sütunu. NULL değerlere izin verilir (nullable = true).</em></blockquote><blockquote><em>- </em><strong><em>City</em></strong><em>: Elektrikli aracın bulunduğu şehri temsil eden bir dize (string) sütunu. NULL değerlere izin verilir (nullable = true).</em></blockquote><blockquote><em>- </em><strong><em>State</em></strong><em>: Elektrikli aracın bulunduğu eyaleti temsil eden bir dize (string) sütunu. NULL değerlere izin verilir (nullable = true).</em></blockquote><blockquote><em>- </em><strong><em>Postal</em></strong><em> </em><strong><em>Code</em></strong><em>: Elektrikli aracın bulunduğu posta kodunu temsil eden bir tamsayı (integer) sütunu. NULL değerlere izin verilir (nullable = true).</em></blockquote><blockquote><em>- </em><strong><em>Model</em></strong><em> </em><strong><em>Year</em></strong><em>: Elektrikli aracın model yılını temsil eden bir tamsayı (integer) sütunu. NULL değerlere izin verilir (nullable = true).</em></blockquote><blockquote><em>- </em><strong><em>Make</em></strong><em>: Elektrikli aracın üreticisini temsil eden bir dize (string) sütunu. NULL değerlere izin verilir (nullable = true).</em></blockquote><blockquote><em>- </em><strong><em>Model</em></strong><em>: Elektrikli aracın modelini temsil eden bir dize (string) sütunu. NULL değerlere izin verilir (nullable = true).</em></blockquote><blockquote><em>- </em><strong><em>Electric</em></strong><em> </em><strong><em>Vehicle</em></strong><em> </em><strong><em>Type</em></strong><em>: Elektrikli aracın türünü temsil eden bir dize (string) sütunu. NULL değerlere izin verilir (nullable = true).</em></blockquote><blockquote><em>- </em><strong><em>Clean</em></strong><em> </em><strong><em>Alternative</em></strong><em> </em><strong><em>Fuel</em></strong><em> </em><strong><em>Vehicle</em></strong><em> (</em><strong><em>CAFV</em></strong><em>) </em><strong><em>Eligibility</em></strong><em>: Temiz Alternatif Yakıt Araçları (CAFV) için uygunluk durumunu temsil eden bir dize (string) sütunu. NULL değerlere izin verilir (nullable = true).</em></blockquote><blockquote><em>- </em><strong><em>Electric</em></strong><em> </em><strong><em>Range</em></strong><em>: Elektrikli aracın elektrikle çalışma menzilini temsil eden bir tamsayı (integer) sütunu. NULL değerlere izin verilir (nullable = true).</em></blockquote><blockquote><em>- </em><strong><em>Base</em></strong><em> </em><strong><em>MSRP</em></strong><em>: Elektrikli aracın başlangıç fiyatını temsil eden bir tamsayı (integer) sütunu. NULL değerlere izin verilir (nullable = true).</em></blockquote><blockquote><em>- </em><strong><em>Legislative</em></strong><em> </em><strong><em>District</em></strong><em>: Yasa koyucu bölgeyi temsil eden bir tamsayı (integer) sütunu. NULL değerlere izin verilir (nullable = true).</em></blockquote><blockquote><em>- </em><strong><em>DOL</em></strong><em> </em><strong><em>Vehicle</em></strong><em> </em><strong><em>ID</em></strong><em>: Departman of Licensing (DOL) araç kimlik numarasını temsil eden bir tamsayı (integer) sütunu. NULL değerlere izin verilir (nullable = true).</em></blockquote><blockquote><em>- </em><strong><em>Vehicle</em></strong><em> </em><strong><em>Location</em></strong><em>: Elektrikli aracın konumunu temsil eden bir dize (string) sütunu. NULL değerlere izin verilir (nullable = true).</em></blockquote><blockquote><em>- </em><strong><em>Electric</em></strong><em> </em><strong><em>Utility</em></strong><em>: Elektrikli aracın kullanılan elektrik şirketini temsil eden bir dize (string) sütunu. NULL değerlere izin verilir (nullable = true).</em></blockquote><blockquote><em>- </em><strong><em>2020</em></strong><em> </em><strong><em>Census</em></strong><em> </em><strong><em>Trac</em></strong><em>*: 2020 Sayım Traktını temsil eden bir uzun (long) sütunu. NULL değerlere izin verilir (nullable = true).</em></blockquote><p>Veri setimizdeki sütunların bilgilerine ulaştığımıza göre sıra verimizde herhangi bir eksik değerimiz var mı bakmaya geldi.</p><pre>null_counts = data.select([_sum(col(c).isNull().cast(&quot;int&quot;)).alias(c) for c in data.columns])<br><br>null_counts.show()<br><br>---<br><br>+----------+------+----+-----+-----------+----------+----+-----+---------------------+-------------------------------------------------+--------------+---------+--------------------+--------------+----------------+----------------+-----------------+<br>|VIN (1-10)|County|City|State|Postal Code|Model Year|Make|Model|Electric Vehicle Type|Clean Alternative Fuel Vehicle (CAFV) Eligibility|Electric Range|Base MSRP|Legislative District|DOL Vehicle ID|Vehicle Location|Electric Utility|2020 Census Tract|<br>+----------+------+----+-----+-----------+----------+----+-----+---------------------+-------------------------------------------------+--------------+---------+--------------------+--------------+----------------+----------------+-----------------+<br>|         0|     5|   5|    0|          5|         0|   0|    0|                    0|                                                0|             1|        1|                 376|             0|              10|               5|                5|<br>+----------+------+----+-----+-----------+----------+----+-----+---------------------+-------------------------------------------------+--------------+---------+--------------------+--------------+----------------+----------------+-----------------+</pre><p>Burada sütunlarımıza baktığımızda eksik değerlerimizin en çok “Legislative District” sütununda olduğunu görüyoruz. Bu sütun araç sahibinin bulunduğu bölgenin yasama numarasını belirliyor. Araç sahibinin yaşadığı bölgeyi ve aracın nerede olduğunu bize belirten birkaç farklı sütun olduğu için bu sütunu veri setimizden çıkartabiliriz. Diğer eksik değerlerimizinde verimizin analizini etkilememesi için “0” değeri verebiliriz.</p><pre>columns_to_drop = [&#39;County&#39;, &#39;City&#39;, &#39;Postal Code&#39;, &#39;Electric Utility&#39;, &#39;2020 Census Tract&#39;, &#39;Electric Range&#39;, &#39;Base MSRP&#39;]<br>data = data.na.drop(subset=columns_to_drop).drop(&#39;Legislative District&#39;)<br><br>data = data.na.fill({&#39;Vehicle Location&#39;: &#39;0&#39;})<br><br>data.show()<br><br>---<br><br>+----------+---------+------------+-----+-----------+----------+---------+--------+---------------------+-------------------------------------------------+--------------+---------+--------------+--------------------+--------------------+-----------------+<br>|VIN (1-10)|   County|        City|State|Postal Code|Model Year|     Make|   Model|Electric Vehicle Type|Clean Alternative Fuel Vehicle (CAFV) Eligibility|Electric Range|Base MSRP|DOL Vehicle ID|    Vehicle Location|    Electric Utility|2020 Census Tract|<br>+----------+---------+------------+-----+-----------+----------+---------+--------+---------------------+-------------------------------------------------+--------------+---------+--------------+--------------------+--------------------+-----------------+<br>|5UXKT0C59G|   Yakima|      Zillah|   WA|      98953|      2016|      BMW|      X5| Plug-in Hybrid El...|                             Not eligible due ...|            14|        0|     206822717|POINT (-120.26317...|          PACIFICORP|      53077002201|<br>|5YJ3E1EA2J|Snohomish|     Edmonds|   WA|      98020|      2018|    TESLA| MODEL 3| Battery Electric ...|                             Clean Alternative...|           215|        0|     137721636|POINT (-122.37507...|PUGET SOUND ENERG...|      53061050502|<br>|1G1RE6E4XE|   Kitsap|Port Orchard|   WA|      98367|      2014|CHEVROLET|    VOLT| Plug-in Hybrid El...|                             Clean Alternative...|            38|        0|     197718468|POINT (-122.68470...|PUGET SOUND ENERG...|      53035092704|<br>|2C4RC1L76M|   Skagit|         Bow|   WA|      98232|      2021| CHRYSLER|PACIFICA| Plug-in Hybrid El...|                             Clean Alternative...|            32|        0|     256274308|POINT (-122.44063...|PUGET SOUND ENERG...|      53057950801|<br>|5YJ3E1EA2J| Thurston|     Olympia|   WA|      98513|      2018|    TESLA| MODEL 3| Battery Electric ...|                             Clean Alternative...|           215|        0|     259176578|POINT (-122.81754...|PUGET SOUND ENERG...|      53067012331|<br>|WA1E2BFY8N|Snohomish|   Snohomish|   WA|      98296|      2022|     AUDI|      Q5| Plug-in Hybrid El...|                             Not eligible due ...|            23|        0|     207797957|POINT (-122.15134...|PUGET SOUND ENERG...|      53061052108|<br>|KNDCE3LG2K| Thurston|     Olympia|   WA|      98506|      2019|      KIA|    NIRO| Battery Electric ...|                             Clean Alternative...|           239|        0|     256221178|POINT (-122.88747...|PUGET SOUND ENERG...|      53067010300|<br>|5YJ3E1EB9K|Snohomish|     Edmonds|   WA|      98020|      2019|    TESLA| MODEL 3| Battery Electric ...|                             Clean Alternative...|           220|        0|     477226991|POINT (-122.37507...|PUGET SOUND ENERG...|      53061050700|<br>|WBY8P2C57K|     King|     Seattle|   WA|      98102|      2019|      BMW|      I3| Battery Electric ...|                             Clean Alternative...|           153|        0|     121649510|POINT (-122.32226...|CITY OF SEATTLE -...|      53033006100|<br>|1FADP5CU2D| Thurston|       Lacey|   WA|      98503|      2013|     FORD|   C-MAX| Plug-in Hybrid El...|                             Not eligible due ...|            19|        0|     115266077|POINT (-122.8285 ...|PUGET SOUND ENERG...|      53067011200|<br>|5YJ3E1EB4J|Snohomish|     Bothell|   WA|      98021|      2018|    TESLA| MODEL 3| Battery Electric ...|                             Clean Alternative...|           215|        0|     342719737|POINT (-122.17945...|PUGET SOUND ENERG...|      53061051914|<br>|1N4BZ0CP5H|     King|   Fall City|   WA|      98024|      2017|   NISSAN|    LEAF| Battery Electric ...|                             Clean Alternative...|           107|        0|     180389240|POINT (-121.89361...|PUGET SOUND ENERG...|      53033032601|<br>|KM8JBDD23R| Thurston|     Olympia|   WA|      98502|      2024|  HYUNDAI|  TUCSON| Plug-in Hybrid El...|                             Clean Alternative...|            33|        0|     261210449|POINT (-122.92145...|PUGET SOUND ENERG...|      53067010600|<br>|5YJYGDEF1L|Snohomish|     Bothell|   WA|      98012|      2020|    TESLA| MODEL Y| Battery Electric ...|                             Clean Alternative...|           291|        0|     122587244|POINT (-122.1873 ...|PUGET SOUND ENERG...|      53061052107|<br>|1N4BZ0CP9H|     King|     Seattle|   WA|      98117|      2017|   NISSAN|    LEAF| Battery Electric ...|                             Clean Alternative...|           107|        0|     123284094|POINT (-122.37275...|CITY OF SEATTLE -...|      53033001702|<br>|5YJ3E1EA0J|Snohomish|     Edmonds|   WA|      98026|      2018|    TESLA| MODEL 3| Battery Electric ...|                             Clean Alternative...|           215|        0|     476175171|POINT (-122.33568...|PUGET SOUND ENERG...|      53061050300|<br>|5YJSA1E27J|     King|     Seattle|   WA|      98117|      2018|    TESLA| MODEL S| Battery Electric ...|                             Clean Alternative...|           249|        0|     348575874|POINT (-122.37275...|CITY OF SEATTLE -...|      53033001500|<br>|JN1AZ0CP9B|     King|    Bellevue|   WA|      98006|      2011|   NISSAN|    LEAF| Battery Electric ...|                             Clean Alternative...|            73|        0|     162746104|POINT (-122.16937...|PUGET SOUND ENERG...|      53033024905|<br>|WBY1Z4C56E|   Kitsap|   Bremerton|   WA|      98312|      2014|      BMW|      I3| Plug-in Hybrid El...|                             Clean Alternative...|            72|        0|     221479254|POINT (-122.65223...|PUGET SOUND ENERG...|      53035080900|<br>|1G1FY6S08K| Thurston|       Lacey|   WA|      98516|      2019|CHEVROLET| BOLT EV| Battery Electric ...|                             Clean Alternative...|           238|        0|     286453072|POINT (-122.74742...|PUGET SOUND ENERG...|      53067012221|<br>+----------+---------+------------+-----+-----------+----------+---------+--------+---------------------+-------------------------------------------------+--------------+---------+--------------+--------------------+--------------------+-----------------+<br>only showing top 20 rows</pre><p>Bu adımda, eksik değerlerin doldurulması ve gereksiz verilerin temizlenmesinin ardından veri görselleştirme işlemine geçeceğiz. Ancak, PySpark veri görselleştirmesi için doğrudan kütüphaneleri desteklemediği için, görselleştirmek için veriyi Pandas DataFrame’ine dönüştürmemiz gerekecek.</p><p>Pandas, daha iyi veri görselleştirmesi sunan bir kütüphanedir. Bu nedenle, Plotly kütüphanesini kullanarak görselleştirme ve analiz işlemlerini yapacağız. Burada gruplama işlemi için ise PySpark ile birlikte işlem yapacağız.</p><pre>data.groupBy(&quot;County&quot;).agg(count(&quot;VIN (1-10)&quot;).alias(&quot;EV_Count&quot;)).orderBy(&quot;EV_Count&quot;, ascending=False).show()<br><br>---<br><br>+---------+--------+<br>|   County|EV_Count|<br>+---------+--------+<br>|     King|   90326|<br>|Snohomish|   20473|<br>|   Pierce|   13508|<br>|    Clark|   10161|<br>| Thurston|    6235|<br>|   Kitsap|    5692|<br>|  Spokane|    4473|<br>|  Whatcom|    4146|<br>|   Benton|    2108|<br>|   Skagit|    1888|<br>|   Island|    1869|<br>|  Clallam|    1035|<br>|   Chelan|    1025|<br>|   Yakima|     974|<br>|Jefferson|     968|<br>| San Juan|     931|<br>|  Cowlitz|     880|<br>|    Mason|     806|<br>|    Lewis|     733|<br>| Kittitas|     623|<br>+---------+--------+<br>only showing top 20 rows</pre><h3>Veri Görselleştirme Ve Analiz Sonuçları</h3><p>Yukarıda yaptığımız veri temizleme ve basit gruplamalar ile birlikte verimizi analiz ettik. Şimdi ise verimizi görseller ile destekleyelim. Bunun içinde verimizde dönüştürme işlemi yapacağız ve görselleştirme işlemini de sağlayacağız.</p><p><strong>Elektrikli Araç Sayılarının Bölgelere Göre Görselleştirilmesi</strong></p><p>Burada yapacağımız işlem her bölgede ne kadar elektrikli araç olduğunu görmek olacak. Bununla birlikte hangi bölgelerin daha temiz enerjiye ulaşabileceğini anlayabiliriz. Burada kod içerisinden PySpark’tan Pandas’a dönüştürme işlemini görmemiz için dönüştürme işlemini yapacağız. Öncesinde dilerseniz siz direkt olarak tüm dataframe’i dönüştürme işlemine sokabilirsiniz.</p><pre>county_ev_counts = data.groupBy(&quot;County&quot;).agg(count(&quot;VIN (1-10)&quot;).alias(&quot;EV_Count&quot;))<br>county_ev_counts_pd = county_ev_counts.toPandas()<br><br>county_ev_counts_pd_sorted = county_ev_counts_pd.sort_values(by=&#39;EV_Count&#39;, ascending=False).head(10)<br><br>plt.figure(figsize=(10, 6))<br>plt.bar(county_ev_counts_pd_sorted[&#39;County&#39;], county_ev_counts_pd_sorted[&#39;EV_Count&#39;], color=&#39;skyblue&#39;)<br>plt.xlabel(&#39;County&#39;)<br>plt.ylabel(&#39;EV Count&#39;)<br>plt.xticks(rotation=45) <br>plt.title(&#39;Top 10 Counties by Electric Vehicle Count&#39;)<br>plt.tight_layout()<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/989/1*sqcoX-2fNTSeBiM-Wi91fw.png" /><figcaption>Top 10 Counties by Electric Vehicle Count</figcaption></figure><p><strong>Model Yılına Göre Araç Sayısı</strong></p><p>Burada araçların model yılına göre bir analiz yaparak hangi sene ne kadarlık bir araç alındığını görebiliriz. Buradaki grafik bize elektrikli araçlara olan talebin artışını ve azalışını da gösterebilir.</p><pre>data.groupBy(&quot;Model Year&quot;).agg(count(&quot;VIN (1-10)&quot;).alias(&quot;EV_Count&quot;)).orderBy(&quot;Model Year&quot;).show()</pre><pre>model_year_ev_counts = data.groupBy(&quot;Model Year&quot;).agg(count(&quot;VIN (1-10)&quot;).alias(&quot;EV_Count&quot;)).orderBy(&quot;Model Year&quot;)<br><br>model_year_ev_counts_pd = model_year_ev_counts.toPandas()<br><br>plt.figure(figsize=(12, 6))<br>plt.plot(model_year_ev_counts_pd[&#39;Model Year&#39;], model_year_ev_counts_pd[&#39;EV_Count&#39;], marker=&#39;o&#39;, linestyle=&#39;-&#39;, color=&#39;b&#39;)<br>plt.xlabel(&#39;Model Year&#39;)<br>plt.ylabel(&#39;EV Count&#39;)<br>plt.title(&#39;Electric Vehicle Count by Model Year&#39;)<br>plt.grid(True)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lm9VZ1RGnzMuEb_WOMKnEA.png" /><figcaption>Electric Vehicle Count by Model Year</figcaption></figure><p><strong>Elektrikli Araç Türüne Göre Görselleştirme</strong></p><p>Bu grafiğimizde ise hangi türde elektrikli araç kullanıldığını sütun grafikleri ile görselleştirmesini yapıyoruz. Öncesinde verdiğim kod ile aynı şekilde gruplama işlemini de yapabilirsiniz.</p><pre>data.groupBy(&quot;Electric Vehicle Type&quot;).agg(count(&quot;VIN (1-10)&quot;).alias(&quot;EV_Count&quot;)).orderBy(&quot;EV_Count&quot;, ascending=False).show()</pre><pre>ev_type_counts = data.groupBy(&quot;Electric Vehicle Type&quot;).agg(count(&quot;VIN (1-10)&quot;).alias(&quot;EV_Count&quot;)).orderBy(col(&quot;EV_Count&quot;).desc())<br><br>ev_type_counts_pd = ev_type_counts.toPandas()<br><br>plt.figure(figsize=(10, 6))<br>plt.bar(ev_type_counts_pd[&#39;Electric Vehicle Type&#39;], ev_type_counts_pd[&#39;EV_Count&#39;], color=&#39;green&#39;)<br>plt.xlabel(&#39;Electric Vehicle Type&#39;)<br>plt.ylabel(&#39;EV Count&#39;)<br>plt.title(&#39;Electric Vehicle Count by Type&#39;)<br>plt.xticks(rotation=45) <br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/876/1*nlwq7a1OO2T1nlsOQlJ98A.png" /><figcaption>Electric Vehicle Count by Type</figcaption></figure><p><strong>CAFV Uygunluk Durumuna Göre Görselleştirme</strong></p><p>Clean Alternative Fuel Vehicle (CAFV) Eligibility, araçların temiz ve alternatif yakıtlar kullanarak çevresel etkilerini azaltmalarını teşvik etmek için oluşturulan bir kriterler setidir. Bu kapsamda, CAFV uygunluk kriterleri, araçların emisyon seviyeleri, kullanılan yakıtın türü ve enerji verimliliği gibi özelliklere göre değerlendirilmesini içerir. Uygun araçlar genellikle elektrik, hidrojen yakıt hücreleri, biyodizel, doğal gaz gibi temiz enerji kaynaklarından güç alır.</p><p>Bu programın amacı, fosil yakıtların yol açtığı kirliliği ve sera gazı emisyonlarını azaltmak, enerji çeşitliliğini artırmak ve sürdürülebilir ulaşım çözümlerini teşvik etmektir. CAFV uygunluğu sağlayan araçlar, vergi indirimleri, park avantajları ve yüksek yoğunluklu trafik şeritlerini kullanma gibi çeşitli teşviklerden yararlanabilirler. Bu, sadece çevreyi korumakla kalmaz, aynı zamanda temiz enerji teknolojilerinin geliştirilmesi ve yaygınlaştırılmasını da teşvik eder.</p><pre>data.groupBy(&quot;Clean Alternative Fuel Vehicle (CAFV) Eligibility&quot;).agg(count(&quot;VIN (1-10)&quot;).alias(&quot;EV_Count&quot;)).orderBy(&quot;EV_Count&quot;, ascending=False).show()</pre><pre>cafvs_count = data.groupBy(&quot;Clean Alternative Fuel Vehicle (CAFV) Eligibility&quot;).agg(count(&quot;VIN (1-10)&quot;).alias(&quot;EV_Count&quot;)).orderBy(col(&quot;EV_Count&quot;).desc())<br><br>cafvs_count_pd = cafvs_count.toPandas()<br><br>plt.figure(figsize=(10, 6))<br>plt.bar(cafvs_count_pd[&#39;Clean Alternative Fuel Vehicle (CAFV) Eligibility&#39;], cafvs_count_pd[&#39;EV_Count&#39;], color=&#39;purple&#39;)<br>plt.xlabel(&#39;CAFV Eligibility&#39;)<br>plt.ylabel(&#39;EV Count&#39;)<br>plt.title(&#39;Electric Vehicle Count by CAFV Eligibility&#39;)<br>plt.xticks(rotation=45)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/868/1*_4jJrdUhtpzt5gopha1aOw.png" /><figcaption>Electric Vehicle Count by CAFV Eligibility</figcaption></figure><p>Son görselleştirmemizde ise Python kütüphanelerinden olan Folium kütüphanesini kullanarak verilerimizi harita üzerinde bir görselleştirme işlemi yapacağız. Burada hangi bölgede ne kadarlık bir elektrikli araç popülasyonu olduğunu göreceğiz. Bu kodu çalıştırdığımız zaman sonunda elimize geçen bir dosya olacak görsele bu çıktı ile ulaşabilirsiniz.</p><pre>import folium<br><br>df_pandas = data.select(&#39;Vehicle Location&#39;).toPandas()<br><br><br># Koordinat bilgilerini ayıklamak için bir fonksiyon tanımlayalım<br>def extract_coordinates(point_str):<br>    try:<br>        # Parantezleri ve &quot;POINT&quot; kelimesini kaldırarak koordinatları ayırma<br>        coordinates = point_str.strip(&quot;POINT ()&quot;).split()<br>        # Koordinatları float türüne dönüştürme ve sıralamayı (enlem, boylam) olarak ayarlama<br>        return [float(coordinates[1]), float(coordinates[0])]<br>    except:<br>        # Hatalı veya eksik veri durumunda None döndür<br>        return None<br><br># &#39;Vehicle Location&#39; sütununu kullanarak koordinatları ayıklama<br>df_pandas[&#39;Coordinates&#39;] = df_pandas[&#39;Vehicle Location&#39;].apply(extract_coordinates)<br><br># Koordinatları olan verileri filtreleme (None olmayanlar)<br>df_pandas_filtered = df_pandas.dropna(subset=[&#39;Coordinates&#39;])<br><br># Harita oluşturma (Washington eyaletinin merkezi olan bir noktadan başlayarak)<br>map = folium.Map(location=[47.7511, -120.7401], zoom_start=6)<br><br># Her bir koordinat için bir nokta ekleyerek haritayı oluşturma<br>for index, row in df_pandas_filtered.iterrows():<br>    folium.CircleMarker(location=row[&#39;Coordinates&#39;], radius=1, color=&#39;blue&#39;, fill=True).add_to(map)</pre><p>Öncelikle yukarıdaki kodu çalıştırıyoruz. Sonrasında ise yeni bir hücre içerisinde aşağıdaki kodu çalıştırıyoruz.</p><pre># Haritayı göster<br>map.save(&#39;map.html&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pinW4t_USUZk6Do-bADJkA.png" /></figure><p>Yukarıdaki harita üzerinde hangi bölgede elektrikli araç yoğunluğu olduğunu görebilirsiniz.</p><p>Bu blog yazısında, Apache Spark ve PySpark kütüphanesinin gücünden yararlanarak veri analizi sürecinin nasıl gerçekleştirileceğini detaylı bir şekilde ele aldık. Basit ancak etkili metodlar kullanarak veri gruplama, eksik değerlerin doldurulması ve veri ön işleme gibi temel adımları uyguladık. Analiz sürecimizi, Pandas ve çeşitli görselleştirme araçları ile zenginleştirerek verilerimiz üzerinde derinlemesine analizler gerçekleştirdik.</p><p>Umarım bu içerik, veri bilimi yolculuğunuzda size yol gösterici olur. Daha fazla bilgi, <a href="https://www.linkedin.com/in/furkandurmus/">güncelleme ve ipucu için takipte kalın. </a>Geri bildirimleriniz benim için değerli.</p><p>Bir sonraki yazımızda yeniden buluşana dek sağlık ve başarı dolu günler dilerim.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ea3b680d6f2d" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Yapay Sinir Ağları Ve Derin Öğrenme Kavramları]]></title>
            <link>https://medium.com/@Furkandurmus/yapay-sinir-a%C4%9Flar%C4%B1-ve-derin-%C3%B6%C4%9Frenme-kavramlar%C4%B1-096c3d4dffc4?source=rss-606901b922c------2</link>
            <guid isPermaLink="false">https://medium.com/p/096c3d4dffc4</guid>
            <category><![CDATA[mathematical-modeling]]></category>
            <category><![CDATA[activation-functions]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[artifical-intellegence]]></category>
            <category><![CDATA[neural-networks]]></category>
            <dc:creator><![CDATA[Furkan Durmuş]]></dc:creator>
            <pubDate>Sun, 18 Feb 2024 20:38:40 GMT</pubDate>
            <atom:updated>2024-02-18T20:38:40.575Z</atom:updated>
            <content:encoded><![CDATA[<p>Yapay zeka (AI), çağımızın en çığır açan teknolojilerinden biri olarak, günlük hayatımızdan iş dünyasına kadar her alanda devrim yaratıyor. Bu devrimin kalbinde yer alan yapay sinir ağları (YSA) ve derin öğrenme (Deep Learning) teknolojileri, insan beyninin işleyişini modelleyen sofistike sistemler olarak öne çıkıyor. Yapay sinir ağları, basit ama bir o kadar güçlü işlem birimleri olan “nöronlar” aracılığıyla karmaşık veri işleme yetenekleri sunar.</p><p>Bu nöronlar, gelen veriyi işleyerek sonuçları birbirlerine aktarır, bu da yapay zekanın insan beyninin fonksiyonlarını taklit eden bir yapıda çalışmasını sağlar. Bu benzersiz işleme kapasitesi, yapay zekanın, insanların beş duyu organıyla algıladıklarına benzer şekilde, karmaşık problemleri çözmesine olanak tanır.</p><p>Derin öğrenme, yapay sinir ağlarının çok katmanlı yapılarını kullanarak, veriden öğrenme kapasitesini en üst düzeye çıkarmayı hedefler. “Derin” terimi, modeldeki katman sayısını ifade eder ve bu katmanlar, modelin girdi verisinden daha soyut ve karmaşık özellikler çıkarmasını sağlar. Derin öğrenme, günümüzde görüntü ve ses tanıma, doğal dil işleme, otonom araçlar ve daha birçok alanda devrim yaratarak, teknolojinin sınırlarını zorlamaktadır.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/330/1*RFlITuUizZAGWqqGUjqDWA.gif" /></figure><p>Bu yazıda, yapay sinir ağlarının ve derin öğrenme teknolojilerinin temel prensiplerini, uygulama alanlarını ve bu yenilikçi teknolojilerin geleceği üzerindeki potansiyel etkilerini detaylı bir şekilde inceleyeceğiz. Yapay zeka ve ilgili teknolojilerin, nasıl bir dönüşüm yarattığını ve insanlık için ne anlama geldiğini ele alacağız. Ayrıca, yapay zeka ve derin öğrenmenin, veri bilimi, makine öğrenimi, robotik ve otomasyon gibi kilit alanlarda nasıl bir sinerji yarattığını ve bu sinerjinin, sektörler arası inovasyonu nasıl teşvik ettiğini de gözler önüne sereceğiz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/850/1*QFTtXSY4aA971QmhbGpLkA.png" /></figure><p>Derin öğrenme, yapay sinir ağlarını kullanarak, makinelerin gözetimsiz şekilde veriden öğrenmesini sağlayan ileri düzey bir tekniktir. Derin öğrenme ve yapay sinir ağları sayesinde çok karmaşık problemlerin çözümleri yapılabilmekte ve teknolojinin bir seviyede daha atlamasına katkı yapılmaktadır. Bunlardan en önemli ve son zamanların en popüleri olan ChatGPT’nin ortaya çıkışı oldu. ChatGPT sayesinde kullanıcılar istedikleri konuda herhangi bir şey sorduklarında direkt olarak cevabını sanki karşılarında bir insan varmış gibi alabilmektedirler. Peki ChatGPT bunca bilgiyi nasıl işliyor ve bize sunuyor? GPT’nin arka yüzünde nasıl bir geliştirme var bunları hiç düşündünüz mü?</p><p>ChatGPT, derin öğrenme ve yapay sinir ağlarına dayanan GPT (Generative Pre-trained Transformer) modelinin bir uygulamasıdır ve doğal dil işleme (NLP) alanında devrim yaratmıştır. GPT serisinin temeli, büyük veri kümelerinden ön eğitimle öğrenme ve bu öğrenilen bilgileri çeşitli görevlerde uygulayabilme yeteneğine dayanır. Bu modeller, internette bulunan geniş metin korpuslarından öğrenir ve bu sayede çeşitli konularda bilgi sahibi olurlar. GPT modelinin arkasındaki gelişim süreci, öncelikle büyük bir veri seti üzerinde modelin ön eğitimini içerir. Bu ön eğitim aşamasında, model metinler arasındaki bağlamları, kelime ilişkilerini, dilbilgisini ve çeşitli dil yapılarını öğrenir. Ön eğitimden sonra, model belirli görevlere uygun hale getirilmek üzere ince ayar (fine-tuning) sürecinden geçer. Bu süreçte, modelin performansı belirli görevlere, örneğin metin üretme, soru cevaplama veya metin çeviri gibi işlemlere özelleştirilir.</p><p>ChatGPT’nin kullanıcıların sorduğu sorulara “insan gibi” cevap verebilmesinin altında yatan temel mekanizma, modelin dilin derin anlamlarını ve nüanslarını anlama yeteneğidir. Model, bir soruyla karşılaştığında, öğrendiği bilgileri ve dil modellerini kullanarak, soruya en uygun ve anlamlı cevabı üretir. Bu süreç, kelime seçimi, cümle yapısı ve bağlamın doğru bir şekilde anlaşılmasını gerektirir. ChatGPT ve benzeri modeller, dil modellerinin uygulama alanlarını genişletmiş ve yapay zekanın insan dilini anlama ve üretme yeteneğindeki sınırları zorlamıştır. Bu teknolojiler, müşteri hizmetleri, eğitim, içerik üretimi ve daha pek çok alanda kullanılarak, iş süreçlerini otomatikleştirmekte ve insan etkileşimini zenginleştirmektedir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xyNGR5D-tCBsoeUOizNowA.jpeg" /></figure><p>Yapay zeka ve derin öğrenme teknolojilerindeki bu ilerlemeler, bilgisayarların sadece belirli komutlara yanıt vermekten çok daha fazlasını yapabileceğini ve gerçek anlamda “öğrenen” sistemler yaratabileceğimizi göstermektedir. ChatGPT’nin gelişimi, yapay zeka alanında ne kadar ileri gidilebileceğine dair heyecan verici bir örnek teşkil etmektedir. Bu, aynı zamanda, teknolojinin insan hayatını nasıl dönüştürebileceğinin ve iş yapış şekillerimizi nasıl yeniden şekillendirebileceğinin de bir göstergesidir.</p><p>Peki şimdi bu kadar sözel konudan sonra basit bir şekilde birazda işin matematiğine girmeye ve derin öğrenmenin matematiksel olarak nasıl çalıştığına göz atalım.</p><p>Derin öğrenme, matematiksel olarak, büyük ve karmaşık yapay sinir ağlarının veri üzerinden öğrenme sürecini ifade eder. Bu süreç, ağırlıklar ve eğimler gibi temel matematiksel kavramlara dayanır. Derin öğrenme modellerinin temelini anlamak için, birkaç anahtar matematiksel kavramı ele alalım:</p><ol><li><strong>Nöronlar ve Aktivasyon Fonksiyonları</strong></li></ol><p>Yapay sinir ağlarında, her bir nöron belirli bir girdi setini alır, bu girdileri ağırlıklarla çarpar ve bir toplama işlemi yapar. Bu toplam, bir aktivasyon fonksiyonundan geçirilir, bu da nöronun çıktısını belirler. Aktivasyon fonksiyonları, modelin doğrusal olmayan özellikleri öğrenmesini sağlar. Popüler aktivasyon fonksiyonları arasında ReLU (Rectified Linear Unit), sigmoid ve tanh (hiperbolik tanjant) bulunur.</p><p><strong>ReLU (Rectified Linear Unit): </strong>ReLU, modern derin öğrenme modellerinde en yaygın kullanılan aktivasyon fonksiyonlarından biridir. Bu fonksiyon, girdisi sıfırdan büyükse girdi değerini doğrudan çıktı olarak verirken, sıfırdan küçük veya eşit girdiler için çıktıyı sıfır olarak belirler. ReLU’nun popülerliği, basitliği ve hesaplama verimliliği nedeniyledir. Doğrusal olmayan bir fonksiyon olmasına rağmen, gradient iniş sırasında daha hızlı ve etkili bir şekilde öğrenme sağlar. Ancak, ReLU, “ölü nöronlar” sorununa yol açabilir; eğer bir nöronun aktivasyonu bir kez sıfıra düşerse, bu nöron tekrar aktif hale gelmekte zorlanabilir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/552/1*fGaqmetZ0c-PiOWdzKVHKA.png" /></figure><p><strong>Sigmoid: </strong>Sigmoid fonksiyonu, çıktıları 0 ile 1 arasında sıkıştırır. Bu özellik, özellikle ikili sınıflandırma görevlerinde çıktıyı olasılık olarak yorumlamak için kullanışlıdır. Sigmoid, eski yapay sinir ağlarında sıkça kullanılan bir aktivasyon fonksiyonuydu çünkü çıktıları normalize etme ve pürüzsüz bir geçiş sağlama avantajları vardı. Ancak, derin ağlarda kullanıldığında, gradient kaybolması sorununa neden olabilir, bu da ağın daha derin katmanlarında etkili bir şekilde öğrenmesini engeller.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/478/1*HNDpDvF4hvTC8xzUGdPobw.png" /></figure><p><strong>Tanh (Hiperbolik Tanjant): </strong>Tanh veya hiperbolik tanjant fonksiyonu, çıktılarını -1 ile 1 arasında sıkıştırır. Bu, sigmoid fonksiyonuna benzer bir şekilde, çıktıları sıfırın etrafında normalize eder, bu da öğrenme sürecini bazı durumlarda daha verimli hale getirebilir. Tanh fonksiyonu, özellikle girdilerin ortalama değeri yaklaşık olarak sıfır olduğunda ve simetrik bir aktivasyon fonksiyonu gerektiğinde tercih edilir. Ancak, tanh fonksiyonu da derin ağlarda gradient kaybolması sorununu tetikleyebilir, bu da öğrenme sürecini zorlaştırabilir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/496/1*grfAqx0ttat3JWk8GFFxQQ.png" /></figure><p>Bu örneklerimiz dışında kullanılan daha birçok aktivasyon fonksiyonu vardır. Her fonksiyon eğitmek istediğiniz veya hangi alanda çalışmak istiyorsanız, o alanın özelliklerine göre ayrılmaktadır. Çok sınıflayıcı fonksiyonlar olarak geniş aralıkta aktive olması dolayısıyla <strong>hiperbolik tanjant</strong> ya da modelim biraz daha yavaş öğrenebilir derseniz <strong>sigmoid</strong> fonksiyonu kullanılabilir. Ama ağınız çok derinse ve işlem yükü önemli bir problemse <strong>ReLU</strong> tercih edilebilir. ReLU’daki gradyanların ölmesi sorununa çözüm olarak <strong>Leaky ReLU</strong> kullanmaya karar verebilirsiniz. Ama ReLU’ya göre daha çok işlem yapmış olursunuz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nEDDWwSGfQk7_bqzMOao1Q.png" /></figure><p><strong>2. Ağırlıklar ve Biaslar</strong></p><p>Her bir nöronun girdileri, ilgili ağırlıklarla çarpılır. Ağırlıklar, modelin öğrenme sürecinde ayarladığı parametrelerdir. Her nöronun ayrıca bir bias değeri vardır, bu da aktivasyon fonksiyonuna eklenir ve nöronun aktivasyon eşiğini ayarlar.</p><p><strong>3. İleri Besleme (Feedforward)</strong></p><p>İleri besleme, girdi verisinin ağın katmanlarından geçirilerek çıktı üretilmesi sürecidir. Her katmandaki nöronlar, bir önceki katmandan gelen girdileri alır, bu girdileri ağırlıklarla çarpar, toplar ve bir aktivasyon fonksiyonundan geçirir.</p><p><strong>4. Kayıp Fonksiyonları</strong></p><p>Kayıp (veya maliyet) fonksiyonu, modelin tahminlerinin gerçek değerlerden ne kadar farklı olduğunu ölçer. Model eğitimi sırasında, kayıp fonksiyonunun değeri minimize edilmeye çalışılır. Yaygın kayıp fonksiyonları arasında ortalama kare hatası (MSE) ve çapraz entropi bulunur.</p><p><strong>5. Geri Yayılım (Backpropagation)</strong></p><p>Geri yayılım algoritması, kayıp fonksiyonunun model parametrelerine (ağırlıklar ve biaslar) göre türevini alarak, bu parametrelerin nasıl güncellenmesi gerektiğini belirler. Bu süreç, kayıp fonksiyonunun gradient iniş yöntemi kullanılarak minimize edilmesini içerir.</p><p><strong>6. Optimizasyon ve Öğrenme Hızı</strong></p><p>Modelin ağırlıkları, kayıp fonksiyonunu minimize etmek için iteratif olarak güncellenir. Bu güncellemeler, genellikle gradient iniş veya onun varyasyonları (örneğin, stokastik gradient iniş, Adam optimizasyonu) kullanılarak yapılır. Öğrenme hızı, her adımda ağırlıkların ne kadar güncelleneceğini belirleyen bir hiperparametredir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vFc21vhl1FDTz-VVsILEvA.gif" /><figcaption>ML ve DL arasındaki fark</figcaption></figure><p>Bu matematiksel kavramlar, derin öğrenme modellerinin temelini oluşturur ve bu modellerin nasıl karmaşık desenleri öğrenebileceğini ve veriden anlamlı bilgiler çıkarabileceğini açıklar. Derin öğrenmenin gücü, çok sayıda katman ve nöron içeren ağ yapılarının, veriden karmaşık ve soyut özellikler öğrenebilmesinden kaynaklanır.</p><p>Derin öğrenmenin matematiksel temelleri, nöronlar, aktivasyon fonksiyonları, ağırlıklar, biaslar ve kayıp fonksiyonları gibi kavramlara dayanır. Modelin eğitimi, ileri besleme ve geri yayılım işlemleri aracılığıyla gerçekleşir, burada kayıp fonksiyonunun minimize edilmesi hedeflenir. Bu süreç, modelin veriden öğrenmesini ve karmaşık desenleri tanımasını sağlar.</p><p>Sonuç olarak, yapay sinir ağları ve derin öğrenme, yapay zeka alanında devrim yaratan teknolojilerdir. Bu teknolojiler, makinelerin insan benzeri öğrenme ve anlama yeteneklerine sahip olmasını sağlayarak, teknolojinin sınırlarını genişletiyor ve iş süreçlerinden günlük yaşama kadar birçok alanda dönüşüm yaratıyor. Yapay zeka ve derin öğrenmenin bu hızlı gelişimi, gelecekte teknolojinin ve insan hayatının nasıl şekilleneceğine dair heyecan verici olanaklar sunuyor.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=096c3d4dffc4" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Apache Spark RDD ve DataFrame Yapıları]]></title>
            <link>https://medium.com/@Furkandurmus/apache-spark-rdd-ve-dataframe-yap%C4%B1lar%C4%B1-f1b601db4a38?source=rss-606901b922c------2</link>
            <guid isPermaLink="false">https://medium.com/p/f1b601db4a38</guid>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[apache-spark-tutorial]]></category>
            <category><![CDATA[apache-spark]]></category>
            <category><![CDATA[apache-spark-rdd]]></category>
            <category><![CDATA[data]]></category>
            <dc:creator><![CDATA[Furkan Durmuş]]></dc:creator>
            <pubDate>Sat, 29 Jul 2023 23:39:10 GMT</pubDate>
            <atom:updated>2023-07-29T23:39:39.861Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RG1GjLvokOoe6YiZ_k1iIA.png" /></figure><p>Bu yazımızda sizinle birlikte Apache Spark RDDs ve DataFrame yapılarını inceleyeceğiz. Apache Spark, Big Data gibi verileri işlemek için ortaya çıkmış açık kaynak kodlu dağıtılmış bir veri işleme platformudur. RDD (Resilient Distributed Datasets) farklı veri türlerinin salt-okunur koleksiyonudur, DataFrame ise bir veri kümesinin dağıtılmış bir koleksiyonudur.</p><h3>Apache Spark RDDs</h3><p>RDD, temel bir veri yapısı ve bir verinin farklı yapılarına hesaplama yapan sabit bir veri koleksiyonudur. Bir geliştiricinin bellek içindeki büyük yapılarındaki hesaplamaları esnek bir şekilde işlemesini sağlar ve bu şekilde, yapılan işlemin verimliliğini artırır.</p><h4>RDD Kullanım Şekilleri</h4><ul><li>Veriler yapılandırılmamışsa, RDD kullanımı veri kümeleri için daha performanslıdır.</li><li>Düşük hacimli dönüşümlerde, RDD yapısını kullanmak verileri manipüle etmekte ve dönüştürmekte daha iyi olacaktır.</li></ul><h4>RDD Kullanım Örnekleri</h4><ul><li>Herhangi tanımlanmamış herhangi bir veri kaynağından gelebilecek verileri kolaylıkla işleyebilir.</li><li>Hesaplamaları kolay bir şekilde yapmanıza olanak sağlar.</li><li>Yüksek seviyeli soyutlama ve düşük seviyeli dönüşüm için ve şema çalışmak istiyorsanız eğer kullanabilirsiniz.</li><li>Projeniz Java, Scala, R ve Python tabanlıysa kullanabilirsiniz.</li></ul><h3>Apache Spark DataFrame</h3><p>DataFrame kullanımında ise veriler adlandırılmış sütunlar halinde düzenlenir. Spark geliştiricilerinin, dağıtılmış veriler üzerinde bir yapı uygulamasına olanak tanıyan sabit bir dağıtılmış veri koleksiyonudur. Bu şekilde, DataFrame için daha üst düzeyde soyutlamaya izin verir.</p><h4>DataFrame Kullanım Şekilleri</h4><ul><li>Yapılandırılmış verilerde veya yarı yapılandırılmış verilerde ve üst düzey soyutlamalar yapmak istiyorsanız, DataFrame bu tür veriler için bir şema sağlar.</li><li>DataFrame yapılarını tek boyutlu veya çok boyutlu veri matrislerini tablo biçiminde saklamak istiyorsanız kullanabilirsiniz.</li><li>Veri kümelerinde üst düzey işleme gerekiyorsa, DataFrame üst düzey işlevler ve kullanım kolaylığı sağlar.</li></ul><h4>DataFrame Kullanım Örnekleri</h4><ul><li>Belli veri kaynaklarından gelen verileri (JSON, MySQL, CSV gibi) işleyebilir.</li><li>İşlem gerçekleştirildikten hemen sonra hesaplamalar yapmak istiyorsanız, bir veri çerçevesi kullanışlıdır.</li><li>Yapılandırılmamış veriler ve üst düzey soyutlamalar için ve bir şemada çalışmak istemiyorsanız kullanabilirsiniz.</li><li>Projeniz Java, Scala, R ve Python tabanlıysa kullanabilirsiniz.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*T_xsWT0rn_QEhYYJS3MGEQ.png" /></figure><h3>Apache Spark RDDs &amp; DataFrame Arasındaki Farklar</h3><h4><strong>Veri Formatlama</strong></h4><ul><li>Spark RDD, yapılandırılmış ve yapılandırılmamış verileri kolayca işleyebilir, ancak eklenen verilerin şemasını sağlamaz ve kullanıcıların bunu tanımlaması gerekir.</li><li>Spark DataFrame ise, adlandırılmış sütunlardaki organize verilerin dağıtılmış koleksiyonunu ifade eder ve ilişkisel bir veritabanı tablosu gibidir.</li></ul><h4>Veri Kaynaklarının API ile Entegrasyonu</h4><ul><li>RDD, veri kaynakları API’si ile entegre edildiğinde, RDD’nin metin dosyası veya veritabanı gibi herhangi bir veri kaynağından gelmesine izin verir. Bu şekilde, herhangi bir ön tanımlı yapı olmadan, veri işleme daha kolay hale gelir.</li><li>DataFrame ise, veri kaynakları API’si ile entegre edildiğinde, JSON, HIVE tabloları, AVRO, MySQL ve CSV gibi çeşitli formatlardaki verilerin işlenmesine olanak tanır. Bu sayede bu veri kaynaklarından kolayca yazabilir ve okuyabilir.</li></ul><h4>Derleme Zamanı Türü Güvenliği</h4><ul><li>RDD, derleme zamanı türü güvenliği aracılığıyla OOP’yi destekler.</li><li>DataFrame ise, derleme zamanı türü güvenliği aracılığıyla OOP’yi desteklemez çünkü bir sütun sunulmazsa ve Spark geliştiricileri buna erişmeye çalışırsa, çalışma zamanı sırasında bir öznitelik hatası oluşur.</li></ul><h4>Değişmezlik</h4><ul><li>RDD’nin doğası değişmezdir. Bu, RDD’de hiçbir şeyin değiştirilemeyeceği, ancak çeşitli dönüşümlerle yaratılabileceği anlamına gelir.</li><li>DataFrame için değişmezlik kavramı geçerlidir. Yani, dönüşümden sonra bir etki alanı nesnesi yeniden oluşturulamaz.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bz3VILYe_PVMqbkiWs61jg.png" /><figcaption>Apache Spark RDDs &amp; DataFrame</figcaption></figure><p>Apache Spark’ta RDD ve DataFrame yapıları arasındaki tercih, projenin ihtiyaçları ve mevcut kaynaklarla doğru orantılıdır. Eğer geliştirme ekibiniz Java, Scala, R veya Python gibi dillere hakimse, projenizin doğası ve gereksinimlerine göre RDD veya DataFrame kullanabilirsiniz. RDD, düşük seviyeli kontrol ve dönüşüm işlemleri için idealdir, ancak DataFrame yüksek seviyeli işlemlerle hızlı ve verimli bir şekilde çalışır.</p><p>Dağıtık veri elemanlarını işlemek istiyorsanız RDD tercih edilebilir, yapılandırılmış veriler üzerinde çalışmak için ise DataFrame daha uygun olabilir. Bu nedenle, Spark projelerinizde uygun veri yapılarını seçerek, verimli ve etkili bir analitik çözümü elde edebilirsiniz.</p><p>Sonuç olarak, Apache Spark’ın RDD ve DataFrame yapıları, veri işleme projelerinizde farklı ihtiyaçlarınıza yönelik güçlü araçlar sunar. Eğer büyük ölçekte dağıtık veri işleme yapmanız gerekiyorsa RDD yapısına yönelebilirsiniz. Aksine, yapılandırılmış veriler üzerinde daha hızlı ve pratik bir şekilde çalışmak istiyorsanız DataFrame yapısı sizin için daha uygun olabilir.</p><p>Hangi yapının seçileceği projenin gereksinimlerine ve ekibin yetkinliklerine bağlıdır. Apache Spark’ı kullanarak verilerinizi analiz ederken doğru yapıyı seçerek, verimli, ölçeklenebilir ve güçlü bir veri işleme çözümü oluşturabilirsiniz. Şimdi, Spark ile büyülü bir veri yolculuğuna başlama zamanı!</p><p>Umarım bu yazı keyifli bir okuma deneyimi yaşatmıştır. Gelecek yazılarımda da bir araya gelmek dileğiyle. Daha fazla içerik ve güncellemeler için <a href="https://linktr.ee/furkandurmus">buraya tıklayarak beni takip edebilirsiniz.</a></p><p>Sağlıcakla kalın…</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f1b601db4a38" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Müşteri Yaşam Boyu Değeri Hesaplama (CLTV)]]></title>
            <link>https://medium.com/@Furkandurmus/m%C3%BC%C5%9Fteri-ya%C5%9Fam-boyu-de%C4%9Feri-hesaplama-cltv-502f5a73d47b?source=rss-606901b922c------2</link>
            <guid isPermaLink="false">https://medium.com/p/502f5a73d47b</guid>
            <category><![CDATA[customer-success]]></category>
            <category><![CDATA[customer-experience]]></category>
            <category><![CDATA[customer-value-management]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[marketing]]></category>
            <dc:creator><![CDATA[Furkan Durmuş]]></dc:creator>
            <pubDate>Fri, 18 Nov 2022 23:11:25 GMT</pubDate>
            <atom:updated>2022-11-18T23:11:25.242Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XLedBeTdCKhqwB0cHbTSyw.jpeg" /></figure><p>Bir önceki yazımda size <a href="https://medium.com/@Furkandurmus/crm-analiti%C4%9Fine-giri%C5%9F-101-3353fcad4fcb"><strong>CRM Analitiğine Girişi</strong></a> ve <a href="https://medium.com/@Furkandurmus/s%C4%B1f%C4%B1rdan-rfm-i%CC%87le-m%C3%BC%C5%9Fteri-segmentasyonu-nas%C4%B1l-yap%C4%B1l%C4%B1r-ccb3f02fb759"><strong>RFM Analizinin</strong></a><strong> </strong>neler olduğundan bahsetmiştim. Bu yazımda ise kullanıcılarınız için yapacağınız Müşteri Yaşam Boyu Değer Tahminini yani CLTV’ye bakacağız.</p><p>Şirketlerin yeni müşteri bulmaktan ziyade eski müşterilerini ellerinde tutmaları onlar için daha az maliyetlidir. RFM analizinde müşterilerimiz için yaptığımız skorlama çalışması ile segmentlere ayırdık. CLTV ile de müşterilerimizin zaman içerisinde bize ne kadar getiri sağlayabileceğini hesaplayacağız.</p><p>Müşteri Yaşam Boyu Değerini hesaplamak için bilmemiz gereken bazı metrikler vardır:</p><blockquote><strong><em>Average Order Value (Ortalama Sipariş Değeri)</em></strong></blockquote><blockquote><strong><em>Purchase Frequency (Satın Alma Frekansı)</em></strong></blockquote><blockquote><strong><em>Profit Margin (Kâr Marjı)</em></strong></blockquote><blockquote><strong><em>Churn Rate (Kayıp Müşteri Oranı)</em></strong></blockquote><blockquote><strong><em>Customer Value (Müşteri Değeri)</em></strong></blockquote><blockquote><strong><em>Customer Life Time Value — CLTV (Müşteri Yaşam Boyu Değeri)</em></strong></blockquote><p>Bundan sonrasında çeşitli yapılacak formülasyonlar ile müşterimizin bize ne kadar getirisi olabilir hesaplayabiliriz. Bir örnek vermek gerekirse, bizden düzenli olarak alışveriş yapmakta olan bir müşterimiz olduğunu düşünelim.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1012/1*n55WqV5aYkf-ivnW314WXA.jpeg" /></figure><p>Öncelikle müşterimizin Ortalama Sipariş Değerini bulalım:</p><blockquote><strong><em>Average Order Value = Total Price / Total Transaction</em></strong></blockquote><p>Sonrasında ise müşterimizin Satın Alma Frekansını tespit edelim:</p><blockquote><strong><em>Purchase Frequency = Total Transaction / Total Number Of Customers</em></strong></blockquote><p>Peki bu müşterimizin bize bırakacağı Kâr Marjı ne kadar bakalım:</p><blockquote><strong><em>Profit Margin = Total Price / Profit Rate</em></strong></blockquote><p>Kayıp Müşteri Oranı ile müşteriyi kaybedip etmeyeceğimize bakalım:</p><blockquote><strong><em>Churn Rate = 1 — Repeat Rate</em></strong></blockquote><p>Müşteri Değerini bulalım :</p><blockquote><strong><em>Customer Value = Average Order Value * Purchase Frequency</em></strong></blockquote><p>Son olarak da müşterimizin Müşteri Yaşam Boyu Değerini hesaplayalım:</p><blockquote><strong><em>CLTV = ( Customer Value / Churn Rate ) * Profit Margin</em></strong></blockquote><p>Tüm bu hesaplamalar sonucunda her bir müşterimizin bizimle ne kadar etkileşimde olduğunu yani bize ne kadar getiri sağlayabileceğini anlayabiliriz. Buna bağlı olarak müşterilerimiz için çeşitli kampanyalar düzenleyerek onları elimizde tutabiliriz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SOCnlPHIOGa76uJ_7-QU8w.png" /></figure><p>Şimdi ise bulduğumuz değerler ile müşterilerimizin CLTV Tahminini yapabiliriz. Buradaki amacımız kullanıcılarımızın davranışlarından yola çıkarak gelecekte bize ne kadar değer katacaklarını bulmak olacak.</p><p>Örneğin bir alışveriş yaptığınız zaman belirli bir zaman dilimine kadar tekrardan alışveriş yapmazsınız. Şirketler bu zamanda kullanıcılarını kısmen pasif olarak değerlendirirler. Ancak burada kullanıcı tam olarak pasif olmamıştır. İhtiyacı doğduğunda veya bir kampanya ile tekrardan alışveriş yapmaya açık olacak gibi düşünebiliriz. Bunu da şirketlerin kesin olarak karar vermesi ve aksiyon almaları gerekmektedir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*XVKE5_TMtqp7hVpNU9zmyQ.jpeg" /></figure><p>Peki buna nasıl karar vereceğiz gelin birlikte bakalım.</p><p>Örneğin, bir müşteri düşünelim aylık ortalama herhangi bir üründen 1 adet satın alma yapıyor olsun. Aylık ortalama 1 adet satın alma yaptığı için müşterinin en son satın alma tarihinden 10 gün sonra daha alışveriş yapmamışsa müşterinin bizi terk etmesiyle ilgili bir şey söyleyemeyiz. Peki her gün 10 kere satın alma yapan başka bir müşteri, 4–5 gündür yoksa bu sefer bu müşteriye churn olmuş, churn olabilir diye bakabiliriz.</p><p>Bu kısımda en çok önemli olan konu ise bize yeni gelen müşterilerimizin potansiyel değerlerini öngöremiyoruz. Müşterimiz daha yeni gelip 1–2 ürün satın almış olsun ve bu müşteriye bir değer biçmek istiyoruz. Yani geleceğe yönelik bu müşteri bizim için çok değerli de olabilir vasat da olabilir. Bunu öngörebilirsek eğer müşteriyle ona göre bir iletişim yaklaşımı izleyebiliriz. İşte bu durumda geleceğe yönelik CLTV Prediction (müşteri değerinin tahmini) CRM çalışmaları özelinde çok önemli bir noktada yer almaktadır.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4FpbJv2yXEbkY5FLXuC-JA.jpeg" /></figure><p>Müşteriye ait elimizde ortalama bıraktığı gelir ve satın alma frekansı olsa da ileriye dönük tahmin yapamıyor olmamızın sebebi,</p><ul><li>Şirket açısından tüm müşterilerin davranış dağılımı elimizde yok.</li><li>Bireyler açısından da bu olasılık dağılımına göre bir tahmin yok.</li></ul><p>BG-NBD ve Gamma-Gamma modelleri ile bu sorunu çözerek ileriye dönük tahminleme yapmış olacağız.</p><blockquote><strong><em>BG-NBD Modeli nedir?</em></strong></blockquote><p>Belirli bir zaman periyodunda müşterilerin ne kadarlık bir satın alma yapabileceklerini tahmin etmek için kullanılır.</p><p>BG-NBD modeli nasıl uygulanır?</p><ul><li>Tüm müşterilerin satın alma geçmişlerinin dağılımları,</li><li>Tüm müşterilerin bizi kısmi bırakma yani etkin olmama oranlarının dağılımı ile</li><li>Tahminini yapacağımız tek bir müşteri bazında Tenure değeri, en son alışveriş tarihi ve toplam satın alma sayısı göz önünde bulundurularak tek bir kişinin geleceğe yönelik satın alma tahmini hesaplanır.</li></ul><blockquote><strong><em>Gamma-Gamma modeli nedir?</em></strong></blockquote><p>Belirli bir zaman periyodunda müşteri özelinde gelecekte ortalama bırakacağı karlılık tahmini için kullanılır.</p><ul><li>Satın alma sıklığı ile hesaplanan parasal değer arasında bir ilişki yoktur.</li><li>Ortalama hesaplanan değer her müşteri için farklılık gösterir.</li></ul><p>Özetle bu yazımızda sizinle birlikte müşterilerimizin yaşam boyu değerlerini hesaplayarak, bunlar üzerinden çeşitli modeller ile tahminlemeleri nasıl yapacağımızı öğrendik. Bir sonraki yazım için takipte kalın.</p><p>Tüm sosyal medya linklerime<strong> </strong><a href="https://linktr.ee/furkandurmus"><strong>buraya tıklayarak</strong></a> ulaşabilirsiniz.</p><p>Sevgilerle..</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=502f5a73d47b" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>