<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Venkataram k on Medium]]></title>
        <description><![CDATA[Stories by Venkataram k on Medium]]></description>
        <link>https://medium.com/@venkataramk?source=rss-669d6597ccd6------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*Ic46P1naHOqumCVEDlMExQ.jpeg</url>
            <title>Stories by Venkataram k on Medium</title>
            <link>https://medium.com/@venkataramk?source=rss-669d6597ccd6------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 08:26:05 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@venkataramk/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Machine Learning என்றால் என்ன? Data-லிருந்து Computer எப்படி Learn பண்ணுகிறது?]]></title>
            <link>https://medium.com/@venkataramk/machine-learning-%E0%AE%8E%E0%AE%A9%E0%AF%8D%E0%AE%B1%E0%AE%BE%E0%AE%B2%E0%AF%8D-%E0%AE%8E%E0%AE%A9%E0%AF%8D%E0%AE%A9-data-%E0%AE%B2%E0%AE%BF%E0%AE%B0%E0%AF%81%E0%AE%A8%E0%AF%8D%E0%AE%A4%E0%AF%81-computer-%E0%AE%8E%E0%AE%AA%E0%AF%8D%E0%AE%AA%E0%AE%9F%E0%AE%BF-learn-%E0%AE%AA%E0%AE%A3%E0%AF%8D%E0%AE%A3%E0%AF%81%E0%AE%95%E0%AE%BF%E0%AE%B1%E0%AE%A4%E0%AF%81-327d7db1b1b8?source=rss-669d6597ccd6------2</link>
            <guid isPermaLink="false">https://medium.com/p/327d7db1b1b8</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[tamil]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Venkataram k]]></dc:creator>
            <pubDate>Tue, 22 Sep 2026 05:14:57 GMT</pubDate>
            <atom:updated>2026-09-22T05:14:57.929Z</atom:updated>
            <content:encoded><![CDATA[<p>Machine Learning பற்றி படிக்க ஆரம்பிக்கும்போது ஒரு common question வரும்:</p><p><strong>“Computer-ஐ explicitly program பண்ணாமல் அது எப்படி learn பண்ணும்?”</strong></p><p>இதற்கு பெரிய magic எதுவும் இல்லை. Data-வில் இருக்கும் pattern-ஐ கண்டுபிடித்து, அந்த pattern-ஐ புதிய data மீது பயன்படுத்துவது தான் core idea.</p><p>இந்த article முடிக்கும்போது <strong>Machine Learning என்றால் என்ன, Model எப்படி train ஆகிறது, Weight, Prediction, Error, Gradient Descent என்ன role play பண்ணுகின்றன</strong> என்பதற்கான clear mental model கிடைக்கும்.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tq7zzqOU1u7gQraoeU8dMg.png" /></figure><h3>முதலில் Problem என்ன?</h3><p>ஒரு email spam-ஆ இல்லையா என்று identify பண்ணணும் என்று வைத்துக்கலாம்.</p><p>Traditional programming approach-ல் நாம் rules எழுதலாம்:</p><pre>&quot;Win money&quot; இருந்தால் spam<br>&quot;Free offer&quot; இருந்தால் spam<br>Unknown sender என்றால் suspicious</pre><p>ஆனால் real-world data இவ்வளவு simple கிடையாது.</p><p>Thousands of combinations இருக்கலாம். புதிய spam patterns தொடர்ந்து வரலாம். ஒவ்வொரு possibility-க்கும் developer manually rule எழுதுவது practical கிடையாது.</p><p>இதற்குப் பதிலாக:</p><blockquote><strong><em>Examples கொடுத்து, அதிலிருந்து pattern-ஐ system learn பண்ணட்டும்.</em></strong></blockquote><p>இந்த approach தான் Machine Learning-ன் foundation.</p><h3>Machine Learning என்றால் என்ன?</h3><p><strong>Machine Learning (ML)</strong> என்பது Artificial Intelligence-ன் ஒரு பகுதி.</p><p>Simple-ah சொன்னா:</p><blockquote><em>Data-வை பார்த்து useful pattern-ஐ learn பண்ணி, அந்த pattern-ஐ பயன்படுத்தி புதிய input-க்கு prediction அல்லது decision கொடுக்கும் technique தான் Machine Learning.</em></blockquote><p>Traditional programming-ல்:</p><pre>Data + Rules<br>     ↓<br>   Output</pre><p>Machine Learning-ல்:</p><pre>Training Data<br>     ↓<br>Learning Algorithm<br>     ↓<br>Learned Model<br>     ↓<br>New Data<br>     ↓<br>Prediction</pre><p>இங்கே முக்கியமான difference என்னனா, எல்லா decision rules-ஐயும் developer manually எழுத வேண்டியதில்லை.</p><p>Model data-லிருந்து useful relationship-ஐ learn பண்ணும்.</p><h3>ஒரு Simple Dataset வைத்து புரிந்துகொள்வோம்</h3><p>இந்த data இருக்கிறது என்று வைத்துக்கலாம்:</p><pre>x1  x2  y<br>4   2   8<br>1   2   5<br>0   5   10<br>2   1   4</pre><p>இங்கே x1, x2 inputs.</p><p>y output.</p><p>இந்த values-ஐ கொஞ்சம் observe பண்ணினால் ஒரு pattern தெரியும்:</p><pre>y = x1 + 2 × x2</pre><p>இதையே generic form-ல்:</p><pre>y = w1 × x1 + w2 × x2</pre><p>என்று எழுதலாம்.</p><p>இந்த example-ல்:</p><pre>w1 = 1<br>w2 = 2</pre><p>அதனால்:</p><pre>y = 1 × x1 + 2 × x2</pre><h4>இங்கே Model என்ன?</h4><p>நாம் பயன்படுத்திய equation:</p><pre>y = w1 × x1 + w2 × x2</pre><p>இதையே ஒரு <strong>simple linear model</strong> என்று நினைக்கலாம்.</p><p>x1, x2 → input features.</p><p>w1, w2 → model learn செய்ய வேண்டிய weights.</p><p>y → actual output.</p><p>Model-ன் வேலை என்ன?</p><p><strong>Correct </strong><strong>w1, </strong><strong>w2 values என்ன என்பதை training data-லிருந்து கண்டுபிடிப்பது.</strong></p><p>Source article இந்த simple linear example-ஐ பயன்படுத்தி Machine Learning learning process-ஐ explain செய்கிறது.</p><h4>ஏன் Weight அவ்வளவு Important?</h4><h4>Simple-ah சொன்னா</h4><p>Weight ஒரு input எவ்வளவு influence பண்ணுகிறது என்பதை control பண்ணும் value.</p><p>நம்ம example:</p><pre>y = 1 × x1 + 2 × x2</pre><p>இதில் x2 value output மீது x1-ஐ விட அதிக multiplier உடன் influence செய்கிறது.</p><h4>Technical-ah பார்த்தா</h4><p>Training ஆரம்பிக்கும்போது correct weights model-க்கு தெரியாது.</p><p>அது சில initial values-லிருந்து start பண்ணி:</p><ol><li>Prediction செய்யும்.</li><li>Prediction எவ்வளவு wrong என்று measure பண்ணும்.</li><li>Weights-ஐ adjust பண்ணும்.</li><li>மறுபடியும் prediction செய்யும்.</li><li>இந்த process-ஐ repeat பண்ணும்.</li></ol><p>இதுதான் <strong>training</strong>.</p><h3>Model எப்படி Learn பண்ணுகிறது?</h3><p>Training process-ஐ ஒரு simple flow-ஆ பார்க்கலாம்:</p><pre>Training Data<br>     ↓<br>Initial Parameters<br>     ↓<br>Prediction<br>     ↓<br>Compare with Actual Value<br>     ↓<br>Calculate Error / Loss<br>     ↓<br>Update Parameters<br>     ↓<br>Repeat<br>     ↓<br>Trained Model</pre><p>ஒவ்வொரு stage-ஐயும் பார்க்கலாம்.</p><h4>Step 1: ஆரம்பத்தில் Model-க்கு Answer தெரியாது</h4><p>Suppose:</p><pre>w1 = 0<br>w2 = 0</pre><p>Model formula:</p><pre>ŷ = w1 × x1 + w2 × x2</pre><p>இங்கே ŷ என்பது <strong>predicted y</strong>.</p><p>w1, w2 இரண்டும் zero என்றால் எல்லா prediction-களும் ஆரம்பத்தில் zero ஆகலாம்.</p><p>Clearly அது wrong.</p><p>ஆனால் அது problem இல்லை.</p><p>Training-ன் purpose-ஏ அந்த wrong parameters-ஐ gradually improve பண்ணுவது தான்.</p><h4>Step 2: Prediction செய்யும்</h4><p>ஒரு input:</p><pre>x1 = 4<br>x2 = 2</pre><p>Initial weights:</p><pre>w1 = 0<br>w2 = 0</pre><p>Prediction:</p><pre>ŷ = (0 × 4) + (0 × 2)<br>ŷ = 0</pre><p>ஆனால் actual value:</p><pre>y = (1 x 4) + (2 x 2)<br>y = 8</pre><p>Model prediction wrong.</p><h4>Step 3: Error எவ்வளவு என்று பார்க்கும்</h4><p>Simplified form-ல்:</p><pre>Error = Actual Value - Predicted Value</pre><p>அதாவது:</p><pre>Error = y - ŷ</pre><p>இந்த example-ல்:</p><pre>8 - 0 = 8</pre><p>Prediction actual value-யிலிருந்து எவ்வளவு விலகி இருக்கிறது என்பது இப்போது தெரிகிறது.</p><p>Real ML training-ல் பொதுவாக ஒரு <strong>loss function</strong> மூலம் overall mistake measure செய்யப்படும்.</p><h4>Step 4: Weights-ஐ Adjust பண்ணும்</h4><p>இப்போது main question:</p><p><strong>w1, </strong><strong>w2 values-ஐ எந்த direction-ல் change பண்ணினால் error குறையும்?</strong></p><p>இதற்கு பயன்படுத்தப்படும் முக்கிய optimization technique-களில் ஒன்று:</p><p><strong>Gradient Descent</strong></p><p>Source example-லும் weights பல iterations-ல் gradually correct values-க்கு move ஆகுவதை இதன் மூலம் விளக்குகிறது. (<a href="https://outcomeschool.com/blog/machine-learning">Outcome School</a>)</p><h3>Gradient Descent என்றால் என்ன?</h3><h4>Simple-ah சொன்னா</h4><p>Gradient Descent:</p><blockquote><strong><em>Error குறைய எந்த direction-ல் model parameters-ஐ மாற்ற வேண்டும் என்று guide பண்ணும் optimization algorithm.</em></strong></blockquote><p>Suppose training ஆரம்பத்தில்:</p><pre>w1 = 0<br>w2 = 0</pre><p>சில updates பிறகு:</p><pre>w1 = 0.22<br>w2 = 0.40</pre><p>அதற்குப் பிறகு:</p><pre>w1 = 0.40<br>w2 = 0.72</pre><p>இப்படி பல updates நடந்த பிறகு:</p><pre>w1 ≈ 1<br>w2 ≈ 2</pre><p>என்ற correct pattern-ஐ model approach செய்யலாம்.</p><h3>Training என்றால் இதுதான்</h3><p>Machine Learning training-ஐ இந்த loop-ஆ நினைவில் வைத்துக்கொள்ளலாம்:</p><pre>Predict<br>   ↓<br>Measure Error<br>   ↓<br>Update Parameters<br>   ↓<br>Predict Again<br>   ↓<br>Repeat</pre><p>இந்த process சில models-ல் நூற்றுக்கணக்கான iterations ஆகலாம்.</p><p>Large Deep Learning systems-ல் இது மிகவும் பெரிய datasets மற்றும் மிக அதிக parameters மீது நடக்கும்.</p><blockquote><strong><em>Learning என்பது model parameters-ஐ data-க்கு ஏற்றபடி update பண்ணும் process.</em></strong></blockquote><h3>Training முடிந்ததும் என்ன ஆகும்?</h3><p>Training data-வில் model ஒரு useful relationship-ஐ learn பண்ணிவிட்டது என்று வைத்துக்கலாம்:</p><pre>w1 = 1<br>w2 = 2</pre><p>இப்போது இதுவரை பார்க்காத input வருகிறது:</p><pre>x1 = 3<br>x2 = 4</pre><p>Model:</p><pre>y = 1 × 3 + 2 × 4</pre><p>அதாவது:</p><pre>y = 11</pre><p>இந்த input training table-ல் இல்லை.</p><p>ஆனாலும் learned pattern-ஐ பயன்படுத்தி model output predict பண்ணுகிறது.</p><p>இதுதான் Machine Learning-ல் மிகவும் முக்கியமான idea:</p><p><strong>Training examples-ஐ memorize செய்வது மட்டும் goal கிடையாது. புதிய data-க்கும் useful prediction செய்ய வேண்டும்.</strong></p><p>இதைத்தான் பொதுவாக <strong>generalization</strong> என்று சொல்வோம்.</p><h3>ஒரு Practical Example: Spam Detection</h3><p>இப்போது same idea-ஐ real-world problem-க்கு map பண்ணலாம்.</p><p>ஒரு email-ஐ spam / not-spam classify செய்ய வேண்டும்.</p><p>Training dataset:</p><pre>Email 1 → Spam<br>Email 2 → Not Spam<br>Email 3 → Spam<br>Email 4 → Not Spam<br>...</pre><p>Email-லிருந்து பல features derive செய்யலாம்:</p><pre>Words<br>Sender information<br>Links<br>Message patterns<br>Other signals</pre><p>Training process:</p><pre>Labeled Emails<br>      ↓<br>ML Algorithm<br>      ↓<br>Pattern Learning<br>      ↓<br>Trained Spam Model<br>      ↓<br>New Email<br>      ↓<br>Spam / Not Spam</pre><p>Developer எல்லா spam rules-ஐ manually define செய்ய வேண்டியதில்லை.</p><p>Model historical examples-ல் இருந்து useful statistical patterns-ஐ learn செய்ய முயற்சிக்கும்.</p><h3>Classification என்றால் என்ன?</h3><p>Spam example ஒரு <strong>classification problem</strong>.</p><p>Classification-ல் output ஒரு category.</p><p>Examples:</p><pre>Email → Spam / Not Spam<br>Image → Cat / Dog<br>Transaction → Fraud / Legitimate<br>Review → Positive / Negative</pre><p>Source article குறிப்பிடும் important point என்னனா, ஒரே general learning approach வெவ்வேறு datasets-ல் வெவ்வேறு patterns-ஐ learn செய்ய முடியும். (<a href="https://outcomeschool.com/blog/machine-learning">Outcome School</a>)</p><h3>Regression என்றால் என்ன?</h3><p>நம்ம x1, x2, y example ஒரு continuous numeric value predict செய்கிற மாதிரி அமைந்திருக்கிறது.</p><p>இதுபோன்ற problems <strong>regression</strong> category-ல் வரும்.</p><p>Examples:</p><pre>House Details → House Price<br>Temperature Data → Tomorrow&#39;s Temperature<br>Ad Spend → Expected Revenue</pre><p>Classification category predict பண்ணும்.</p><p>Regression numeric value predict பண்ணும்.</p><h3>Python-ல் ஒரு Tiny Example</h3><p>இந்த code-ன் purpose production-ready ML system build பண்ணுவது இல்லை.</p><p><strong>Prediction → Error → Gradient → Weight Update</strong> என்ற training loop எப்படி இருக்கும் என்பதை visualize பண்ணுவது மட்டும்.</p><pre>import numpy as np<br><br>X = np.array([<br>    [4, 2],<br>    [1, 2],<br>    [0, 5],<br>    [2, 1]<br>], dtype=float)<br><br>y = np.array([8, 5, 10, 4], dtype=float)<br><br>weights = np.zeros(2)<br>learning_rate = 0.01<br><br>for _ in range(1000):<br>    prediction = X @ weights<br>    error = prediction - y<br>    gradient = (2 / len(X)) * X.T @ error<br>    weights -= learning_rate * gradient<br><br>print(weights)<br><br>new_input = np.array([3, 4])<br><br>print(new_input @ weights)</pre><p>இங்கே கவனிக்க வேண்டியது syntax இல்லை.</p><p>Core flow:</p><pre>weights<br>   ↓<br>prediction<br>   ↓<br>error<br>   ↓<br>gradient<br>   ↓<br>update weights</pre><p>Training repeat ஆக ஆக weights 1 மற்றும் 2 values-க்கு அருகில் செல்லும்.</p><p>அதன் பிறகு [3, 4] input-க்கு prediction சுமார் 11 ஆக வரும்.</p><h3>Learning Rate என்ன?</h3><p>Code-ல்:</p><pre>learning_rate = 0.01</pre><p>என்று வைத்திருக்கிறோம்.</p><p><strong>Learning Rate</strong> என்பது ஒவ்வொரு training update-லும் parameters எவ்வளவு பெரிய step எடுத்துக்கொள்ள வேண்டும் என்பதை control பண்ணும் value.</p><p>மிகப் பெரிய learning rate இருந்தால் model correct point-ஐ overshoot செய்யலாம்.</p><p>மிகச் சிறிய value இருந்தால் training மிகவும் slow ஆகலாம்.</p><p>Gradient Descent properly புரிந்துகொள்ளும்போது இந்த concept இன்னும் clear ஆகும்.</p><h3>ML Engineer Workflow எப்படி இருக்கும்?</h3><p>Real project-ல் model.fit() call பண்ணுவது மட்டும் Machine Learning engineering இல்லை.</p><p>Typical workflow:</p><pre>Problem Understanding<br>        ↓<br>Data Collection<br>        ↓<br>Data Understanding / Cleaning<br>        ↓<br>Feature Preparation<br>        ↓<br>Model Selection<br>        ↓<br>Training<br>        ↓<br>Evaluation<br>        ↓<br>Deployment<br>        ↓<br>Monitoring</pre><p>Source article-லும் data-வை understand செய்வது, suitable model choose செய்வது, train செய்வது, evaluate செய்வது, பிறகு deployment மூலம் new data மீது prediction செய்வது என்ற workflow குறிப்பிடப்படுகிறது. (<a href="https://outcomeschool.com/blog/machine-learning">Outcome School</a>)</p><h3>சரியான Model-ஐ எப்படி Choose பண்ணுவது?</h3><p>எல்லா problems-க்கும் ஒரே model use பண்ண முடியாது.</p><p>Relationship simple-ஆ இருந்தால் <strong>Linear Models</strong> useful ஆகலாம்.</p><p>Complex decision boundaries இருந்தால் <strong>Tree-based Models</strong> useful ஆகலாம்.</p><p>Images, text, audio போன்ற highly complex patterns-க்கு <strong>Deep Learning</strong> models பயன்படுத்தப்படலாம்.</p><p>Model selection depends on:</p><ul><li>Problem type</li><li>Available data</li><li>Accuracy requirement</li><li>Latency</li><li>Interpretability</li><li>Training cost</li><li>Inference cost</li><li>Deployment environment</li></ul><h3>ஒரு முக்கியமான Clarification: “Machine Learning = Weights” மட்டும் கிடையாது</h3><p>Source article beginner explanation-க்காக:</p><blockquote><em>Machine Learning என்பது data-லிருந்து best weights learn செய்வது</em></blockquote><p>என்ற mental model-ஐ பயன்படுத்துகிறது. Linear models மற்றும் neural networks புரிந்துகொள்ள இது useful.</p><p>ஆனால் broader Machine Learning world-ல் இதை literally எல்லா algorithms-க்கும் apply செய்யக்கூடாது.</p><p>Neural Networks, Linear Regression போன்ற models <strong>parameters / weights</strong> learn செய்கின்றன.</p><p>Decision Trees போன்ற models splits மற்றும் rules போன்ற structure-ஐ learn செய்கின்றன.</p><p>k-Nearest Neighbors போன்ற algorithms வேறு விதமாக operate செய்கின்றன.</p><p>அதனால் more general definition:</p><blockquote><strong><em>Machine Learning = Data-லிருந்து useful predictive structure அல்லது pattern-ஐ learn செய்வது.</em></strong></blockquote><h3>AI, Machine Learning, Deep Learning — Difference என்ன?</h3><p>இந்த terms அடிக்கடி mix ஆகி பயன்படுத்தப்படுகின்றன.</p><p>Simple relationship:</p><pre>Artificial Intelligence<br>        ↓<br>Machine Learning<br>        ↓<br>Deep Learning<br>        ↓<br>Generative AI<br>        ↓<br>Large Language Models</pre><p>இது exact taxonomy-யின் எல்லா nuance-ஐயும் காட்டும் diagram இல்லை. Beginner mental model-க்கான simplified hierarchy.</p><h4>Artificial Intelligence — AI</h4><p>Human intelligence தேவைப்படும் மாதிரியான tasks-ஐ computers செய்ய வைக்கும் broader field.</p><h4>Machine Learning — ML</h4><p>AI-ன் ஒரு பகுதி.</p><p>Data-லிருந்து patterns learn செய்து predictions அல்லது decisions செய்யும் systems.</p><h4>Deep Learning — DL</h4><p>Machine Learning-ன் ஒரு பகுதி.</p><p>பல layers கொண்ட <strong>Neural Networks</strong>-ஐ பயன்படுத்தி complex patterns learn செய்யும் approach.</p><h4>Generative AI</h4><p>Text, image, audio, video போன்ற புதிய content generate செய்யக்கூடிய models.</p><h4>Large Language Models — LLMs</h4><p>Language understand மற்றும் generate செய்ய optimized செய்யப்பட்ட பெரிய neural-network-based models.</p><p>இந்த broader relationship-ஐ source article-மும் AI landscape context-ல் அறிமுகப்படுத்துகிறது.</p><h3>Machine Learning எங்கே Use ஆகுது?</h3><h4>Recommendation Systems</h4><p>E-commerce அல்லது streaming applications user behavior-ஐ வைத்து relevant products அல்லது content recommend செய்யலாம்.</p><h4>Fraud Detection</h4><p>Banking systems transaction patterns-ஐ analyze செய்து suspicious activity identify செய்ய ML பயன்படுத்தலாம்.</p><h4>Search</h4><p>Search engines query மற்றும் documents இடையேயான relevance-ஐ estimate செய்ய Machine Learning techniques use செய்யலாம்.</p><h4>Computer Vision</h4><p>Images-ல் objects identify செய்வது, defects detect செய்வது, documents analyze செய்வது போன்ற tasks.</p><h4>Forecasting</h4><p>Sales, demand, traffic போன்ற future values-ஐ historical data வைத்து predict செய்யலாம்.</p><h4>NLP</h4><p>Text classification, sentiment analysis, translation, summarization போன்ற language-related tasks-ல் Machine Learning முக்கிய role play செய்கிறது.</p><h3>Machine Learning-ன் Advantages என்ன?</h3><p><strong>Manual rules குறைக்க முடியும்.</strong> Complex problems-க்கு ஆயிரக்கணக்கான rules எழுதுவது practical இல்லாத இடங்களில் useful.</p><p><strong>Large datasets-ல் patterns கண்டுபிடிக்க முடியும்.</strong> Humans manually inspect செய்ய முடியாத அளவுக்கு data இருந்தாலும் algorithms analyze செய்ய முடியும்.</p><p><strong>New inputs-க்கு prediction செய்ய முடியும்.</strong> Training சரியாக இருந்தால் previously unseen data-க்கும் model useful output கொடுக்கலாம்.</p><p><strong>Complex relationships model செய்ய முடியும்.</strong> Suitable algorithms use செய்தால் simple linear patterns மட்டுமல்லாமல் highly nonlinear patterns-யும் learn செய்ய முடியும்.</p><h3>Limitations என்ன?</h3><p>Machine Learning எல்லா problem-க்கும் automatic solution கிடையாது.</p><h4>Data Quality</h4><p>Bad data கொடுத்தால் good model கிடைக்கும் என்று எதிர்பார்க்க முடியாது.</p><p>Wrong labels, missing values, biased samples போன்றவை output-ஐ பாதிக்கும்.</p><h4>Overfitting</h4><p>Model training data-வை மிகவும் closely learn செய்துவிட்டு new data-ல் fail ஆகலாம்.</p><p>Training accuracy மட்டும் பார்த்து model நல்லது என்று முடிவு செய்ய முடியாது.</p><h4>Bias</h4><p>Training data particular population அல்லது behavior-ஐ properly represent செய்யவில்லை என்றால் predictions biased ஆகலாம்.</p><h4>Compute Cost</h4><p>Large models train செய்ய GPUs, memory, time மற்றும் infrastructure தேவைப்படலாம்.</p><h4>Explainability</h4><p>சில sophisticated models ஏன் particular prediction கொடுத்தது என்பதை explain செய்வது கடினமாக இருக்கலாம்.</p><p>Banking, healthcare, legal போன்ற sensitive domains-ல் இது முக்கிய consideration.</p><h4>Monitoring</h4><p>Model production-க்கு deploy செய்த பிறகும் வேலை முடிவதில்லை.</p><p>Real-world data காலப்போக்கில் change ஆகலாம்.</p><p>அதனால் accuracy, latency, data drift போன்றவற்றை தொடர்ந்து monitor செய்ய வேண்டும்.</p><h3>நினைவில் வைக்க வேண்டியது</h3><ul><li>Machine Learning என்பது data-லிருந்து patterns learn செய்வது.</li><li>Training-ல் model prediction செய்து, error measure செய்து, parameters-ஐ improve செய்யலாம்.</li><li>Weights என்பது linear models மற்றும் neural networks புரிந்துகொள்ள useful concept.</li><li>Gradient Descent parameters-ஐ better values-க்கு move செய்ய உதவும் optimization method.</li><li>நல்ல ML model training data மட்டும் handle பண்ணாமல், unseen data-க்கும் generalize ஆக வேண்டும்.</li></ul><h3>Quick Summary</h3><p>Traditional programming-ல் developer rules எழுதுவார்.</p><p>Machine Learning-ல் system examples/data-லிருந்து useful pattern-ஐ learn செய்கிறது.</p><p>ஒரு simple linear model-ல் இந்த learning process-ஐ <strong>weights → prediction → error → parameter update</strong> என்ற loop மூலம் புரிந்துகொள்ளலாம்.</p><p>Training முடிந்த பிறகு learned model புதிய inputs-க்கும் predictions செய்யும்.</p><p>ஆனால் Machine Learning என்பது “weights learn செய்வது” மட்டும் அல்ல. Broadly பார்த்தால், <strong>data-லிருந்து useful predictive structure learn செய்வது</strong> தான் அதன் core idea.</p><p>இந்த மாதிரி software concepts-ஐ Tamil-la simple-ah கற்றுக்கொள்ள விரும்பினால், என்னை Medium-la follow பண்ணலாம்.</p><h4>Source</h4><p><strong>What is Machine Learning?</strong> — Amit Shekhar, Outcome School, published August 2, 2019. (<a href="https://outcomeschool.com/blog/machine-learning">Outcome School</a>)</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=327d7db1b1b8" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Offline-First Messaging App: Internet இல்லாமலும் Messages எப்படி Work ஆகுது?]]></title>
            <link>https://medium.com/@venkataramk/offline-first-messaging-app-internet-%E0%AE%87%E0%AE%B2%E0%AF%8D%E0%AE%B2%E0%AE%BE%E0%AE%AE%E0%AE%B2%E0%AF%81%E0%AE%AE%E0%AF%8D-messages-%E0%AE%8E%E0%AE%AA%E0%AF%8D%E0%AE%AA%E0%AE%9F%E0%AE%BF-work-%E0%AE%86%E0%AE%95%E0%AF%81%E0%AE%A4%E0%AF%81-4dd12ea185fc?source=rss-669d6597ccd6------2</link>
            <guid isPermaLink="false">https://medium.com/p/4dd12ea185fc</guid>
            <category><![CDATA[software-architecture]]></category>
            <category><![CDATA[mobile-design-system]]></category>
            <category><![CDATA[offline-first]]></category>
            <category><![CDATA[tamil]]></category>
            <dc:creator><![CDATA[Venkataram k]]></dc:creator>
            <pubDate>Mon, 21 Sep 2026 15:43:55 GMT</pubDate>
            <atom:updated>2026-09-21T15:43:55.729Z</atom:updated>
            <content:encoded><![CDATA[<p>Internet இல்லாத நேரத்திலும் ஒரு messaging app message-ஐ உடனே screen-la காட்டுவது எப்படி? Connection திரும்ப வந்ததும் அதை duplicate இல்லாமல் server-க்கு sync செய்வது எப்படி?</p><p>இந்த article-la Offline-First Architecture, Local Database, Sync, WebSocket, Conflict Resolution, Resumable Upload, End-to-End Encryption போன்ற முக்கிய system design concepts-ஐ simple-ah பார்க்கலாம்.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*n6V0SI90aDLAh95Bgm27Yg.png" /></figure><h3>முதலில் Problem என்ன?</h3><p>WhatsApp மாதிரியான ஒரு messaging app use பண்ணுறீங்க என்று வைத்துக்கலாம்.</p><p>Phone-la internet connection இல்லை. ஆனாலும் பழைய messages படிக்க முடிகிறது. புதிய message type பண்ணி Send press பண்ணவும் முடிகிறது.</p><p>Message உடனே conversation screen-la வந்துவிடும்.</p><p>ஆனால் அந்த message இன்னும் server-க்கு போகவில்லை.</p><p>அப்படின்னா சில முக்கியமான questions வரும்:</p><ul><li>Message எங்கே save ஆகுது?</li><li>Internet வந்ததும் எப்படி send ஆகுது?</li><li>ஒரே message இரண்டு முறை send ஆகாமல் எப்படி prevent பண்ணுவது?</li><li>இரண்டு devices-la ஒரே message edit ஆனால் என்ன செய்வது?</li><li>App close அல்லது crash ஆனாலும் pending message என்ன ஆகும்?</li></ul><p>இதுதான் ஒரு நல்ல mobile system design solve பண்ண வேண்டிய problem.</p><p>நல்ல mobile architecture என்பது boxes மற்றும் arrows வரைவது மட்டும் இல்லை. Unreliable network இருந்தாலும் user action reliable-ah complete ஆகணும்.</p><h3>Architecture வரைவதற்கு முன்னாடி Requirements புரியணும்</h3><p>System design question வந்தவுடன் உடனே:</p><pre>UI → ViewModel → Repository → API</pre><p>என்று architecture வரைய ஆரம்பிப்பது common.</p><p>ஆனால் அதற்கு முன்னாடி என்ன build பண்ணுறோம்? அதில் எது முக்கியம்? என்பதை decide பண்ணணும்.</p><p>Messaging app-க்கு functional requirements:</p><ul><li>One-to-one மற்றும் group conversations</li><li>Real-time text messages</li><li>Images, videos, files sharing</li><li>Delivery / read receipts</li><li>Message edit மற்றும் delete</li><li>Typing indicators</li><li>Message search</li></ul><p>இதோடு non-functional requirements-ம் முக்கியம்:</p><ul><li>Send press பண்ணியதும் message உடனே தெரியணும்</li><li>Offline-லேயும் message compose மற்றும் send செய்ய முடியணும்</li><li>Connection வந்ததும் sync ஆகணும்</li><li>பெரிய conversations-ஐ efficiently handle பண்ணணும்</li><li>Background sync battery-ஐ அதிகமாக consume பண்ணக்கூடாது</li><li>Message content secure-ah இருக்கணும்</li></ul><p>இந்த requirements எல்லாமே ஒரே priority இல்லை.</p><p>Messaging app-க்கு ஒரு reasonable priority:</p><blockquote><em>Reliability → Speed → Battery Efficiency → Storage Efficiency</em></blockquote><p>Storage save பண்ணுவதற்காக message loss ஆகக்கூடாது.</p><p>அதே நேரத்தில் fast delivery வேண்டும் என்பதற்காக background-la 24/7 network connection maintain பண்ணினால் battery பாதிக்கலாம்.</p><p>System design என்பது technology choose பண்ணுவது மட்டும் இல்லை; எந்த trade-off முக்கியம் என்பதை decide பண்ணுவதும் தான்.</p><h3>Offline-First Architecture என்றால் என்ன?</h3><p>Traditional client-server app-ல் பொதுவாக server தான் primary source of truth.</p><p>Flow:</p><pre>User Action<br>    ↓<br>Network Request<br>    ↓<br>Server<br>    ↓<br>Response<br>    ↓<br>UI Update</pre><p>Network slow அல்லது unavailable என்றால் UI-யும் wait பண்ண வேண்டியிருக்கும்.</p><p>Mobile messaging app-க்கு இது நல்ல experience இல்லை.</p><p>Users Wi-Fi-லிருந்து mobile data-க்கு switch ஆகலாம். Lift, tunnel அல்லது weak signal area-க்கு போகலாம்.</p><p>அதனால் offline-first architecture வேற மாதிரி approach use பண்ணும்.</p><p>Local Database app-ன் immediate source of truth. Server devices-க்கு இடையில் data-வை synchronize பண்ண பயன்படும்.</p><h3>Message Send பண்ணும்போது என்ன நடக்கும்?</h3><p>User ஒரு message type பண்ணி Send press பண்ணுகிறார்.</p><p>Offline-first flow roughly இப்படியிருக்கலாம்:</p><pre>User taps Send<br>      ↓<br>Create Client ID<br>      ↓<br>Save to Local Database<br>Status = PENDING<br>      ↓<br>UI immediately displays message<br>      ↓<br>Background Sync<br>      ↓<br>Server<br>      ↓<br>Server ID + Timestamp<br>      ↓<br>Update Local Database<br>Status = SENT</pre><p>இதில் முக்கியமான விஷயம்:</p><blockquote><em>UI server response-க்காக wait பண்ணவில்லை.</em></blockquote><p>முதலில் message local database-la safely save ஆகிறது.</p><p>UI database-ஐ observe பண்ணுவதால் அந்த message உடனே screen-la தெரிகிறது.</p><p>பிறகு background process server-க்கு அனுப்புகிறது.</p><p>இந்த pattern-ஐ Optimistic Update என்று சொல்லலாம்.</p><p>ஆனால் optimistic update use பண்ணினால் failures-ஐ ignore பண்ண முடியாது.</p><p>Request fail ஆனால் message PENDING அல்லது retry state-la இருக்கணும். Server reject செய்தால் அதற்கும் clear handling தேவை.</p><h3>ஏன் ஒரு Message-க்கு இரண்டு IDs தேவை?</h3><p>Offline-la message create ஆகும்போது server available இல்லை.</p><p>அதனால் server-generated ID உடனே கிடைக்காது.</p><p>Device முதலில் ஒரு unique client_id உருவாக்கும்.</p><p>Server message-ஐ accept செய்த பிறகு server_id கொடுக்கும்.</p><pre>client_id  → Device creates it<br>server_id  → Server creates it</pre><p>இரண்டையும் local record-la வைத்திருக்கலாம்.</p><h3>இது ஏன் முக்கியம்?</h3><p>ஒரு interesting failure scenario பார்ப்போம்.</p><ol><li>Client message-ஐ server-க்கு அனுப்புகிறது.</li><li>Server message-ஐ successfully save பண்ணுகிறது.</li><li>Response client-க்கு வருவதற்கு முன்னாடி network disconnect ஆகிறது.</li><li>Client message send ஆகவில்லை என்று நினைக்கிறது.</li><li>Connection வந்ததும் retry செய்கிறது.</li></ol><p>client_id இல்லையென்றால் server அதை புதிய message என்று நினைத்து duplicate create பண்ணலாம்.</p><p>ஆனால் same client_id வந்திருப்பதை server detect செய்தால்:</p><blockquote><em>“இந்த message ஏற்கனவே process ஆயிடுச்சு”</em></blockquote><p>என்று identify செய்ய முடியும்.</p><p>இது retry operations-ஐ idempotent ஆக்க உதவும்.</p><h3>Timestamp-ம் இரண்டு இருக்கலாம்</h3><p>Offline message-க்கு ordering இன்னொரு challenge.</p><p>அதனால்:</p><ul><li>local_timestamp — offline-la உடனே display பண்ண உதவும்</li><li>server_timestamp — devices முழுவதும் final ordering determine பண்ண உதவும்</li></ul><p>Server timestamp வந்த பிறகு conversation-la message position கொஞ்சம் change ஆக வாய்ப்பு இருக்கலாம்.</p><p>ஆனால் எல்லா devices-லும் consistent final ordering கிடைக்க இது useful.</p><h3>Local Database ஒரு Cache மட்டும் இல்லை</h3><p>Normal application-la local database ஒரு cache மாதிரி use ஆகலாம்.</p><p>ஆனால் offline-first app-la அது user experience-ன் core part.</p><p>ஒரு message record roughly இந்த data-வை வைத்திருக்கலாம்:</p><pre>client_id<br>server_id<br>conversation_id<br>sender_id<br>message_type<br>encrypted_content<br>local_timestamp<br>server_timestamp<br>delivery_status<br>edit_version<br>reply_reference<br>attachment_reference<br>soft_delete_status</pre><p>Schema design செய்யும்போது fields மட்டும் யோசிக்கக்கூடாது.</p><p>இந்த questions-ம் முக்கியம்:</p><ul><li>Pending messages-ஐ எப்படி fast-ah query செய்வது?</li><li>Latest messages எப்படி load செய்வது?</li><li>Search எங்கே நடக்கும்?</li><li>Deleted messages physically delete ஆகுமா அல்லது soft-delete ஆகுமா?</li><li>100,000 messages இருக்கும் conversation எப்படி handle ஆகும்?</li></ul><p>Database schema என்பது data store பண்ணுற structure மட்டும் இல்லை. Future performance-ஐயும் அது affect பண்ணும்.</p><h3>100,000 Messages-ஐ ஒரே நேரத்தில் Load பண்ணக்கூடாது</h3><p>ஒரு பெரிய conversation-ல் 100,000 messages இருக்கலாம்.</p><p>அதை முழுவதும் memory-க்கு load பண்ணுவது scalable approach இல்லை.</p><p>இதற்கு Pagination use பண்ணலாம்.</p><p>உதாரணமாக app latest 50 messages மட்டும் load செய்யலாம்.</p><p>User மேலே scroll பண்ணும்போது:</p><ol><li>Next page local database-la இருந்து load ஆகும்.</li><li>அந்த messages local-la இல்லையென்றால் sync layer server-க்கு request அனுப்பும்.</li><li>Server data local database-la insert ஆகும்.</li><li>Database change ஆனதும் UI update ஆகும்.</li></ol><p>Flow:</p><pre>UI<br> ↓<br>Local Database<br> ↓<br>Need older data?<br> ↓<br>Sync Layer<br> ↓<br>Server<br> ↓<br>Local Database<br> ↓<br>UI</pre><p>இதனால் UI local data, remote data என்று தனித்தனியாக manage பண்ண வேண்டியதில்லை.</p><p>Repository / sync layer அந்த complexity-ஐ handle செய்யலாம்.</p><h3>WebSocket மட்டும் போதுமா?</h3><p>Real-time messaging என்றதும் முதலில் நினைவுக்கு வருவது WebSocket.</p><p>App foreground-la இருக்கும்போது WebSocket மிகவும் useful.</p><p>Server புதிய message வந்தவுடன் client-க்கு push பண்ண முடியும்.</p><p>ஆனால் app background-la இருக்கும்போதும் WebSocket-ஐ தொடர்ந்து alive வைத்திருந்தால் battery மற்றும் network resources waste ஆகலாம்.</p><p>அதனால் connection manager சில states maintain செய்யலாம்:</p><pre>DISCONNECTED<br>CONNECTING<br>CONNECTED<br>BACKOFF</pre><p>App foreground வந்ததும் WebSocket connect செய்யலாம்.</p><p>Connection fail ஆனால் உடனே தொடர்ந்து retry பண்ணுவது நல்ல idea இல்லை.</p><h3>Exponential Backoff ஏன் தேவை?</h3><p>Connection fail ஆனதும் retry pattern இப்படியிருக்கலாம்:</p><pre>1 second<br>↓<br>2 seconds<br>↓<br>4 seconds<br>↓<br>8 seconds<br>↓<br>...<br>Maximum limit</pre><p>இதுதான் Exponential Backoff.</p><p>இதோடு random jitter add பண்ணலாம்.</p><p>ஏன்?</p><p>ஒரு server outage பிறகு 1 million devices எல்லாம் exact same second-la reconnect செய்ய முயற்சி செய்தால் server மீண்டும் overload ஆகலாம்.</p><p>Jitter retry timing-ஐ கொஞ்சம் randomize பண்ணும்.</p><h3>Foreground மற்றும் Background Delivery வேறாக இருக்கலாம்</h3><p>ஒரு practical messaging architecture:</p><pre>App Foreground<br>      ↓<br>WebSocket<br>      ↓<br>Real-time Messages<br>      ↓<br>App Background<br>      ↓<br>Push Notification<br>      ↓<br>Wake / Sync<br>      ↓<br>Local Database</pre><p>அதாவது:</p><p>Foreground → WebSocket</p><p>Background → Push Notification + Synchronization</p><p>ஆனால் ஒரு message இரண்டு paths வழியாகவும் வர வாய்ப்பு இருக்கிறது.</p><p>அதனால் server_id use பண்ணி duplicate message-ஐ detect செய்யணும்.</p><h3>Conflict Resolution எப்படி Handle பண்ணுவது?</h3><p>Offline-first system-la conflicts completely avoid பண்ண முடியாது.</p><p>ஒரே message இரண்டு devices-la offline இருக்கும் போது edit செய்யப்படுகிறது என்று வைத்துக்கலாம்.</p><p>இரண்டு devices reconnect ஆனதும் எந்த version correct?</p><p>இதற்கு எல்லா data type-க்கும் ஒரே answer கிடையாது.</p><h3>Message Edit</h3><p>Message edits relatively rare என்றால் Last-Write-Wins strategy use பண்ணலாம்.</p><p>Server timestamp அடிப்படையில் latest accepted edit final version ஆகலாம்.</p><h3>Reactions</h3><p>Reactions வேறு.</p><p>பல users ஒரே நேரத்தில் reaction add/remove பண்ணலாம்.</p><p>இதற்கு independent operations-ஐ data loss இல்லாமல் merge செய்ய CRDT-style model useful ஆகலாம்.</p><h3>Group Membership</h3><p>இரண்டு admins conflicting membership changes செய்யலாம்.</p><p>இதை server-defined ordering மூலம் process செய்யலாம். முதலில் accepted operation succeed ஆகி, conflicting operation reject ஆகலாம்.</p><p>Conflict resolution ஒரு global sync setting இல்லை. எந்த data synchronize ஆகுது என்பதைப் பொறுத்து strategy மாறணும்.</p><h3>பெரிய Files Upload செய்வது எப்படி?</h3><p>100 MB video-ஐ ஒரே HTTP request-la upload செய்கிறோம் என்று வைத்துக்கலாம்.</p><p>95 MB upload ஆன பிறகு network disconnect ஆனால்?</p><p>முழு upload-ஐ மீண்டும் ஆரம்பிக்க வேண்டிய நிலை வரலாம்.</p><p>Mobile network-க்கு இது நல்ல experience இல்லை.</p><p>இதற்கு Resumable / Chunked Upload use பண்ணலாம்.</p><p>Flow:</p><pre>Video<br> ↓<br>Generate Thumbnail<br> ↓<br>Encrypt File<br> ↓<br>Create Upload Session<br> ↓<br>Split into Chunks<br> ↓<br>Upload Chunk 1<br> ↓<br>Upload Chunk 2<br> ↓<br>...<br> ↓<br>Server assembles file</pre><p>ஒவ்வொரு chunk-க்கும் integrity hash இருக்கலாம்.</p><p>Last successfully uploaded chunk local database-la save செய்யலாம்.</p><p>Connection fail ஆனால்:</p><p>முதல் chunk-லிருந்து restart செய்யாமல், last completed chunk-க்கு அடுத்த இடத்திலிருந்து resume செய்யலாம்.</p><p>Protocol complexity அதிகரிக்கும்.</p><p>ஆனால் unreliable mobile networks-ல் reliability மிகவும் improve ஆகும்.</p><h3>End-to-End Encryption Architecture-ஐ எப்படி மாற்றும்?</h3><p>Encryption-ஐ development முடிவில் add பண்ணக்கூடிய small feature என்று பார்க்கக்கூடாது.</p><p>End-to-End Encryption (E2EE) architecture முழுவதையும் affect செய்யலாம்.</p><p>Encryption keys device-la secure-ah store ஆகணும்.</p><p>Server-க்கு ideally encrypted message content மட்டுமே கிடைக்கும்.</p><p>இதனால் privacy improve ஆகும்.</p><p>ஆனால் புதிய challenges வரும்.</p><h3>Search</h3><p>Server message content படிக்க முடியாததால் server-side full-text search செய்ய முடியாது.</p><p>Decrypted messages மீது local search index maintain செய்ய வேண்டியிருக்கலாம்.</p><h3>Spam Detection / Moderation</h3><p>Server content பார்க்க முடியாததால் traditional server-side content analysis கடினமாகும்.</p><h3>Key Recovery</h3><p>User phone lose பண்ணிவிட்டால் encryption keys-ம் போகலாம்.</p><p>Keys இல்லாமல் old messages decrypt செய்ய முடியாமல் போக வாய்ப்பு இருக்கிறது.</p><p>அதனால் encrypted key backup மற்றும் user passphrase போன்ற recovery design தேவைப்படலாம்.</p><p>Security decision ஒன்று search, sync, backup, moderation, device migration எல்லாத்தையும் affect செய்யலாம்.</p><h3>Architecture எப்படி இருக்கும்?</h3><p>ஒரு simplified offline-first messaging architecture:</p><pre>              ┌───────────────┐<br>              │      UI       │<br>              └───────┬───────┘<br>                      ↓<br>              ┌───────────────┐<br>              │ Local Database│<br>              └───────┬───────┘<br>                      ↓<br>              ┌───────────────┐<br>              │  Sync Layer   │<br>              └───────┬───────┘<br>                      ↓<br>          ┌───────────────────────┐<br>          │ API / WebSocket Layer │<br>          └───────────┬───────────┘<br>                      ↓<br>              ┌───────────────┐<br>              │    Server     │<br>              └───────────────┘</pre><p>இதில் முக்கியமான idea:</p><p>UI நேரடியாக network response-ஐ source of truth ஆக depend பண்ணாமல், local database state-ஐ observe செய்கிறது.</p><p>Network layer அந்த local state-ஐ server மற்றும் மற்ற devices உடன் synchronize செய்கிறது.</p><h3>ஒவ்வொரு Architecture Decision-க்கும் Trade-off இருக்கு</h3><p>Offline-first architecture powerful.</p><p>ஆனால் free solution இல்லை.</p><h3>Local-first design</h3><p>Offline support மற்றும் fast UI கிடைக்கும். ஆனால் synchronization complexity அதிகரிக்கும்.</p><h3>WebSocket</h3><p>Fast real-time delivery கிடைக்கும். ஆனால் connection மற்றும் battery management கவனமாக செய்யணும்.</p><h3>End-to-End Encryption</h3><p>Privacy improve ஆகும். ஆனால் server-side search மற்றும் moderation போன்ற features கடினமாகும்.</p><h3>Chunked Upload</h3><p>Unstable network-ல் upload reliability improve ஆகும். ஆனால் upload protocol complex ஆகும்.</p><h3>Caching / Local Storage</h3><p>Network usage குறையும். ஆனால் device storage அதிகமாக consume ஆகலாம்.</p><h3>CRDT-style merging</h3><p>Concurrent changes-ஐ safer-ah merge செய்ய உதவும். ஆனால் implementation மற்றும் debugging complexity அதிகம்.</p><p>Trade-off இல்லாத architecture என்றால், அதன் consequences இன்னும் முழுமையாக analyze செய்யப்படவில்லை என்பதற்கான signal ஆக இருக்கலாம்.</p><h3>Production-க்கு போறதுக்கு முன்னாடி என்ன Check பண்ணணும்?</h3><p>Clean architecture diagram மட்டும் production-ready system உருவாக்காது.</p><p>Real-world failure cases-ஐ design செய்யணும்.</p><p>உதாரணமாக:</p><ul><li>Authentication token expire ஆனால் என்ன நடக்கும்?</li><li>Failed messages எப்படி retry ஆகும்?</li><li>Duplicate notifications எப்படி remove ஆகும்?</li><li>App crash ஆன பிறகு unfinished upload resume ஆகுமா?</li><li>Local database size எப்படி control செய்யப்படும்?</li><li>API schema change ஆனால் old app version என்ன செய்யும்?</li><li>Errors மற்றும் latency எப்படி monitor செய்யப்படும்?</li><li>Android background / Doze restrictions handle செய்யப்பட்டிருக்கிறதா?</li><li>Accessibility support இருக்கிறதா?</li><li>Server update பிறகும் old clients வேலை செய்யுமா?</li></ul><p>Fast Wi-Fi-ல் ஒரு prototype run பண்ணுவது comparatively easy.</p><p>Poor network, process death, multiple devices, huge data, millions of users ஆகிய conditions-ல system reliable-ah work பண்ண வைப்பதுதான் actual engineering challenge.</p><h3>நினைவில் வைக்க வேண்டியது</h3><ul><li>Offline-first app-ல் Local Database ஒரு cache மட்டும் இல்லை; அது immediate source of truth.</li><li>User action முதலில் local-la safely persist ஆகி, பிறகு server-க்கு synchronize ஆகலாம்.</li><li>client_id retries மற்றும் duplicate prevention-க்கு முக்கியம்.</li><li>Foreground real-time delivery-க்கு WebSocket useful; background-க்கு Push + Sync practical.</li><li>Conflict resolution strategy data type-க்கு ஏற்ற மாதிரி design செய்யணும்.</li></ul><h3>Quick Summary</h3><p>Offline-first messaging architecture-ன் core idea மிகவும் simple:</p><blockquote><em>User experience network availability-ஐ depend பண்ணக்கூடாது.</em></blockquote><p>User Send press பண்ணியதும் message முதலில் local database-la save ஆகும். UI அதை உடனே display செய்யும். Network available ஆனதும் sync layer server-க்கு அனுப்பும்.</p><p>Reliable retries, client/server IDs, pagination, battery-aware WebSocket management, conflict resolution, resumable uploads மற்றும் encryption ஆகியவை சேரும்போதுதான் இந்த simple-looking Send button production scale-ல் reliable-ah work ஆகும்.</p><p>Users architecture diagram-ஐ பார்க்க மாட்டார்கள்.</p><p>அவர்களுக்கு தெரியும் விஷயம் ஒன்று தான்:</p><blockquote><em>Internet இல்லாதபோதும் message disappear ஆகவில்லை; connection வந்ததும் அது சரியாக destination-ஐ reach செய்தது.</em></blockquote><p>அதுதான் நல்ல mobile system design-ன் result.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4dd12ea185fc" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Kotlin Flow என்றால் என்ன? StateFlow, SharedFlow-ஐ எப்படி புரிந்துகொள்வது?]]></title>
            <link>https://medium.com/@venkataramk/kotlin-flow-%E0%AE%8E%E0%AE%A9%E0%AF%8D%E0%AE%B1%E0%AE%BE%E0%AE%B2%E0%AF%8D-%E0%AE%8E%E0%AE%A9%E0%AF%8D%E0%AE%A9-stateflow-sharedflow-%E0%AE%90-%E0%AE%8E%E0%AE%AA%E0%AF%8D%E0%AE%AA%E0%AE%9F%E0%AE%BF-%E0%AE%AA%E0%AF%81%E0%AE%B0%E0%AE%BF%E0%AE%A8%E0%AF%8D%E0%AE%A4%E0%AF%81%E0%AE%95%E0%AF%8A%E0%AE%B3%E0%AF%8D%E0%AE%B5%E0%AE%A4%E0%AF%81-d03dd1ef43d1?source=rss-669d6597ccd6------2</link>
            <guid isPermaLink="false">https://medium.com/p/d03dd1ef43d1</guid>
            <category><![CDATA[kotlin-sharedflow]]></category>
            <category><![CDATA[tamil]]></category>
            <category><![CDATA[kotlin-flow]]></category>
            <category><![CDATA[android-development]]></category>
            <category><![CDATA[kotlin-stateflow]]></category>
            <dc:creator><![CDATA[Venkataram k]]></dc:creator>
            <pubDate>Sun, 20 Sep 2026 10:33:37 GMT</pubDate>
            <atom:updated>2026-09-20T10:33:37.908Z</atom:updated>
            <content:encoded><![CDATA[<p>Android app-ல் data ஒரே முறை மட்டும் வராது. Download progress மாறிக்கொண்டே இருக்கும், search text update ஆகும், network request Loading → Success ஆக மாறும்.</p><p>இந்த மாதிரி time over time values-ஐ clean-ஆ handle பண்ண Kotlin Flow எப்படி உதவுகிறது, அதிலிருந்து StateFlow மற்றும் SharedFlow எப்போது use பண்ண வேண்டும் என்பதைக் simple mental model-ஆ இந்த article-ல் பார்க்கலாம்.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LFMuVsD4qB2pDx7sRfHwYg.png" /><figcaption><em>StateFlow vs SharedFlow in Tamil</em></figcaption></figure><h3>முதலில் Problem என்ன?</h3><p>Normal Kotlin function ஒரு value-ஐ return பண்ணியதும் அதன் வேலை முடிந்துவிடும்.</p><p>உதாரணமாக:</p><pre>20</pre><p>ஒரு function 20 return பண்ணிவிட்டது என்றால், அதே call பின்னாடி தானாக 40, 80, 100 என்று தொடர்ந்து return பண்ண முடியாது.</p><p>ஆனால் Android applications-ல் data இப்படித்தான் மாறும்:</p><pre>Download Progress<br>0%<br>↓<br>20%<br>↓<br>40%<br>↓<br>80%<br>↓<br>100%</pre><p>அதாவது நமக்கு ஒரு single value வேண்டாம்.</p><p>ஒரு கால இடைவெளியில் பல values வேண்டும்.</p><p>இந்த problem-ஐ handle பண்ணுவதற்கான Kotlin abstraction தான் Flow.</p><h3>Flow என்றால் என்ன?</h3><h3>Simple-ah சொன்னா:</h3><p>Flow என்பது time over time multiple values-ஐ emit பண்ணி, அவற்றை collector receive பண்ண உதவும் stream.</p><p>Flow-ஐ ஒரு simple pipeline மாதிரி நினைத்துக்கொள்ளலாம்.</p><pre>Producer<br>   ↓<br>  Flow<br>   ↓<br>Collector</pre><p>இதில் மூன்று முக்கிய parts இருக்கிறது.</p><h3>Producer</h3><p>Values create பண்ணும் இடம்.</p><p>Producer ஒரு value-ஐ Flow-க்குள் அனுப்ப:</p><pre>emit(...)</pre><p>use பண்ணும்.</p><h3>Flow</h3><p>Producer அனுப்பும் values travel ஆகும் stream.</p><h3>Collector</h3><p>Flow-லிருந்து வருகிற values-ஐ receive பண்ணும் consumer.</p><p>அதற்கு:</p><pre>collect { ... }</pre><p>use பண்ணுகிறோம்.</p><h3>ஒரு Simple Flow Example</h3><p>முதலில் values emit பண்ணும் Flow ஒன்றைப் பார்ப்போம்.</p><pre>fun getNumbers(): Flow&lt;Int&gt; = flow {<br>    emit(1)<br>    delay(1000)<br>    emit(2)<br>    delay(1000)<br>    emit(3)<br>}</pre><p>இந்த code என்ன பண்ணுகிறது?</p><pre>1 emit<br>↓<br>1 second wait<br>↓<br>2 emit<br>↓<br>1 second wait<br>↓<br>3 emit</pre><p>ஆனால் Flow create பண்ணினாலே values நமக்கு கிடைக்காது.</p><p>அதை collect பண்ண வேண்டும்.</p><pre>getNumbers().collect { number -&gt;<br>    println(number)<br>}</pre><p>இப்ப collector ஒவ்வொரு emitted value-ஐயும் receive பண்ணும்.</p><p>Source article சொல்லும் முக்கிய rule:</p><blockquote><em>Flow emit பண்ணும். Collector receive பண்ணும்.</em></blockquote><p>collect ஒரு நீண்ட நேர operation ஆக இருக்கலாம் என்பதால் அது Coroutine context-ல் execute ஆகும்.</p><h3>Regular Flow ஏன் “Cold Flow”?</h3><p>Normal Flow-ஐ create பண்ணி வைத்திருக்கிறோம் என்று வைத்துக்கொள்ளலாம்.</p><p>ஆனால் அதை யாரும் collect பண்ணவில்லை.</p><p>அப்ப என்ன நடக்கும்?</p><p>எதுவும் நடக்காது.</p><p>Flow builder-க்குள் இருக்கும் code, collector வந்த பிறகுதான் execute ஆகும்.</p><p>இதைத்தான் Cold Flow என்று சொல்கிறோம்.</p><p>Simple flow:</p><pre>Flow created<br>↓<br>No collector<br>↓<br>Nothing runs</pre><p>Collector வந்ததும்:</p><pre>Collector starts<br>↓<br>Flow starts producing<br>↓<br>Values emitted<br>↓<br>Collector receives</pre><p>மேலும், இரண்டு different Coroutines ஒரே cold Flow-ஐ collect பண்ணினால், இரண்டுக்கும் தனித்தனி execution கிடைக்கும்.</p><h3>Android UI-க்கு State தேவை</h3><p>இப்ப Android screen ஒன்றைப் பார்ப்போம்.</p><p>ஒரு User Profile screen-க்கு இப்படி ஒரு state இருக்கலாம்:</p><pre>isLoading = false<br>userName = &quot;&quot;<br>errorMessage = null</pre><p>இந்த values screen-ன் current condition-ஐ describe பண்ணுகிறது.</p><p>Network call start ஆனால்:</p><pre>isLoading = true</pre><p>Data வந்ததும்:</p><pre>isLoading = false<br>userName = &quot;Arun&quot;</pre><p>இங்க முக்கியமானது:</p><p>UI-க்கு latest value தெரிய வேண்டும்.</p><p>அதாவது screen open ஆன உடனேயே:</p><p>“இப்ப current state என்ன?”</p><p>என்று தெரிந்திருக்க வேண்டும்.</p><p>இந்த use case-க்காகத்தான் StateFlow useful.</p><h3>StateFlow என்றால் என்ன?</h3><p>StateFlow-ஐ ஒரு current state holder மாதிரி நினைத்துக்கொள்ளலாம்.</p><p>இதில் எப்போதும் ஒரு current value இருக்கும்.</p><p>அதனால் StateFlow create பண்ணும்போது initial value கொடுக்க வேண்டும்.</p><pre>private val _uiState = MutableStateFlow(<br>    UserUiState()<br>)</pre><p>இப்ப _uiState-ல் current UI state இருக்கும்.</p><p>அதை update பண்ண:</p><pre>_uiState.update { oldState -&gt;<br>    oldState.copy(<br>        isLoading = true<br>    )<br>}</pre><p>use பண்ணலாம்.</p><h3>StateFlow-ஐ ஒரு Current State Board மாதிரி நினைத்துக்கொள்ளுங்கள்</h3><p>Screen state:</p><pre>Loading</pre><p>பிறகு data கிடைத்ததும்:</p><pre>User Loaded</pre><p>ஒரு புதிய collector வந்தால், அதற்கு old history முழுவதும் அவசியமில்லை.</p><p>அதற்கு முக்கியமானது:</p><pre>Right now state என்ன?</pre><p>அதனால்தான் UI state represent பண்ண StateFlow நல்ல fit.</p><h3>ViewModel-ல் ஏன் இரண்டு Variables?</h3><p>Android ViewModel-ல் இந்த pattern அடிக்கடி வரும்:</p><pre>private val _uiState = MutableStateFlow(UserUiState())<br>val uiState: StateFlow&lt;UserUiState&gt; = _uiState.asStateFlow()</pre><p>முதல் பார்வைக்கு இது duplicate மாதிரி தெரியும்.</p><p>ஆனால் இரண்டுக்கும் வேறு responsibility இருக்கு.</p><h3>_uiState</h3><p>MutableStateFlow</p><p>ViewModel-க்குள் மட்டும் modify பண்ண.</p><h3>uiState</h3><p>StateFlow</p><p>UI observe பண்ண.</p><p>UI direct-ஆ state-ஐ modify பண்ணக்கூடாது.</p><p>Flow இப்படியாக இருக்கும்:</p><pre>ViewModel<br>   │<br>   │ modifies<br>   ↓<br>MutableStateFlow<br>   │<br>   │ exposes as read-only<br>   ↓<br>StateFlow<br>   │<br>   ↓<br>UI observes</pre><p>இதற்கான simple memory rule:</p><blockquote><em>Mutable inside. Read-only outside.</em></blockquote><h3>அப்படின்னா SharedFlow எதுக்கு?</h3><p>Screen-ல் இருக்கும் எல்லாமே State கிடையாது.</p><p>சில விஷயங்கள் ஒரு moment-ல் நடக்கும் Event.</p><p>உதாரணம்:</p><p>User profile save பண்ணுகிறார்.</p><p>அதுக்குப் பிறகு:</p><pre>&quot;Profile saved&quot;</pre><p>என்று Snackbar காட்ட வேண்டும்.</p><p>இது current state அல்ல.</p><p>இது ஒரு event.</p><h3>State</h3><p>User name = Arun</p><p>இந்த information இப்போதும் true.</p><h3>Event</h3><pre>Profile saved</pre><p>இது ஒரு moment-ல் நடந்த action.</p><h3>StateFlow-ல் Event வைத்தால் என்ன Problem?</h3><p>“Profile saved” message-ஐ StateFlow-ல் வைத்தோம் என்று வைத்துக்கொள்ளலாம்.</p><p>Screen rotate ஆகிறது.</p><p>UI recreate ஆகிறது.</p><p>புதிய collector current StateFlow value-ஐ பார்க்கும்.</p><p>அதில் இன்னும்:</p><pre>Profile saved</pre><p>இருந்தால் Snackbar மறுபடியும் show ஆகலாம்.</p><p>அதாவது same event duplicate-ஆ UI-க்கு வந்துவிடலாம்.</p><p>இதுபோன்ற broadcast event use cases-க்கு source article SharedFlow-ஐ பயன்படுத்துகிறது.</p><h3>SharedFlow எப்படி இருக்கும்?</h3><p>ViewModel-ல்:</p><pre>private val _events = MutableSharedFlow&lt;UiEvent&gt;()<br>val events: SharedFlow&lt;UiEvent&gt; = _events.asSharedFlow()</pre><p>இங்கேயும் same encapsulation idea தான்:</p><pre>MutableSharedFlow<br>      ↓<br> ViewModel emits<br>      ↓<br>   SharedFlow<br>      ↓<br>  UI collects</pre><p>SharedFlow-க்கு StateFlow மாதிரி கட்டாய initial state தேவையில்லை.</p><p>Source article-ன் mental model-ல் இது momentary events-ஐ broadcast பண்ணுவதற்காக use ஆகிறது.</p><h3>StateFlow vs SharedFlow — எப்படி Decide பண்ணுவது?</h3><p>ஒவ்வொரு value-க்கும் இந்த ஒரு question கேளுங்கள்:</p><blockquote><em>Screen disappear ஆகி திரும்ப வந்தால், இந்த value உடனே மறுபடியும் கிடைக்க வேண்டுமா?</em></blockquote><h3>Yes என்றால் → StateFlow</h3><p>உதாரணம்:</p><ul><li>Search text</li><li>Search results</li><li>Loading state</li><li>Error screen state</li><li>User profile data</li></ul><p>இந்த values screen-ன் current state-ஐ describe பண்ணுகிறது.</p><h3>No என்றால் → SharedFlow</h3><p>உதாரணம்:</p><ul><li>“Profile saved” Snackbar</li><li>“Link copied” Toast</li></ul><p>இவை அந்த moment-ல் நடந்த event-கள்.</p><h3>Flow Operators எதுக்கு?</h3><p>Flow-ல் வரும் values collector-க்கு போகும் முன்னாடி அவற்றை transform அல்லது filter பண்ண வேண்டியிருக்கும்.</p><p>அதற்குத்தான் Flow Operators.</p><pre>Producer<br>↓<br>Flow<br>↓<br>Operator<br>↓<br>Operator<br>↓<br>Collector</pre><p>Source article முக்கியமாக சில operators-ஐ explain செய்கிறது.</p><h3>map</h3><p>ஒவ்வொரு value-ஐயும் வேறு value-ஆ மாற்றும்.</p><blockquote><em>Input : 1, 2, 3<br>Output : 2, 4, 6</em></blockquote><p>Concept:</p><pre>Value<br>↓<br>Transform<br>↓<br>New Value</pre><h3>filter</h3><p>Condition match ஆகும் values மட்டும் pass ஆகும்.</p><blockquote><em>Input:<br>2, 7, 4, 9<br>Condition:<br>&gt; 5<br>Output:<br>7, 9</em></blockquote><h3>debounce</h3><p>User தொடர்ந்து type பண்ணிக்கொண்டிருக்கும்போது ஒவ்வொரு keystroke-க்கும் operation run பண்ணாமல், input pause ஆகும் வரை wait பண்ண உதவும்.</p><p>Search box example:</p><pre>a<br>↓<br>ab<br>↓<br>abc<br>↓<br>300ms pause<br>↓<br>Search &quot;abc&quot;</pre><p>இதனால் intermediate search values-க்கு unnecessary processing குறைக்கலாம்.</p><h3>distinctUntilChanged</h3><p>அதே value தொடர்ந்து வந்தால் duplicate values-ஐ ignore பண்ண உதவும்.</p><blockquote><em>Input:<br>cat<br>cat<br>dog<br>Output:<br>cat<br>dog</em></blockquote><h3>flatMapLatest</h3><p>புதிய operation வந்தால் பழைய operation-ஐ விட்டுவிட்டு latest operation-ஐ focus பண்ணும்.</p><p>Search example:</p><pre>Search &quot;seh&quot;<br>↓<br>Request starts<br>User types &quot;sehaj&quot;<br>↓<br>Old work cancelled<br>↓<br>Latest search continues</pre><p>Latest input தான் முக்கியம் என்ற flow-க்கு இது useful.</p><h3>Android UI-ல் Flow-ஐ எப்படி Collect பண்ணுவது?</h3><p>UI visible இல்லாத நேரத்திலும் unnecessary collection continue ஆகக் கூடாது.</p><p>Source article Jetpack Compose-ல் lifecycle-aware collection-க்கு இந்த pattern-ஐ காட்டுகிறது:</p><pre>val state by viewModel.uiState.collectAsStateWithLifecycle()</pre><p>இதன் mental model:</p><pre>Screen active<br>↓<br>Collect Flow<br><br><br>Screen inactive<br>↓<br>Pause collection</pre><p>இதனால் UI lifecycle-க்கு ஏற்ற மாதிரி state collection manage பண்ண முடியும்.</p><h3>முழு Architecture Flow</h3><p>ஒரு typical Android feature-ஐ இந்த mental model-ல் இப்படிப் பார்க்கலாம்:</p><pre>Repository / Producer<br>        ↓<br>      Flow<br>        ↓<br>    ViewModel<br>        ↓<br>MutableStateFlow<br>        ↓<br>    StateFlow<br>        ↓<br>       UI</pre><p>Events இருந்தால்:</p><pre>ViewModel<br>   ↓<br>MutableSharedFlow<br>   ↓<br>SharedFlow<br>   ↓<br>UI Event Collector<br>   ↓<br>Snackbar / Toast</pre><p>இதில் முக்கிய distinction:</p><pre>Current State → StateFlow<br>One-time Event → SharedFlow</pre><p>இதுதான் article-ன் core mental model.</p><h3>ஒரு Practical Search Screen Example</h3><p>ஒரு Android search screen build பண்ணுகிறோம் என்று வைத்துக்கொள்ளலாம்.</p><p>User search box-ல் type பண்ணுகிறார்.</p><pre>&quot;k&quot;<br>↓<br>&quot;ko&quot;<br>↓<br>&quot;kot&quot;<br>↓<br>&quot;kotlin&quot;</pre><p>Search text screen-ன் current value.</p><p>அதனால்:</p><pre>Search Text<br>→ StateFlow</pre><p>Search result வந்ததும் அது screen-ல் காட்ட வேண்டிய current data.</p><pre>Search Results<br>→ StateFlow</pre><p>Network request நடக்கும் போது:</p><pre>Loading<br>→ StateFlow</pre><p>ஆனால் user result link-ஐ copy பண்ணியதும்:</p><pre>&quot;Link Copied!&quot;</pre><p>என்று Toast காட்ட வேண்டுமென்றால் அது ஒரு event.</p><pre>&quot;Link Copied!&quot;<br>→ SharedFlow</pre><p>இதுதான் State மற்றும் Event distinction-ஐ practical-ஆ பயன்படுத்தும் முறை.</p><h3>கவனிக்க வேண்டிய முக்கிய விஷயங்கள்</h3><h3>Cold Flow automatically run ஆகாது</h3><p>Flow create பண்ணினாலே producer start ஆகாது.</p><p>Collector தேவை.</p><h3>Multiple collectors என்றால் separate execution இருக்கலாம்</h3><p>Regular cold Flow-ஐ இரண்டு Coroutines collect பண்ணினால், ஒவ்வொருவருக்கும் தனித்தனி flow execution கிடைக்கலாம்.</p><h3>State மற்றும் Event-ஐ mix பண்ணாதீர்கள்</h3><p>Current UI information-ஐ state-ஆ model பண்ணுங்கள்.</p><p>Momentary action-ஐ event-ஆ நினைத்துக்கொள்ளுங்கள்.</p><h3>UI lifecycle-ஐ ignore பண்ணாதீர்கள்</h3><p>Screen active இல்லாதபோது collection pause ஆகும் lifecycle-aware approach-ஐ use பண்ணுவது source article-ன் recommendation.</p><h3>Beginner நினைவில் வைக்க வேண்டியது</h3><ul><li>Flow ஒரு value மட்டும் அல்ல; multiple values over time handle பண்ணும்.</li><li>Regular Flow ஒரு cold stream — collect பண்ணும்போதுதான் execute ஆகும்.</li><li>StateFlow current UI state-க்கு useful.</li><li>SharedFlow source article-ன் model-ல் one-time UI events/broadcasts-க்கு useful.</li><li>ViewModel-ல் Mutable inside, read-only outside pattern architecture-ஐ clean-ஆ வைத்திருக்க உதவும்.</li></ul><h3>Quick Summary</h3><p>Kotlin Flow-ஐ புரிந்துகொள்ள complex definitions memorize பண்ண வேண்டியதில்லை.</p><p>முதலில் இந்த idea நினைவில் வைத்துக்கொள்ளுங்கள்:</p><pre>Producer emits<br>↓<br>Flow carries<br>↓<br>Collector receives</pre><p>Android UI-ல்:</p><pre>Current value<br>→ StateFlow<br>Momentary event<br>→ SharedFlow</pre><p>அதற்கு மேலே map, filter, debounce, distinctUntilChanged, flatMapLatest போன்ற operators use பண்ணி stream-ல் வரும் values-ஐ control பண்ணலாம்.</p><p>இந்த mental model clear ஆன பிறகு Kotlin Flow ecosystem புரிந்துகொள்வது நிறைய easy ஆகும்.</p><h3>அடுத்து என்ன படிக்கலாம்?</h3><ul><li>Kotlin Coroutines எப்படி work ஆகுது?</li><li>StateFlow + ViewModel architecture எப்படி build பண்ணுவது?</li><li>Flow operators-ஐ practical project-ல் எப்படி use பண்ணுவது?</li></ul><p>இந்த மாதிரி software concepts-ஐ Tamil-la simple-ah கற்றுக்கொள்ள விரும்பினால், என்னை Medium-la follow பண்ணலாம்.</p><h3>Source</h3><blockquote><em>Original Article: Kotlin Flows in Android: A Clear Mental Model — Sehaj Kahlon, Medium, September 6, 2026.</em></blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d03dd1ef43d1" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Embeddings என்றால் என்ன? AI எப்படி Meaning-ஐ Numbers-ஆ புரிந்துகொள்கிறது?]]></title>
            <link>https://medium.com/@venkataramk/embeddings-%E0%AE%8E%E0%AE%A9%E0%AF%8D%E0%AE%B1%E0%AE%BE%E0%AE%B2%E0%AF%8D-%E0%AE%8E%E0%AE%A9%E0%AF%8D%E0%AE%A9-ai-%E0%AE%8E%E0%AE%AA%E0%AF%8D%E0%AE%AA%E0%AE%9F%E0%AE%BF-meaning-%E0%AE%90-numbers-%E0%AE%86-%E0%AE%AA%E0%AF%81%E0%AE%B0%E0%AE%BF%E0%AE%A8%E0%AF%8D%E0%AE%A4%E0%AF%81%E0%AE%95%E0%AF%8A%E0%AE%B3%E0%AF%8D%E0%AE%95%E0%AE%BF%E0%AE%B1%E0%AE%A4%E0%AF%81-28da4ac04f2b?source=rss-669d6597ccd6------2</link>
            <guid isPermaLink="false">https://medium.com/p/28da4ac04f2b</guid>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[tamil]]></category>
            <category><![CDATA[embedding]]></category>
            <category><![CDATA[rags]]></category>
            <dc:creator><![CDATA[Venkataram k]]></dc:creator>
            <pubDate>Sun, 20 Sep 2026 09:27:17 GMT</pubDate>
            <atom:updated>2026-09-20T09:27:17.089Z</atom:updated>
            <content:encoded><![CDATA[<p>Search, RAG, recommendation system, chatbot போன்ற modern AI applications-ல Embedding ஒரு முக்கியமான concept.</p><p>Simple-ah சொன்னா, text, image அல்லது வேறு data-வின் meaning-ஐ numbers form-ல represent பண்ணுறது தான் Embedding.</p><p>இந்த article முடிக்கும்போது Embedding ஏன் தேவை, எப்படி work ஆகுது, cosine similarity என்ன, Vector Database எதற்காக வருகிறது, RAG-ல் Embedding என்ன role play பண்ணுகிறது என்பதெல்லாம் தெளிவாக புரியும்.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oyJnhs_46fAyG_TSyZ6LDw.png" /><figcaption>Embeddings explained in Tamil</figcaption></figure><h3>முதலில் Problem என்ன?</h3><p>Computer numbers compare பண்ணுவதில் ரொம்ப strong.</p><pre>5 &gt; 3</pre><p>இதை உடனே calculate பண்ணிடும்.</p><p>ஆனால் இரண்டு sentences ஒரே meaning சொல்லுதா என்பதை normal string comparison மட்டும் வைத்து கண்டுபிடிப்பது easy இல்லை.</p><p>உதாரணமாக:</p><blockquote><em>How do I reset my password?<br>I forgot my login details.</em></blockquote><p>Human perspective-ல பார்த்தால் இரண்டு sentences-மும் ஒரே மாதிரியான problem பற்றிதான் பேசுகிறது.</p><p>ஆனால் முக்கியமான words compare பண்ணினால்:</p><ul><li>reset ≠ forgot</li><li>password ≠ login</li><li>exact word overlap குறைவு</li></ul><p>Keyword matching மட்டும் use பண்ணும் system இதை unrelated content என்று நினைக்கலாம்.</p><p>இன்னொரு example:</p><blockquote><em>The bank of the river was muddy.<br>I need to visit the bank today.</em></blockquote><p>இரண்டிலும் bank என்ற same word இருக்கு.</p><p>ஆனால் முதல் sentence river side பற்றியது.</p><p>இரண்டாவது sentence financial bank பற்றியது.</p><p>Same words இருக்கிறது என்பதாலே same meaning என்று சொல்ல முடியாது.</p><p>இதுதான் Embeddings solve பண்ண முயற்சி செய்யும் basic problem.</p><h3>Embedding என்றால் என்ன?</h3><h3>Simple-ah சொன்னா</h3><p>Embedding-na ஒரு data-வின் meaning-ஐ numbers list-ஆ represent பண்ணுறது.</p><p>உதாரணமாக:</p><pre>&quot;How do I reset my password?&quot;<br>        ↓<br>[0.21, -0.48, 0.83, 0.02, ...]</pre><p>இந்த numbers list-ஐ Vector என்று சொல்வோம்.</p><p>அதனால் practical AI discussions-ல:</p><pre>Embedding ≈ Vector representation</pre><p>என்று நினைத்துக்கொள்ளலாம்.</p><p>இதே meaning கொண்ட இன்னொரு sentence:</p><pre>&quot;I forgot my login details.&quot;<br>        ↓<br>[0.19, -0.44, 0.79, 0.05, ...]</pre><p>இரண்டு vectors-மும் embedding space-ல் relatively close-ஆ இருக்கலாம்.</p><p>Completely different meaning கொண்ட sentence வேறு பகுதியில் இருக்கும்.</p><h3>Core Idea என்ன?</h3><p>Embedding-oda main idea:</p><pre>Meaning<br>   ↓<br>Numbers<br>   ↓<br>Position in a vector space<br>   ↓<br>Similarity measurement</pre><p>ஒரு computer-ku language-ஐ human மாதிரி புரிய வைக்க வேண்டியதில்லை.</p><p>அதற்கு பதிலாக meaning-ஐ numbers-ஆ convert பண்ணிட்டால், computer அந்த numbers-ஐ compare பண்ண முடியும்.</p><p>Meaning-ஐ ஒரு measurable position-ஆ மாற்றுவதுதான் Embedding-oda முக்கிய idea.</p><h3>இரண்டு Numbers வைத்து முதலில் புரிந்துகொள்வோம்</h3><p>Real embedding vectors-ல் நூற்றுக்கணக்கான அல்லது ஆயிரக்கணக்கான numbers இருக்கலாம்.</p><p>அதை நேரடியாக visualize பண்ண முடியாது.</p><p>அதனால் இரண்டு dimensions கொண்ட simple example பார்க்கலாம்.</p><p>ஒரு fruit-ஐ இரண்டு properties வைத்து represent பண்ணுவோம்:</p><ul><li>Sweetness</li><li>Size</li></ul><p>Example:</p><pre>Fruit         Sweetness    Size      Vector<br>Apple             7          5       [7, 5]<br>Banana            8          5       [8, 5]<br>Lemon             1          3       [1, 3]<br>Watermelon        6         10       [6, 10]</pre><p>இதை graph-ல் plot பண்ணினால்:</p><pre>Size<br>10 |              Watermelon<br>   |<br> 8 |<br>   |<br> 5 |                Apple Banana<br>   |<br> 3 |  Lemon<br>   |<br> 0 +--------------------------------<br>     0   2   4   6   8   10<br>              Sweetness</pre><pre>Apple [7,5].</pre><pre>Banana [8,5].</pre><p>அதனால் இரண்டு points-மும் close.</p><pre>Lemon [1,3] என்பதால் Apple-லிருந்து comparatively far.</pre><p>இதனால் computer ஒரு simple question answer பண்ண முடியும்:</p><pre>Apple-ku most similar fruit எது?</pre><p>Nearest point பார்த்து:</p><pre>Banana</pre><p>என்று கண்டுபிடிக்க முடியும்.</p><p>Real Embeddings-லும் இதே fundamental idea தான்.</p><h3>ஏன் இரண்டு Dimensions மட்டும் போதாது?</h3><p>Fruit example-ல் இரண்டு values போதுமான மாதிரி தெரியும்.</p><p>ஆனால் Lemon மற்றும் Lime எடுத்துக்கொள்ளுங்கள்.</p><p>Sweetness மற்றும் size மட்டும் பார்த்தால் இரண்டும் almost same position-ல் இருக்கலாம்.</p><p>அவற்றை distinguish பண்ண:</p><ul><li>color</li><li>sourness</li><li>texture</li><li>shape</li></ul><p>போன்ற additional properties தேவைப்படும்.</p><p>Language இதைவிட பல மடங்கு complex.</p><p>ஒரு sentence-ல்:</p><ul><li>topic</li><li>context</li><li>tone</li><li>intent</li><li>entities</li><li>relationships</li><li>positive / negative meaning</li></ul><p>என்று நிறைய information இருக்கலாம்.</p><p>அதனால் real-world embedding models hundreds அல்லது thousands of dimensions கொண்ட vectors generate செய்யலாம். Source article example-ஆ 384 முதல் 3072 dimensions வரை sentence embeddings இருக்கலாம் என்று குறிப்பிடுகிறது.</p><pre>2 Dimensions<br>↓<br>Paper-ல் visualize பண்ணலாம்<br>3 Dimensions<br>↓<br>3D space-ஆ imagine பண்ணலாம்<br>768 Dimensions<br>↓<br>Visualize பண்ண முடியாது<br>ஆனால் mathematically compare பண்ண முடியும்</pre><h3>Dimension என்றால் என்ன?</h3><p>Vector-ல் இருக்கும் ஒவ்வொரு number-மும் ஒரு dimension.</p><p>உதாரணமாக:</p><pre>[0.21, -0.48, 0.83, 0.02]</pre><p>இது 4-dimensional vector.</p><p>ஆனால் ஒரு important difference இருக்கிறது.</p><p>Fruit example-ல்:</p><blockquote><em>Dimension 1 = Sweetness<br>Dimension 2 = Size</em></blockquote><p>என்று நாமே meaning assign பண்ணினோம்.</p><p>Real embedding model-ல்:</p><blockquote><em>Dimension 42 = Formality<br>Dimension 107 = Emotion</em></blockquote><p>என்று simple-ah label பண்ண முடியாது.</p><p>Meaning பொதுவாக பல dimensions-ல் distributed-ஆ encode ஆகும்.</p><h3>Embeddings யார் Generate பண்ணுறது?</h3><p>நாமே embedding numbers எழுதுவதில்லை.</p><p>ஒரு trained Embedding Model generate பண்ணும்.</p><p>Flow:</p><pre>Input Text<br>    ↓<br>Embedding Model<br>    ↓<br>Vector</pre><p>Example:</p><pre>&quot;Payment failed&quot;<br>       ↓<br>Embedding Model<br>       ↓<br>[0.31, -0.12, 0.75, ...]</pre><p>இந்த model training data-ல் language patterns-ஐ learn பண்ணியிருக்கும்.</p><p>Similar context-ல repeatedly வரும் words மற்றும் sentences semantic space-ல் அருகில் represent ஆக கற்றுக்கொள்ளும் என்பது source article-ன் core explanation.</p><h3>Context எப்படி Meaning உருவாக்க உதவுகிறது?</h3><p>இந்த sentences பாருங்கள்:</p><blockquote><em>I drank tea in the morning.<br>I drank coffee in the morning.<br>She poured tea into a cup.<br>She poured coffee into a cup.</em></blockquote><p>Tea மற்றும் Coffee ஒரே மாதிரியான contexts-ல் அடிக்கடி வருது.</p><ul><li>drank</li><li>morning</li><li>cup</li><li>poured</li></ul><p>போன்ற surrounding patterns similar.</p><p>Training data முழுக்க இந்த மாதிரி patterns-ஐ model பார்க்கும்போது, Tea மற்றும் Coffee semantic representation-களை close-ஆ அமைக்க கற்றுக்கொள்ள முடியும்.</p><h3>இரண்டு Embeddings Close-ஆ இருக்கிறதா எப்படி கண்டுபிடிப்பது?</h3><p>Vectors கிடைத்த பிறகு அடுத்த question:</p><p>இவை இரண்டும் எவ்வளவு similar?</p><p>இதற்கு பல distance / similarity metrics இருக்கிறது.</p><p>Common approach ஒன்று:</p><pre>Cosine Similarity</pre><h3>Cosine Similarity என்றால் என்ன?</h3><h3>Simple-ah சொன்னா</h3><p>ஒவ்வொரு vector-ஐயும் ஒரு arrow மாதிரி imagine பண்ணுங்கள்.</p><p>Cosine similarity அந்த arrows-ன் direction எவ்வளவு similar என்று compare பண்ணும்.</p><pre>Same direction<br>→ High similarity<br>Very different direction<br>→ Low similarity</pre><p>Conceptually:</p><pre>Embedding A  ↗<br>Embedding B  ↗<br>Small angle<br>=<br>High similarity</pre><p>Cosine similarity பொதுவாக -1 முதல் 1 வரை mathematically இருக்கலாம்.</p><pre>Near 1<br>→ highly similar direction<br>Near 0<br>→ weak relation / dissimilar direction<br>Near -1<br>→ opposite direction</pre><p>ஆனால் actual embedding models-ல் score distribution model-க்கு model மாறலாம். அதனால் ஒரு fixed raw score-ஐ universal rule-ஆ interpret பண்ணாமல், மற்ற candidate scores-உடன் compare பண்ணுவது முக்கியம் என்று source article குறிப்பிடுகிறது.</p><h3>Semantic Search எப்படி Work ஆகுது?</h3><p>Normal keyword search:</p><pre>User Query<br>↓<br>Exact / similar keywords search<br>↓<br>Results</pre><p>Semantic Search:</p><pre>User Query<br>↓<br>Embedding Model<br>↓<br>Query Vector<br>↓<br>Stored Vectors உடன் Compare<br>↓<br>Most Similar Results</pre><p>உதாரணமாக user type பண்ணுகிறார்:</p><pre>I cannot access my account</pre><p>Knowledge Base-ல் document இருக்கிறது:</p><pre>How to reset your forgotten password</pre><p>Same keywords இல்லாமலேயே இரண்டின் meaning related என்றால் embedding similarity அதை கண்டுபிடிக்க உதவும்.</p><p>இதுதான் Semantic Search-ன் major advantage.</p><h3>ஒரு Practical Example: Customer Support Search</h3><p>ஒரு SaaS company-க்கு ஆயிரக்கணக்கான support articles இருக்கு என்று வைத்துக்கொள்வோம்.</p><p>User:</p><pre>My card payment is not going through</pre><p>என்று கேட்கிறார்.</p><p>Knowledge Base article:</p><pre>Troubleshooting failed credit card transactions</pre><p>Keyword-only search-ல் exact words match ஆகாமல் போகலாம்.</p><p>Embedding-based search-ல்:</p><pre>User Question<br>      ↓<br>Embedding<br>      ↓<br>[0.17, 0.66, -0.31, ...]<br>      ↓<br>Vector Search<br>      ↓<br>Similar Support Articles<br>      ↓<br>&quot;Troubleshooting failed credit card transactions&quot;</pre><p>Meaning similarity வைத்து correct content retrieve பண்ண முடியும்.</p><h3>Embeddings RAG-ல் எப்படி Use ஆகுது?</h3><p>RAG — Retrieval-Augmented Generation systems-ல் Embeddings மிகவும் common building block.</p><p>ஒரு basic RAG flow:</p><pre>Documents<br>    ↓<br>Smaller Chunks<br>    ↓<br>Embedding Model<br>    ↓<br>Vectors<br>    ↓<br>Vector Database</pre><pre>User Question<br>    ↓<br>Embedding Model<br>    ↓<br>Query Vector<br>    ↓<br>Vector Search<br>    ↓<br>Relevant Chunks<br>    ↓<br>LLM<br>    ↓<br>Final Answer</pre><h3>Step 1: Documents prepare பண்ணுவோம்</h3><p>Company documentation, PDFs, FAQs போன்ற content இருக்கும்.</p><h3>Step 2: Smaller chunks-ஆ split பண்ணுவோம்</h3><p>ஒரு பெரிய document-ஐ ஒரே embedding-ஆ represent பண்ணினால் details dilute ஆகலாம்.</p><p>அதனால் smaller chunks-ஆ split பண்ணுவது common approach.</p><h3>Step 3: Embeddings generate பண்ணுவோம்</h3><p>ஒவ்வொரு chunk-க்கும் embedding model vector உருவாக்கும்.</p><h3>Step 4: Vector Database-ல் store பண்ணுவோம்</h3><p>Vectors மற்றும் corresponding content store ஆகும்.</p><h3>Step 5: User question embed ஆகும்</h3><p>User query-க்கும் same embedding model பயன்படுத்தப்படும்.</p><h3>Step 6: Similar vectors search பண்ணப்படும்</h3><p>User query vector-க்கு nearest document chunks retrieve ஆகும்.</p><h3>Step 7: LLM-ku context கொடுக்கப்படும்</h3><p>Relevant content + question LLM-ku கொடுத்து final answer generate பண்ணலாம்.</p><p>Source article RAG retrieval process embeddings-ஐ அடிப்படையாக பயன்படுத்தும் முக்கிய use case என்று விளக்குகிறது.</p><h3>Vector Database ஏன் தேவை?</h3><p>100 embeddings இருந்தால் எல்லாவற்றையும் compare பண்ணுவது பெரிய problem இல்லை.</p><p>ஆனால்:</p><pre>1,000,000 embeddings</pre><p>இருந்தால் ஒவ்வொரு user search-க்கும் எல்லா vectors-ஐ sequentially compare பண்ணுவது expensive ஆகலாம்.</p><p>இதற்காக Vector Database அல்லது specialized vector search systems பயன்படுத்தப்படுகின்றன.</p><p>அவற்றின் job:</p><pre>Query vector-க்கு அருகிலிருக்கும் vectors-ஐ efficient-ஆ கண்டுபிடிப்பது.</pre><p>Embedding representation கொடுக்கிறது.</p><p>Vector search nearest matches கண்டுபிடிக்கிறது.</p><p>இரண்டும் same thing இல்லை.</p><h3>Embeddings Text-க்கு மட்டும் கிடையாது</h3><p>Embedding concept language-க்கு மட்டும் limited இல்லை.</p><p>ஒரு model meaningful representation உருவாக்க முடிந்தால் பல data types-ஐ embedding-ஆ represent செய்யலாம்.</p><h3>Text</h3><pre>Sentence<br>↓<br>Vector</pre><p>Semantic search, RAG போன்றவற்றில் பயன்படும்.</p><h3>Documents</h3><p>Full document அல்லது document chunks vector representation பெறலாம்.</p><p>Similar documents retrieve பண்ணலாம்.</p><h3>Images</h3><pre>Image<br>↓<br>Image Encoder<br>↓<br>Vector</pre><p>Visually அல்லது semantically similar images search பண்ண முடியும்.</p><h3>Audio</h3><p>Audio clips-க்கும் embeddings உருவாக்கலாம்.</p><h3>Products மற்றும் Users</h3><p>E-commerce recommendation systems-ல் products மற்றும் user preferences-ஐ vector space-ல் represent பண்ணி related items கண்டுபிடிக்கலாம்.</p><p>சில multimodal models text மற்றும் images போன்ற வேறு data types-ஐ shared embedding space-ல் represent செய்யவும் முடியும்.</p><h3>ஒரு Interesting Use Case: Text வைத்து Image Search</h3><p>Imagine ஒரு image collection இருக்கு.</p><p>Images-க்கு manual tags எதுவும் இல்லை.</p><p>User:</p><pre>A cat sitting on a chair</pre><p>என்று search பண்ணுகிறார்.</p><p>Multimodal embedding model text-ஐ vector-ஆ மாற்றும்.</p><p>Images-க்கும் vectors ஏற்கனவே இருக்கும்.</p><pre>Text Query<br>    ↓<br>Text Embedding<br>    ↓<br>Shared Vector Space<br>    ↓<br>Nearest Image Embeddings<br>    ↓<br>Relevant Images</pre><p>Text மற்றும் image representations compatible shared space-ல் இருந்தால் semantic similarity மூலம் relevant image retrieve பண்ண முடியும்.</p><h3>Embeddings எங்கே Use ஆகுது?</h3><h3>1. Semantic Search</h3><p>Exact keyword match இல்லாமல் meaning-based search செய்ய.</p><pre>&quot;forgot login&quot;</pre><p>என்று search செய்தாலும் password reset content கிடைக்கலாம்.</p><h3>2. RAG</h3><p>User question-க்கு relevant document chunks retrieve பண்ணி LLM-ku context கொடுக்க.</p><h3>3. Recommendations</h3><p>User விரும்பிய content அல்லது product-க்கு close-ஆ இருக்கும் items recommend பண்ண.</p><pre>User Preference Vector<br>        ↓<br>Nearest Product Vectors<br>        ↓<br>Recommendations</pre><h3>4. Clustering</h3><p>Thousands of customer feedback messages-ஐ embedding செய்து similar feedback-களை groups-ஆ organize பண்ணலாம்.</p><h3>5. Duplicate Detection</h3><p>Different wording இருந்தாலும் same issue describe பண்ணும் support tickets அல்லது reports identify பண்ண உதவும்.</p><h3>6. Classification</h3><p>Known category examples-க்கு எந்த input embedding closest என்று பார்த்து category assign செய்யலாம்.</p><h3>Famous Vector Arithmetic Example</h3><p>Embeddings பற்றிப் பேசும்போது frequently சொல்லப்படும் classic example:</p><pre>king - man + woman ≈ queen</pre><p>மேலும்:</p><pre>Paris - France + Italy ≈ Rome</pre><p>இந்த examples vector spaces சில semantic relationships-ஐ structured form-ல் capture செய்ய முடியும் என்பதை demonstrate பண்ண பயன்படுத்தப்படுகின்றன.</p><p>ஆனால் இதை:</p><p>எல்லா embedding models-லும் இப்படித்தான் exact arithmetic work ஆகும்</p><p>என்று நினைக்கக்கூடாது.</p><p>இதன் முக்கிய lesson:</p><p>Vector space-ல் words அல்லது concepts இடையிலான relationships meaningful structure உருவாக்கலாம்.</p><h3>முக்கியமான Limitation #1: Different Models-ன் Embeddings-ஐ Mix பண்ணக்கூடாது</h3><p>இது மிகவும் important.</p><pre>Model A:</pre><pre>&quot;Hello&quot;<br>↓<br>[...]</pre><pre>Model B:</pre><pre>&quot;Hello&quot;<br>↓<br>[...]</pre><p>இரண்டு models-மும் completely different vector spaces உருவாக்கலாம்.</p><p>அதனால்:</p><pre>Model A Vector<br>      ✕<br>Model B Vector</pre><p>directly compare பண்ணுவது meaningful result தராது.</p><p>Embedding model change பண்ணினால் stored content-ஐ புதிய model வைத்து re-embed செய்ய வேண்டியிருக்கும்.</p><h3>Limitation #2: Similarity என்றால் Correct Answer என்று அர்த்தமில்லை</h3><p>இந்த இரண்டு sentences பாருங்கள்:</p><blockquote><em>The medicine is safe.<br>The medicine is not safe.</em></blockquote><p>Meaning result-ஐ பார்த்தால் opposite.</p><p>ஆனால் topic மற்றும் vocabulary almost same.</p><p>Embedding model இந்த sentences-ஐ semantic space-ல் relatively close-ஆ place செய்ய வாய்ப்பு இருக்கலாம்.</p><p>அதனால்:</p><pre>High similarity score = factually correct answer என்ற guarantee கிடையாது.</pre><p>Embedding similarity retrieval signal மட்டும்.</p><p>Truth verification system அல்ல.</p><h3>Limitation #3: Training Data Bias</h3><p>Embedding model training data-ல் இருக்கும் human patterns மற்றும் biases representation-ல reflect ஆகலாம்.</p><p>இதனால்:</p><ul><li>Hiring</li><li>Lending</li><li>Ranking</li><li>Sensitive classification</li></ul><p>போன்ற high-impact systems-ல் embedding similarity மட்டும் blindly depend பண்ணுவது problematic ஆகலாம்.</p><p>Source article இதை embeddings பயன்படுத்தும்போது கவனிக்க வேண்டிய முக்கிய risk-ஆ குறிப்பிடுகிறது.</p><h3>Limitation #4: New அல்லது Domain-specific Language</h3><p>Embedding model train ஆன data-வில் இல்லாத:</p><ul><li>புதிய terminology</li><li>company-specific abbreviations</li><li>internal product names</li><li>specialized jargon</li></ul><p>போன்றவற்றின் representation expected quality-ல் இருக்காமல் போகலாம்.</p><p>அதனால் real application-ல் embedding model-ஐ sample queries மற்றும் domain data வைத்து evaluate பண்ணுவது முக்கியம்.</p><h3>Limitation #5: பெரிய Document-ஐ ஒரே Vector-ஆ மாற்றுவது</h3><p>20-page document-ஐ:</p><pre>Entire Document<br>      ↓<br>One Embedding</pre><p>என்று convert பண்ணினால் document-க்குள் இருக்கும் specific details representation-ல் blur ஆகலாம்.</p><p>அதனால் RAG systems-ல் commonly:</p><pre>Document<br>   ↓<br>Chunk 1<br>Chunk 2<br>Chunk 3<br>Chunk 4<br>   ↓<br>Individual Embeddings</pre><p>என்று process பண்ணுவார்கள்.</p><p>இதனால் retrieval more granular ஆகும்.</p><h3>ஒரு Typical Embedding Architecture</h3><p>ஒரு AI knowledge-search application-ன் simplified architecture:</p><pre>INDEXING<br>Company Documents<br>        ↓<br>     Chunking<br>        ↓<br> Embedding Model<br>        ↓<br>     Vectors<br>        ↓<br> Vector Database</pre><pre>SEARCH<br>   User Question<br>        ↓<br> Embedding Model<br>        ↓<br>   Query Vector<br>        ↓<br> Vector Database<br>        ↓<br> Relevant Chunks<br>        ↓<br>       LLM<br>        ↓<br> Final Response</pre><p>இந்த architecture-ல் Embedding model-oda responsibility:</p><pre>Data → Vector</pre><p>Vector Database-oda responsibility:</p><pre>Query Vector → Similar Vectors</pre><p>LLM-oda responsibility:</p><pre>Retrieved information + Question → Natural-language answer</pre><p>இந்த distinction புரிந்திருந்தால் RAG architecture புரிந்துகொள்வது மிகவும் easy.</p><h3>Developer Perspective-ல Embedding பற்றி என்ன தெரிந்திருக்கணும்?</h3><p>Embedding use பண்ணும்போது model API call பண்ணி vector வாங்குவது மட்டும் போதாது.</p><p>Production system-ல் இன்னும் சில questions முக்கியம்:</p><ul><li>எந்த embedding model use பண்ணுகிறோம்?</li><li>அதன் vector dimensions என்ன?</li><li>Query மற்றும் documents same model-ல் embed ஆகிறதா?</li><li>Long documents எப்படி chunk பண்ணப்படுது?</li><li>Similarity metric என்ன?</li><li>Retrieval quality எப்படி evaluate பண்ணப்போகிறோம்?</li><li>Model change செய்தால் re-index எப்படி பண்ணுவது?</li><li>Sensitive data embedding service-க்கு அனுப்பப்படுகிறதா?</li></ul><p>Embedding ஒரு small API feature போல தோன்றினாலும், retrieval system quality-க்கு இது core component.</p><h3>நினைவில் வைக்க வேண்டியது</h3><ul><li>Embedding என்பது meaning-ஐ numbers/vector form-ல் represent பண்ணும் technique.</li><li>Similar meaning கொண்ட data embedding space-ல் அருகில் இருக்கும்படி models train செய்யப்படலாம்.</li><li>Embeddings compare பண்ண cosine similarity போன்ற metrics பயன்படுத்தலாம்.</li><li>Semantic Search, RAG, recommendations, clustering போன்றவற்றில் embeddings useful.</li><li>Different embedding models உருவாக்கிய vectors-ஐ directly mix பண்ணக்கூடாது.</li><li>Semantic similarity என்பது factual correctness கிடையாது.</li><li>Large documents-ஐ smaller chunks-ஆ embed பண்ணுவது retrieval systems-ல் common approach.</li></ul><h3>Quick Summary</h3><p>Computer-ku text-ன் meaning-ஐ direct-ah compare பண்ணுவது easy இல்லை.</p><p>Embedding அந்த meaning-ஐ ஒரு vector — numbers list ஆக மாற்றுகிறது.</p><pre>Text<br>↓<br>Embedding Model<br>↓<br>Vector</pre><p>Similar meaning கொண்ட inputs vector space-ல் close-ஆ இருந்தால், mathematics வைத்து அவற்றின் similarity-ஐ measure பண்ணலாம்.</p><p>இந்த simple idea தான்:</p><pre>Semantic Search → Vector Search → RAG → Recommendations</pre><p>போன்ற நிறைய modern AI systems-க்கு foundation-ஆ இருக்கிறது.</p><h3>அடுத்து என்ன படிக்கலாம்?</h3><p>Embedding புரிந்த பிறகு இந்த topics நல்ல next step:</p><ul><li>Vector Database எப்படி work ஆகுது?</li><li>Semantic Search என்றால் என்ன?</li><li>RAG எப்படி work ஆகுது?</li></ul><p>இந்த மாதிரி software concepts-ஐ Tamil-la simple-ah கற்றுக்கொள்ள விரும்பினால், என்னை Medium-la follow பண்ணலாம்.</p><h3>Source</h3><blockquote><em>“</em><a href="https://outcomeschool.com/blog/what-are-embeddings"><em>What are Embeddings?</em></a><em>” — Amit Shekhar, Outcome School<br>Published July 31, 2026.</em></blockquote><p><em>Suggested Tags: Artificial Intelligence, Embeddings, Machine Learning, RAG, Tamil</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=28da4ac04f2b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Benefits of chanting SO — HUM while breathing]]></title>
            <description><![CDATA[<div class="medium-feed-item"><p class="medium-feed-image"><a href="https://medium.com/@venkataramk/benefits-of-chanting-so-hum-while-breathing-887f995b05b7?source=rss-669d6597ccd6------2"><img src="https://cdn-images-1.medium.com/max/2600/1*i0j6jLoJQOfm2SkuwiD78w.png" width="2752"></a></p><p class="medium-feed-snippet">SO-HUM is a Sanskrit word that denotes inhalation and exhalation of breathing. If you watch the sound of the word SO will sync with your&#x2026;</p><p class="medium-feed-link"><a href="https://medium.com/@venkataramk/benefits-of-chanting-so-hum-while-breathing-887f995b05b7?source=rss-669d6597ccd6------2">Continue reading on Medium »</a></p></div>]]></description>
            <link>https://medium.com/@venkataramk/benefits-of-chanting-so-hum-while-breathing-887f995b05b7?source=rss-669d6597ccd6------2</link>
            <guid isPermaLink="false">https://medium.com/p/887f995b05b7</guid>
            <dc:creator><![CDATA[Venkataram k]]></dc:creator>
            <pubDate>Thu, 29 Jan 2026 18:59:05 GMT</pubDate>
            <atom:updated>2026-05-16T14:12:04.428Z</atom:updated>
        </item>
        <item>
            <title><![CDATA[Karma Yoga for Modern Days]]></title>
            <link>https://medium.com/@venkataramk/karma-yoga-for-modern-days-346610bd93d0?source=rss-669d6597ccd6------2</link>
            <guid isPermaLink="false">https://medium.com/p/346610bd93d0</guid>
            <category><![CDATA[karmayoga]]></category>
            <dc:creator><![CDATA[Venkataram k]]></dc:creator>
            <pubDate>Thu, 31 Jul 2025 17:03:22 GMT</pubDate>
            <atom:updated>2025-07-31T17:03:22.526Z</atom:updated>
            <content:encoded><![CDATA[<p>Karma Yoga, the yoga of selfless action, is one of the ways to achieve liberation that Krishna taught in the Bhagavat Gita.</p><p>Liberation means escaping the cycle of birth and death. Why escape? Because this human life is full of suffering.</p><p>There are four paths to liberation,</p><ol><li>Karma Yoga</li><li>Bhakthi Yoga</li><li>Gyana Yoga</li><li>Raja Yoga</li></ol><p>In this article, we are going to see how to apply Karma Yoga in our daily life.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*n-dNxWW1GSBqhdDPNr5cJA.png" /></figure><p>Karma means Action or the work we do.</p><p>Yoga means the mindset of taking good and bad results equally.</p><p>So Karma yoga means we have to just do our work with 100% commitment and be detached from the results.</p><p>i.e) whatever the result, good or bad, accept it and keep doing our work.</p><p>Okay, now the question arises, how to do that?</p><p>Here comes the Bhakthi or love towards God.</p><p>You should do every action as an offering to God (Favourite God); So now you naturally do your best work. This part is only in your control.</p><p>Now God will give you fruits of the actions that may be good (blessing of God), or not good (teaching of God), or no result</p><p>Accept whatever the results are and continue doing your work as an offering to God.</p><p>This way we can do any work without stress.</p><p>Because we are doing work to make God happy, whatever the result, it is God’s wish.</p><p>This is the practical way of doing Karma yoga.</p><p>Thanks.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=346610bd93d0" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>