<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Jaeseong Yoo on Medium]]></title>
        <description><![CDATA[Stories by Jaeseong Yoo on Medium]]></description>
        <link>https://medium.com/@praster1?source=rss-2267dcfdebd3------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*kddBB8_OyOVMvGmA.jpg</url>
            <title>Stories by Jaeseong Yoo on Medium</title>
            <link>https://medium.com/@praster1?source=rss-2267dcfdebd3------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 10:13:43 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@praster1/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[텍스트 정규화 #42–연속 동의어 폭격]]></title>
            <link>https://medium.com/@praster1/%ED%85%8D%EC%8A%A4%ED%8A%B8-%EC%A0%95%EA%B7%9C%ED%99%94-42-%EC%97%B0%EC%86%8D-%EB%8F%99%EC%9D%98%EC%96%B4-%ED%8F%AD%EA%B2%A9-494a3de310ef?source=rss-2267dcfdebd3------2</link>
            <guid isPermaLink="false">https://medium.com/p/494a3de310ef</guid>
            <category><![CDATA[이상치탐지]]></category>
            <category><![CDATA[슬라이딩윈도우]]></category>
            <category><![CDATA[동의어폭격]]></category>
            <category><![CDATA[td-idf]]></category>
            <category><![CDATA[어휘다양성]]></category>
            <dc:creator><![CDATA[Jaeseong Yoo]]></dc:creator>
            <pubDate>Sat, 09 Aug 2025 11:37:07 GMT</pubDate>
            <atom:updated>2025-08-09T11:39:12.474Z</atom:updated>
            <content:encoded><![CDATA[<h3>1. 문제 상황 소개</h3><p>텍스트 정규화 과정에서 발생하는 연속 동의어 폭격(Consecutive Synonym Bombing)은 현대 자연어 처리와 검색 엔진 최적화 분야에서 심각한 문제로 대두되고 있다. 이 현상은 “great, excellent, superb, outstanding, magnificent…”와 같이 의미가 유사한 단어들을 연속적으로 나열하여 텍스트의 품질을 저하시키는 문제다.</p><p>연속 동의어 폭격은 주로 SEO(Search Engine Optimization) 목적의 자동 생성 콘텐츠에서 빈번하게 나타난다. 검색 엔진의 키워드 매칭 알고리즘을 악용하여 다양한 유사어를 반복적으로 삽입함으로써 검색 노출을 극대화하려는 의도로 사용된다. 이러한 텍스트는 표면적으로는 다양한 어휘를 사용하는 것처럼 보이지만, 실제로는 정보의 중복성이 극도로 높아 읽기 품질과 의미 전달력이 현저히 떨어진다.</p><p>문제의 핵심은 전통적인 텍스트 분석 방법들이 이러한 의미론적 중복을 효과적으로 탐지하지 못한다는 점이다. 단순한 단어 빈도 기반 분석이나 n-gram 중복 검사만으로는 서로 다른 형태이지만 의미상 동일한 단어들의 연속적 사용을 식별하기 어렵다.</p><p>이 문제는 특히 유사어 압축과 N-gram 다양성 체크 과정에서 false positive 결과를 야기한다. 즉, 실제로는 의미적으로 중복된 내용임에도 불구하고 형태적 다양성 때문에 고품질 텍스트로 잘못 분류되는 경우가 빈번하다. 이로 인해 콘텐츠 품질 관리 시스템의 신뢰성이 크게 저하되고, 사용자 경험에 부정적인 영향을 미치게 된다.</p><h3>2. 문제가 발생한 근본 원인 분석</h3><p>연속 동의어 폭격 문제의 근본 원인은 다층적이고 복합적이다.</p><p><strong>(1) 검색 엔진 알고리즘의 키워드 매칭 메커니즘</strong><br>초기 검색 엔진들은 단순한 텍스트 매칭에 의존했기 때문에, 콘텐츠 제작자들이 다양한 유사어를 삽입하여 더 많은 검색 쿼리에 노출되려 시도했다.</p><p><strong>(2) 자동 콘텐츠 생성 도구의 한계</strong><br>초기 AI 텍스트 생성 시스템들은 의미론적 일관성보다는 키워드 밀도와 어휘 다양성을 우선시하는 경향이 있었다. 이로 인해 생성된 텍스트에 유사한 의미의 단어들이 반복적으로 나타나는 현상이 발생했다.</p><p><strong>(3) 전통적인 텍스트 품질 평가 지표의 한계</strong><br>BLEU, ROUGE와 같은 기존 평가 메트릭들은 표면적인 n-gram 다양성에 중점을 두어, 의미론적 중복성을 간과하는 경우가 많았다. 이러한 평가 방식은 의도치 않게 동의어 폭격 패턴을 고품질 텍스트로 평가하게 만들었다.</p><p><strong>(4) 언어학적 이해 부족</strong><br>자연어의 동의어 관계는 단순한 일대일 대응이 아니라 맥락에 따라 변하는 복잡한 의미 관계를 가진다. 그러나 많은 시스템들이 이러한 복잡성을 충분히 고려하지 못하고 있다.</p><p><strong>(5) 평가 데이터셋의 편향</strong><br>기존의 텍스트 품질 평가를 위한 벤치마크 데이터셋들이 이러한 의미론적 중복 패턴을 충분히 포함하지 않아, 시스템들이 실제 환경에서 발생하는 문제를 학습하지 못했다.</p><p><strong>(6) 다국어 및 도메인 특화</strong><br>각 언어와 도메인마다 고유한 동의어 패턴과 표현 방식이 존재하지만, 이를 종합적으로 다루는 접근법이 부족했다. 특히 한국어와 같은 교착어의 경우, 어미 변화와 복합어 형성 등으로 인해 동의어 탐지가 더욱 복잡해진다.</p><h3>3. 해결 방법</h3><h4>3.1 SQL로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><ul><li>CTE + generate_series() 이용한 n-gram 다양성 통계</li><li>DISTINCT/COUNT로 어휘 다양성·중복률(1−unique/total) 계산</li><li>동의어 매핑 테이블 조인 후 그룹별 카운트 통계 (HAVING절)</li></ul><p><strong>(2) 구체적인 사례</strong></p><pre>-- 테스트 데이터 생성<br>CREATE TABLE content_samples (<br>    id SERIAL PRIMARY KEY,<br>    content TEXT,<br>    content_type VARCHAR(50)<br>);<br><br>INSERT INTO content_samples (content, content_type) VALUES<br>(&#39;great excellent superb outstanding magnificent wonderful amazing&#39;, &#39;synonym_bombing&#39;),<br>(&#39;Buy cheap shoes online Best shoes store Discount shoes sale&#39;, &#39;seo_spam&#39;),<br>(&#39;The restaurant serves delicious food with excellent service&#39;, &#39;normal&#39;),<br>(&#39;fantastic wonderful great superb excellent outstanding amazing superb&#39;, &#39;synonym_bombing&#39;);<br><br>-- 동의어 그룹 정의<br>INSERT INTO synonym_groups VALUES<br>(1, &#39;great&#39;, &#39;positive_adjective&#39;),<br>(1, &#39;excellent&#39;, &#39;positive_adjective&#39;),<br>(1, &#39;superb&#39;, &#39;positive_adjective&#39;),<br>(1, &#39;outstanding&#39;, &#39;positive_adjective&#39;),<br>(1, &#39;magnificent&#39;, &#39;positive_adjective&#39;),<br>(1, &#39;wonderful&#39;, &#39;positive_adjective&#39;),<br>(1, &#39;amazing&#39;, &#39;positive_adjective&#39;),<br>(1, &#39;fantastic&#39;, &#39;positive_adjective&#39;);<br><br>-- 연속 동의어 폭격 탐지 쿼리<br>WITH text_analysis AS (<br>    SELECT <br>        c.id,<br>        c.content,<br>        c.content_type,<br>        -- 전체 단어 수<br>        array_length(string_to_array(c.content, &#39; &#39;), 1) as total_words,<br>        -- 고유 단어 수<br>        (SELECT COUNT(DISTINCT unnest) FROM unnest(string_to_array(lower(c.content), &#39; &#39;))) as unique_words<br>    FROM content_samples c<br>),<br>synonym_analysis AS (<br>    SELECT <br>        c.id,<br>        c.content,<br>        s.base_word,<br>        COUNT(*) as synonym_count,<br>        string_agg(s.word, &#39;, &#39;) as found_synonyms<br>    FROM content_samples c<br>    CROSS JOIN unnest(string_to_array(lower(regexp_replace(c.content, &#39;[^a-zA-Z0-9\s]&#39;, &#39;&#39;, &#39;g&#39;)), &#39; &#39;)) AS word_list(word)<br>    LEFT JOIN synonym_groups s ON s.word = word_list.word<br>    WHERE s.base_word IS NOT NULL<br>    GROUP BY c.id, c.content, s.base_word<br>    HAVING COUNT(*) &gt;= 3  -- 같은 그룹에서 3개 이상<br>)<br>SELECT <br>    t.id,<br>    t.content_type,<br>    SUBSTRING(t.content, 1, 50) || &#39;...&#39; as content_preview,<br>    t.total_words,<br>    t.unique_words,<br>    ROUND((1.0 - t.unique_words::float / t.total_words::float) * 100, 2) as redundancy_percent,<br>    s.base_word,<br>    s.synonym_count,<br>    s.found_synonyms,<br>    CASE <br>        WHEN s.synonym_count &gt;= 5 THEN &#39;HIGH_RISK&#39;<br>        WHEN s.synonym_count &gt;= 3 THEN &#39;MEDIUM_RISK&#39;<br>        ELSE &#39;LOW_RISK&#39;<br>    END as bombing_risk_level<br>FROM text_analysis t<br>LEFT JOIN synonym_analysis s ON t.id = s.id<br>ORDER BY s.synonym_count DESC NULLS LAST, t.redundancy_percent DESC;<br><br>-- 실행 결과(예시):<br>-- id | content_type    | content_preview                          | total_words | unique_words | redundancy_percent | base_word           | synonym_count | found_synonyms                                    | bombing_risk_level<br>-- 4  | synonym_bombing | fantastic wonderful great superb excell... | 8           | 7            | 12.50             | positive_adjective  | 7             | fantastic, wonderful, great, superb, excellent... | HIGH_RISK<br>-- 1  | synonym_bombing | great excellent superb outstanding magn... | 7           | 7            | 0.00              | positive_adjective  | 7             | great, excellent, superb, outstanding, magnif... | HIGH_RISK<br>-- 2  | seo_spam       | Buy cheap shoes online Best shoes store... | 11          | 9            | 18.18             | NULL                | NULL          | NULL                                             | LOW_RISK<br>-- 3  | normal         | The restaurant serves delicious food wi... | 9           | 9            | 0.00              | positive_adjective  | 1             | excellent                                        | LOW_RISK<br><br>-- N-gram 기반 패턴 분석<br>WITH bigram_analysis AS (<br>    SELECT <br>        id,<br>        content,<br>        word_array[i] || &#39; &#39; || word_array[i+1] as bigram<br>    FROM (<br>        SELECT <br>            id,<br>            content,<br>            string_to_array(lower(regexp_replace(content, &#39;[^a-zA-Z0-9\s]&#39;, &#39; &#39;, &#39;g&#39;)), &#39; &#39;) as word_array<br>        FROM content_samples<br>    ) t,<br>    generate_series(1, array_length(word_array, 1) - 1) as i<br>),<br>bigram_stats AS (<br>    SELECT <br>        id,<br>        content,<br>        COUNT(*) as total_bigrams,<br>        COUNT(DISTINCT bigram) as unique_bigrams,<br>        ROUND(COUNT(DISTINCT bigram)::float / COUNT(*)::float * 100, 2) as bigram_diversity_percent<br>    FROM bigram_analysis<br>    GROUP BY id, content<br>)<br>SELECT <br>    b.id,<br>    SUBSTRING(b.content, 1, 40) || &#39;...&#39; as content_preview,<br>    b.total_bigrams,<br>    b.unique_bigrams,<br>    b.bigram_diversity_percent,<br>    CASE <br>        WHEN b.bigram_diversity_percent &lt; 50 THEN &#39;HIGH_REPETITION&#39;<br>        WHEN b.bigram_diversity_percent &lt; 80 THEN &#39;MEDIUM_REPETITION&#39;<br>        ELSE &#39;LOW_REPETITION&#39;<br>    END as repetition_level<br>FROM bigram_stats b<br>ORDER BY b.bigram_diversity_percent ASC;<br><br>-- 실행 결과(예시):<br>-- id | content_preview                        | total_bigrams | unique_bigrams | bigram_diversity_percent | repetition_level<br>-- 2  | Buy cheap shoes online Best shoes st... | 10            | 10             | 100.00                  | LOW_REPETITION<br>-- 1  | great excellent superb outstanding m... | 6             | 6              | 100.00                  | LOW_REPETITION<br>-- 4  | fantastic wonderful great superb exc... | 7             | 7              | 100.00                  | LOW_REPETITION<br>-- 3  | The restaurant serves delicious food... | 8             | 8              | 100.00                  | LOW_REPETITION</pre><h4>3.2 Python으로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><ul><li>TF–IDF 벡터화 (sklearn’s TfidfVectorizer) + 코사인 유사도</li><li>VADER 감정 분석 (SentimentIntensityAnalyzer)</li><li>Flesch Reading Ease 점수 계산 (textstat)</li><li>Counter 기반 단어 빈도 통계</li><li>어휘 다양성·n-gram 다양성 지표 계산(유니크/전체 비율)</li><li>시간 창 기반 슬라이딩 윈도우 동의어 밀집도 탐지</li></ul><p><strong>(2) 구체적인 사례</strong></p><pre>import pandas as pd<br>import numpy as np<br>from textstat import flesch_reading_ease<br>from nltk.sentiment import SentimentIntensityAnalyzer<br>import matplotlib.pyplot as plt<br>from wordcloud import WordCloud<br>import seaborn as sns<br><br>class ComprehensiveSynonymBombingAnalyzer:<br>    def __init__(self):<br>        self.detector = SynonymBombingDetector()<br>        self.sentiment_analyzer = SentimentIntensityAnalyzer()<br>        <br>    def analyze_text_quality(self, text):<br>        &quot;&quot;&quot;텍스트 품질 종합 분석&quot;&quot;&quot;<br>        # 기본 통계<br>        words = re.findall(r&#39;\b\w+\b&#39;, text.lower())<br>        sentences = re.split(r&#39;[.!?]+&#39;, text)<br>        <br>        # 동의어 폭격 탐지<br>        bombing_result = self.detector.detect_synonym_bombing(text)<br>        <br>        # 가독성 점수<br>        readability = flesch_reading_ease(text) if text.strip() else 0<br>        <br>        # 감정 분석<br>        sentiment = self.sentiment_analyzer.polarity_scores(text)<br>        <br>        return {<br>            &#39;text&#39;: text,<br>            &#39;word_count&#39;: len(words),<br>            &#39;sentence_count&#39;: len([s for s in sentences if s.strip()]),<br>            &#39;avg_words_per_sentence&#39;: len(words) / len([s for s in sentences if s.strip()]) if sentences else 0,<br>            &#39;lexical_diversity&#39;: bombing_result[&#39;lexical_diversity&#39;],<br>            &#39;ngram_diversity&#39;: bombing_result[&#39;ngram_diversity&#39;],<br>            &#39;bombing_score&#39;: bombing_result[&#39;bombing_score&#39;],<br>            &#39;detected_groups&#39;: bombing_result[&#39;detected_groups&#39;],<br>            &#39;readability_score&#39;: readability,<br>            &#39;sentiment_compound&#39;: sentiment[&#39;compound&#39;],<br>            &#39;quality_grade&#39;: self._calculate_quality_grade(bombing_result, readability)<br>        }<br>    <br>    def _calculate_quality_grade(self, bombing_result, readability):<br>        &quot;&quot;&quot;품질 등급 계산&quot;&quot;&quot;<br>        score = 0<br>        <br>        # 어휘 다양성 점수 (0-40점)<br>        score += bombing_result[&#39;lexical_diversity&#39;] * 40<br>        <br>        # N-gram 다양성 점수 (0-30점)<br>        score += bombing_result[&#39;ngram_diversity&#39;] * 30<br>        <br>        # 동의어 폭격 페널티 (0-20점 감점)<br>        bombing_penalty = min(bombing_result[&#39;bombing_score&#39;] * 5, 20)<br>        score -= bombing_penalty<br>        <br>        # 가독성 점수 (0-10점)<br>        if readability &gt; 60:<br>            score += 10<br>        elif readability &gt; 30:<br>            score += 5<br>        <br>        # 등급 판정<br>        if score &gt;= 80:<br>            return &#39;A&#39;<br>        elif score &gt;= 70:<br>            return &#39;B&#39;<br>        elif score &gt;= 60:<br>            return &#39;C&#39;<br>        elif score &gt;= 50:<br>            return &#39;D&#39;<br>        else:<br>            return &#39;F&#39;<br><br># 실제 데이터 분석 예제<br>def main():<br>    analyzer = ComprehensiveSynonymBombingAnalyzer()<br>    <br>    # 테스트 데이터<br>    test_texts = [<br>        &quot;great excellent superb outstanding magnificent wonderful amazing fantastic superb excellent&quot;,  # 동의어 폭격<br>        &quot;Buy cheap shoes online. Best shoes store. Discount shoes sale. Free shipping shoes.&quot;,  # SEO 스팸<br>        &quot;The restaurant serves delicious food with excellent service in a pleasant atmosphere.&quot;,  # 정상 텍스트<br>        &quot;Our comprehensive software solution provides innovative tools for efficient project management.&quot;,  # 정상 텍스트<br>        &quot;amazing wonderful great superb excellent outstanding fantastic magnificent brilliant awesome&quot;  # 심한 동의어 폭격<br>    ]<br>    <br>    results = []<br>    for i, text in enumerate(test_texts):<br>        result = analyzer.analyze_text_quality(text)<br>        results.append(result)<br>        <br>        print(f&quot;\n=== 텍스트 {i+1} 분석 결과 ===&quot;)<br>        print(f&quot;원문: {text[:60]}...&quot;)<br>        print(f&quot;단어 수: {result[&#39;word_count&#39;]}&quot;)<br>        print(f&quot;어휘 다양성: {result[&#39;lexical_diversity&#39;]:.3f}&quot;)<br>        print(f&quot;N-gram 다양성: {result[&#39;ngram_diversity&#39;]:.3f}&quot;)<br>        print(f&quot;동의어 폭격 점수: {result[&#39;bombing_score&#39;]}&quot;)<br>        print(f&quot;가독성 점수: {result[&#39;readability_score&#39;]:.1f}&quot;)<br>        print(f&quot;품질 등급: {result[&#39;quality_grade&#39;]}&quot;)<br>        <br>        if result[&#39;detected_groups&#39;]:<br>            print(&quot;탐지된 동의어 그룹:&quot;)<br>            for group in result[&#39;detected_groups&#39;]:<br>                print(f&quot;  - {group[&#39;group&#39;]}: {group[&#39;count&#39;]}개 ({&#39;, &#39;.join(group[&#39;words&#39;])})&quot;)<br>    <br>    # 결과를 DataFrame으로 변환<br>    df = pd.DataFrame(results)<br>    <br>    # 상관관계 분석<br>    print(&quot;\n=== 지표 간 상관관계 ===&quot;)<br>    correlation_cols = [&#39;lexical_diversity&#39;, &#39;ngram_diversity&#39;, &#39;bombing_score&#39;, &#39;readability_score&#39;]<br>    correlation_matrix = df[correlation_cols].corr()<br>    print(correlation_matrix)<br>    <br>    # 품질 등급별 분포<br>    print(f&quot;\n=== 품질 등급 분포 ===&quot;)<br>    grade_distribution = df[&#39;quality_grade&#39;].value_counts().sort_index()<br>    print(grade_distribution)<br>    <br>    return df<br><br># 고급 분석: 시간 윈도우 기반 동의어 패턴 탐지<br>class TemporalSynonymAnalyzer:<br>    def __init__(self, window_size=3):<br>        self.window_size = window_size<br>        <br>    def detect_temporal_bombing(self, text):<br>        &quot;&quot;&quot;시간 윈도우 기반 동의어 폭격 탐지&quot;&quot;&quot;<br>        words = re.findall(r&#39;\b\w+\b&#39;, text.lower())<br>        bombing_windows = []<br>        <br>        synonym_groups = {<br>            &#39;positive&#39;: [&#39;great&#39;, &#39;excellent&#39;, &#39;superb&#39;, &#39;outstanding&#39;, &#39;magnificent&#39;, <br>                        &#39;wonderful&#39;, &#39;amazing&#39;, &#39;fantastic&#39;, &#39;brilliant&#39;, &#39;awesome&#39;],<br>            &#39;quality&#39;: [&#39;good&#39;, &#39;nice&#39;, &#39;fine&#39;, &#39;decent&#39;, &#39;satisfactory&#39;, &#39;acceptable&#39;],<br>            &#39;speed&#39;: [&#39;fast&#39;, &#39;quick&#39;, &#39;rapid&#39;, &#39;swift&#39;, &#39;speedy&#39;, &#39;hasty&#39;]<br>        }<br>        <br>        for i in range(len(words) - self.window_size + 1):<br>            window = words[i:i + self.window_size]<br>            <br>            for group_name, synonyms in synonym_groups.items():<br>                matches_in_window = sum(1 for word in window if word in synonyms)<br>                if matches_in_window &gt;= 2:  # 윈도우 내 2개 이상<br>                    bombing_windows.append({<br>                        &#39;position&#39;: i,<br>                        &#39;window&#39;: window,<br>                        &#39;group&#39;: group_name,<br>                        &#39;match_count&#39;: matches_in_window,<br>                        &#39;matched_words&#39;: [word for word in window if word in synonyms]<br>                    })<br>        <br>        return bombing_windows<br><br>if __name__ == &quot;__main__&quot;:<br>    # 메인 분석 실행<br>    results_df = main()<br>    <br>    # 시간적 패턴 분석<br>    temporal_analyzer = TemporalSynonymAnalyzer()<br>    bombing_text = &quot;The restaurant is really great and the food is excellent while the service is superb and outstanding&quot;<br>    temporal_results = temporal_analyzer.detect_temporal_bombing(bombing_text)<br>    <br>    print(f&quot;\n=== 시간적 동의어 패턴 분석 ===&quot;)<br>    print(f&quot;분석 텍스트: {bombing_text}&quot;)<br>    for result in temporal_results:<br>        print(f&quot;위치 {result[&#39;position&#39;]}: {result[&#39;window&#39;]} -&gt; {result[&#39;group&#39;]} 그룹에서 {result[&#39;match_count&#39;]}개 매치&quot;)<br>        print(f&quot;  매치된 단어: {result[&#39;matched_words&#39;]}&quot;)<br><br># 실행 결과(예시):<br><br># === 텍스트 1 분석 결과 ===<br># 원문: great excellent superb outstanding magnificent wonderful...<br># 단어 수: 10<br># 어휘 다양성: 0.900<br># N-gram 다양성: 1.000<br># 동의어 폭격 점수: 10<br># 가독성 점수: 118.0<br># 품질 등급: F<br># 탐지된 동의어 그룹:<br>#   - positive: 10개 (great, excellent, superb, outstanding, magnificent, wonderful, amazing, fantastic, superb, excellent)</pre><h4>3.3 R로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><ul><li>IQR(사분위 범위) 기반 이상치 탐지 (quantile(), IQR)</li><li>다변량 상관관계 분석 (cor(), corrplot)</li><li>클러스터링을 통한 의미 그룹화 (cluster 패키지)</li><li>tidytext를 이용한 TF–IDF 및 감정 점수 통계</li></ul><p><strong>(2) 구체적인 사례</strong></p><pre>library(readr)<br>library(corrplot)<br>library(RColorBrewer)<br><br># 종합 분석 클래스<br>SynonymBombingAnalyzer &lt;- R6::R6Class(<br>  &quot;SynonymBombingAnalyzer&quot;,<br>  <br>  public = list(<br>    data = NULL,<br>    results = NULL,<br>    <br>    initialize = function() {<br>      cat(&quot;동의어 폭격 분석기 초기화 완료\n&quot;)<br>    },<br>    <br>    load_data = function(texts) {<br>      self$data &lt;- data.frame(<br>        id = 1:length(texts),<br>        text = texts,<br>        stringsAsFactors = FALSE<br>      )<br>      cat(&quot;데이터 로드 완료:&quot;, nrow(self$data), &quot;개 텍스트\n&quot;)<br>    },<br>    <br>    analyze = function() {<br>      if (is.null(self$data)) {<br>        stop(&quot;데이터를 먼저 로드하세요.&quot;)<br>      }<br>      <br>      cat(&quot;동의어 폭격 분석 시작...\n&quot;)<br>      <br>      # 기본 분석<br>      basic_results &lt;- detect_synonym_bombing(self$data$text)<br>      <br>      # 통계적 이상치 탐지<br>      statistical_results &lt;- detect_statistical_anomalies(basic_results)<br>      <br>      # 추가 지표 계산<br>      self$results &lt;- statistical_results %&gt;%<br>        mutate(<br>          # 품질 점수 계산<br>          quality_score = pmax(0, 100 * lexical_diversity - 5 * bombing_score),<br>          <br>          # 위험도 등급<br>          risk_level = case_when(<br>            bombing_score &gt;= 8 ~ &quot;High&quot;,<br>            bombing_score &gt;= 5 ~ &quot;Medium&quot;,<br>            bombing_score &gt;= 2 ~ &quot;Low&quot;,<br>            TRUE ~ &quot;None&quot;<br>          ),<br>          <br>          # 종합 등급<br>          overall_grade = case_when(<br>            quality_score &gt;= 90 ~ &quot;A&quot;,<br>            quality_score &gt;= 80 ~ &quot;B&quot;,<br>            quality_score &gt;= 70 ~ &quot;C&quot;,<br>            quality_score &gt;= 60 ~ &quot;D&quot;,<br>            TRUE ~ &quot;F&quot;<br>          )<br>        )<br>      <br>      cat(&quot;분석 완료!\n&quot;)<br>      return(self$results)<br>    },<br>    <br>    visualize_results = function() {<br>      if (is.null(self$results)) {<br>        stop(&quot;먼저 분석을 실행하세요.&quot;)<br>      }<br>      <br>      # 1. 위험도별 분포<br>      p1 &lt;- ggplot(self$results, aes(x = risk_level, fill = risk_level)) +<br>        geom_bar() +<br>        scale_fill_brewer(type = &quot;seq&quot;, palette = &quot;Reds&quot;) +<br>        labs(title = &quot;동의어 폭격 위험도 분포&quot;,<br>             x = &quot;위험도&quot;, y = &quot;텍스트 수&quot;) +<br>        theme_minimal()<br>      <br>      # 2. 품질 점수 vs 폭격 점수 산점도<br>      p2 &lt;- ggplot(self$results, aes(x = bombing_score, y = lexical_diversity, <br>                                     color = risk_level, size = word_count)) +<br>        geom_point(alpha = 0.7) +<br>        scale_color_brewer(type = &quot;seq&quot;, palette = &quot;Reds&quot;) +<br>        labs(title = &quot;동의어 폭격 점수 vs 어휘 다양성&quot;,<br>             x = &quot;동의어 폭격 점수&quot;, y = &quot;어휘 다양성&quot;,<br>             color = &quot;위험도&quot;, size = &quot;단어 수&quot;) +<br>        theme_minimal()<br>      <br>      # 3. 상관관계 히트맵<br>      cor_matrix &lt;- self$results %&gt;%<br>        select(lexical_diversity, bombing_score, word_count, <br>               bigram_diversity, trigram_diversity, quality_score) %&gt;%<br>        cor(use = &quot;complete.obs&quot;)<br>      <br>      corrplot(cor_matrix, method = &quot;color&quot;, type = &quot;upper&quot;,<br>               order = &quot;hclust&quot;, tl.cex = 0.8, tl.col = &quot;black&quot;)<br>      <br>      return(list(risk_distribution = p1, scatter_plot = p2))<br>    },<br>    <br>    generate_report = function() {<br>      if (is.null(self$results)) {<br>        stop(&quot;먼저 분석을 실행하세요.&quot;)<br>      }<br>      <br>      cat(&quot;\n=== 동의어 폭격 분석 보고서 ===\n&quot;)<br>      cat(&quot;전체 텍스트 수:&quot;, nrow(self$results), &quot;\n&quot;)<br>      cat(&quot;위험도별 분포:\n&quot;)<br>      print(table(self$results$risk_level))<br>      <br>      cat(&quot;\n등급별 분포:\n&quot;)<br>      print(table(self$results$overall_grade))<br>      <br>      cat(&quot;\n주요 통계:\n&quot;)<br>      cat(&quot;평균 어휘 다양성:&quot;, round(mean(self$results$lexical_diversity, na.rm = TRUE), 3), &quot;\n&quot;)<br>      cat(&quot;평균 동의어 폭격 점수:&quot;, round(mean(self$results$bombing_score, na.rm = TRUE), 2), &quot;\n&quot;)<br>      cat(&quot;평균 품질 점수:&quot;, round(mean(self$results$quality_score, na.rm = TRUE), 2), &quot;\n&quot;)<br>      <br>      # 고위험 텍스트 목록<br>      high_risk &lt;- self$results %&gt;%<br>        filter(risk_level == &quot;High&quot;) %&gt;%<br>        select(text_id, text, bombing_score, detected_groups) %&gt;%<br>        head(5)<br>      <br>      if (nrow(high_risk) &gt; 0) {<br>        cat(&quot;\n=== 고위험 텍스트 예시 ===\n&quot;)<br>        for (i in 1:nrow(high_risk)) {<br>          cat(&quot;ID&quot;, high_risk$text_id[i], &quot;:&quot;, substr(high_risk$text[i], 1, 60), &quot;...\n&quot;)<br>          cat(&quot;  폭격 점수:&quot;, high_risk$bombing_score[i], &quot;\n&quot;)<br>          cat(&quot;  탐지된 그룹:&quot;, high_risk$detected_groups[i], &quot;\n\n&quot;)<br>        }<br>      }<br>    }<br>  )<br>)<br><br># 실사용 예제<br>main_analysis &lt;- function() {<br>  # 테스트 데이터<br>  test_texts &lt;- c(<br>    &quot;great excellent superb outstanding magnificent wonderful amazing fantastic brilliant awesome&quot;,<br>    &quot;Buy cheap shoes online. Best shoes store. Discount shoes sale. Free shipping shoes.&quot;,<br>    &quot;The restaurant serves delicious food with excellent service in a pleasant atmosphere.&quot;,<br>    &quot;Our innovative software provides comprehensive solutions for modern businesses today.&quot;,<br>    &quot;fantastic wonderful brilliant amazing excellent superb outstanding magnificent great awesome wonderful excellent&quot;,<br>    &quot;This product offers good quality and nice design with fine craftsmanship and decent pricing.&quot;,<br>    &quot;Machine learning algorithms can process large datasets efficiently and accurately.&quot;<br>  )<br>  <br>  # 분석기 초기화 및 실행<br>  analyzer &lt;- SynonymBombingAnalyzer$new()<br>  analyzer$load_data(test_texts)<br>  results &lt;- analyzer$analyze()<br>  <br>  # 보고서 생성<br>  analyzer$generate_report()<br>  <br>  # 시각화<br>  plots &lt;- analyzer$visualize_results()<br>  <br>  return(list(results = results, plots = plots))<br>}<br><br># 실행<br>analysis_results &lt;- main_analysis()<br><br># 실행 결과(예시):<br><br># 동의어 폭격 분석기 초기화 완료<br># 데이터 로드 완료: 7 개 텍스트<br># 동의어 폭격 분석 시작...<br># 분석 완료!<br># <br># === 동의어 폭격 분석 보고서 ===<br># 전체 텍스트 수: 7<br># 위험도별 분포:<br># High Medium   Low  None<br>#    2      1     1     3<br># <br># 등급별 분포:<br># A B C D F<br># 3 0 1 1 2<br># <br># 주요 통계:<br># 평균 어휘 다양성: 0.791<br># 평균 동의어 폭격 점수: 4.57<br># 평균 품질 점수: 54.21<br># <br># === 고위험 텍스트 예시 ===<br># ID 1 : great excellent superb outstanding magnificent wonderful...<br>#   폭격 점수: 10<br>#   탐지된 그룹: positive:great,excellent,superb,outstanding,magnificent,wonderful,amazing,fantastic,brilliant,awesome<br># <br># ID 5 : fantastic wonderful brilliant amazing excellent superb ou...<br>#   폭격 점수: 12<br>#   탐지된 그룹: positive:fantastic,wonderful,brilliant,amazing,excellent,superb,outstanding,magnificent,great,awesome,wonderful,excellent</pre><h4>3.4 Julia로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><ul><li>TF–IDF 수치화 및 유사도 행렬 (직접 구현된 IDF 로직)</li><li>SharedArrays + Distributed로 병렬화 처리</li><li>통계적 이상치 탐지(IQR 유사) 및 상관분석(cor)</li></ul><p><strong>(2) 구체적인 사례</strong></p><pre>using Distributed<br>using SharedArrays<br>using ProgressMeter<br><br># 종합 분석 시스템<br>mutable struct ComprehensiveSynonymAnalyzer<br>    detector::SynonymBombingDetector<br>    results::Union{DataFrame, Nothing}<br>    <br>    function ComprehensiveSynonymAnalyzer()<br>        detector = SynonymBombingDetector()<br>        new(detector, nothing)<br>    end<br>end<br><br># 배치 처리 함수<br>function batch_analyze_texts(analyzer::ComprehensiveSynonymAnalyzer, <br>                           texts::Vector{String};<br>                           batch_size::Int=100,<br>                           parallel::Bool=true)<br>    <br>    println(&quot;텍스트 $(length(texts))개 분석 시작...&quot;)<br>    <br>    results = DataFrame(<br>        text_id = Int[],<br>        text = String[],<br>        word_count = Int[],<br>        bombing_score = Int[],<br>        detected_groups_count = Int[],<br>        lexical_diversity = Float64[],<br>        ngram_diversity_2 = Float64[],<br>        ngram_diversity_3 = Float64[],<br>        quality_score = Float64[],<br>        grade = String[],<br>        risk_level = String[]<br>    )<br>    <br>    # 진행률 표시<br>    progress = Progress(length(texts), desc=&quot;분석 진행: &quot;)<br>    <br>    if parallel &amp;&amp; nprocs() &gt; 1<br>        # 병렬 처리<br>        batch_results = @distributed (vcat) for i in 1:length(texts)<br>            text = texts[i]<br>            analyze_single_text(analyzer.detector, i, text)<br>        end<br>        results = DataFrame(batch_results)<br>    else<br>        # 순차 처리<br>        for (i, text) in enumerate(texts)<br>            result = analyze_single_text(analyzer.detector, i, text)<br>            push!(results, result)<br>            next!(progress)<br>        end<br>    end<br>    <br>    analyzer.results = results<br>    println(&quot;분석 완료!&quot;)<br>    return results<br>end<br><br># 단일 텍스트 분석<br>function analyze_single_text(detector::SynonymBombingDetector, text_id::Int, text::String)<br>    words = split(text, r&quot;\W+&quot;; keepempty=false)<br>    detection_result = detect_synonym_bombing(detector, text)<br>    quality_score, grade = evaluate_text_quality(detection_result)<br>    <br>    risk_level = if detection_result[&quot;bombing_score&quot;] &gt;= 8<br>        &quot;High&quot;<br>    elseif detection_result[&quot;bombing_score&quot;] &gt;= 5<br>        &quot;Medium&quot;<br>    elseif detection_result[&quot;bombing_score&quot;] &gt;= 2<br>        &quot;Low&quot;<br>    else<br>        &quot;None&quot;<br>    end<br>    <br>    return (<br>        text_id = text_id,<br>        text = text,<br>        word_count = length(words),<br>        bombing_score = detection_result[&quot;bombing_score&quot;],<br>        detected_groups_count = length(detection_result[&quot;detected_groups&quot;]),<br>        lexical_diversity = detection_result[&quot;lexical_diversity&quot;],<br>        ngram_diversity_2 = detection_result[&quot;ngram_diversity_2&quot;],<br>        ngram_diversity_3 = detection_result[&quot;ngram_diversity_3&quot;],<br>        quality_score = quality_score,<br>        grade = grade,<br>        risk_level = risk_level<br>    )<br>end<br><br># 통계 분석 및 시각화<br>function generate_statistical_report(analyzer::ComprehensiveSynonymAnalyzer)<br>    isnothing(analyzer.results) &amp;&amp; error(&quot;먼저 분석을 실행하세요.&quot;)<br>    <br>    df = analyzer.results<br>    <br>    println(&quot;\n=== 동의어 폭격 분석 통계 보고서 ===&quot;)<br>    println(&quot;전체 텍스트 수: $(nrow(df))&quot;)<br>    <br>    # 위험도별 분포<br>    println(&quot;\n위험도별 분포:&quot;)<br>    risk_counts = combine(groupby(df, :risk_level), nrow =&gt; :count)<br>    for row in eachrow(risk_counts)<br>        println(&quot;  $(row.risk_level): $(row.count)개 ($(round(row.count/nrow(df)*100, digits=1))%)&quot;)<br>    end<br>    <br>    # 등급별 분포  <br>    println(&quot;\n등급별 분포:&quot;)<br>    grade_counts = combine(groupby(df, :grade), nrow =&gt; :count)<br>    for row in eachrow(grade_counts)<br>        println(&quot;  등급 $(row.grade): $(row.count)개 ($(round(row.count/nrow(df)*100, digits=1))%)&quot;)<br>    end<br>    <br>    # 주요 통계<br>    println(&quot;\n주요 통계 지표:&quot;)<br>    println(&quot;  평균 어휘 다양성: $(round(mean(df.lexical_diversity), digits=3))&quot;)<br>    println(&quot;  평균 동의어 폭격 점수: $(round(mean(df.bombing_score), digits=2))&quot;)<br>    println(&quot;  평균 품질 점수: $(round(mean(df.quality_score), digits=2))&quot;)<br>    println(&quot;  평균 2-gram 다양성: $(round(mean(df.ngram_diversity_2), digits=3))&quot;)<br>    println(&quot;  평균 3-gram 다양성: $(round(mean(df.ngram_diversity_3), digits=3))&quot;)<br>    <br>    # 상관관계 분석<br>    println(&quot;\n상관관계 분석:&quot;)<br>    numeric_cols = [:lexical_diversity, :bombing_score, :quality_score, <br>                   :ngram_diversity_2, :ngram_diversity_3, :word_count]<br>    cor_matrix = cor(Matrix(df[!, numeric_cols]))<br>    <br>    for i in 1:length(numeric_cols), j in i+1:length(numeric_cols)<br>        col1, col2 = numeric_cols[i], numeric_cols[j]<br>        correlation = cor_matrix[i, j]<br>        if abs(correlation) &gt; 0.5<br>            println(&quot;  $(col1) ↔ $(col2): $(round(correlation, digits=3))&quot;)<br>        end<br>    end<br>    <br>    # 고위험 텍스트 예시<br>    high_risk = filter(row -&gt; row.risk_level == &quot;High&quot;, df)<br>    if nrow(high_risk) &gt; 0<br>        println(&quot;\n=== 고위험 텍스트 예시 (상위 3개) ===&quot;)<br>        for (i, row) in enumerate(eachrow(first(high_risk, 3)))<br>            text_preview = length(row.text) &gt; 60 ? row.text[1:60] * &quot;...&quot; : row.text<br>            println(&quot;$(i). ID $(row.text_id): $(text_preview)&quot;)<br>            println(&quot;   폭격 점수: $(row.bombing_score), 품질 등급: $(row.grade)&quot;)<br>        end<br>    end<br>    <br>    return df<br>end<br><br># 성능 벤치마크<br>function performance_benchmark(text_sizes::Vector{Int}=[100, 500, 1000, 2000])<br>    println(&quot;\n=== 성능 벤치마크 ===&quot;)<br>    <br>    analyzer = ComprehensiveSynonymAnalyzer()<br>    <br>    # 테스트 텍스트 생성<br>    sample_texts = [<br>        &quot;great excellent superb outstanding magnificent wonderful amazing fantastic&quot;,<br>        &quot;Buy cheap shoes online best shoes store discount shoes sale&quot;,<br>        &quot;The restaurant serves delicious food with excellent service&quot;,<br>        &quot;Our software provides comprehensive solutions for businesses&quot;<br>    ]<br>    <br>    for size in text_sizes<br>        test_texts = repeat(sample_texts, size ÷ 4 + 1)[1:size]<br>        <br>        # 성능 측정<br>        elapsed_time = @elapsed begin<br>            batch_analyze_texts(analyzer, test_texts; parallel=false)<br>        end<br>        <br>        throughput = size / elapsed_time<br>        println(&quot;텍스트 $(size)개: $(round(elapsed_time, digits=2))초, 처리량: $(round(throughput, digits=1)) texts/sec&quot;)<br>    end<br>end<br><br># 실제 사용 예제<br>function main_analysis()<br>    # 테스트 데이터 준비<br>    test_texts = [<br>        &quot;great excellent superb outstanding magnificent wonderful amazing fantastic brilliant awesome wonderful excellent&quot;,<br>        &quot;Buy cheap shoes online. Best shoes store. Discount shoes sale. Free shipping shoes. Quality shoes for men.&quot;,<br>        &quot;The restaurant serves delicious food with excellent service in a pleasant atmosphere.&quot;,<br>        &quot;Our innovative software solution provides comprehensive tools for efficient project management.&quot;,<br>        &quot;fantastic wonderful brilliant amazing excellent superb outstanding magnificent great awesome&quot;,<br>        &quot;This big large huge enormous massive gigantic colossal product offers great value.&quot;,<br>        &quot;Machine learning algorithms process data efficiently and provide accurate results for analysis.&quot;,<br>        &quot;good nice fine decent satisfactory acceptable quality products available&quot;,<br>        &quot;Fast quick rapid swift speedy delivery service available nationwide today&quot;<br>    ]<br>    <br>    # 분석 실행<br>    analyzer = ComprehensiveSynonymAnalyzer()<br>    results = batch_analyze_texts(analyzer, test_texts; parallel=false)<br>    <br>    # 통계 보고서 생성<br>    generate_statistical_report(analyzer)<br>    <br>    # 성능 벤치마크 (선택적)<br>    println(&quot;\n성능 벤치마크를 실행하시겠습니까? (y/n)&quot;)<br>    # performance_benchmark()<br>    <br>    return analyzer, results<br>end<br><br># 실행<br>analyzer, results = main_analysis()<br><br># 실행 결과(예시):<br># 텍스트 9개 분석 시작...<br># 분석 완료!<br># <br># === 동의어 폭격 분석 통계 보고서 ===<br># 전체 텍스트 수: 9<br># <br># 위험도별 분포:<br>#   High: 4개 (44.4%)<br>#   Medium: 1개 (11.1%)<br>#   Low: 1개 (11.1%)<br>#   None: 3개 (33.3%)<br># <br># 등급별 분포:<br>#   등급 F: 4개 (44.4%)<br>#   등급 D: 1개 (11.1%)<br>#   등급 C: 1개 (11.1%)<br>#   등급 A: 3개 (33.3%)<br># <br># 주요 통계 지표:<br>#   평균 어휘 다양성: 0.749<br>#   평균 동의어 폭격 점수: 5.22<br>#   평균 품질 점수: 49.33<br>#   평균 2-gram 다양성: 0.944<br>#   평균 3-gram 다양성: 0.975<br># <br># 상관관계 분석:<br>#   lexical_diversity ↔ bombing_score: -0.634<br>#   lexical_diversity ↔ quality_score: 0.823<br>#   bombing_score ↔ quality_score: -0.891<br># <br># === 고위험 텍스트 예시 (상위 3개) ===<br># 1. ID 1: great excellent superb outstanding magnificent wonderful...<br>#    폭격 점수: 12, 품질 등급: F<br># 2. ID 5: fantastic wonderful brilliant amazing excellent superb ou...<br>#    폭격 점수: 10, 품질 등급: F<br># 3. ID 6: This big large huge enormous massive gigantic colossal p...<br>#    폭격 점수: 8, 품질 등급: F</pre><h4>3.5 Go로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><ul><li>단어 빈도 통계 기반 폭격 점수(합산)</li><li>어휘·n-gram 다양성 지표(유니크/전체)</li><li>품질 점수 = 100 × lexical_diversity − 5 × 폭격점수 + 10 × (ngram2 + ngram3)</li></ul><p><strong>(2) 구체적인 사례</strong></p><pre>package main<br><br>import (<br>    &quot;encoding/json&quot;<br>    &quot;net/http&quot;<br>    &quot;log&quot;<br>    &quot;strconv&quot;<br>    &quot;time&quot;<br>    &quot;context&quot;<br>)<br><br>// HTTP 핸들러를 위한 래퍼<br>type SynonymBombingService struct {<br>    detector *SynonymBombingDetector<br>}<br><br>func NewSynonymBombingService() *SynonymBombingService {<br>    return &amp;SynonymBombingService{<br>        detector: NewSynonymBombingDetector(3),<br>    }<br>}<br><br>// REST API 엔드포인트<br>func (sbs *SynonymBombingService) analyzeHandler(w http.ResponseWriter, r *http.Request) {<br>    if r.Method != &quot;POST&quot; {<br>        http.Error(w, &quot;Method not allowed&quot;, http.StatusMethodNotAllowed)<br>        return<br>    }<br>    <br>    var request struct {<br>        Texts       []string `json:&quot;texts&quot;`<br>        NumWorkers  int      `json:&quot;num_workers,omitempty&quot;`<br>    }<br>    <br>    if err := json.NewDecoder(r.Body).Decode(&amp;request); err != nil {<br>        http.Error(w, &quot;Invalid JSON&quot;, http.StatusBadRequest)<br>        return<br>    }<br>    <br>    if len(request.Texts) == 0 {<br>        http.Error(w, &quot;No texts provided&quot;, http.StatusBadRequest)<br>        return<br>    }<br>    <br>    // 기본값 설정<br>    if request.NumWorkers == 0 {<br>        request.NumWorkers = 4<br>    }<br>    <br>    // 분석 실행<br>    startTime := time.Now()<br>    results := sbs.detector.BatchAnalyze(request.Texts, request.NumWorkers)<br>    stats := CalculateStatistics(results)<br>    <br>    response := struct {<br>        Results      []AnalysisResult `json:&quot;results&quot;`<br>        Statistics   Statistics       `json:&quot;statistics&quot;`<br>        RequestTime  time.Duration    `json:&quot;request_time&quot;`<br>        TotalTexts   int             `json:&quot;total_texts&quot;`<br>    }{<br>        Results:     results,<br>        Statistics:  stats,<br>        RequestTime: time.Since(startTime),<br>        TotalTexts:  len(request.Texts),<br>    }<br>    <br>    w.Header().Set(&quot;Content-Type&quot;, &quot;application/json&quot;)<br>    json.NewEncoder(w).Encode(response)<br>}<br><br>// 성능 벤치마크 엔드포인트<br>func (sbs *SynonymBombingService) benchmarkHandler(w http.ResponseWriter, r *http.Request) {<br>    if r.Method != &quot;GET&quot; {<br>        http.Error(w, &quot;Method not allowed&quot;, http.StatusMethodNotAllowed)<br>        return<br>    }<br>    <br>    // 쿼리 파라미터에서 텍스트 수 확인<br>    sizeParam := r.URL.Query().Get(&quot;size&quot;)<br>    size := 1000  // 기본값<br>    if sizeParam != &quot;&quot; {<br>        if parsedSize, err := strconv.Atoi(sizeParam); err == nil {<br>            size = parsedSize<br>        }<br>    }<br>    <br>    // 테스트 텍스트 생성<br>    testTexts := []string{<br>        &quot;great excellent superb outstanding magnificent wonderful amazing fantastic&quot;,<br>        &quot;Buy cheap shoes online best shoes store discount shoes sale&quot;,<br>        &quot;The restaurant serves delicious food with excellent service&quot;,<br>        &quot;Our software provides comprehensive solutions for businesses&quot;,<br>    }<br>    <br>    // 지정된 크기만큼 복제<br>    texts := make([]string, size)<br>    for i := 0; i &lt; size; i++ {<br>        texts[i] = testTexts[i%len(testTexts)]<br>    }<br>    <br>    // 단일 스레드 vs 멀티 스레드 성능 비교<br>    benchmarkResults := make(map[string]interface{})<br>    <br>    // 단일 스레드 테스트<br>    startTime := time.Now()<br>    singleResults := sbs.detector.BatchAnalyze(texts, 1)<br>    singleThreadTime := time.Since(startTime)<br>    <br>    // 멀티 스레드 테스트<br>    startTime = time.Now()<br>    multiResults := sbs.detector.BatchAnalyze(texts, 4)<br>    multiThreadTime := time.Since(startTime)<br>    <br>    benchmarkResults[&quot;single_thread&quot;] = map[string]interface{}{<br>        &quot;time_taken&quot;:     singleThreadTime,<br>        &quot;texts_per_sec&quot;:  float64(len(texts)) / singleThreadTime.Seconds(),<br>        &quot;results_count&quot;:  len(singleResults),<br>    }<br>    <br>    benchmarkResults[&quot;multi_thread&quot;] = map[string]interface{}{<br>        &quot;time_taken&quot;:     multiThreadTime,<br>        &quot;texts_per_sec&quot;:  float64(len(texts)) / multiThreadTime.Seconds(),<br>        &quot;results_count&quot;:  len(multiResults),<br>        &quot;speedup_ratio&quot;:  singleThreadTime.Seconds() / multiThreadTime.Seconds(),<br>    }<br>    <br>    benchmarkResults[&quot;test_parameters&quot;] = map[string]interface{}{<br>        &quot;text_count&quot;:     len(texts),<br>        &quot;worker_threads&quot;: 4,<br>        &quot;cpu_count&quot;:      runtime.NumCPU(),<br>    }<br>    <br>    w.Header().Set(&quot;Content-Type&quot;, &quot;application/json&quot;)<br>    json.NewEncoder(w).Encode(benchmarkResults)<br>}<br><br>// 실시간 모니터링을 위한 메트릭스<br>type ServiceMetrics struct {<br>    TotalRequests     int64     `json:&quot;total_requests&quot;`<br>    TotalTextsAnalyzed int64    `json:&quot;total_texts_analyzed&quot;`<br>    AverageRequestTime float64  `json:&quot;average_request_time_ms&quot;`<br>    LastRequestTime   time.Time `json:&quot;last_request_time&quot;`<br>    HighRiskDetected  int64     `json:&quot;high_risk_detected&quot;`<br>}<br><br>var metrics ServiceMetrics<br>var metricsLock sync.RWMutex<br><br>func (sbs *SynonymBombingService) updateMetrics(textsCount int, requestTime time.Duration, highRiskCount int) {<br>    metricsLock.Lock()<br>    defer metricsLock.Unlock()<br>    <br>    metrics.TotalRequests++<br>    metrics.TotalTextsAnalyzed += int64(textsCount)<br>    metrics.LastRequestTime = time.Now()<br>    metrics.HighRiskDetected += int64(highRiskCount)<br>    <br>    // 이동 평균 계산<br>    alpha := 0.1<br>    newAvg := float64(requestTime.Nanoseconds()) / 1000000.0  // ms 단위<br>    if metrics.AverageRequestTime == 0 {<br>        metrics.AverageRequestTime = newAvg<br>    } else {<br>        metrics.AverageRequestTime = alpha*newAvg + (1-alpha)*metrics.AverageRequestTime<br>    }<br>}<br><br>func (sbs *SynonymBombingService) metricsHandler(w http.ResponseWriter, r *http.Request) {<br>    metricsLock.RLock()<br>    currentMetrics := metrics<br>    metricsLock.RUnlock()<br>    <br>    w.Header().Set(&quot;Content-Type&quot;, &quot;application/json&quot;)<br>    json.NewEncoder(w).Encode(currentMetrics)<br>}<br><br>// 메인 함수 - 실제 사용 예제<br>func main() {<br>    // 직접 실행 예제<br>    fmt.Println(&quot;=== Go 동의어 폭격 탐지 시스템 ===&quot;)<br>    <br>    detector := NewSynonymBombingDetector(3)<br>    <br>    // 테스트 데이터<br>    testTexts := []string{<br>        &quot;great excellent superb outstanding magnificent wonderful amazing fantastic brilliant awesome wonderful excellent&quot;,<br>        &quot;Buy cheap shoes online. Best shoes store. Discount shoes sale. Free shipping shoes. Quality shoes for men.&quot;,<br>        &quot;The restaurant serves delicious food with excellent service in a pleasant atmosphere.&quot;,<br>        &quot;Our innovative software solution provides comprehensive tools for efficient project management.&quot;,<br>        &quot;fantastic wonderful brilliant amazing excellent superb outstanding magnificent great awesome&quot;,<br>        &quot;This big large huge enormous massive gigantic colossal product offers great value.&quot;,<br>        &quot;Machine learning algorithms process data efficiently and provide accurate results for analysis.&quot;,<br>        &quot;good nice fine decent satisfactory acceptable quality products available&quot;,<br>        &quot;Fast quick rapid swift speedy delivery service available nationwide today&quot;,<br>    }<br>    <br>    // 배치 분석 실행<br>    fmt.Printf(&quot;분석 시작: %d개 텍스트\n&quot;, len(testTexts))<br>    <br>    startTime := time.Now()<br>    results := detector.BatchAnalyze(testTexts, 4)  // 4개 워커 사용<br>    totalTime := time.Since(startTime)<br>    <br>    // 통계 계산 및 출력<br>    stats := CalculateStatistics(results)<br>    PrintReport(stats)<br>    <br>    fmt.Printf(&quot;\n성능 정보:\n&quot;)<br>    fmt.Printf(&quot;  총 처리 시간: %v\n&quot;, totalTime)<br>    fmt.Printf(&quot;  처리량: %.2f texts/sec\n&quot;, float64(len(testTexts))/totalTime.Seconds())<br>    fmt.Printf(&quot;  평균 처리 시간 per text: %v\n&quot;, totalTime/time.Duration(len(testTexts)))<br>    <br>    // 웹 서비스 시작 (선택적)<br>    startWebService := false  // 실제 사용시 true로 설정<br>    <br>    if startWebService {<br>        service := NewSynonymBombingService()<br>        <br>        http.HandleFunc(&quot;/api/analyze&quot;, service.analyzeHandler)<br>        http.HandleFunc(&quot;/api/benchmark&quot;, service.benchmarkHandler)<br>        http.HandleFunc(&quot;/api/metrics&quot;, service.metricsHandler)<br>        <br>        fmt.Println(&quot;\n웹 서비스 시작...&quot;)<br>        fmt.Println(&quot;API 엔드포인트:&quot;)<br>        fmt.Println(&quot;  POST /api/analyze - 텍스트 분석&quot;)<br>        fmt.Println(&quot;  GET /api/benchmark?size=1000 - 성능 벤치마크&quot;)  <br>        fmt.Println(&quot;  GET /api/metrics - 서비스 메트릭스&quot;)<br>        fmt.Println(&quot;\n서버 실행 중... http://localhost:8080&quot;)<br>        <br>        log.Fatal(http.ListenAndServe(&quot;:8080&quot;, nil))<br>    }<br>}<br><br>// 실행 결과(예시):<br><br>// === Go 동의어 폭격 탐지 시스템 ===<br>// 분석 시작: 9개 텍스트<br>// <br>// === 동의어 폭격 분석 보고서 ===<br>// 전체 텍스트 수: 9<br>// 총 처리 시간: 847.5µs<br>// <br>// 위험도별 분포:<br>//   High: 4개 (44.4%)<br>//   Medium: 1개 (11.1%)<br>//   Low: 1개 (11.1%)<br>//   None: 3개 (33.3%)<br>// <br>// 등급별 분포:<br>//   등급 F: 4개 (44.4%)<br>//   등급 D: 1개 (11.1%)<br>//   등급 C: 1개 (11.1%)<br>//   등급 A: 3개 (33.3%)<br>// <br>// 주요 통계:<br>//   평균 어휘 다양성: 0.749<br>//   평균 동의어 폭격 점수: 5.22<br>//   평균 품질 점수: 49.33<br>// <br>// === 고위험 텍스트 예시 ===<br>// 1. ID 1: great excellent superb outstanding magnificent wonderful...<br>//    폭격 점수: 12, 품질 등급: F<br>//    positive 그룹: 12개 ([great excellent superb outstanding magnificent wonderful amazing fantastic brilliant awesome wonderful excellent])<br>// <br>// 2. ID 5: fantastic wonderful brilliant amazing excellent superb ou...<br>//    폭격 점수: 10, 품질 등급: F<br>//    positive 그룹: 10개 ([fantastic wonderful brilliant amazing excellent superb outstanding magnificent great awesome])<br>// <br>// 성능 정보:<br>//   총 처리 시간: 2.123456ms<br>//   처리량: 4238.12 texts/sec<br>//   평균 처리 시간 per text: 235.95µs</pre><h4>3.6 C로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><ul><li>해시 테이블 빈도 통계</li><li>통계적 이상치(IQR) 기반 경계선 탐지</li><li>품질 점수 수식(위 Go 수식과 동일)</li><li>multithreading 병렬화하여 처리량 통계 측정</li></ul><p><strong>(2) 구체적인 사례</strong></p><pre>// 고성능 분석을 위한 메인 프로그램<br>int main() {<br>    printf(&quot;=== C 동의어 폭격 탐지 시스템 ===\n&quot;);<br>    <br>    // 탐지기 초기화<br>    SynonymBombingDetector detector;<br>    init_detector(&amp;detector);<br>    <br>    // 테스트 데이터<br>    char test_texts[20][MAX_TEXT_LENGTH] = {<br>        &quot;great excellent superb outstanding magnificent wonderful amazing fantastic brilliant awesome wonderful excellent&quot;,<br>        &quot;Buy cheap shoes online. Best shoes store. Discount shoes sale. Free shipping shoes. Quality shoes for men.&quot;,<br>        &quot;The restaurant serves delicious food with excellent service in a pleasant atmosphere.&quot;,<br>        &quot;Our innovative software solution provides comprehensive tools for efficient project management.&quot;,<br>        &quot;fantastic wonderful brilliant amazing excellent superb outstanding magnificent great awesome&quot;,<br>        &quot;This big large huge enormous massive gigantic colossal product offers great value.&quot;,<br>        &quot;Machine learning algorithms process data efficiently and provide accurate results for analysis.&quot;,<br>        &quot;good nice fine decent satisfactory acceptable quality products available&quot;,<br>        &quot;Fast quick rapid swift speedy delivery service available nationwide today&quot;,<br>        &quot;The company provides excellent customer service with outstanding support team availability&quot;<br>    };<br>    <br>    int text_count = 10;<br>    AnalysisResult* results = (AnalysisResult*)malloc(text_count * sizeof(AnalysisResult));<br>    <br>    printf(&quot;분석 시작: %d개 텍스트\n&quot;, text_count);<br>    <br>    // 성능 측정<br>    clock_t start_time = clock();<br>    <br>    // 싱글 스레드 vs 멀티 스레드 성능 비교<br>    printf(&quot;\n=== 성능 비교 테스트 ===\n&quot;);<br>    <br>    // 1. 싱글 스레드 분석<br>    clock_t single_start = clock();<br>    for (int i = 0; i &lt; text_count; i++) {<br>        results[i] = analyze_text(&amp;detector, test_texts[i], i + 1);<br>    }<br>    double single_time = ((double)(clock() - single_start) / CLOCKS_PER_SEC) * 1000.0;<br>    <br>    printf(&quot;싱글 스레드 처리 시간: %.2f ms\n&quot;, single_time);<br>    printf(&quot;싱글 스레드 처리량: %.2f texts/sec\n&quot;, text_count / (single_time / 1000.0));<br>    <br>    // 결과 초기화<br>    memset(results, 0, text_count * sizeof(AnalysisResult));<br>    <br>    // 2. 멀티 스레드 분석 (4 스레드)<br>    clock_t multi_start = clock();<br>    batch_analyze_texts(&amp;detector, test_texts, text_count, results, 4);<br>    double multi_time = ((double)(clock() - multi_start) / CLOCKS_PER_SEC) * 1000.0;<br>    <br>    printf(&quot;멀티 스레드 처리 시간: %.2f ms (4 threads)\n&quot;, multi_time);<br>    printf(&quot;멀티 스레드 처리량: %.2f texts/sec\n&quot;, text_count / (multi_time / 1000.0));<br>    printf(&quot;성능 향상 비율: %.2fx\n&quot;, single_time / multi_time);<br>    <br>    // 통계 출력<br>    print_statistics(results, text_count);<br>    <br>    // 메모리 사용량 분석<br>    printf(&quot;\n=== 메모리 사용량 정보 ===\n&quot;);<br>    size_t detector_size = sizeof(SynonymBombingDetector);<br>    size_t result_size = text_count * sizeof(AnalysisResult);<br>    size_t hash_table_size = sizeof(WordHashTable);<br>    size_t total_memory = detector_size + result_size + hash_table_size;<br>    <br>    printf(&quot;탐지기 구조체 크기: %zu bytes\n&quot;, detector_size);<br>    printf(&quot;결과 배열 크기: %zu bytes\n&quot;, result_size);<br>    printf(&quot;해시 테이블 크기: %zu bytes\n&quot;, hash_table_size);<br>    printf(&quot;총 메모리 사용량: %zu bytes (%.2f KB)\n&quot;, total_memory, total_memory / 1024.0);<br>    <br>    // 대용량 데이터 처리 시뮬레이션<br>    printf(&quot;\n=== 대용량 데이터 처리 벤치마크 ===\n&quot;);<br>    <br>    int benchmark_sizes[] = {100, 500, 1000, 2000};<br>    int num_benchmarks = sizeof(benchmark_sizes) / sizeof(benchmark_sizes[0]);<br>    <br>    for (int b = 0; b &lt; num_benchmarks; b++) {<br>        int size = benchmark_sizes[b];<br>        printf(&quot;\n벤치마크: %d개 텍스트\n&quot;, size);<br>        <br>        // 테스트 데이터 생성 (반복)<br>        char** large_texts = (char**)malloc(size * sizeof(char*));<br>        for (int i = 0; i &lt; size; i++) {<br>            large_texts[i] = (char*)malloc(MAX_TEXT_LENGTH * sizeof(char));<br>            strcpy(large_texts[i], test_texts[i % text_count]);<br>        }<br>        <br>        AnalysisResult* large_results = (AnalysisResult*)malloc(size * sizeof(AnalysisResult));<br>        <br>        // 멀티 스레드 분석<br>        clock_t bench_start = clock();<br>        <br>        // 배치 처리를 위해 2D 배열로 변환<br>        char batch_texts[MAX_TEXT_LENGTH];  // 최대 2000개까지<br>        for (int i = 0; i &lt; size &amp;&amp; i &lt; 2000; i++) {<br>            strcpy(batch_texts[i], large_texts[i]);<br>        }<br>        <br>        batch_analyze_texts(&amp;detector, batch_texts, size, large_results, 4);<br>        <br>        double bench_time = ((double)(clock() - bench_start) / CLOCKS_PER_SEC) * 1000.0;<br>        double throughput = size / (bench_time / 1000.0);<br>        <br>        printf(&quot;처리 시간: %.2f ms\n&quot;, bench_time);<br>        printf(&quot;처리량: %.2f texts/sec\n&quot;, throughput);<br>        printf(&quot;평균 처리 시간: %.3f ms/text\n&quot;, bench_time / size);<br>        <br>        // 고위험 텍스트 비율 계산<br>        int high_risk_count = 0;<br>        for (int i = 0; i &lt; size; i++) {<br>            if (strcmp(large_results[i].risk_level, &quot;High&quot;) == 0) {<br>                high_risk_count++;<br>            }<br>        }<br>        printf(&quot;고위험 텍스트 비율: %.2f%% (%d/%d)\n&quot;, <br>               (double)high_risk_count / size * 100.0, high_risk_count, size);<br>        <br>        // 메모리 해제<br>        for (int i = 0; i &lt; size; i++) {<br>            free(large_texts[i]);<br>        }<br>        free(large_texts);<br>        free(large_results);<br>    }<br>    <br>    // 정밀도 테스트<br>    printf(&quot;\n=== 정밀도 테스트 ===\n&quot;);<br>    <br>    char precision_test_texts[][MAX_TEXT_LENGTH] = {<br>        // 명확한 동의어 폭격 (True Positive)<br>        &quot;amazing wonderful fantastic excellent brilliant superb outstanding magnificent great awesome&quot;,<br>        <br>        // 정상적인 텍스트 (True Negative) <br>        &quot;The software development process requires careful planning and systematic implementation.&quot;,<br>        <br>        // 경계선 케이스 - 일부 반복 (애매한 경우)<br>        &quot;This excellent product offers great value with outstanding customer service.&quot;,<br>        <br>        // 다른 도메인의 전문 용어 (False Positive 가능성)<br>        &quot;The algorithm demonstrates fast performance with quick response times and rapid processing.&quot;,<br>        <br>        // 복합적인 경우<br>        &quot;Our company provides good service with nice support and fine technical assistance.&quot;<br>    };<br>    <br>    int precision_count = 5;<br>    char* expected_results[] = {&quot;High&quot;, &quot;None&quot;, &quot;Low&quot;, &quot;Medium&quot;, &quot;Low&quot;};<br>    int correct_predictions = 0;<br>    <br>    for (int i = 0; i &lt; precision_count; i++) {<br>        AnalysisResult result = analyze_text(&amp;detector, precision_test_texts[i], i + 1);<br>        <br>        printf(&quot;텍스트 %d: %.50s...\n&quot;, i + 1, precision_test_texts[i]);<br>        printf(&quot;  예측 위험도: %s, 기대 위험도: %s&quot;, result.risk_level, expected_results[i]);<br>        <br>        if (strcmp(result.risk_level, expected_results[i]) == 0) {<br>            printf(&quot; ✓\n&quot;);<br>            correct_predictions++;<br>        } else {<br>            printf(&quot; ✗\n&quot;);<br>        }<br>        <br>        printf(&quot;  폭격 점수: %d, 품질 점수: %.2f, 등급: %c\n&quot;, <br>               result.bombing_score, result.quality_score, result.grade);<br>        printf(&quot;  어휘 다양성: %.3f, 처리 시간: %.3f ms\n\n&quot;, <br>               result.lexical_diversity, result.process_time_ms);<br>    }<br>    <br>    printf(&quot;정확도: %.2f%% (%d/%d)\n&quot;, <br>           (double)correct_predictions / precision_count * 100.0, <br>           correct_predictions, precision_count);<br>    <br>    // 메모리 해제<br>    free(results);<br>    <br>    printf(&quot;\n분석 완료!\n&quot;);<br>    return 0;<br>}<br><br>// 컴파일 및 실행 방법:<br>// gcc -o synonym_detector synonym_detector.c -lpthread -lm<br>// ./synonym_detector<br><br>// 실행 결과(예시):<br>// === C 동의어 폭격 탐지 시스템 ===<br>// 분석 시작: 10개 텍스트<br>// <br>// === 성능 비교 테스트 ===<br>// 싱글 스레드 처리 시간: 2.45 ms<br>// 싱글 스레드 처리량: 4081.63 texts/sec<br>// 멀티 스레드 처리 시간: 1.12 ms (4 threads)<br>// 멀티 스레드 처리량: 8928.57 texts/sec<br>// 성능 향상 비율: 2.19x<br>// <br>// === 동의어 폭격 분석 통계 보고서 ===<br>// 전체 텍스트 수: 10<br>// <br>// 위험도별 분포:<br>//   None: 3개 (30.0%)<br>//   Low: 2개 (20.0%)<br>//   Medium: 1개 (10.0%)<br>//   High: 4개 (40.0%)<br>// <br>// 등급별 분포:<br>//   등급 A: 3개 (30.0%)<br>//   등급 B: 0개 (0.0%)<br>//   등급 C: 1개 (10.0%)<br>//   등급 D: 2개 (20.0%)<br>//   등급 F: 4개 (40.0%)<br>// <br>// 주요 통계:<br>//   평균 어휘 다양성: 0.749<br>//   평균 동의어 폭격 점수: 5.20<br>//   평균 품질 점수: 49.55<br>//   총 처리 시간: 1.58 ms<br>//   평균 처리 시간: 0.158 ms/text<br>// <br>// === 고위험 텍스트 예시 ===<br>// 1. ID 1: great excellent superb outstanding magnificent wonderful...<br>//    폭격 점수: 12, 품질 등급: F<br>//    탐지된 그룹: positive:12[great,excellent,superb,outstanding,magnificent,wonderful,amazing,fantastic,brilliant,awesome,wonderful,excellent];</pre><h4>3.7 C++로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>위 C의 사례와 원리는 동일하다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>#include &lt;iomanip&gt;<br>#include &lt;json/json.h&gt;  // jsoncpp 라이브러리 사용<br><br>// JSON 직렬화를 위한 유틸리티 클래스<br>class JsonSerializer {<br>public:<br>    static Json::Value serializeResult(const DetectionResult&amp; result) {<br>        Json::Value json;<br>        <br>        json[&quot;text_id&quot;] = result.getTextId();<br>        json[&quot;text&quot;] = result.getOriginalText();<br>        json[&quot;word_count&quot;] = result.getWordCount();<br>        json[&quot;unique_words&quot;] = result.getUniqueWords();<br>        json[&quot;bombing_score&quot;] = result.getBombingScore();<br>        json[&quot;lexical_diversity&quot;] = result.getLexicalDiversity();<br>        json[&quot;ngram_diversity_2&quot;] = result.getNgramDiversity2();<br>        json[&quot;ngram_diversity_3&quot;] = result.getNgramDiversity3();<br>        json[&quot;quality_score&quot;] = result.getQualityScore();<br>        json[&quot;grade&quot;] = std::string(1, result.getGrade());<br>        json[&quot;risk_level&quot;] = result.getRiskLevel();<br>        json[&quot;process_time_ms&quot;] = result.getProcessTimeMs();<br>        <br>        Json::Value groups(Json::arrayValue);<br>        for (const auto&amp; group : result.getDetectedGroups()) {<br>            Json::Value groupJson;<br>            groupJson[&quot;name&quot;] = group.groupName;<br>            groupJson[&quot;count&quot;] = group.count;<br>            <br>            Json::Value wordsArray(Json::arrayValue);<br>            for (const auto&amp; word : group.matchedWords) {<br>                wordsArray.append(word);<br>            }<br>            groupJson[&quot;matched_words&quot;] = wordsArray;<br>            <br>            Json::Value positionsArray(Json::arrayValue);<br>            for (int pos : group.positions) {<br>                positionsArray.append(pos);<br>            }<br>            groupJson[&quot;positions&quot;] = positionsArray;<br>            <br>            groups.append(groupJson);<br>        }<br>        json[&quot;detected_groups&quot;] = groups;<br>        <br>        return json;<br>    }<br>    <br>    static Json::Value serializeStatistics(const StatisticsAnalyzer::Statistics&amp; stats) {<br>        Json::Value json;<br>        <br>        json[&quot;total_texts&quot;] = stats.totalTexts;<br>        json[&quot;average_lexical_diversity&quot;] = stats.averageLexicalDiversity;<br>        json[&quot;average_bombing_score&quot;] = stats.averageBombingScore;<br>        json[&quot;average_quality_score&quot;] = stats.averageQualityScore;<br>        json[&quot;total_processing_time&quot;] = stats.totalProcessingTime;<br>        <br>        Json::Value riskDist;<br>        for (const auto&amp; [risk, count] : stats.riskDistribution) {<br>            riskDist[risk] = count;<br>        }<br>        json[&quot;risk_distribution&quot;] = riskDist;<br>        <br>        Json::Value gradeDist;<br>        for (const auto&amp; [grade, count] : stats.gradeDistribution) {<br>            gradeDist[std::string(1, grade)] = count;<br>        }<br>        json[&quot;grade_distribution&quot;] = gradeDist;<br>        <br>        return json;<br>    }<br>};<br><br>// 실시간 분석을 위한 스트리밍 클래스<br>class StreamingAnalyzer {<br>private:<br>    SynonymBombingDetector detector;<br>    std::queue&lt;DetectionResult&gt; resultQueue;<br>    std::mutex queueMutex;<br>    std::condition_variable cv;<br>    bool running;<br>    std::thread processingThread;<br>    <br>public:<br>    StreamingAnalyzer() : detector(), running(false) {}<br>    <br>    void start() {<br>        running = true;<br>        processingThread = std::thread(&amp;StreamingAnalyzer::processQueue, this);<br>    }<br>    <br>    void stop() {<br>        running = false;<br>        cv.notify_all();<br>        if (processingThread.joinable()) {<br>            processingThread.join();<br>        }<br>    }<br>    <br>    void analyzeAsync(const std::string&amp; text, int textId) {<br>        auto future = std::async(std::launch::async, [this, text, textId]() {<br>            auto result = detector.analyzeText(text, textId);<br>            <br>            std::lock_guard&lt;std::mutex&gt; lock(queueMutex);<br>            resultQueue.push(result);<br>            cv.notify_one();<br>            <br>            return result;<br>        });<br>    }<br>    <br>    bool getNextResult(DetectionResult&amp; result, int timeoutMs = 1000) {<br>        std::unique_lock&lt;std::mutex&gt; lock(queueMutex);<br>        <br>        if (cv.wait_for(lock, std::chrono::milliseconds(timeoutMs), <br>                       [this] { return !resultQueue.empty() || !running; })) {<br>            <br>            if (!resultQueue.empty()) {<br>                result = resultQueue.front();<br>                resultQueue.pop();<br>                return true;<br>            }<br>        }<br>        <br>        return false;<br>    }<br>    <br>private:<br>    void processQueue() {<br>        while (running) {<br>            std::unique_lock&lt;std::mutex&gt; lock(queueMutex);<br>            cv.wait(lock, [this] { return !resultQueue.empty() || !running; });<br>            <br>            while (!resultQueue.empty() &amp;&amp; running) {<br>                // 여기서 추가적인 후처리 작업 수행 가능<br>                // 예: 로깅, 알림, 데이터베이스 저장 등<br>                lock.unlock();<br>                std::this_thread::sleep_for(std::chrono::milliseconds(10));<br>                lock.lock();<br>            }<br>        }<br>    }<br>};<br><br>// 고급 분석 기능을 위한 확장 클래스<br>class AdvancedSynonymAnalyzer : public SynonymBombingDetector {<br>private:<br>    std::unordered_map&lt;std::string, double&gt; wordWeights;<br>    std::unordered_map&lt;std::string, std::vector&lt;std::string&gt;&gt; semanticClusters;<br>    <br>public:<br>    AdvancedSynonymAnalyzer() : SynonymBombingDetector() {<br>        initializeWordWeights();<br>        buildSemanticClusters();<br>    }<br>    <br>    DetectionResult analyzeTextAdvanced(const std::string&amp; text, int textId = 0) {<br>        auto result = analyzeText(text, textId);<br>        <br>        // 가중치 기반 점수 조정<br>        double weightedScore = calculateWeightedScore(text);<br>        <br>        // 의미 클러스터 분석<br>        auto clusterAnalysis = analyzeSemanticClusters(text);<br>        <br>        // 시간적 패턴 분석<br>        auto temporalPatterns = analyzeTemporalPatterns(text);<br>        <br>        // 확장된 결과 반환 (기본 결과에 추가 정보 포함)<br>        return result;<br>    }<br>    <br>private:<br>    void initializeWordWeights() {<br>        // 단어별 가중치 설정 (빈도, 중요도 기반)<br>        wordWeights[&quot;great&quot;] = 1.2;<br>        wordWeights[&quot;excellent&quot;] = 1.3;<br>        wordWeights[&quot;superb&quot;] = 1.5;<br>        wordWeights[&quot;outstanding&quot;] = 1.4;<br>        wordWeights[&quot;magnificent&quot;] = 1.6;<br>        wordWeights[&quot;wonderful&quot;] = 1.2;<br>        wordWeights[&quot;amazing&quot;] = 1.3;<br>        wordWeights[&quot;fantastic&quot;] = 1.4;<br>        wordWeights[&quot;brilliant&quot;] = 1.5;<br>        wordWeights[&quot;awesome&quot;] = 1.1;<br>    }<br>    <br>    void buildSemanticClusters() {<br>        // 의미적으로 유사한 단어들을 클러스터링<br>        semanticClusters[&quot;intensity_high&quot;] = {&quot;superb&quot;, &quot;magnificent&quot;, &quot;brilliant&quot;, &quot;outstanding&quot;};<br>        semanticClusters[&quot;intensity_medium&quot;] = {&quot;excellent&quot;, &quot;amazing&quot;, &quot;fantastic&quot;, &quot;wonderful&quot;};<br>        semanticClusters[&quot;intensity_low&quot;] = {&quot;great&quot;, &quot;good&quot;, &quot;nice&quot;, &quot;awesome&quot;};<br>    }<br>    <br>    double calculateWeightedScore(const std::string&amp; text) {<br>        auto words = TextPreprocessor().tokenize(text);<br>        double weightedSum = 0.0;<br>        <br>        std::unordered_map&lt;std::string, int&gt; wordCounts;<br>        for (const auto&amp; word : words) {<br>            wordCounts[word]++;<br>        }<br>        <br>        for (const auto&amp; [word, count] : wordCounts) {<br>            auto it = wordWeights.find(word);<br>            if (it != wordWeights.end()) {<br>                weightedSum += count * it-&gt;second;<br>            }<br>        }<br>        <br>        return weightedSum;<br>    }<br>    <br>    std::vector&lt;std::string&gt; analyzeSemanticClusters(const std::string&amp; text) {<br>        auto words = TextPreprocessor().tokenize(text);<br>        std::vector&lt;std::string&gt; activeClusters;<br>        <br>        for (const auto&amp; [clusterName, clusterWords] : semanticClusters) {<br>            int matches = 0;<br>            for (const auto&amp; word : words) {<br>                if (std::find(clusterWords.begin(), clusterWords.end(), word) != clusterWords.end()) {<br>                    matches++;<br>                }<br>            }<br>            <br>            if (matches &gt;= 2) {  // 클러스터당 2개 이상 매치시 활성화<br>                activeClusters.push_back(clusterName);<br>            }<br>        }<br>        <br>        return activeClusters;<br>    }<br>    <br>    std::vector&lt;int&gt; analyzeTemporalPatterns(const std::string&amp; text) {<br>        auto words = TextPreprocessor().tokenize(text);<br>        std::vector&lt;int&gt; bombingPositions;<br>        <br>        // 슬라이딩 윈도우로 동의어 밀집도 확인<br>        int windowSize = 5;<br>        for (size_t i = 0; i &lt;= words.size() - windowSize; ++i) {<br>            int synonymCount = 0;<br>            for (size_t j = i; j &lt; i + windowSize; ++j) {<br>                if (wordWeights.find(words[j]) != wordWeights.end()) {<br>                    synonymCount++;<br>                }<br>            }<br>            <br>            if (synonymCount &gt;= 3) {  // 윈도우 내 3개 이상의 동의어<br>                bombingPositions.push_back(i);<br>            }<br>        }<br>        <br>        return bombingPositions;<br>    }<br>};<br><br>// 메인 애플리케이션<br>class SynonymBombingApplication {<br>private:<br>    std::unique_ptr&lt;AdvancedSynonymAnalyzer&gt; analyzer;<br>    std::unique_ptr&lt;PerformanceBenchmark&gt; benchmark;<br>    std::unique_ptr&lt;StreamingAnalyzer&gt; streamingAnalyzer;<br>    <br>public:<br>    SynonymBombingApplication() <br>        : analyzer(std::make_unique&lt;AdvancedSynonymAnalyzer&gt;()),<br>          benchmark(std::make_unique&lt;PerformanceBenchmark&gt;()),<br>          streamingAnalyzer(std::make_unique&lt;StreamingAnalyzer&gt;()) {}<br>    <br>    void runInteractiveMode() {<br>        std::cout &lt;&lt; &quot;=== C++ 동의어 폭격 탐지 시스템 ===&quot; &lt;&lt; std::endl;<br>        std::cout &lt;&lt; &quot;명령어: analyze, batch, benchmark, stream, quit&quot; &lt;&lt; std::endl;<br>        <br>        std::string command;<br>        while (true) {<br>            std::cout &lt;&lt; &quot;\n&gt; &quot;;<br>            std::getline(std::cin, command);<br>            <br>            if (command == &quot;quit&quot;) {<br>                break;<br>            } else if (command == &quot;analyze&quot;) {<br>                runSingleAnalysis();<br>            } else if (command == &quot;batch&quot;) {<br>                runBatchAnalysis();<br>            } else if (command == &quot;benchmark&quot;) {<br>                runBenchmarkTest();<br>            } else if (command == &quot;stream&quot;) {<br>                runStreamingTest();<br>            } else {<br>                std::cout &lt;&lt; &quot;알 수 없는 명령어입니다.&quot; &lt;&lt; std::endl;<br>            }<br>        }<br>    }<br>    <br>private:<br>    void runSingleAnalysis() {<br>        std::cout &lt;&lt; &quot;분석할 텍스트를 입력하세요: &quot;;<br>        std::string text;<br>        std::getline(std::cin, text);<br>        <br>        auto result = analyzer-&gt;analyzeTextAdvanced(text, 1);<br>        result.printSummary();<br>        <br>        // JSON 출력 옵션<br>        std::cout &lt;&lt; &quot;JSON 형태로 출력하시겠습니까? (y/n): &quot;;<br>        std::string choice;<br>        std::getline(std::cin, choice);<br>        <br>        if (choice == &quot;y&quot; || choice == &quot;Y&quot;) {<br>            auto jsonResult = JsonSerializer::serializeResult(result);<br>            std::cout &lt;&lt; &quot;\nJSON 결과:&quot; &lt;&lt; std::endl;<br>            std::cout &lt;&lt; jsonResult &lt;&lt; std::endl;<br>        }<br>    }<br>    <br>    void runBatchAnalysis() {<br>        std::vector&lt;std::string&gt; testTexts = {<br>            &quot;great excellent superb outstanding magnificent wonderful amazing fantastic brilliant awesome wonderful excellent&quot;,<br>            &quot;Buy cheap shoes online. Best shoes store. Discount shoes sale. Free shipping shoes. Quality shoes for men.&quot;,<br>            &quot;The restaurant serves delicious food with excellent service in a pleasant atmosphere.&quot;,<br>            &quot;Our innovative software solution provides comprehensive tools for efficient project management.&quot;,<br>            &quot;fantastic wonderful brilliant amazing excellent superb outstanding magnificent great awesome&quot;,<br>            &quot;This big large huge enormous massive gigantic colossal product offers great value.&quot;,<br>            &quot;Machine learning algorithms process data efficiently and provide accurate results for analysis.&quot;,<br>            &quot;good nice fine decent satisfactory acceptable quality products available&quot;,<br>            &quot;Fast quick rapid swift speedy delivery service available nationwide today&quot;<br>        };<br>        <br>        std::cout &lt;&lt; &quot;배치 분석 시작: &quot; &lt;&lt; testTexts.size() &lt;&lt; &quot;개 텍스트&quot; &lt;&lt; std::endl;<br>        <br>        auto startTime = std::chrono::high_resolution_clock::now();<br>        auto results = analyzer-&gt;batchAnalyze(testTexts, std::thread::hardware_concurrency());<br>        auto endTime = std::chrono::high_resolution_clock::now();<br>        <br>        auto duration = std::chrono::duration_cast&lt;std::chrono::milliseconds&gt;(endTime - startTime);<br>        <br>        auto stats = StatisticsAnalyzer::calculateStatistics(results);<br>        StatisticsAnalyzer::printReport(stats);<br>        <br>        std::cout &lt;&lt; &quot;\n처리 성능:&quot; &lt;&lt; std::endl;<br>        std::cout &lt;&lt; &quot;  총 처리 시간: &quot; &lt;&lt; duration.count() &lt;&lt; &quot; ms&quot; &lt;&lt; std::endl;<br>        std::cout &lt;&lt; &quot;  처리량: &quot; &lt;&lt; std::fixed &lt;&lt; std::setprecision(2) <br>                  &lt;&lt; static_cast&lt;double&gt;(testTexts.size()) / (duration.count() / 1000.0) <br>                  &lt;&lt; &quot; texts/sec&quot; &lt;&lt; std::endl;<br>    }<br>    <br>    void runBenchmarkTest() {<br>        std::cout &lt;&lt; &quot;=== 성능 벤치마크 ===&quot; &lt;&lt; std::endl;<br>        <br>        std::vector&lt;int&gt; testSizes = {100, 500, 1000, 2000};<br>        <br>        for (int size : testSizes) {<br>            std::cout &lt;&lt; &quot;\n벤치마크: &quot; &lt;&lt; size &lt;&lt; &quot;개 텍스트&quot; &lt;&lt; std::endl;<br>            auto result = benchmark-&gt;runBenchmark(size);<br>            <br>            std::cout &lt;&lt; &quot;  단일 스레드: &quot; &lt;&lt; std::fixed &lt;&lt; std::setprecision(2) <br>                      &lt;&lt; result.singleThreadTime &lt;&lt; &quot; ms (&quot; <br>                      &lt;&lt; result.singleThreadThroughput &lt;&lt; &quot; texts/sec)&quot; &lt;&lt; std::endl;<br>            std::cout &lt;&lt; &quot;  멀티 스레드: &quot; &lt;&lt; std::fixed &lt;&lt; std::setprecision(2) <br>                      &lt;&lt; result.multiThreadTime &lt;&lt; &quot; ms (&quot; <br>                      &lt;&lt; result.multiThreadThroughput &lt;&lt; &quot; texts/sec)&quot; &lt;&lt; std::endl;<br>            std::cout &lt;&lt; &quot;  성능 향상: &quot; &lt;&lt; std::fixed &lt;&lt; std::setprecision(2) <br>                      &lt;&lt; result.speedupRatio &lt;&lt; &quot;x&quot; &lt;&lt; std::endl;<br>        }<br>    }<br>    <br>    void runStreamingTest() {<br>        std::cout &lt;&lt; &quot;=== 스트리밍 분석 테스트 ===&quot; &lt;&lt; std::endl;<br>        std::cout &lt;&lt; &quot;실시간 분석을 시작합니다. &#39;stop&#39;을 입력하면 종료됩니다.&quot; &lt;&lt; std::endl;<br>        <br>        streamingAnalyzer-&gt;start();<br>        <br>        std::thread inputThread([this]() {<br>            std::string text;<br>            int textId = 1;<br>            <br>            while (true) {<br>                std::cout &lt;&lt; &quot;텍스트 입력 (또는 &#39;stop&#39;): &quot;;<br>                std::getline(std::cin, text);<br>                <br>                if (text == &quot;stop&quot;) break;<br>                <br>                streamingAnalyzer-&gt;analyzeAsync(text, textId++);<br>            }<br>        });<br>        <br>        // 결과 출력 스레드<br>        DetectionResult result;<br>        while (streamingAnalyzer-&gt;getNextResult(result, 2000)) {<br>            std::cout &lt;&lt; &quot;\n[실시간 분석 결과]&quot; &lt;&lt; std::endl;<br>            result.printSummary();<br>        }<br>        <br>        inputThread.join();<br>        streamingAnalyzer-&gt;stop();<br>    }<br>};<br><br>// 메인 함수 - 실제 사용 예제<br>int main() {<br>    try {<br>        SynonymBombingApplication app;<br>        app.runInteractiveMode();<br>        <br>        // 또는 직접 분석 실행<br>        /*<br>        AdvancedSynonymAnalyzer analyzer;<br>        <br>        std::vector&lt;std::string&gt; testTexts = {<br>            &quot;great excellent superb outstanding magnificent wonderful amazing fantastic brilliant awesome&quot;,<br>            &quot;The restaurant serves delicious food with excellent service in a pleasant atmosphere.&quot;,<br>            &quot;Our innovative software provides comprehensive solutions for modern businesses.&quot;<br>        };<br>        <br>        auto results = analyzer.batchAnalyze(testTexts);<br>        auto stats = StatisticsAnalyzer::calculateStatistics(results);<br>        StatisticsAnalyzer::printReport(stats);<br>        */<br>        <br>    } catch (const std::exception&amp; e) {<br>        std::cerr &lt;&lt; &quot;오류 발생: &quot; &lt;&lt; e.what() &lt;&lt; std::endl;<br>        return 1;<br>    }<br>    <br>    return 0;<br>}<br><br>// 실행 결과(예시):<br><br>// === C++ 동의어 폭격 탐지 시스템 ===<br>// 명령어: analyze, batch, benchmark, stream, quit<br>// <br>// &gt; batch<br>// 배치 분석 시작: 9개 텍스트<br>// <br>// === 동의어 폭격 분석 통계 보고서 ===<br>// 전체 텍스트 수: 9<br>// 총 처리 시간: 15.34 ms<br>// <br>// 위험도별 분포:<br>//   High: 4개 (44.4%)<br>//   Medium: 1개 (11.1%)<br>//   Low: 1개 (11.1%)<br>//   None: 3개 (33.3%)<br>// <br>// 등급별 분포:<br>//   등급 F: 4개 (44.4%)<br>//   등급 D: 1개 (11.1%)<br>//   등급 C: 1개 (11.1%)<br>//   등급 A: 3개 (33.3%)<br>// <br>// 주요 통계:<br>//   평균 어휘 다양성: 0.749<br>//   평균 동의어 폭격 점수: 5.22<br>//   평균 품질 점수: 49.33<br>//   평균 처리 시간: 1.704 ms/text<br>// <br>// === 고위험 텍스트 예시 ===<br>// 1. ID 1: great excellent superb outstanding magnificent wonderful...<br>//   단어 수: 12, 고유 단어: 11<br>//   폭격 점수: 12, 품질 등급: F<br>//   위험도: High, 처리 시간: 2.145ms<br>//   탐지된 그룹: positive(12)<br>// <br>// 처리 성능:<br>//   총 처리 시간: 23 ms<br>//   처리량: 391.30 texts/sec</pre><h4>3.8 Java로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><ul><li>Stream API 집계 통계(average(), summaryStatistics())</li><li>CompletableFuture 비동기 배치로 처리시간 통계</li><li>Spring Cache 기반 결과 재활용 통계</li></ul><p><strong>(2) 구체적인 사례</strong></p><pre>// Spring Boot 기반 REST API 컨트롤러<br>import org.springframework.boot.SpringApplication;<br>import org.springframework.boot.autoconfigure.SpringBootApplication;<br>import org.springframework.web.bind.annotation.*;<br>import org.springframework.http.ResponseEntity;<br>import org.springframework.validation.annotation.Validated;<br>import org.springframework.cache.annotation.Cacheable;<br>import org.springframework.scheduling.annotation.Async;<br>import org.springframework.scheduling.annotation.EnableAsync;<br><br>import javax.validation.Valid;<br>import javax.validation.constraints.NotEmpty;<br>import javax.validation.constraints.Min;<br>import javax.validation.constraints.Max;<br>import java.util.concurrent.CompletableFuture;<br><br>@SpringBootApplication<br>@EnableAsync<br>public class SynonymBombingDetectionApplication {<br>    public static void main(String[] args) {<br>        SpringApplication.run(SynonymBombingDetectionApplication.class, args);<br>    }<br>}<br><br>// DTO 클래스들<br>class AnalysisRequest {<br>    @NotEmpty(message = &quot;텍스트 리스트는 비어있을 수 없습니다&quot;)<br>    private List&lt;String&gt; texts;<br>    <br>    @Min(value = 1, message = &quot;스레드 수는 최소 1개여야 합니다&quot;)<br>    @Max(value = 16, message = &quot;스레드 수는 최대 16개까지 가능합니다&quot;)<br>    private Integer numThreads = 4;<br>    <br>    @Min(value = 1, message = &quot;임계값은 최소 1이어야 합니다&quot;)<br>    @Max(value = 10, message = &quot;임계값은 최대 10까지 가능합니다&quot;)<br>    private Integer threshold = 3;<br>    <br>    // Getter와 Setter<br>    public List&lt;String&gt; getTexts() { return texts; }<br>    public void setTexts(List&lt;String&gt; texts) { this.texts = texts; }<br>    <br>    public Integer getNumThreads() { return numThreads; }<br>    public void setNumThreads(Integer numThreads) { this.numThreads = numThreads; }<br>    <br>    public Integer getThreshold() { return threshold; }<br>    public void setThreshold(Integer threshold) { this.threshold = threshold; }<br>}<br><br>class AnalysisResponse {<br>    private List&lt;AnalysisResult&gt; results;<br>    private StatisticsAnalyzer.Statistics statistics;<br>    private double requestTimeMs;<br>    private int totalTexts;<br>    private String timestamp;<br>    <br>    public AnalysisResponse() {<br>        this.timestamp = Instant.now().toString();<br>    }<br>    <br>    // Getter와 Setter<br>    public List&lt;AnalysisResult&gt; getResults() { return results; }<br>    public void setResults(List&lt;AnalysisResult&gt; results) { this.results = results; }<br>    <br>    public StatisticsAnalyzer.Statistics getStatistics() { return statistics; }<br>    public void setStatistics(StatisticsAnalyzer.Statistics statistics) { this.statistics = statistics; }<br>    <br>    public double getRequestTimeMs() { return requestTimeMs; }<br>    public void setRequestTimeMs(double requestTimeMs) { this.requestTimeMs = requestTimeMs; }<br>    <br>    public int getTotalTexts() { return totalTexts; }<br>    public void setTotalTexts(int totalTexts) { this.totalTexts = totalTexts; }<br>    <br>    public String getTimestamp() { return timestamp; }<br>    public void setTimestamp(String timestamp) { this.timestamp = timestamp; }<br>}<br><br>// 서비스 클래스<br>@Service<br>public class SynonymBombingService {<br>    private static final Logger logger = LoggerFactory.getLogger(SynonymBombingService.class);<br>    <br>    @Cacheable(value = &quot;analysisResults&quot;, key = &quot;#texts.hashCode() + &#39;_&#39; + #threshold&quot;)<br>    public AnalysisResponse analyzeTexts(List&lt;String&gt; texts, int numThreads, int threshold) {<br>        logger.info(&quot;분석 시작: {}개 텍스트, {}개 스레드, 임계값 {}&quot;, texts.size(), numThreads, threshold);<br>        <br>        long startTime = System.nanoTime();<br>        <br>        SynonymBombingDetector detector = new SynonymBombingDetector(threshold);<br>        List&lt;AnalysisResult&gt; results = detector.batchAnalyze(texts, numThreads);<br>        StatisticsAnalyzer.Statistics stats = StatisticsAnalyzer.calculateStatistics(results);<br>        <br>        double requestTime = (System.nanoTime() - startTime) / 1_000_000.0;<br>        <br>        AnalysisResponse response = new AnalysisResponse();<br>        response.setResults(results);<br>        response.setStatistics(stats);<br>        response.setRequestTimeMs(requestTime);<br>        response.setTotalTexts(texts.size());<br>        <br>        logger.info(&quot;분석 완료: {}ms, 고위험 {}개&quot;, requestTime, stats.getHighRiskTexts().size());<br>        <br>        return response;<br>    }<br>    <br>    @Async<br>    public CompletableFuture&lt;AnalysisResult&gt; analyzeTextAsync(String text, int textId, int threshold) {<br>        SynonymBombingDetector detector = new SynonymBombingDetector(threshold);<br>        AnalysisResult result = detector.analyzeText(text, textId);<br>        return CompletableFuture.completedFuture(result);<br>    }<br>}<br><br>// REST 컨트롤러<br>@RestController<br>@RequestMapping(&quot;/api/v1/synonym-bombing&quot;)<br>@Validated<br>public class SynonymBombingController {<br>    <br>    private final SynonymBombingService service;<br>    <br>    public SynonymBombingController(SynonymBombingService service) {<br>        this.service = service;<br>    }<br>    <br>    @PostMapping(&quot;/analyze&quot;)<br>    public ResponseEntity&lt;AnalysisResponse&gt; analyzeTexts(@Valid @RequestBody AnalysisRequest request) {<br>        try {<br>            AnalysisResponse response = service.analyzeTexts(<br>                request.getTexts(), <br>                request.getNumThreads(), <br>                request.getThreshold()<br>            );<br>            return ResponseEntity.ok(response);<br>        } catch (Exception e) {<br>            return ResponseEntity.badRequest().build();<br>        }<br>    }<br>    <br>    @PostMapping(&quot;/analyze-async&quot;)<br>    public ResponseEntity&lt;CompletableFuture&lt;List&lt;AnalysisResult&gt;&gt;&gt; analyzeTextsAsync(<br>            @Valid @RequestBody AnalysisRequest request) {<br>        <br>        List&lt;CompletableFuture&lt;AnalysisResult&gt;&gt; futures = new ArrayList&lt;&gt;();<br>        <br>        for (int i = 0; i &lt; request.getTexts().size(); i++) {<br>            CompletableFuture&lt;AnalysisResult&gt; future = service.analyzeTextAsync(<br>                request.getTexts().get(i), i + 1, request.getThreshold()<br>            );<br>            futures.add(future);<br>        }<br>        <br>        CompletableFuture&lt;List&lt;AnalysisResult&gt;&gt; allFutures = CompletableFuture.allOf(<br>            futures.toArray(new CompletableFuture[0])<br>        ).thenApply(v -&gt; <br>            futures.stream()<br>                   .map(CompletableFuture::join)<br>                   .collect(Collectors.toList())<br>        );<br>        <br>        return ResponseEntity.ok(allFutures);<br>    }<br>    <br>    @GetMapping(&quot;/benchmark&quot;)<br>    public ResponseEntity&lt;Map&lt;String, Object&gt;&gt; runBenchmark(<br>            @RequestParam(defaultValue = &quot;1000&quot;) int size,<br>            @RequestParam(defaultValue = &quot;4&quot;) int threads) {<br>        <br>        // 테스트 데이터 생성<br>        List&lt;String&gt; testTexts = generateTestTexts(size);<br>        <br>        // 단일 스레드 테스트<br>        long singleStart = System.nanoTime();<br>        service.analyzeTexts(testTexts, 1, 3);<br>        double singleTime = (System.nanoTime() - singleStart) / 1_000_000.0;<br>        <br>        // 멀티 스레드 테스트<br>        long multiStart = System.nanoTime();<br>        service.analyzeTexts(testTexts, threads, 3);<br>        double multiTime = (System.nanoTime() - multiStart) / 1_000_000.0;<br>        <br>        Map&lt;String, Object&gt; benchmark = new HashMap&lt;&gt;();<br>        benchmark.put(&quot;textCount&quot;, size);<br>        benchmark.put(&quot;threads&quot;, threads);<br>        benchmark.put(&quot;singleThreadTimeMs&quot;, singleTime);<br>        benchmark.put(&quot;multiThreadTimeMs&quot;, multiTime);<br>        benchmark.put(&quot;speedupRatio&quot;, singleTime / multiTime);<br>        benchmark.put(&quot;singleThreadThroughput&quot;, size / (singleTime / 1000.0));<br>        benchmark.put(&quot;multiThreadThroughput&quot;, size / (multiTime / 1000.0));<br>        benchmark.put(&quot;timestamp&quot;, Instant.now().toString());<br>        <br>        return ResponseEntity.ok(benchmark);<br>    }<br>    <br>    private List&lt;String&gt; generateTestTexts(int size) {<br>        String[] baseTexts = {<br>            &quot;great excellent superb outstanding magnificent wonderful amazing fantastic&quot;,<br>            &quot;Buy cheap shoes online best shoes store discount shoes sale&quot;,<br>            &quot;The restaurant serves delicious food with excellent service&quot;,<br>            &quot;Our software provides comprehensive solutions for businesses&quot;<br>        };<br>        <br>        List&lt;String&gt; testTexts = new ArrayList&lt;&gt;();<br>        for (int i = 0; i &lt; size; i++) {<br>            testTexts.add(baseTexts[i % baseTexts.length]);<br>        }<br>        <br>        return testTexts;<br>    }<br>}<br><br>// 실시간 분석을 위한 WebSocket 컨트롤러<br>@Controller<br>public class RealtimeAnalysisController {<br>    <br>    private final SynonymBombingService service;<br>    <br>    public RealtimeAnalysisController(SynonymBombingService service) {<br>        this.service = service;<br>    }<br>    <br>    @MessageMapping(&quot;/analyze-realtime&quot;)<br>    @SendTo(&quot;/topic/analysis-results&quot;)<br>    public AnalysisResult analyzeRealtime(String text) {<br>        SynonymBombingDetector detector = new SynonymBombingDetector();<br>        return detector.analyzeText(text, (int) System.currentTimeMillis());<br>    }<br>}<br><br>// 메인 애플리케이션 클래스 - 실제 사용 예제<br>public class SynonymBombingMain {<br>    public static void main(String[] args) {<br>        System.out.println(&quot;=== Java 동의어 폭격 탐지 시스템 ===&quot;);<br>        <br>        // 기본 분석 예제<br>        runBasicAnalysis();<br>        <br>        // 성능 테스트<br>        runPerformanceTest();<br>        <br>        // 스트림 API를 활용한 고급 분석<br>        runAdvancedAnalysis();<br>        <br>        // Spring Boot 애플리케이션 시작 (웹 서비스)<br>        // SpringApplication.run(SynonymBombingDetectionApplication.class, args);<br>    }<br>    <br>    private static void runBasicAnalysis() {<br>        System.out.println(&quot;\n=== 기본 분석 실행 ===&quot;);<br>        <br>        SynonymBombingDetector detector = new SynonymBombingDetector();<br>        <br>        List&lt;String&gt; testTexts = Arrays.asList(<br>            &quot;great excellent superb outstanding magnificent wonderful amazing fantastic brilliant awesome wonderful excellent&quot;,<br>            &quot;Buy cheap shoes online. Best shoes store. Discount shoes sale. Free shipping shoes. Quality shoes for men.&quot;,<br>            &quot;The restaurant serves delicious food with excellent service in a pleasant atmosphere.&quot;,<br>            &quot;Our innovative software solution provides comprehensive tools for efficient project management.&quot;,<br>            &quot;fantastic wonderful brilliant amazing excellent superb outstanding magnificent great awesome&quot;,<br>            &quot;This big large huge enormous massive gigantic colossal product offers great value.&quot;,<br>            &quot;Machine learning algorithms process data efficiently and provide accurate results for analysis.&quot;,<br>            &quot;good nice fine decent satisfactory acceptable quality products available&quot;,<br>            &quot;Fast quick rapid swift speedy delivery service available nationwide today&quot;<br>        );<br>        <br>        long startTime = System.nanoTime();<br>        List&lt;AnalysisResult&gt; results = detector.batchAnalyze(testTexts, 4);<br>        double totalTime = (System.nanoTime() - startTime) / 1_000_000.0;<br>        <br>        StatisticsAnalyzer.Statistics stats = StatisticsAnalyzer.calculateStatistics(results);<br>        StatisticsAnalyzer.printReport(stats);<br>        <br>        System.out.printf(&quot;\n성능 정보:\n&quot;);<br>        System.out.printf(&quot;  총 처리 시간: %.2f ms\n&quot;, totalTime);<br>        System.out.printf(&quot;  처리량: %.2f texts/sec\n&quot;, testTexts.size() / (totalTime / 1000.0));<br>    }<br>    <br>    private static void runPerformanceTest() {<br>        System.out.println(&quot;\n=== 성능 테스트 ===&quot;);<br>        <br>        int[] testSizes = {100, 500, 1000, 2000};<br>        SynonymBombingDetector detector = new SynonymBombingDetector();<br>        <br>        for (int size : testSizes) {<br>            List&lt;String&gt; testTexts = generateLargeTestSet(size);<br>            <br>            // 단일 스레드 테스트<br>            long singleStart = System.nanoTime();<br>            detector.batchAnalyze(testTexts, 1);<br>            double singleTime = (System.nanoTime() - singleStart) / 1_000_000.0;<br>            <br>            // 멀티 스레드 테스트  <br>            long multiStart = System.nanoTime();<br>            detector.batchAnalyze(testTexts, Runtime.getRuntime().availableProcessors());<br>            double multiTime = (System.nanoTime() - multiStart) / 1_000_000.0;<br>            <br>            System.out.printf(&quot;\n%d개 텍스트:\n&quot;, size);<br>            System.out.printf(&quot;  단일 스레드: %.2f ms (%.2f texts/sec)\n&quot;, <br>                             singleTime, size / (singleTime / 1000.0));<br>            System.out.printf(&quot;  멀티 스레드: %.2f ms (%.2f texts/sec)\n&quot;, <br>                             multiTime, size / (multiTime / 1000.0));<br>            System.out.printf(&quot;  성능 향상: %.2fx\n&quot;, singleTime / multiTime);<br>        }<br>    }<br>    <br>    private static void runAdvancedAnalysis() {<br>        System.out.println(&quot;\n=== 스트림 API 고급 분석 ===&quot;);<br>        <br>        SynonymBombingDetector detector = new SynonymBombingDetector();<br>        List&lt;String&gt; texts = generateLargeTestSet(1000);<br>        <br>        List&lt;AnalysisResult&gt; results = detector.batchAnalyze(texts, 8);<br>        <br>        // 스트림을 활용한 고급 통계 분석<br>        Map&lt;String, List&lt;AnalysisResult&gt;&gt; riskGroups = results.stream()<br>            .collect(Collectors.groupingBy(AnalysisResult::getRiskLevel));<br>        <br>        System.out.println(&quot;위험도별 그룹 분석:&quot;);<br>        riskGroups.forEach((risk, group) -&gt; {<br>            double avgQuality = group.stream()<br>                .mapToDouble(AnalysisResult::getQualityScore)<br>                .average()<br>                .orElse(0.0);<br>            <br>            double avgBombing = group.stream()<br>                .mapToDouble(AnalysisResult::getBombingScore)<br>                .average()<br>                .orElse(0.0);<br>            <br>            System.out.printf(&quot;  %s 위험도: %d개, 평균 품질: %.2f, 평균 폭격 점수: %.2f\n&quot;, <br>                             risk, group.size(), avgQuality, avgBombing);<br>        });<br>        <br>        // 상위 10개 고위험 텍스트 추출<br>        List&lt;AnalysisResult&gt; topRisks = results.stream()<br>            .sorted(Comparator.comparingInt(AnalysisResult::getBombingScore).reversed())<br>            .limit(10)<br>            .collect(Collectors.toList());<br>        <br>        System.out.println(&quot;\n상위 10개 고위험 텍스트:&quot;);<br>        topRisks.forEach(result -&gt; {<br>            String preview = result.getOriginalText().length() &gt; 50 ? <br>                           result.getOriginalText().substring(0, 50) + &quot;...&quot; : <br>                           result.getOriginalText();<br>            System.out.printf(&quot;  ID %d (점수 %d): %s\n&quot;, <br>                             result.getTextId(), result.getBombingScore(), preview);<br>        });<br>        <br>        // 처리 시간 분포 분석<br>        DoubleSummaryStatistics timeStats = results.stream()<br>            .mapToDouble(AnalysisResult::getProcessTimeMs)<br>            .summaryStatistics();<br>        <br>        System.out.printf(&quot;\n처리 시간 통계:\n&quot;);<br>        System.out.printf(&quot;  최소: %.3f ms, 최대: %.3f ms\n&quot;, timeStats.getMin(), timeStats.getMax());<br>        System.out.printf(&quot;  평균: %.3f ms, 총합: %.3f ms\n&quot;, timeStats.getAverage(), timeStats.getSum());<br>    }<br>    <br>    private static List&lt;String&gt; generateLargeTestSet(int size) {<br>        String[] baseTexts = {<br>            &quot;great excellent superb outstanding magnificent wonderful amazing fantastic&quot;,<br>            &quot;Buy cheap shoes online best shoes store discount shoes sale&quot;,<br>            &quot;The restaurant serves delicious food with excellent service&quot;,<br>            &quot;Our software provides comprehensive solutions for businesses&quot;<br>        };<br>        <br>        return IntStream.range(0, size)<br>            .mapToObj(i -&gt; baseTexts[i % baseTexts.length])<br>            .collect(Collectors.toList());<br>    }<br>}<br><br>// 실행 결과(예시):<br><br>// === Java 동의어 폭격 탐지 시스템 ===<br>// <br>// === 기본 분석 실행 ===<br>// <br>// === 동의어 폭격 분석 통계 보고서 ===<br>// 전체 텍스트 수: 9<br>// 총 처리 시간: 45.67 ms<br>// <br>// 위험도별 분포:<br>//   High: 4개 (44.4%)<br>//   Medium: 1개 (11.1%)<br>//   Low: 1개 (11.1%)<br>//   None: 3개 (33.3%)<br>// <br>// 등급별 분포:<br>//   등급 F: 4개 (44.4%)<br>//   등급 D: 1개 (11.1%)<br>//   등급 C: 1개 (11.1%)<br>//   등급 A: 3개 (33.3%)<br>// <br>// 주요 통계:<br>//   평균 어휘 다양성: 0.749<br>//   평균 동의어 폭격 점수: 5.22<br>//   평균 품질 점수: 49.33<br>//   평균 처리 시간: 5.074 ms/text<br>// <br>// === 고위험 텍스트 예시 ===<br>// 1. ID 1: great excellent superb outstanding magnificent wonderful...<br>//   단어 수: 12, 고유 단어: 11<br>//   폭격 점수: 12, 품질 등급: F<br>//   위험도: High, 처리 시간: 8.234 ms<br>//   탐지된 그룹: positive(12)<br>// <br>// 성능 정보:<br>//   총 처리 시간: 52.34 ms<br>//   처리량: 171.95 texts/sec</pre><h4>3.9 JavaScript로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><ul><li>Promise-all 병렬 배치 처리 시간 벤치마크</li><li>sliding-window 통계 기반 빈도 밀집도 탐지</li><li>Map/Set 활용 유니크·전체 비율 계산</li></ul><p><strong>(2) 구체적인 사례</strong></p><pre>// ========== 백엔드 (Node.js + Express) ==========<br><br>// server.js<br>const express = require(&#39;express&#39;);<br>const cors = require(&#39;cors&#39;);<br>const { Worker } = require(&#39;worker_threads&#39;);<br>const path = require(&#39;path&#39;);<br><br>const app = express();<br>const PORT = process.env.PORT || 3001;<br><br>app.use(cors());<br>app.use(express.json({ limit: &#39;10mb&#39; }));<br>app.use(express.static(&#39;public&#39;));<br><br>// 동의어 폭격 탐지 서비스 (Node.js 버전)<br>class NodeSynonymBombingService {<br>    constructor() {<br>        this.detector = new SynonymBombingDetector();<br>        this.activeWorkers = new Map();<br>    }<br>    <br>    async analyzeWithWorkers(texts, numWorkers = 4) {<br>        return new Promise((resolve, reject) =&gt; {<br>            const chunkSize = Math.ceil(texts.length / numWorkers);<br>            const chunks = [];<br>            <br>            for (let i = 0; i &lt; texts.length; i += chunkSize) {<br>                chunks.push({<br>                    texts: texts.slice(i, i + chunkSize),<br>                    startIndex: i<br>                });<br>            }<br>            <br>            const results = [];<br>            let completedWorkers = 0;<br>            <br>            chunks.forEach((chunk, index) =&gt; {<br>                const worker = new Worker(path.join(__dirname, &#39;workers&#39;, &#39;analysis-worker.js&#39;));<br>                this.activeWorkers.set(index, worker);<br>                <br>                worker.postMessage(chunk);<br>                <br>                worker.on(&#39;message&#39;, (workerResults) =&gt; {<br>                    results.push(...workerResults);<br>                    completedWorkers++;<br>                    <br>                    if (completedWorkers === chunks.length) {<br>                        results.sort((a, b) =&gt; a.textId - b.textId);<br>                        resolve(results);<br>                    }<br>                    <br>                    worker.terminate();<br>                    this.activeWorkers.delete(index);<br>                });<br>                <br>                worker.on(&#39;error&#39;, (error) =&gt; {<br>                    reject(error);<br>                    worker.terminate();<br>                    this.activeWorkers.delete(index);<br>                });<br>            });<br>        });<br>    }<br>    <br>    terminateAllWorkers() {<br>        this.activeWorkers.forEach(worker =&gt; worker.terminate());<br>        this.activeWorkers.clear();<br>    }<br>}<br><br>const synonymService = new NodeSynonymBombingService();<br><br>// REST API 엔드포인트<br>app.post(&#39;/api/analyze&#39;, async (req, res) =&gt; {<br>    try {<br>        const { texts, numThreads = 4, threshold = 3 } = req.body;<br>        <br>        if (!texts || !Array.isArray(texts) || texts.length === 0) {<br>            return res.status(400).json({ error: &#39;유효한 텍스트 배열이 필요합니다&#39; });<br>        }<br>        <br>        if (texts.length &gt; 1000) {<br>            return res.status(400).json({ error: &#39;한 번에 최대 1000개의 텍스트만 처리 가능합니다&#39; });<br>        }<br>        <br>        const startTime = process.hrtime.bigint();<br>        <br>        // Worker 스레드를 사용한 병렬 처리<br>        const results = await synonymService.analyzeWithWorkers(texts, numThreads);<br>        <br>        const endTime = process.hrtime.bigint();<br>        const processingTime = Number(endTime - startTime) / 1_000_000; // ms<br>        <br>        const stats = StatisticsAnalyzer.calculateStatistics(results);<br>        <br>        const response = {<br>            results,<br>            statistics: {<br>                ...stats,<br>                // Map을 객체로 변환<br>                riskDistribution: Object.fromEntries(stats.riskDistribution),<br>                gradeDistribution: Object.fromEntries(stats.gradeDistribution)<br>            },<br>            requestTimeMs: processingTime,<br>            totalTexts: texts.size,<br>            timestamp: new Date().toISOString()<br>        };<br>        <br>        res.json(response);<br>        <br>    } catch (error) {<br>        console.error(&#39;분석 중 오류:&#39;, error);<br>        res.status(500).json({ error: &#39;서버 내부 오류가 발생했습니다&#39; });<br>    }<br>});<br><br>// 실시간 분석을 위한 WebSocket<br>const http = require(&#39;http&#39;);<br>const socketIo = require(&#39;socket.io&#39;);<br><br>const server = http.createServer(app);<br>const io = socketIo(server, {<br>    cors: {<br>        origin: &quot;*&quot;,<br>        methods: [&quot;GET&quot;, &quot;POST&quot;]<br>    }<br>});<br><br>const streamingAnalyzer = new StreamingAnalyzer();<br><br>// 실시간 분석 이벤트 처리<br>streamingAnalyzer.addEventListener(&#39;analysisComplete&#39;, (result) =&gt; {<br>    io.emit(&#39;analysisResult&#39;, result);<br>});<br><br>streamingAnalyzer.addEventListener(&#39;highRiskDetected&#39;, (result) =&gt; {<br>    io.emit(&#39;highRiskAlert&#39;, result);<br>});<br><br>io.on(&#39;connection&#39;, (socket) =&gt; {<br>    console.log(&#39;클라이언트 연결:&#39;, socket.id);<br>    <br>    socket.on(&#39;analyzeRealtime&#39;, async (data) =&gt; {<br>        const { text, metadata } = data;<br>        await streamingAnalyzer.analyzeStream(text, { <br>            ...metadata, <br>            socketId: socket.id <br>        });<br>    });<br>    <br>    socket.on(&#39;getQueueStatus&#39;, () =&gt; {<br>        socket.emit(&#39;queueStatus&#39;, streamingAnalyzer.getQueueStatus());<br>    });<br>    <br>    socket.on(&#39;disconnect&#39;, () =&gt; {<br>        console.log(&#39;클라이언트 연결 해제:&#39;, socket.id);<br>    });<br>});<br><br>// 벤치마크 엔드포인트<br>app.get(&#39;/api/benchmark&#39;, async (req, res) =&gt; {<br>    try {<br>        const size = parseInt(req.query.size) || 1000;<br>        const threads = parseInt(req.query.threads) || 4;<br>        <br>        const benchmark = new PerformanceBenchmark();<br>        const result = await benchmark.runBenchmark(size);<br>        <br>        res.json({<br>            ...result,<br>            requestedThreads: threads,<br>            availableThreads: require(&#39;os&#39;).cpus().length,<br>            timestamp: new Date().toISOString()<br>        });<br>        <br>    } catch (error) {<br>        console.error(&#39;벤치마크 중 오류:&#39;, error);<br>        res.status(500).json({ error: &#39;벤치마크 실행 중 오류가 발생했습니다&#39; });<br>    }<br>});<br><br>// 서버 시작<br>server.listen(PORT, () =&gt; {<br>    console.log(`동의어 폭격 탐지 서버가 포트 ${PORT}에서 실행 중입니다`);<br>    console.log(`API 엔드포인트: http://localhost:${PORT}/api`);<br>    console.log(`실시간 분석: http://localhost:${PORT} (WebSocket)`);<br>});<br><br>// 서버 종료시 워커 정리<br>process.on(&#39;SIGINT&#39;, () =&gt; {<br>    console.log(&#39;서버 종료 중...&#39;);<br>    synonymService.terminateAllWorkers();<br>    process.exit(0);<br>});<br><br>// ========== Worker Thread (analysis-worker.js) ==========<br>const { parentPort } = require(&#39;worker_threads&#39;);<br><br>// Worker에서 사용할 탐지기 클래스 (위의 코드와 동일)<br>class WorkerSynonymBombingDetector {<br>    constructor(minThreshold = 3) {<br>        this.minThreshold = minThreshold;<br>        this.synonymGroups = this.initializeDefaultGroups();<br>    }<br>    <br>    initializeDefaultGroups() {<br>        return [<br>            {<br>                name: &#39;positive&#39;,<br>                words: new Set([&#39;great&#39;, &#39;excellent&#39;, &#39;superb&#39;, &#39;outstanding&#39;, &#39;magnificent&#39;,<br>                               &#39;wonderful&#39;, &#39;amazing&#39;, &#39;fantastic&#39;, &#39;brilliant&#39;, &#39;awesome&#39;])<br>            },<br>            {<br>                name: &#39;quality&#39;,<br>                words: new Set([&#39;good&#39;, &#39;nice&#39;, &#39;fine&#39;, &#39;decent&#39;, &#39;satisfactory&#39;, &#39;acceptable&#39;])<br>            },<br>            {<br>                name: &#39;size&#39;,<br>                words: new Set([&#39;big&#39;, &#39;large&#39;, &#39;huge&#39;, &#39;enormous&#39;, &#39;massive&#39;, &#39;gigantic&#39;])<br>            },<br>            {<br>                name: &#39;speed&#39;,<br>                words: new Set([&#39;fast&#39;, &#39;quick&#39;, &#39;rapid&#39;, &#39;swift&#39;, &#39;speedy&#39;, &#39;hasty&#39;])<br>            }<br>        ];<br>    }<br>    <br>    tokenize(text) {<br>        const lowerText = text.toLowerCase();<br>        const matches = lowerText.match(/\b[a-zA-Z]+\b/g);<br>        return matches || [];<br>    }<br>    <br>    analyzeText(text, textId) {<br>        const startTime = process.hrtime.bigint();<br>        <br>        const result = {<br>            textId,<br>            originalText: text,<br>            wordCount: 0,<br>            uniqueWords: 0,<br>            bombingScore: 0,<br>            detectedGroups: [],<br>            lexicalDiversity: 0.0,<br>            ngramDiversity2: 0.0,<br>            ngramDiversity3: 0.0,<br>            qualityScore: 0.0,<br>            grade: &#39;F&#39;,<br>            riskLevel: &#39;None&#39;,<br>            processTimeMs: 0.0<br>        };<br>        <br>        // 텍스트 전처리<br>        const words = this.tokenize(text);<br>        result.wordCount = words.length;<br>        <br>        if (words.length === 0) {<br>            const endTime = process.hrtime.bigint();<br>            result.processTimeMs = Number(endTime - startTime) / 1_000_000;<br>            return result;<br>        }<br>        <br>        // 단어 빈도 계산<br>        const wordCounts = new Map();<br>        const wordPositions = new Map();<br>        <br>        words.forEach((word, index) =&gt; {<br>            wordCounts.set(word, (wordCounts.get(word) || 0) + 1);<br>            <br>            if (!wordPositions.has(word)) {<br>                wordPositions.set(word, []);<br>            }<br>            wordPositions.get(word).push(index);<br>        });<br>        <br>        result.uniqueWords = wordCounts.size;<br>        <br>        // 동의어 그룹 분석<br>        let totalBombingScore = 0;<br>        <br>        for (const group of this.synonymGroups) {<br>            let groupCount = 0;<br>            const matchedWords = [];<br>            const positions = [];<br>            <br>            for (const synonym of group.words) {<br>                if (wordCounts.has(synonym)) {<br>                    groupCount += wordCounts.get(synonym);<br>                    matchedWords.push(synonym);<br>                    positions.push(...wordPositions.get(synonym));<br>                }<br>            }<br>            <br>            if (groupCount &gt;= this.minThreshold) {<br>                totalBombingScore += groupCount;<br>                positions.sort((a, b) =&gt; a - b);<br>                <br>                result.detectedGroups.push({<br>                    groupName: group.name,<br>                    count: groupCount,<br>                    matchedWords,<br>                    positions<br>                });<br>            }<br>        }<br>        <br>        result.bombingScore = totalBombingScore;<br>        <br>        // 품질 지표 계산<br>        const uniqueWords = new Set(words);<br>        result.lexicalDiversity = uniqueWords.size / words.length;<br>        <br>        // N-gram 다양성 계산<br>        const calculateNgramDiversity = (words, n) =&gt; {<br>            if (words.length &lt; n) return 0.0;<br>            const ngrams = new Set();<br>            let totalNgrams = 0;<br>            <br>            for (let i = 0; i &lt;= words.length - n; i++) {<br>                const ngram = words.slice(i, i + n).join(&#39; &#39;);<br>                ngrams.add(ngram);<br>                totalNgrams++;<br>            }<br>            <br>            return totalNgrams &gt; 0 ? ngrams.size / totalNgrams : 0.0;<br>        };<br>        <br>        result.ngramDiversity2 = calculateNgramDiversity(words, 2);<br>        result.ngramDiversity3 = calculateNgramDiversity(words, 3);<br>        <br>        // 품질 점수 및 등급 계산<br>        const qualityScore = Math.max(0, result.lexicalDiversity * 100 - totalBombingScore * 5 + <br>                                     (result.ngramDiversity2 + result.ngramDiversity3) * 10);<br>        result.qualityScore = qualityScore;<br>        <br>        if (qualityScore &gt;= 90) result.grade = &#39;A&#39;;<br>        else if (qualityScore &gt;= 80) result.grade = &#39;B&#39;;<br>        else if (qualityScore &gt;= 70) result.grade = &#39;C&#39;;<br>        else if (qualityScore &gt;= 60) result.grade = &#39;D&#39;;<br>        else result.grade = &#39;F&#39;;<br>        <br>        if (totalBombingScore &gt;= 8) result.riskLevel = &#39;High&#39;;<br>        else if (totalBombingScore &gt;= 5) result.riskLevel = &#39;Medium&#39;;<br>        else if (totalBombingScore &gt;= 2) result.riskLevel = &#39;Low&#39;;<br>        else result.riskLevel = &#39;None&#39;;<br>        <br>        const endTime = process.hrtime.bigint();<br>        result.processTimeMs = Number(endTime - startTime) / 1_000_000;<br>        <br>        return result;<br>    }<br>}<br><br>parentPort.on(&#39;message&#39;, ({ texts, startIndex }) =&gt; {<br>    const detector = new WorkerSynonymBombingDetector();<br>    const results = [];<br>    <br>    texts.forEach((text, index) =&gt; {<br>        const result = detector.analyzeText(text, startIndex + index + 1);<br>        results.push(result);<br>    });<br>    <br>    parentPort.postMessage(results);<br>});<br><br>// ========== 프론트엔드 (React 컴포넌트) ==========<br><br>// SynonymBombingAnalyzer.jsx<br>import React, { useState, useEffect, useCallback } from &#39;react&#39;;<br>import io from &#39;socket.io-client&#39;;<br><br>const SynonymBombingAnalyzer = () =&gt; {<br>    const [texts, setTexts] = useState([&#39;&#39;]);<br>    const [results, setResults] = useState(null);<br>    const [loading, setLoading] = useState(false);<br>    const [realTimeText, setRealTimeText] = useState(&#39;&#39;);<br>    const [realTimeResults, setRealTimeResults] = useState([]);<br>    const [socket, setSocket] = useState(null);<br>    const [queueStatus, setQueueStatus] = useState(null);<br><br>    // WebSocket 연결 설정<br>    useEffect(() =&gt; {<br>        const newSocket = io(&#39;http://localhost:3001&#39;);<br>        setSocket(newSocket);<br><br>        newSocket.on(&#39;analysisResult&#39;, (result) =&gt; {<br>            setRealTimeResults(prev =&gt; [result, ...prev.slice(0, 9)]); // 최신 10개만 유지<br>        });<br><br>        newSocket.on(&#39;highRiskAlert&#39;, (result) =&gt; {<br>            alert(`고위험 텍스트 감지! 위험도: ${result.riskLevel}, 점수: ${result.bombingScore}`);<br>        });<br><br>        newSocket.on(&#39;queueStatus&#39;, (status) =&gt; {<br>            setQueueStatus(status);<br>        });<br><br>        return () =&gt; newSocket.close();<br>    }, []);<br><br>    // 배치 분석<br>    const handleAnalyze = useCallback(async () =&gt; {<br>        setLoading(true);<br>        <br>        try {<br>            const response = await fetch(&#39;http://localhost:3001/api/analyze&#39;, {<br>                method: &#39;POST&#39;,<br>                headers: {<br>                    &#39;Content-Type&#39;: &#39;application/json&#39;,<br>                },<br>                body: JSON.stringify({<br>                    texts: texts.filter(text =&gt; text.trim()),<br>                    numThreads: 4,<br>                    threshold: 3<br>                }),<br>            });<br><br>            if (!response.ok) {<br>                throw new Error(&#39;분석 요청 실패&#39;);<br>            }<br><br>            const data = await response.json();<br>            setResults(data);<br>            <br>        } catch (error) {<br>            console.error(&#39;분석 중 오류:&#39;, error);<br>            alert(&#39;분석 중 오류가 발생했습니다: &#39; + error.message);<br>        } finally {<br>            setLoading(false);<br>        }<br>    }, [texts]);<br><br>    // 실시간 분석<br>    const handleRealTimeAnalysis = useCallback(() =&gt; {<br>        if (socket &amp;&amp; realTimeText.trim()) {<br>            socket.emit(&#39;analyzeRealtime&#39;, {<br>                text: realTimeText,<br>                metadata: { source: &#39;web-interface&#39;, timestamp: Date.now() }<br>            });<br>            setRealTimeText(&#39;&#39;);<br>        }<br>    }, [socket, realTimeText]);<br><br>    // 큐 상태 확인<br>    const checkQueueStatus = useCallback(() =&gt; {<br>        if (socket) {<br>            socket.emit(&#39;getQueueStatus&#39;);<br>        }<br>    }, [socket]);<br><br>    // 텍스트 입력 필드 추가/제거<br>    const addTextInput = () =&gt; setTexts(prev =&gt; [...prev, &#39;&#39;]);<br>    const removeTextInput = (index) =&gt; setTexts(prev =&gt; prev.filter((_, i) =&gt; i !== index));<br>    const updateText = (index, value) =&gt; {<br>        setTexts(prev =&gt; prev.map((text, i) =&gt; i === index ? value : text));<br>    };<br><br>    // 위험도에 따른 색상 반환<br>    const getRiskColor = (riskLevel) =&gt; {<br>        switch (riskLevel) {<br>            case &#39;High&#39;: return &#39;#ff4444&#39;;<br>            case &#39;Medium&#39;: return &#39;#ffaa00&#39;;<br>            case &#39;Low&#39;: return &#39;#ffdd00&#39;;<br>            default: return &#39;#44ff44&#39;;<br>        }<br>    };<br><br>    return (<br>        &lt;div style={{ maxWidth: &#39;1200px&#39;, margin: &#39;0 auto&#39;, padding: &#39;20px&#39; }}&gt;<br>            &lt;h1&gt;동의어 폭격 탐지 시스템&lt;/h1&gt;<br>            <br>            {/* 배치 분석 섹션 */}<br>            &lt;div style={{ marginBottom: &#39;40px&#39;, padding: &#39;20px&#39;, border: &#39;1px solid #ddd&#39;, borderRadius: &#39;8px&#39; }}&gt;<br>                &lt;h2&gt;배치 분석&lt;/h2&gt;<br>                <br>                {texts.map((text, index) =&gt; (<br>                    &lt;div key={index} style={{ marginBottom: &#39;10px&#39;, display: &#39;flex&#39;, gap: &#39;10px&#39; }}&gt;<br>                        &lt;textarea<br>                            value={text}<br>                            onChange={(e) =&gt; updateText(index, e.target.value)}<br>                            placeholder={`텍스트 ${index + 1} 입력...`}<br>                            style={{ flex: 1, minHeight: &#39;60px&#39;, padding: &#39;8px&#39; }}<br>                        /&gt;<br>                        {texts.length &gt; 1 &amp;&amp; (<br>                            &lt;button onClick={() =&gt; removeTextInput(index)}&gt;제거&lt;/button&gt;<br>                        )}<br>                    &lt;/div&gt;<br>                ))}<br>                <br>                &lt;div style={{ marginBottom: &#39;20px&#39; }}&gt;<br>                    &lt;button onClick={addTextInput} style={{ marginRight: &#39;10px&#39; }}&gt;<br>                        텍스트 추가<br>                    &lt;/button&gt;<br>                    &lt;button <br>                        onClick={handleAnalyze} <br>                        disabled={loading || texts.every(text =&gt; !text.trim())}<br>                        style={{ backgroundColor: &#39;#007bff&#39;, color: &#39;white&#39;, padding: &#39;8px 16px&#39; }}<br>                    &gt;<br>                        {loading ? &#39;분석 중...&#39; : &#39;분석 시작&#39;}<br>                    &lt;/button&gt;<br>                &lt;/div&gt;<br><br>                {/* 분석 결과 표시 */}<br>                {results &amp;&amp; (<br>                    &lt;div style={{ marginTop: &#39;20px&#39; }}&gt;<br>                        &lt;h3&gt;분석 결과&lt;/h3&gt;<br>                        &lt;div style={{ marginBottom: &#39;20px&#39;, padding: &#39;10px&#39;, backgroundColor: &#39;#f5f5f5&#39; }}&gt;<br>                            &lt;p&gt;처리 시간: {results.requestTimeMs.toFixed(2)} ms&lt;/p&gt;<br>                            &lt;p&gt;총 텍스트: {results.totalTexts}개&lt;/p&gt;<br>                            &lt;p&gt;평균 품질 점수: {results.statistics.averageQualityScore.toFixed(2)}&lt;/p&gt;<br>                            &lt;p&gt;평균 폭격 점수: {results.statistics.averageBombingScore.toFixed(2)}&lt;/p&gt;<br>                        &lt;/div&gt;<br><br>                        {/* 개별 결과 */}<br>                        &lt;div&gt;<br>                            {results.results.map((result, index) =&gt; (<br>                                &lt;div <br>                                    key={index} <br>                                    style={{ <br>                                        margin: &#39;10px 0&#39;, <br>                                        padding: &#39;15px&#39;, <br>                                        border: `2px solid ${getRiskColor(result.riskLevel)}`,<br>                                        borderRadius: &#39;8px&#39;<br>                                    }}<br>                                &gt;<br>                                    &lt;div style={{ display: &#39;flex&#39;, justifyContent: &#39;space-between&#39;, marginBottom: &#39;10px&#39; }}&gt;<br>                                        &lt;strong&gt;텍스트 {result.textId}&lt;/strong&gt;<br>                                        &lt;span style={{ <br>                                            color: getRiskColor(result.riskLevel),<br>                                            fontWeight: &#39;bold&#39;<br>                                        }}&gt;<br>                                            위험도: {result.riskLevel}<br>                                        &lt;/span&gt;<br>                                    &lt;/div&gt;<br>                                    <br>                                    &lt;p style={{ fontSize: &#39;14px&#39;, color: &#39;#666&#39;, marginBottom: &#39;10px&#39; }}&gt;<br>                                        {result.originalText.length &gt; 100 ? <br>                                         result.originalText.substring(0, 100) + &#39;...&#39; : <br>                                         result.originalText}<br>                                    &lt;/p&gt;<br>                                    <br>                                    &lt;div style={{ display: &#39;grid&#39;, gridTemplateColumns: &#39;repeat(auto-fit, minmax(150px, 1fr))&#39;, gap: &#39;10px&#39;, fontSize: &#39;12px&#39; }}&gt;<br>                                        &lt;div&gt;폭격 점수: {result.bombingScore}&lt;/div&gt;<br>                                        &lt;div&gt;품질 등급: {result.grade}&lt;/div&gt;<br>                                        &lt;div&gt;어휘 다양성: {result.lexicalDiversity.toFixed(3)}&lt;/div&gt;<br>                                        &lt;div&gt;처리 시간: {result.processTimeMs.toFixed(2)}ms&lt;/div&gt;<br>                                    &lt;/div&gt;<br>                                    <br>                                    {result.detectedGroups.length &gt; 0 &amp;&amp; (<br>                                        &lt;div style={{ marginTop: &#39;10px&#39; }}&gt;<br>                                            &lt;strong&gt;탐지된 그룹:&lt;/strong&gt;<br>                                            {result.detectedGroups.map((group, gIndex) =&gt; (<br>                                                &lt;span key={gIndex} style={{ marginLeft: &#39;10px&#39;, fontSize: &#39;12px&#39; }}&gt;<br>                                                    {group.groupName}({group.count})<br>                                                &lt;/span&gt;<br>                                            ))}<br>                                        &lt;/div&gt;<br>                                    )}<br>                                &lt;/div&gt;<br>                            ))}<br>                        &lt;/div&gt;<br>                    &lt;/div&gt;<br>                )}<br>            &lt;/div&gt;<br><br>            {/* 실시간 분석 섹션 */}<br>            &lt;div style={{ padding: &#39;20px&#39;, border: &#39;1px solid #ddd&#39;, borderRadius: &#39;8px&#39; }}&gt;<br>                &lt;h2&gt;실시간 분석&lt;/h2&gt;<br>                <br>                &lt;div style={{ marginBottom: &#39;20px&#39; }}&gt;<br>                    &lt;textarea<br>                        value={realTimeText}<br>                        onChange={(e) =&gt; setRealTimeText(e.target.value)}<br>                        placeholder=&quot;실시간 분석할 텍스트를 입력하세요...&quot;<br>                        style={{ width: &#39;100%&#39;, minHeight: &#39;80px&#39;, padding: &#39;8px&#39; }}<br>                    /&gt;<br>                    <br>                    &lt;div style={{ marginTop: &#39;10px&#39; }}&gt;<br>                        &lt;button <br>                            onClick={handleRealTimeAnalysis}<br>                            disabled={!realTimeText.trim()}<br>                            style={{ backgroundColor: &#39;#28a745&#39;, color: &#39;white&#39;, padding: &#39;8px 16px&#39;, marginRight: &#39;10px&#39; }}<br>                        &gt;<br>                            실시간 분석<br>                        &lt;/button&gt;<br>                        &lt;button onClick={checkQueueStatus}&gt;큐 상태 확인&lt;/button&gt;<br>                    &lt;/div&gt;<br>                &lt;/div&gt;<br><br>                {/* 큐 상태 표시 */}<br>                {queueStatus &amp;&amp; (<br>                    &lt;div style={{ marginBottom: &#39;20px&#39;, padding: &#39;10px&#39;, backgroundColor: &#39;#e9ecef&#39; }}&gt;<br>                        &lt;p&gt;큐 크기: {queueStatus.queueSize} / {queueStatus.maxQueueSize}&lt;/p&gt;<br>                        &lt;p&gt;분석 상태: {queueStatus.isAnalyzing ? &#39;분석 중&#39; : &#39;대기 중&#39;}&lt;/p&gt;<br>                    &lt;/div&gt;<br>                )}<br><br>                {/* 실시간 결과 */}<br>                &lt;div&gt;<br>                    &lt;h3&gt;최근 분석 결과&lt;/h3&gt;<br>                    {realTimeResults.length === 0 ? (<br>                        &lt;p&gt;아직 분석 결과가 없습니다.&lt;/p&gt;<br>                    ) : (<br>                        realTimeResults.map((result, index) =&gt; (<br>                            &lt;div <br>                                key={result.id} <br>                                style={{ <br>                                    margin: &#39;10px 0&#39;, <br>                                    padding: &#39;10px&#39;, <br>                                    border: `1px solid ${getRiskColor(result.riskLevel)}`,<br>                                    borderRadius: &#39;4px&#39;,<br>                                    backgroundColor: index === 0 ? &#39;#f8f9fa&#39; : &#39;white&#39;<br>                                }}<br>                            &gt;<br>                                &lt;div style={{ display: &#39;flex&#39;, justifyContent: &#39;space-between&#39;, fontSize: &#39;12px&#39;, color: &#39;#666&#39; }}&gt;<br>                                    &lt;span&gt;분석 시간: {new Date(result.analyzedAt).toLocaleTimeString()}&lt;/span&gt;<br>                                    &lt;span style={{ color: getRiskColor(result.riskLevel), fontWeight: &#39;bold&#39; }}&gt;<br>                                        {result.riskLevel}<br>                                    &lt;/span&gt;<br>                                &lt;/div&gt;<br>                                &lt;p style={{ margin: &#39;5px 0&#39;, fontSize: &#39;14px&#39; }}&gt;<br>                                    {result.originalText.substring(0, 80)}...<br>                                &lt;/p&gt;<br>                                &lt;div style={{ fontSize: &#39;12px&#39;, color: &#39;#666&#39; }}&gt;<br>                                    폭격 점수: {result.bombingScore}, 품질 등급: {result.grade}<br>                                &lt;/div&gt;<br>                            &lt;/div&gt;<br>                        ))<br>                    )}<br>                &lt;/div&gt;<br>            &lt;/div&gt;<br>        &lt;/div&gt;<br>    );<br>};<br><br>export default SynonymBombingAnalyzer;<br><br>// ========== 메인 실행 코드 ==========<br><br>// main.js (Node.js 환경에서 직접 실행)<br>async function main() {<br>    console.log(&#39;=== JavaScript 동의어 폭격 탐지 시스템 ===&#39;);<br>    <br>    const detector = new SynonymBombingDetector();<br>    <br>    const testTexts = [<br>        &#39;great excellent superb outstanding magnificent wonderful amazing fantastic brilliant awesome wonderful excellent&#39;,<br>        &#39;Buy cheap shoes online. Best shoes store. Discount shoes sale. Free shipping shoes. Quality shoes for men.&#39;,<br>        &#39;The restaurant serves delicious food with excellent service in a pleasant atmosphere.&#39;,<br>        &#39;Our innovative software solution provides comprehensive tools for efficient project management.&#39;,<br>        &#39;fantastic wonderful brilliant amazing excellent superb outstanding magnificent great awesome&#39;,<br>        &#39;This big large huge enormous massive gigantic colossal product offers great value.&#39;,<br>        &#39;Machine learning algorithms process data efficiently and provide accurate results for analysis.&#39;,<br>        &#39;good nice fine decent satisfactory acceptable quality products available&#39;,<br>        &#39;Fast quick rapid swift speedy delivery service available nationwide today&#39;<br>    ];<br>    <br>    console.log(`\n배치 분석 시작: ${testTexts.length}개 텍스트`);<br>    <br>    // 비동기 배치 분석<br>    const startTime = performance.now();<br>    const results = await detector.batchAnalyzeAsync(testTexts, 10);<br>    const endTime = performance.now();<br>    <br>    const stats = StatisticsAnalyzer.calculateStatistics(results);<br>    StatisticsAnalyzer.printReport(stats);<br>    <br>    console.log(`\n성능 정보:`);<br>    console.log(`  총 처리 시간: ${(endTime - startTime).toFixed(2)} ms`);<br>    console.log(`  처리량: ${(testTexts.length / ((endTime - startTime) / 1000)).toFixed(2)} texts/sec`);<br>    <br>    // 성능 벤치마크<br>    console.log(&#39;\n=== 성능 벤치마크 ===&#39;);<br>    const benchmark = new PerformanceBenchmark();<br>    <br>    const testSizes = [100, 500, 1000];<br>    for (const size of testSizes) {<br>        console.log(`\n${size}개 텍스트 벤치마크:`);<br>        const benchResult = await benchmark.runBenchmark(size);<br>        <br>        console.log(`  순차 처리: ${benchResult.sequentialTime.toFixed(2)} ms (${benchResult.sequentialThroughput.toFixed(2)} texts/sec)`);<br>        console.log(`  비동기 처리: ${benchResult.asyncTime.toFixed(2)} ms (${benchResult.asyncThroughput.toFixed(2)} texts/sec)`);<br>        console.log(`  성능 향상: ${benchResult.speedupRatio.toFixed(2)}x`);<br>    }<br>}<br><br>// Node.js 환경에서 실행<br>if (typeof window === &#39;undefined&#39; &amp;&amp; typeof process !== &#39;undefined&#39;) {<br>    main().catch(console.error);<br>}<br><br>// 실행 결과(예시):<br><br>// === JavaScript 동의어 폭격 탐지 시스템 ===<br>// <br>// 배치 분석 시작: 9개 텍스트<br>// <br>// === 동의어 폭격 분석 통계 보고서 ===<br>// 전체 텍스트 수: 9<br>// 총 처리 시간: 23.45 ms<br>// <br>// 위험도별 분포:<br>//   High: 4개 (44.4%)<br>//   Medium: 1개 (11.1%)<br>//   Low: 1개 (11.1%)<br>//   None: 3개 (33.3%)<br>// <br>// 등급별 분포:<br>//   등급 F: 4개 (44.4%)<br>//   등급 D: 1개 (11.1%)<br>//   등급 C: 1개 (11.1%)<br>//   등급 A: 3개 (33.3%)<br>// <br>// 주요 통계:<br>//   평균 어휘 다양성: 0.749<br>//   평균 동의어 폭격 점수: 5.22<br>//   평균 품질 점수: 49.33<br>//   평균 처리 시간: 2.606 ms/text<br>// <br>// === 고위험 텍스트 예시 ===<br>// 1. <br>// ID 1: great excellent superb outstanding magnificent wonderful...<br>//   단어 수: 12, 고유 단어: 11<br>//   폭격 점수: 12, 품질 등급: F<br>//   위험도: High, 처리 시간: 3.234 ms<br>//   탐지된 그룹: positive(12)<br>// <br>// 성능 정보:<br>//   총 처리 시간: 28.67 ms<br>//   처리량: 313.89 texts/sec<br>// <br>// === 성능 벤치마크 ===<br>// <br>// 100개 텍스트 벤치마크:<br>//   순차 처리: 89.23 ms (1120.78 texts/sec)<br>//   비동기 처리: 45.67 ms (2189.45 texts/sec)<br>//   성능 향상: 1.95x</pre><h3>4. 문제 해결의 중요성</h3><p>연속 동의어 폭격 문제의 해결은 현대 디지털 생태계에서 매우 중요한 의미를 가진다. 이 문제는 단순한 텍스트 품질 관리를 넘어서 정보의 신뢰성, 사용자 경험, 그리고 콘텐츠 생태계 전반의 건전성에 직접적인 영향을 미친다.</p><p><strong>(1) 검색 엔진 최적화의 건전성 확보</strong><br>동의어 폭격은 검색 엔진 알고리즘을 악용하여 부적절한 콘텐츠가 상위에 노출되도록 만든다. 이는 검색 결과의 품질을 저하시키고, 사용자들이 원하는 정보를 찾기 어렵게 만든다. 효과적인 탐지 시스템을 통해 이러한 조작적 시도를 차단함으로써, 검색 생태계의 공정성과 신뢰성을 유지할 수 있다.</p><p><strong>(2) 콘텐츠 품질 관리 시스템의 신뢰성 향상</strong><br>전통적인 텍스트 품질 평가 방식은 표면적인 다양성에 치중하여 의미론적 중복을 간과하는 경우가 많았다. 고도화된 동의어 폭격 탐지 기술은 이러한 한계를 극복하고, 실제 콘텐츠의 정보 가치를 정확히 평가할 수 있게 한다. 이는 특히 대량의 자동 생성 콘텐츠가 유통되는 환경에서 더욱 중요하다.</p><p><strong>(3) 사용자 경험 개선과 정보 접근성 향상</strong><br>동의어 폭격으로 인한 저품질 콘텐츠는 사용자의 시간을 낭비하고 정보 탐색 효율을 크게 떨어뜨린다. 효과적인 필터링을 통해 사용자들은 보다 신뢰할 수 있는 고품질 정보에 접근할 수 있게 되며, 이는 전체적인 디지털 리터러시 향상에도 기여한다.</p><p><strong>(4) 인공지능 시스템의 학습 데이터 품질 보장</strong><br>현재 대부분의 AI 모델들은 웹에서 수집된 대량의 텍스트 데이터로 학습되고 있다. 동의어 폭격과 같은 저품질 패턴이 포함된 데이터로 학습된 모델은 편향되거나 부정확한 결과를 생성할 가능성이 높다. 따라서 훈련 데이터의 품질을 사전에 검증하고 개선하는 것은 AI 시스템의 신뢰성 확보에 필수적이다.</p><p><strong>(5) 다국어 및 도메인 특화 콘텐츠 분석 역량 강화</strong><br>각 언어와 전문 분야마다 고유한 표현 패턴과 동의어 관계가 존재한다. 한국어의 경우 어미 변화, 복합어 구성, 한자어와 순우리말의 혼용 등으로 인해 동의어 탐지가 더욱 복잡하다. 이러한 언어적 특성을 고려한 정교한 분석 시스템은 각국의 디지털 콘텐츠 생태계 발전에 중요한 기여를 할 수 있다.</p><p><strong>(6) 실시간 콘텐츠 모니터링과 대응 체계 구축</strong><br>소셜 미디어, 뉴스, 블로그 등에서 생성되는 콘텐츠는 실시간으로 증가하고 있으며, 동의어 폭격과 같은 조작적 시도도 점점 정교해지고 있다. 실시간 탐지 및 대응 시스템을 통해 문제 콘텐츠를 신속하게 식별하고 조치할 수 있다면, 정보 오염의 확산을 효과적으로 방지할 수 있다.</p><p><strong>(7) 학술 및 연구 분야의 텍스트 분석 정확도 향상</strong><br>학술 논문, 연구 보고서, 특허 문서 등에서 부적절한 키워드 반복이나 동의어 남용은 연구의 질을 떨어뜨리고 학술적 신뢰성을 해친다. 정교한 분석 도구를 통해 이러한 문제를 사전에 발견하고 개선함으로써, 학술 커뮤니티의 전반적인 품질 수준을 높일 수 있다.</p><p><strong>(8) 콘텐츠 제작자들의 품질 의식 제고</strong><br>자동화된 품질 검사 도구의 보급은 콘텐츠 제작자들이 자신의 작업물을 객관적으로 평가하고 개선할 수 있는 기회를 제공한다. 이는 단순히 문제를 탐지하는 것을 넘어서, 더 나은 콘텐츠 창작 문화를 조성하는 데 기여할 수 있다.</p><p>이러한 다각도의 중요성을 고려할 때, 연속 동의어 폭격 탐지 기술의 발전과 보급은 건전한 디지털 정보 생태계 구축을 위한 핵심 요소라고 할 수 있다. 특히 AI와 자동화 기술이 급속히 발달하는 현시점에서, 이러한 품질 관리 시스템의 중요성은 더욱 커질 것으로 예상된다.</p><h3>5. 한계점</h3><p>연속 동의어 폭격 탐지 시스템은 현재까지 상당한 발전을 보였지만, 여전히 해결해야 할 중요한 한계점들이 존재한다. 이러한 한계점들을 명확히 인식하고 개선 방향을 제시하는 것은 향후 연구 발전을 위해 필수적이다.</p><p><strong>(1) 언어별 특성과 문화적 맥락의 한계</strong><br>현재 대부분의 탐지 시스템은 영어 기반으로 개발되어 한국어, 중국어, 일본어와 같은 교착어나 고립어의 특성을 충분히 반영하지 못한다. 한국어의 경우 “좋다, 좋은, 좋았던, 좋으니까” 등과 같이 어미 변화가 복잡하여 동일한 어근의 다양한 활용형을 하나의 단어로 인식하기 어렵다. 또한 “훌륭하다”와 “멋지다” 같은 동의어 관계도 문화적 맥락에 따라 미묘한 차이가 있어 단순한 동의어 사전만으로는 정확한 판단이 어렵다.</p><p><strong>(2) 맥락 의존적 동의어 관계의 복잡성</strong><br>동일한 단어라도 문맥에 따라 동의어 관계가 달라질 수 있다. 예를 들어 “빠르다”와 “신속하다”는 일반적으로 동의어로 취급되지만, “빠른 음식”과 “신속한 음식”에서는 의미가 다르다. 현재의 시스템들은 이러한 맥락적 의미 차이를 충분히 고려하지 못하여 false positive나 false negative 결과를 생성할 수 있다.</p><p><strong>(3) 창의적 표현과 문학적 기법의 오판 가능성</strong><br>시, 소설, 광고 카피 등에서는 의도적으로 유사한 의미의 단어들을 반복 사용하여 강조나 리듬감을 만들어내는 경우가 많다. 예를 들어 “아름다운, 멋진, 환상적인 하루”와 같은 표현은 문학적으로는 적절할 수 있지만 시스템에서는 동의어 폭격으로 오인될 수 있다. 이러한 창의적 의도와 조작적 의도를 구분하는 것은 현재 기술로는 매우 어려운 과제다.</p><p><strong>(4) 도메인별 전문 용어와 업계 관례의 미반영</strong><br>의학, 법률, 기술 등 전문 분야에서는 고유한 용어 체계와 표현 관례가 존재한다. 예를 들어 의학 논문에서 “진단, 판단, 평가”는 각각 다른 의미를 가지지만, 일반적인 동의어 사전에서는 유사한 의미로 분류될 수 있다. 이러한 도메인별 특성을 모든 탐지 시스템에 반영하기는 현실적으로 어렵다.</p><p><strong>(5) 실시간 처리 성능의 한계</strong><br>대용량 텍스트 데이터를 실시간으로 처리해야 하는 환경에서는 정확도와 처리 속도 간의 트레이드오프가 발생한다. 정교한 의미 분석을 위해서는 복잡한 알고리즘과 대량의 연산이 필요하지만, 이는 처리 시간과 비용 증가로 이어진다. 특히 소셜 미디어나 실시간 뉴스 피드와 같이 대량의 콘텐츠가 실시간으로 생성되는 환경에서는 이러한 제약이 더욱 두드러진다.</p><p><strong>(6) 적대적 공격에 대한 취약성</strong><br>악의적인 사용자들은 탐지 시스템의 약점을 악용하여 새로운 형태의 동의어 폭격 기법을 개발할 수 있다. 예를 들어 동의어 사이에 중립적인 단어를 삽입하거나, 문법적으로 올바르지만 의미상 중복인 구문을 사용하는 방식으로 탐지를 회피할 수 있다. 이러한 적대적 공격에 대응하기 위해서는 지속적인 시스템 업데이트와 개선이 필요하다.</p><p><strong>(7) 평가 기준의 주관성과 표준화 부족</strong><br>무엇을 “동의어 폭격”으로 간주할 것인지에 대한 명확한 기준이 부족하다. 같은 텍스트라도 평가자에 따라 문제 정도를 다르게 판단할 수 있으며, 이는 시스템의 정확도 평가를 어렵게 만든다. 또한 국제적으로 통용될 수 있는 표준화된 평가 메트릭과 데이터셋이 부족하여 서로 다른 시스템 간의 성능 비교가 어렵다.</p><p><strong>(8) 계산 자원과 비용의 제약</strong><br>고성능 자연어 처리 모델을 사용한 정교한 분석은 상당한 컴퓨팅 자원을 요구한다. 특히 딥러닝 기반 모델들은 GPU나 전용 하드웨어가 필요하며, 이는 중소기업이나 개인 개발자들에게는 용 부담으로 이어진다. 특히 대규모 서비스 환경에서 지속적 모니터링과 실시간 대응을 위해서는 클라우드 자원과 전문 인력이 필요하며, 이는 비용 상승으로 직결된다.</p><p><strong>(9) 프라이버시 및 윤리적 문제</strong><br>사용자 생성 콘텐츠를 분석하기 위해서는 텍스트를 수집·저장·처리해야 하며, 이 과정에서 개인정보와 민감 정보가 포함될 수 있다. 적절한 익명화, 암호화, 접근 통제 정책이 마련되지 않으면 프라이버시 침해 위험이 있다.</p><p><strong>(10) 지속적인 유지보수와 업데이트 필요성</strong><br>언어는 끊임없이 변화하고 새로운 표현이 등장한다. 동의어 사전과 의미 모델을 최신 상태로 유지하지 않으면 탐지 정확도가 급격히 떨어질 수 있다. 따라서 지속적 사전 갱신과 모델 재학습이 필수적이며, 이는 운영 부담을 증가시킨다.</p><h3>6. 결론</h3><p>연속 동의어 폭격 문제는 단순한 텍스트 중복을 넘어 의미론적 중복을 탐지해야 하는 고난도 과제다. 다양한 언어와 도메인을 포괄하고, 실시간 대량 데이터를 처리하며, 창의적 표현과 적대적 공격을 구분해야 한다. 본 글에서는 공통적으로 동의어 그룹 사전, 통계적 지표, N-gram 다양성, 의미 기반 분석, 시간적 패턴 분석 등을 결합하여 높은 정확도를 달성한다.</p><p>문제 해결의 중요성은 검색 엔진 신뢰성 확보, 콘텐츠 품질 관리, 사용자 경험 향상, AI 학습 데이터 품질 보증, 다국어 지원, 실시간 모니터링 등 다방면에 걸친다. 반면, 언어별 특성, 맥락 의존성, 창의 표현, 도메인 특화, 실시간 성능, 적대적 회피, 평가 기준, 자원 비용, 프라이버시, 시스템 유지보수 등의 한계가 있다.</p><p>미래 연구에서는 딥러닝 기반 의미 이해 강화, 대화형·설명 가능한 AI, 자가 학습 사전 업데이트, 경량화 모델 개발, 다국어 교차 학습, 프라이버시 보존 분석 기법, 표준화된 벤치마크 구축 등이 필요하다. 이러한 개선을 통해 더욱 정교하고 신뢰성 높은 동의어 폭격 탐지 시스템을 구현할 수 있을 것이다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=494a3de310ef" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[텍스트 정규화 #41 — 고의적 왜곡/문자 뒤섞기 (욕설 우회)]]></title>
            <link>https://medium.com/@praster1/%ED%85%8D%EC%8A%A4%ED%8A%B8-%EC%A0%95%EA%B7%9C%ED%99%94-41-%EC%9D%98%EC%A0%81-%EC%99%9C%EA%B3%A1-%EB%AC%B8%EC%9E%90-%EB%92%A4%EC%84%9E%EA%B8%B0-%EC%9A%95%EC%84%A4-%EC%9A%B0%ED%9A%8C-60c89d0dad11?source=rss-2267dcfdebd3------2</link>
            <guid isPermaLink="false">https://medium.com/p/60c89d0dad11</guid>
            <category><![CDATA[텍스트정규화]]></category>
            <category><![CDATA[욕설탐지]]></category>
            <category><![CDATA[윤리적책임]]></category>
            <category><![CDATA[비속어우회]]></category>
            <category><![CDATA[초성분해]]></category>
            <dc:creator><![CDATA[Jaeseong Yoo]]></dc:creator>
            <pubDate>Mon, 14 Jul 2025 10:09:44 GMT</pubDate>
            <atom:updated>2025-07-14T14:30:20.556Z</atom:updated>
            <content:encoded><![CDATA[<h3>텍스트 정규화 #41–고의적 왜곡/문자 뒤섞기 (욕설 우회)</h3><h3>1. 문제 상황 소개</h3><p>현대 온라인 환경에서 텍스트 정규화는 자연어 처리의 핵심 단계 중 하나로, 다양한 형태의 입력 데이터를 일관된 형태로 변환하는 과정이다. 하지만 특히 욕설이나 비속어 탐지 시스템에서는 사용자들이 의도적으로 문자를 뒤섞거나 왜곡하여 필터링 시스템을 우회하려는 시도가 빈번하게 발생한다.</p><p>“ㅈㄴ좋음” vs “존나 좋음”, “개ㅊㅅ같음” vs “개쳐싫음”과 같은 사례는 이러한 문제를 명확히 보여준다. 사용자들은 완전한 욕설 단어 대신 초성만을 사용하거나, 문자의 일부를 다른 문자로 대체하는 등의 방법으로 자동화된 욕설 탐지 시스템을 피하려고 한다.</p><p>이러한 고의적 왜곡은 단순한 문자열 매칭 방식의 필터링 시스템에서 심각한 한계를 드러낸다. 전통적인 금칙어 기반 시스템은 미리 정의된 욕설 목록에 의존하기 때문에, 사용자들이 창의적으로 변형한 욕설 표현을 탐지하기 어렵다.</p><p>더 나아가, 한국어의 특성상 초성, 중성, 종성의 조합으로 이루어진 문자 구조는 이러한 우회 방법을 더욱 다양하게 만든다. 예를 들어, “시발”이라는 욕설은 “ㅅㅂ”, “시1발”, “싀발” 등 무수히 많은 변형 형태로 나타날 수 있다.</p><p>이러한 문제는 온라인 게임, 채팅 애플리케이션, 소셜 미디어 플랫폼 등에서 건전한 커뮤니케이션 환경을 구축하는 데 큰 장애물이 되고 있다. 특히 실시간 채팅 환경에서는 빠른 응답 시간과 높은 정확도를 동시에 요구하기 때문에 이 문제가 더욱 중요하다.</p><h3>2. 문제가 발생한 근본 원인 분석</h3><p>고의적 왜곡/문자 뒤섞기 문제의 근본 원인은 여러 층위에서 분석할 수 있다.</p><p><strong>(1) 한국어의 문자 체계적 특성</strong><br>한글은 초성, 중성, 종성으로 구성된 표음 문자로, 각 자모가 독립적으로 존재할 수 있다. 이러한 특성은 “안녕”을 “ㅇㅏㄴㄴㅕㅇ”으로 분해할 수 있게 하며, 사용자들이 이를 악용하여 “ㅅㅂ”와 같은 초성만의 표현을 만들 수 있게 한다.</p><p><strong>(2) 유니코드 정규화의 복잡성</strong><br>한글은 완성형(NFC)과 조합형(NFD) 두 가지 방식으로 표현될 수 있다. 예를 들어, “각”이라는 글자는 완성형에서는 하나의 문자로 인코딩되지만, 조합형에서는 “ㄱ” + “ㅏ” + “ㄱ”의 세 개 문자로 분해된다. 이러한 차이는 동일한 의미의 텍스트가 서로 다른 바이트 시퀀스로 표현될 수 있음을 의미한다.</p><p><strong>(3) 키보드 입력 방식의 다양성</strong><br>한글을 영어 키보드로 입력하는 경우(“tlqkf” → “시발”), 숫자를 중간에 삽입하는 경우(“시1발”), 특수문자를 활용하는 경우(“시*발”) 등 다양한 입력 패턴이 존재한다.</p><p><strong>(4) 형태소 분석의 한계</strong><br>전통적인 형태소 분석기는 정상적인 어휘에 대해서는 높은 성능을 보이지만, 의도적으로 변형된 비표준 표현에 대해서는 제대로 처리하지 못한다. 예를 들어, “개ㅊㅅ같음”과 같은 표현은 기존 형태소 분석기로는 적절히 분석되지 않는다.</p><p><strong>(5) 문맥 정보의 손실</strong><br>욕설 탐지 시스템이 단순히 단어 수준에서만 작동할 경우, 문맥상 욕설의 의미를 가지지만 개별 단어로는 문제가 없는 표현들을 놓칠 수 있다. 예를 들어, “개” + “ㅊㅅ” + “같음”은 각각 분리했을 때는 특별한 의미가 없지만, 조합되면 욕설의 의미를 가진다.</p><p><strong>(6) 실시간 처리의 제약</strong><br>온라인 환경에서는 빠른 응답 시간이 요구되기 때문에, 복잡한 분석 과정을 거치기 어렵다. 이로 인해 정확도와 속도 사이의 트레이드오프가 발생한다.</p><p><strong>(7) 지속적인 변화와 진화</strong><br>사용자들은 기존 필터링 시스템이 탐지하는 패턴을 학습하고, 새로운 우회 방법을 지속적으로 개발한다. 이는 정적인 규칙 기반 시스템으로는 대응하기 어려운 동적 특성을 보여준다.</p><h3>3. 해결 방법</h3><h4>3.1 SQL로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>SQL을 통한 텍스트 정규화와 욕설 우회 감지는 주로 문자열 함수와 정규 표현식을 활용한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>-- 테스트 데이터 생성<br>CREATE TABLE chat_messages (<br>    id INT PRIMARY KEY,<br>    user_id INT,<br>    content TEXT,<br>    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP<br>);<br><br>INSERT INTO chat_messages (id, user_id, content) VALUES<br>(1, 101, &#39;ㅈㄴ좋음&#39;),<br>(2, 102, &#39;존나 좋음&#39;),<br>(3, 103, &#39;개ㅊㅅ같음&#39;),<br>(4, 104, &#39;개쳐싫음&#39;),<br>(5, 105, &#39;시1발 뭐냐&#39;),<br>(6, 106, &#39;안녕하세요&#39;),<br>(7, 107, &#39;ㅅㅂ진짜&#39;),<br>(8, 108, &#39;시*발놈&#39;);<br><br>-- 초성 욕설 패턴 탐지<br>SELECT id, content, <br>       CASE <br>           WHEN content REGEXP &#39;ㅈㄴ|ㅅㅂ|ㅂㅅ&#39; THEN &#39;PROFANITY_DETECTED&#39;<br>           ELSE &#39;CLEAN&#39;<br>       END AS status<br>FROM chat_messages;<br>/*<br>실행 결과(예시):<br><br>id content status<br>1 ㅈㄴ좋음 PROFANITY_DETECTED<br>2 존나 좋음 CLEAN<br>3 개ㅊㅅ같음 CLEAN<br>4 개쳐싫음 CLEAN<br>5 시1발 뭐냐 CLEAN<br>6 안녕하세요 CLEAN<br>7 ㅅㅂ진짜 PROFANITY_DETECTED<br>8 시*발놈 CLEAN<br>*/<br><br>-- 숫자/특수문자 삽입 패턴 탐지<br>SELECT id, content,<br>       CASE <br>           WHEN content REGEXP &#39;시[0-9*@#!]+발|개[0-9*@#!]*[ㅊㅈ][ㅅㅆ]&#39; THEN &#39;PROFANITY_DETECTED&#39;<br>           ELSE &#39;CLEAN&#39;<br>       END AS status<br>FROM chat_messages;<br>/*<br>실행 결과(예시):<br><br>id content status<br>1 ㅈㄴ좋음 CLEAN<br>2 존나 좋음 CLEAN<br>3 개ㅊㅅ같음 CLEAN<br>4 개쳐싫음 CLEAN<br>5 시1발 뭐냐 PROFANITY_DETECTED<br>6 안녕하세요 CLEAN<br>7 ㅅㅂ진짜 CLEAN<br>8 시*발놈 PROFANITY_DETECTED<br>*/<br><br>-- 복합 패턴 탐지 (초성 + 완성형 혼합)<br>SELECT id, content,<br>       CASE <br>           WHEN content REGEXP &#39;개[ㅊㅈ][ㅅㅆ]|개쳐|개[0-9]+쳐&#39; THEN &#39;PROFANITY_DETECTED&#39;<br>           ELSE &#39;CLEAN&#39;<br>       END AS status<br>FROM chat_messages;<br>/*<br>실행 결과(예시):<br><br>id content status<br>1 ㅈㄴ좋음 CLEAN<br>2 존나 좋음 CLEAN<br>3 개ㅊㅅ같음 PROFANITY_DETECTED<br>4 개쳐싫음 PROFANITY_DETECTED<br>5 시1발 뭐냐 CLEAN<br>6 안녕하세요 CLEAN<br>7 ㅅㅂ진짜 CLEAN<br>8 시*발놈 CLEAN<br>*/<br><br>-- 욕설 우회 패턴 정규화 함수<br>DELIMITER $$<br>CREATE FUNCTION normalize_profanity(input_text TEXT) <br>RETURNS TEXT<br>DETERMINISTIC<br>BEGIN<br>    DECLARE normalized_text TEXT;<br>    SET normalized_text = input_text;<br>    <br>    -- 초성을 완성형으로 변환<br>    SET normalized_text = REPLACE(normalized_text, &#39;ㅈㄴ&#39;, &#39;존나&#39;);<br>    SET normalized_text = REPLACE(normalized_text, &#39;ㅅㅂ&#39;, &#39;시발&#39;);<br>    SET normalized_text = REPLACE(normalized_text, &#39;ㅂㅅ&#39;, &#39;병신&#39;);<br>    <br>    -- 숫자 제거<br>    SET normalized_text = REGEXP_REPLACE(normalized_text, &#39;[0-9]+&#39;, &#39;&#39;);<br>    <br>    -- 특수문자 제거<br>    SET normalized_text = REGEXP_REPLACE(normalized_text, &#39;[*@#!]+&#39;, &#39;&#39;);<br>    <br>    RETURN normalized_text;<br>END$$<br>DELIMITER ;<br><br>-- 정규화 함수 적용<br>SELECT id, content, normalize_profanity(content) AS normalized_content<br>FROM chat_messages;<br>/*<br>실행 결과(예시):<br><br>id content normalized_content<br>1 ㅈㄴ좋음 존나좋음<br>2 존나 좋음 존나 좋음<br>3 개ㅊㅅ같음 개ㅊㅅ같음<br>4 개쳐싫음 개쳐싫음<br>5 시1발 뭐냐 시발 뭐냐<br>6 안녕하세요 안녕하세요<br>7 ㅅㅂ진짜 시발진짜<br>8 시*발놈 시발놈<br>*/<br><br>-- 욕설 탐지 및 통계<br>SELECT <br>    DATE(created_at) as date,<br>    COUNT(*) as total_messages,<br>    SUM(CASE WHEN content REGEXP &#39;ㅈㄴ|ㅅㅂ|시[0-9*@#!]*발|개[ㅊㅈ][ㅅㅆ]&#39; THEN 1 ELSE 0 END) as profanity_count,<br>    ROUND(SUM(CASE WHEN content REGEXP &#39;ㅈㄴ|ㅅㅂ|시[0-9*@#!]*발|개[ㅊㅈ][ㅅㅆ]&#39; THEN 1 ELSE 0 END) * 100.0 / COUNT(*), 2) as profanity_rate<br>FROM chat_messages<br>GROUP BY DATE(created_at)<br>ORDER BY date;<br>/*<br>실행 결과(예시):<br><br>date       total_messages profanity_count profanity_rate<br>2025-07-14 8               4               50.00%<br>*/</pre><h4>3.2 Python으로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Python에서는 정규표현식, 한글 처리 라이브러리, 그리고 기계학습 방법을 조합하여 욕설 우회 감지를 구현할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>import re<br>import unicodedata<br>from typing import List, Dict, Tuple<br>import pandas as pd<br>from jamo import h2j, j2hcj<br><br>class ProfanityDetector:<br>    def __init__(self):<br>        # 초성-완성형 매핑 테이블<br>        self.choseong_mapping = {<br>            &#39;ㅈㄴ&#39;: &#39;존나&#39;,<br>            &#39;ㅅㅂ&#39;: &#39;시발&#39;,<br>            &#39;ㅂㅅ&#39;: &#39;병신&#39;,<br>            &#39;ㄱㅅ&#39;: &#39;개새&#39;,<br>            &#39;ㅊㅅ&#39;: &#39;쳐새&#39;<br>        }<br>        <br>        # 영어-한글 키보드 매핑<br>        self.keyboard_mapping = {<br>            &#39;tlqkf&#39;: &#39;시발&#39;,<br>            &#39;rotorl&#39;: &#39;개새&#39;,<br>            &#39;qudtls&#39;: &#39;병신&#39;,<br>            &#39;wjsska&#39;: &#39;전쟁&#39;,<br>            &#39;Tlqkf&#39;: &#39;시발&#39;<br>        }<br>        <br>        # 욕설 패턴 정규표현식<br>        self.profanity_patterns = [<br>            r&#39;ㅈㄴ|ㅅㅂ|ㅂㅅ|ㄱㅅ|ㅊㅅ&#39;,  # 초성 패턴<br>            r&#39;시[0-9*@#!]*발|개[0-9*@#!]*[ㅊㅈ][ㅅㅆ]&#39;,  # 숫자/특수문자 삽입<br>            r&#39;존[0-9*@#!]*나|병[0-9*@#!]*신&#39;,  # 완성형 + 특수문자<br>            r&#39;[시씨][1-9]*[발빨]|[개게][1-9]*[새세]&#39;,  # 유사 문자 치환<br>        ]<br>    <br>    def normalize_unicode(self, text: str) -&gt; str:<br>        &quot;&quot;&quot;유니코드 정규화&quot;&quot;&quot;<br>        # NFD 정규화 후 NFC로 재변환<br>        nfd_text = unicodedata.normalize(&#39;NFD&#39;, text)<br>        return unicodedata.normalize(&#39;NFC&#39;, nfd_text)<br>    <br>    def remove_special_chars(self, text: str) -&gt; str:<br>        &quot;&quot;&quot;특수문자 및 숫자 제거&quot;&quot;&quot;<br>        return re.sub(r&#39;[0-9*@#!]+&#39;, &#39;&#39;, text)<br>    <br>    def convert_keyboard_input(self, text: str) -&gt; str:<br>        &quot;&quot;&quot;영어 키보드 입력을 한글로 변환&quot;&quot;&quot;<br>        for eng, kor in self.keyboard_mapping.items():<br>            text = text.replace(eng, kor)<br>        return text<br>    <br>    def convert_choseong_to_complete(self, text: str) -&gt; str:<br>        &quot;&quot;&quot;초성을 완성형으로 변환&quot;&quot;&quot;<br>        for choseong, complete in self.choseong_mapping.items():<br>            text = text.replace(choseong, complete)<br>        return text<br>    <br>    def detect_profanity_patterns(self, text: str) -&gt; List[Dict]:<br>        &quot;&quot;&quot;욕설 패턴 탐지&quot;&quot;&quot;<br>        detected = []<br>        for i, pattern in enumerate(self.profanity_patterns):<br>            matches = re.finditer(pattern, text)<br>            for match in matches:<br>                detected.append({<br>                    &#39;pattern_id&#39;: i,<br>                    &#39;match&#39;: match.group(),<br>                    &#39;start&#39;: match.start(),<br>                    &#39;end&#39;: match.end(),<br>                    &#39;pattern&#39;: pattern<br>                })<br>        return detected<br>    <br>    def normalize_text(self, text: str) -&gt; str:<br>        &quot;&quot;&quot;전체 텍스트 정규화 프로세스&quot;&quot;&quot;<br>        # 1. 유니코드 정규화<br>        text = self.normalize_unicode(text)<br>        <br>        # 2. 키보드 입력 변환<br>        text = self.convert_keyboard_input(text)<br>        <br>        # 3. 초성을 완성형으로 변환<br>        text = self.convert_choseong_to_complete(text)<br>        <br>        # 4. 특수문자 제거<br>        text = self.remove_special_chars(text)<br>        <br>        return text<br>    <br>    def analyze_text(self, text: str) -&gt; Dict:<br>        &quot;&quot;&quot;텍스트 분석 및 욕설 탐지&quot;&quot;&quot;<br>        original_text = text<br>        normalized_text = self.normalize_text(text)<br>        <br>        # 원본 텍스트에서 패턴 탐지<br>        original_patterns = self.detect_profanity_patterns(original_text)<br>        <br>        # 정규화된 텍스트에서 패턴 탐지<br>        normalized_patterns = self.detect_profanity_patterns(normalized_text)<br>        <br>        is_profanity = len(original_patterns) &gt; 0 or len(normalized_patterns) &gt; 0<br>        <br>        return {<br>            &#39;original_text&#39;: original_text,<br>            &#39;normalized_text&#39;: normalized_text,<br>            &#39;is_profanity&#39;: is_profanity,<br>            &#39;original_patterns&#39;: original_patterns,<br>            &#39;normalized_patterns&#39;: normalized_patterns,<br>            &#39;confidence&#39;: self.calculate_confidence(original_patterns, normalized_patterns)<br>        }<br>    <br>    def calculate_confidence(self, original_patterns: List, normalized_patterns: List) -&gt; float:<br>        &quot;&quot;&quot;탐지 신뢰도 계산&quot;&quot;&quot;<br>        if not original_patterns and not normalized_patterns:<br>            return 0.0<br>        <br>        # 원본에서 탐지된 경우 높은 신뢰도<br>        if original_patterns:<br>            return 0.9<br>        <br>        # 정규화 후에만 탐지된 경우 중간 신뢰도<br>        if normalized_patterns:<br>            return 0.7<br>        <br>        return 0.0<br><br># 사용 예제<br>if __name__ == &quot;__main__&quot;:<br>    detector = ProfanityDetector()<br>    <br>    # 테스트 데이터<br>    test_texts = [<br>        &quot;ㅈㄴ좋음&quot;,<br>        &quot;존나 좋음&quot;,<br>        &quot;개ㅊㅅ같음&quot;,<br>        &quot;개쳐싫음&quot;,<br>        &quot;시1발 뭐냐&quot;,<br>        &quot;안녕하세요&quot;,<br>        &quot;ㅅㅂ진짜&quot;,<br>        &quot;시*발놈&quot;,<br>        &quot;tlqkf 이거뭐야&quot;,<br>        &quot;병1신같은놈&quot;,<br>        &quot;정말 좋습니다&quot;<br>    ]<br>    <br>    results = []<br>    for text in test_texts:<br>        result = detector.analyze_text(text)<br>        results.append(result)<br>        print(f&quot;원본: {result[&#39;original_text&#39;]}&quot;)<br>        print(f&quot;정규화: {result[&#39;normalized_text&#39;]}&quot;)<br>        print(f&quot;욕설 여부: {result[&#39;is_profanity&#39;]}&quot;)<br>        print(f&quot;신뢰도: {result[&#39;confidence&#39;]:.2f}&quot;)<br>        print(&quot;---&quot;)<br>    <br>    # 결과 통계<br>    total_count = len(results)<br>    profanity_count = sum(1 for r in results if r[&#39;is_profanity&#39;])<br>    <br>    print(f&quot;\n=== 분석 결과 ===&quot;)<br>    print(f&quot;총 텍스트 수: {total_count}&quot;)<br>    print(f&quot;욕설 탐지 수: {profanity_count}&quot;)<br>    print(f&quot;욕설 비율: {profanity_count/total_count*100:.1f}%&quot;)<br>    <br>    # 상세 분석<br>    print(&quot;\n=== 상세 분석 ===&quot;)<br>    for result in results:<br>        if result[&#39;is_profanity&#39;]:<br>            print(f&quot;&#39;{result[&#39;original_text&#39;]}&#39; → &#39;{result[&#39;normalized_text&#39;]}&#39; (신뢰도: {result[&#39;confidence&#39;]:.2f})&quot;)<br>            if result[&#39;original_patterns&#39;]:<br>                print(f&quot;  원본 패턴: {[p[&#39;match&#39;] for p in result[&#39;original_patterns&#39;]]}&quot;)<br>            if result[&#39;normalized_patterns&#39;]:<br>                print(f&quot;  정규화 패턴: {[p[&#39;match&#39;] for p in result[&#39;normalized_patterns&#39;]]}&quot;)<br><br># 실행 결과(예시):<br><br># 원본: ㅈㄴ좋음<br># 정규화: 존나좋음<br># 욕설 여부: True<br># 신뢰도: 0.90<br># ---<br># 원본: 존나 좋음<br># 정규화: 존나 좋음<br># 욕설 여부: True<br># 신뢰도: 0.90<br># ---<br># 원본: 개ㅊㅅ같음<br># 정규화: 개쳐새같음<br># 욕설 여부: True<br># 신뢰도: 0.90<br># ---<br># 원본: 시1발 뭐냐<br># 정규화: 시발 뭐냐<br># 욕설 여부: True<br># 신뢰도: 0.90<br># ---<br># 원본: tlqkf 이거뭐야<br># 정규화: 시발 이거뭐야<br># 욕설 여부: True<br># 신뢰도: 0.70<br># ---<br><br># === 분석 결과 ===<br># 총 텍스트 수: 11<br># 욕설 탐지 수: 8<br># 욕설 비율: 72.7%</pre><h4>3.3 R로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>R에서는 stringr, stringi 패키지와 정규표현식을 활용하여 텍스트 정규화를 수행할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>library(stringr)<br>library(stringi)<br>library(dplyr)<br>library(ggplot2)<br><br># 욕설 탐지 클래스 정의<br>ProfanityDetectorR &lt;- function() {<br>  <br>  # 초성-완성형 매핑<br>  choseong_mapping &lt;- list(<br>    &quot;ㅈㄴ&quot; = &quot;존나&quot;,<br>    &quot;ㅅㅂ&quot; = &quot;시발&quot;,<br>    &quot;ㅂㅅ&quot; = &quot;병신&quot;,<br>    &quot;ㄱㅅ&quot; = &quot;개새&quot;,<br>    &quot;ㅊㅅ&quot; = &quot;쳐새&quot;<br>  )<br>  <br>  # 영어-한글 키보드 매핑<br>  keyboard_mapping &lt;- list(<br>    &quot;tlqkf&quot; = &quot;시발&quot;,<br>    &quot;rotorl&quot; = &quot;개새&quot;,<br>    &quot;qudtls&quot; = &quot;병신&quot;,<br>    &quot;wjsska&quot; = &quot;전쟁&quot;,<br>    &quot;Tlqkf&quot; = &quot;시발&quot;<br>  )<br>  <br>  # 욕설 패턴<br>  profanity_patterns &lt;- c(<br>    &quot;ㅈㄴ|ㅅㅂ|ㅂㅅ|ㄱㅅ|ㅊㅅ&quot;,  # 초성 패턴<br>    &quot;시[0-9*@#!]*발|개[0-9*@#!]*[ㅊㅈ][ㅅㅆ]&quot;,  # 숫자/특수문자 삽입<br>    &quot;존[0-9*@#!]*나|병[0-9*@#!]*신&quot;,  # 완성형 + 특수문자<br>    &quot;[시씨][1-9]*[발빨]|[개게][1-9]*[새세]&quot;  # 유사 문자 치환<br>  )<br>  <br>  # 텍스트 정규화 함수<br>  normalize_text &lt;- function(text) {<br>    # 1. 키보드 입력 변환<br>    for (eng in names(keyboard_mapping)) {<br>      text &lt;- str_replace_all(text, eng, keyboard_mapping[[eng]])<br>    }<br>    <br>    # 2. 초성을 완성형으로 변환<br>    for (choseong in names(choseong_mapping)) {<br>      text &lt;- str_replace_all(text, choseong, choseong_mapping[[choseong]])<br>    }<br>    <br>    # 3. 특수문자 제거<br>    text &lt;- str_replace_all(text, &quot;[0-9*@#!]+&quot;, &quot;&quot;)<br>    <br>    return(text)<br>  }<br>  <br>  # 욕설 패턴 탐지<br>  detect_patterns &lt;- function(text) {<br>    detected &lt;- list()<br>    <br>    for (i in seq_along(profanity_patterns)) {<br>      matches &lt;- str_locate_all(text, profanity_patterns[i])[[1]]<br>      if (nrow(matches) &gt; 0) {<br>        for (j in 1:nrow(matches)) {<br>          detected[[length(detected) + 1]] &lt;- list(<br>            pattern_id = i,<br>            match = str_sub(text, matches[j, 1], matches[j, 2]),<br>            start = matches[j, 1],<br>            end = matches[j, 2],<br>            pattern = profanity_patterns[i]<br>          )<br>        }<br>      }<br>    }<br>    <br>    return(detected)<br>  }<br>  <br>  # 텍스트 분석<br>  analyze_text &lt;- function(text) {<br>    original_text &lt;- text<br>    normalized_text &lt;- normalize_text(text)<br>    <br>    # 패턴 탐지<br>    original_patterns &lt;- detect_patterns(original_text)<br>    normalized_patterns &lt;- detect_patterns(normalized_text)<br>    <br>    is_profanity &lt;- length(original_patterns) &gt; 0 || length(normalized_patterns) &gt; 0<br>    <br>    # 신뢰도 계산<br>    confidence &lt;- if (length(original_patterns) &gt; 0) {<br>      0.9<br>    } else if (length(normalized_patterns) &gt; 0) {<br>      0.7<br>    } else {<br>      0.0<br>    }<br>    <br>    return(list(<br>      original_text = original_text,<br>      normalized_text = normalized_text,<br>      is_profanity = is_profanity,<br>      original_patterns = original_patterns,<br>      normalized_patterns = normalized_patterns,<br>      confidence = confidence<br>    ))<br>  }<br>  <br>  # 배치 분석<br>  analyze_batch &lt;- function(texts) {<br>    results &lt;- lapply(texts, analyze_text)<br>    <br>    # 결과를 데이터프레임으로 변환<br>    df &lt;- data.frame(<br>      original_text = sapply(results, function(x) x$original_text),<br>      normalized_text = sapply(results, function(x) x$normalized_text),<br>      is_profanity = sapply(results, function(x) x$is_profanity),<br>      confidence = sapply(results, function(x) x$confidence),<br>      stringsAsFactors = FALSE<br>    )<br>    <br>    return(list(results = results, summary = df))<br>  }<br>  <br>  # 시각화<br>  plot_results &lt;- function(analysis_result) {<br>    df &lt;- analysis_result$summary<br>    <br>    # 욕설 탐지 비율 파이차트<br>    profanity_stats &lt;- df %&gt;%<br>      summarise(<br>        profanity_count = sum(is_profanity),<br>        clean_count = sum(!is_profanity),<br>        total_count = n(),<br>        profanity_rate = profanity_count / total_count * 100<br>      )<br>    <br>    # 파이차트 데이터<br>    pie_data &lt;- data.frame(<br>      category = c(&quot;욕설&quot;, &quot;정상&quot;),<br>      count = c(profanity_stats$profanity_count, profanity_stats$clean_count),<br>      percentage = c(profanity_stats$profanity_rate, 100 - profanity_stats$profanity_rate)<br>    )<br>    <br>    # 파이차트 생성<br>    pie_plot &lt;- ggplot(pie_data, aes(x = &quot;&quot;, y = count, fill = category)) +<br>      geom_bar(stat = &quot;identity&quot;, width = 1) +<br>      coord_polar(&quot;y&quot;, start = 0) +<br>      theme_void() +<br>      labs(title = &quot;욕설 탐지 결과&quot;, fill = &quot;분류&quot;) +<br>      geom_text(aes(label = paste0(round(percentage, 1), &quot;%&quot;)), <br>                position = position_stack(vjust = 0.5))<br>    <br>    # 신뢰도 히스토그램<br>    conf_plot &lt;- ggplot(df, aes(x = confidence, fill = is_profanity)) +<br>      geom_histogram(bins = 10, alpha = 0.7) +<br>      labs(title = &quot;탐지 신뢰도 분포&quot;, x = &quot;신뢰도&quot;, y = &quot;개수&quot;, fill = &quot;욕설 여부&quot;) +<br>      theme_minimal()<br>    <br>    return(list(pie_chart = pie_plot, confidence_hist = conf_plot))<br>  }<br>  <br>  # 함수들을 리스트로 반환<br>  return(list(<br>    normalize_text = normalize_text,<br>    detect_patterns = detect_patterns,<br>    analyze_text = analyze_text,<br>    analyze_batch = analyze_batch,<br>    plot_results = plot_results<br>  ))<br>}<br><br># 사용 예제<br>detector &lt;- ProfanityDetectorR()<br><br># 테스트 데이터<br>test_texts &lt;- c(<br>  &quot;ㅈㄴ좋음&quot;,<br>  &quot;존나 좋음&quot;,<br>  &quot;개ㅊㅅ같음&quot;,<br>  &quot;개쳐싫음&quot;,<br>  &quot;시1발 뭐냐&quot;,<br>  &quot;안녕하세요&quot;,<br>  &quot;ㅅㅂ진짜&quot;,<br>  &quot;시*발놈&quot;,<br>  &quot;tlqkf 이거뭐야&quot;,<br>  &quot;병1신같은놈&quot;,<br>  &quot;정말 좋습니다&quot;<br>)<br><br># 배치 분석 실행<br>analysis_result &lt;- detector$analyze_batch(test_texts)<br><br># 결과 출력<br>print(&quot;=== 분석 결과 ===&quot;)<br>print(analysis_result$summary)<br><br># 통계 정보<br>stats &lt;- analysis_result$summary %&gt;%<br>  summarise(<br>    총_텍스트_수 = n(),<br>    욕설_탐지_수 = sum(is_profanity),<br>    욕설_비율 = round(mean(is_profanity) * 100, 1),<br>    평균_신뢰도 = round(mean(confidence[is_profanity]), 2)<br>  )<br><br>print(&quot;\n=== 통계 정보 ===&quot;)<br>print(stats)<br><br># 상세 분석<br>print(&quot;\n=== 상세 분석 ===&quot;)<br>for (i in seq_along(analysis_result$results)) {<br>  result &lt;- analysis_result$results[[i]]<br>  if (result$is_profanity) {<br>    cat(sprintf(&quot;&#39;%s&#39; → &#39;%s&#39; (신뢰도: %.2f)\n&quot;, <br>                result$original_text, result$normalized_text, result$confidence))<br>  }<br>}<br><br># 시각화<br>plots &lt;- detector$plot_results(analysis_result)<br>print(plots$pie_chart)<br>print(plots$confidence_hist)<br><br><br># 실행 결과(예시):<br><br># === 분석 결과 ===<br>#    original_text normalized_text is_profanity confidence<br># 1         ㅈㄴ좋음          존나좋음         TRUE       0.9<br># 2       존나 좋음        존나 좋음         TRUE       0.9<br># 3        개ㅊㅅ같음       개쳐새같음         TRUE       0.9<br># 4        개쳐싫음        개쳐싫음         TRUE       0.9<br># 5       시1발 뭐냐        시발 뭐냐         TRUE       0.9<br># 6       안녕하세요        안녕하세요        FALSE       0.0<br># 7        ㅅㅂ진짜         시발진짜         TRUE       0.9<br># 8        시*발놈          시발놈         TRUE       0.9<br># 9   tlqkf 이거뭐야    시발 이거뭐야         TRUE       0.7<br># 10      병1신같은놈       병신같은놈         TRUE       0.9<br># 11     정말 좋습니다     정말 좋습니다        FALSE       0.0<br><br># === 통계 정보 ===<br>#   총_텍스트_수 욕설_탐지_수 욕설_비율 평균_신뢰도<br># 1           11            9      81.8         0.88</pre><h4>3.4 Julia로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Julia에서는 String 처리와 정규표현식을 활용한 텍스트 정규화를 수행할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>using Unicode<br>using Printf<br><br># 욕설 탐지 구조체 정의<br>struct ProfanityDetector<br>    choseong_mapping::Dict{String, String}<br>    keyboard_mapping::Dict{String, String}<br>    profanity_patterns::Vector{Regex}<br>    <br>    function ProfanityDetector()<br>        choseong_mapping = Dict(<br>            &quot;ㅈㄴ&quot; =&gt; &quot;존나&quot;,<br>            &quot;ㅅㅂ&quot; =&gt; &quot;시발&quot;,<br>            &quot;ㅂㅅ&quot; =&gt; &quot;병신&quot;,<br>            &quot;ㄱㅅ&quot; =&gt; &quot;개새&quot;,<br>            &quot;ㅊㅅ&quot; =&gt; &quot;쳐새&quot;<br>        )<br>        <br>        keyboard_mapping = Dict(<br>            &quot;tlqkf&quot; =&gt; &quot;시발&quot;,<br>            &quot;rotorl&quot; =&gt; &quot;개새&quot;,<br>            &quot;qudtls&quot; =&gt; &quot;병신&quot;,<br>            &quot;wjsska&quot; =&gt; &quot;전쟁&quot;,<br>            &quot;Tlqkf&quot; =&gt; &quot;시발&quot;<br>        )<br>        <br>        profanity_patterns = [<br>            r&quot;ㅈㄴ|ㅅㅂ|ㅂㅅ|ㄱㅅ|ㅊㅅ&quot;,  # 초성 패턴<br>            r&quot;시[0-9*@#!]*발|개[0-9*@#!]*[ㅊㅈ][ㅅㅆ]&quot;,  # 숫자/특수문자 삽입<br>            r&quot;존[0-9*@#!]*나|병[0-9*@#!]*신&quot;,  # 완성형 + 특수문자<br>            r&quot;[시씨][1-9]*[발빨]|[개게][1-9]*[새세]&quot;  # 유사 문자 치환<br>        ]<br>        <br>        new(choseong_mapping, keyboard_mapping, profanity_patterns)<br>    end<br>end<br><br># 텍스트 정규화 함수<br>function normalize_text(detector::ProfanityDetector, text::String)<br>    # 1. 키보드 입력 변환<br>    for (eng, kor) in detector.keyboard_mapping<br>        text = replace(text, eng =&gt; kor)<br>    end<br>    <br>    # 2. 초성을 완성형으로 변환<br>    for (choseong, complete) in detector.choseong_mapping<br>        text = replace(text, choseong =&gt; complete)<br>    end<br>    <br>    # 3. 특수문자 제거<br>    text = replace(text, r&quot;[0-9*@#!]+&quot; =&gt; &quot;&quot;)<br>    <br>    return text<br>end<br><br># 패턴 탐지 함수<br>function detect_patterns(detector::ProfanityDetector, text::String)<br>    detected = []<br>    <br>    for (i, pattern) in enumerate(detector.profanity_patterns)<br>        matches = eachmatch(pattern, text)<br>        for match in matches<br>            push!(detected, (<br>                pattern_id = i,<br>                match = match.match,<br>                start = match.offset,<br>                end_ = match.offset + length(match.match) - 1,<br>                pattern = pattern<br>            ))<br>        end<br>    end<br>    <br>    return detected<br>end<br><br># 텍스트 분석 함수<br>function analyze_text(detector::ProfanityDetector, text::String)<br>    original_text = text<br>    normalized_text = normalize_text(detector, text)<br>    <br>    # 패턴 탐지<br>    original_patterns = detect_patterns(detector, original_text)<br>    normalized_patterns = detect_patterns(detector, normalized_text)<br>    <br>    is_profanity = length(original_patterns) &gt; 0 || length(normalized_patterns) &gt; 0<br>    <br>    # 신뢰도 계산<br>    confidence = if length(original_patterns) &gt; 0<br>        0.9<br>    elseif length(normalized_patterns) &gt; 0<br>        0.7<br>    else<br>        0.0<br>    end<br>    <br>    return (<br>        original_text = original_text,<br>        normalized_text = normalized_text,<br>        is_profanity = is_profanity,<br>        original_patterns = original_patterns,<br>        normalized_patterns = normalized_patterns,<br>        confidence = confidence<br>    )<br>end<br><br># 배치 분석 함수<br>function analyze_batch(detector::ProfanityDetector, texts::Vector{String})<br>    results = [analyze_text(detector, text) for text in texts]<br>    <br>    # 통계 계산<br>    total_count = length(results)<br>    profanity_count = sum(result.is_profanity for result in results)<br>    profanity_rate = profanity_count / total_count * 100<br>    <br>    avg_confidence = if profanity_count &gt; 0<br>        sum(result.confidence for result in results if result.is_profanity) / profanity_count<br>    else<br>        0.0<br>    end<br>    <br>    return (<br>        results = results,<br>        stats = (<br>            total_count = total_count,<br>            profanity_count = profanity_count,<br>            profanity_rate = profanity_rate,<br>            avg_confidence = avg_confidence<br>        )<br>    )<br>end<br><br># 결과 출력 함수<br>function print_results(analysis_result)<br>    results = analysis_result.results<br>    stats = analysis_result.stats<br>    <br>    println(&quot;=== 분석 결과 ===&quot;)<br>    for (i, result) in enumerate(results)<br>        @printf &quot;%2d. &#39;%s&#39; → &#39;%s&#39; [%s] (신뢰도: %.2f)\n&quot; i result.original_text result.normalized_text (result.is_profanity ? &quot;욕설&quot; : &quot;정상&quot;) result.confidence<br>    end<br>    <br>    println(&quot;\n=== 통계 정보 ===&quot;)<br>    @printf &quot;총 텍스트 수: %d\n&quot; stats.total_count<br>    @printf &quot;욕설 탐지 수: %d\n&quot; stats.profanity_count<br>    @printf &quot;욕설 비율: %.1f%%\n&quot; stats.profanity_rate<br>    @printf &quot;평균 신뢰도: %.2f\n&quot; stats.avg_confidence<br>    <br>    println(&quot;\n=== 상세 분석 ===&quot;)<br>    for result in results<br>        if result.is_profanity<br>            @printf &quot;&#39;%s&#39; → &#39;%s&#39; (신뢰도: %.2f)\n&quot; result.original_text result.normalized_text result.confidence<br>            if length(result.original_patterns) &gt; 0<br>                pattern_matches = [p.match for p in result.original_patterns]<br>                @printf &quot;  원본 패턴: %s\n&quot; join(pattern_matches, &quot;, &quot;)<br>            end<br>            if length(result.normalized_patterns) &gt; 0<br>                pattern_matches = [p.match for p in result.normalized_patterns]<br>                @printf &quot;  정규화 패턴: %s\n&quot; join(pattern_matches, &quot;, &quot;)<br>            end<br>        end<br>    end<br>end<br><br># 성능 테스트 함수<br>function performance_test(detector::ProfanityDetector, texts::Vector{String}, iterations::Int = 1000)<br>    println(&quot;=== 성능 테스트 ===&quot;)<br>    <br>    # 단일 텍스트 분석 성능<br>    sample_text = texts[1]<br>    @time for _ in 1:iterations<br>        analyze_text(detector, sample_text)<br>    end<br>    <br>    # 배치 분석 성능<br>    @time for _ in 1:100<br>        analyze_batch(detector, texts)<br>    end<br>    <br>    println(&quot;성능 테스트 완료&quot;)<br>end<br><br># 사용 예제<br>function main()<br>    # 탐지기 초기화<br>    detector = ProfanityDetector()<br>    <br>    # 테스트 데이터<br>    test_texts = [<br>        &quot;ㅈㄴ좋음&quot;,<br>        &quot;존나 좋음&quot;,<br>        &quot;개ㅊㅅ같음&quot;,<br>        &quot;개쳐싫음&quot;,<br>        &quot;시1발 뭐냐&quot;,<br>        &quot;안녕하세요&quot;,<br>        &quot;ㅅㅂ진짜&quot;,<br>        &quot;시*발놈&quot;,<br>        &quot;tlqkf 이거뭐야&quot;,<br>        &quot;병1신같은놈&quot;,<br>        &quot;정말 좋습니다&quot;<br>    ]<br>    <br>    # 배치 분석 실행<br>    analysis_result = analyze_batch(detector, test_texts)<br>    <br>    # 결과 출력<br>    print_results(analysis_result)<br>    <br>    # 성능 테스트<br>    performance_test(detector, test_texts)<br>    <br>    println(&quot;\n분석 완료!&quot;)<br>end<br><br># 프로그램 실행<br>main()<br><br><br># 실행 결과(예시):<br><br># === 분석 결과 ===<br>#  1. &#39;ㅈㄴ좋음&#39; → &#39;존나좋음&#39; [욕설] (신뢰도: 0.90)<br>#  2. &#39;존나 좋음&#39; → &#39;존나 좋음&#39; [욕설] (신뢰도: 0.90)<br>#  3. &#39;개ㅊㅅ같음&#39; → &#39;개쳐새같음&#39; [욕설] (신뢰도: 0.90)<br>#  4. &#39;개쳐싫음&#39; → &#39;개쳐싫음&#39; [욕설] (신뢰도: 0.90)<br>#  5. &#39;시1발 뭐냐&#39; → &#39;시발 뭐냐&#39; [욕설] (신뢰도: 0.90)<br>#  6. &#39;안녕하세요&#39; → &#39;안녕하세요&#39; [정상] (신뢰도: 0.00)<br>#  7. &#39;ㅅㅂ진짜&#39; → &#39;시발진짜&#39; [욕설] (신뢰도: 0.90)<br>#  8. &#39;시*발놈&#39; → &#39;시발놈&#39; [욕설] (신뢰도: 0.90)<br>#  9. &#39;tlqkf 이거뭐야&#39; → &#39;시발 이거뭐야&#39; [욕설] (신뢰도: 0.70)<br># 10. &#39;병1신같은놈&#39; → &#39;병신같은놈&#39; [욕설] (신뢰도: 0.90)<br># 11. &#39;정말 좋습니다&#39; → &#39;정말 좋습니다&#39; [정상] (신뢰도: 0.00)<br><br># === 통계 정보 ===<br># 총 텍스트 수: 11<br># 욕설 탐지 수: 9<br># 욕설 비율: 81.8%<br># 평균 신뢰도: 0.87<br><br># === 성능 테스트 ===<br>#   0.000123 seconds (1.00 k allocations: 109.375 KiB)<br>#   0.001234 seconds (10.00 k allocations: 1.094 MiB)<br># 성능 테스트 완료<br><br># 분석 완료!</pre><h4>3.5 Go로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Go에서는 regexp 패키지와 strings 패키지를 활용하여 텍스트 정규화를 수행할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>package main<br><br>import (<br>    &quot;fmt&quot;<br>    &quot;regexp&quot;<br>    &quot;strings&quot;<br>    &quot;time&quot;<br>)<br><br>// 패턴 매치 결과 구조체<br>type PatternMatch struct {<br>    PatternID int<br>    Match     string<br>    Start     int<br>    End       int<br>    Pattern   string<br>}<br><br>// 텍스트 분석 결과 구조체<br>type AnalysisResult struct {<br>    OriginalText       string<br>    NormalizedText     string<br>    IsProfanity        bool<br>    OriginalPatterns   []PatternMatch<br>    NormalizedPatterns []PatternMatch<br>    Confidence         float64<br>}<br><br>// 통계 정보 구조체<br>type Statistics struct {<br>    TotalCount     int<br>    ProfanityCount int<br>    ProfanityRate  float64<br>    AvgConfidence  float64<br>}<br><br>// 욕설 탐지기 구조체<br>type ProfanityDetector struct {<br>    ChoseongMapping  map[string]string<br>    KeyboardMapping  map[string]string<br>    ProfanityPatterns []*regexp.Regexp<br>    PatternStrings   []string<br>}<br><br>// 생성자<br>func NewProfanityDetector() *ProfanityDetector {<br>    detector := &amp;ProfanityDetector{<br>        ChoseongMapping: map[string]string{<br>            &quot;ㅈㄴ&quot;: &quot;존나&quot;,<br>            &quot;ㅅㅂ&quot;: &quot;시발&quot;,<br>            &quot;ㅂㅅ&quot;: &quot;병신&quot;,<br>            &quot;ㄱㅅ&quot;: &quot;개새&quot;,<br>            &quot;ㅊㅅ&quot;: &quot;쳐새&quot;,<br>        },<br>        KeyboardMapping: map[string]string{<br>            &quot;tlqkf&quot;:  &quot;시발&quot;,<br>            &quot;rotorl&quot;: &quot;개새&quot;,<br>            &quot;qudtls&quot;: &quot;병신&quot;,<br>            &quot;wjsska&quot;: &quot;전쟁&quot;,<br>            &quot;Tlqkf&quot;:  &quot;시발&quot;,<br>        },<br>        PatternStrings: []string{<br>            `ㅈㄴ|ㅅㅂ|ㅂㅅ|ㄱㅅ|ㅊㅅ`,                     // 초성 패턴<br>            `시[0-9*@#!]*발|개[0-9*@#!]*[ㅊㅈ][ㅅㅆ]`,        // 숫자/특수문자 삽입<br>            `존[0-9*@#!]*나|병[0-9*@#!]*신`,                // 완성형 + 특수문자<br>            `[시씨][1-9]*[발빨]|[개게][1-9]*[새세]`,          // 유사 문자 치환<br>        },<br>    }<br>    <br>    // 정규표현식 컴파일<br>    for _, pattern := range detector.PatternStrings {<br>        re := regexp.MustCompile(pattern)<br>        detector.ProfanityPatterns = append(detector.ProfanityPatterns, re)<br>    }<br>    <br>    return detector<br>}<br><br>// 텍스트 정규화<br>func (d *ProfanityDetector) NormalizeText(text string) string {<br>    // 1. 키보드 입력 변환<br>    for eng, kor := range d.KeyboardMapping {<br>        text = strings.ReplaceAll(text, eng, kor)<br>    }<br>    <br>    // 2. 초성을 완성형으로 변환<br>    for choseong, complete := range d.ChoseongMapping {<br>        text = strings.ReplaceAll(text, choseong, complete)<br>    }<br>    <br>    // 3. 특수문자 제거<br>    re := regexp.MustCompile(`[0-9*@#!]+`)<br>    text = re.ReplaceAllString(text, &quot;&quot;)<br>    <br>    return text<br>}<br><br>// 패턴 탐지<br>func (d *ProfanityDetector) DetectPatterns(text string) []PatternMatch {<br>    var detected []PatternMatch<br>    <br>    for i, pattern := range d.ProfanityPatterns {<br>        matches := pattern.FindAllStringSubmatch(text, -1)<br>        indices := pattern.FindAllStringIndex(text, -1)<br>        <br>        for j, match := range matches {<br>            if j &lt; len(indices) {<br>                detected = append(detected, PatternMatch{<br>                    PatternID: i,<br>                    Match:     match[0],<br>                    Start:     indices[j][0],<br>                    End:       indices[j][1],<br>                    Pattern:   d.PatternStrings[i],<br>                })<br>            }<br>        }<br>    }<br>    <br>    return detected<br>}<br><br>// 신뢰도 계산<br>func (d *ProfanityDetector) calculateConfidence(originalPatterns, normalizedPatterns []PatternMatch) float64 {<br>    if len(originalPatterns) == 0 &amp;&amp; len(normalizedPatterns) == 0 {<br>        return 0.0<br>    }<br>    <br>    // 원본에서 탐지된 경우 높은 신뢰도<br>    if len(originalPatterns) &gt; 0 {<br>        return 0.9<br>    }<br>    <br>    // 정규화 후에만 탐지된 경우 중간 신뢰도<br>    if len(normalizedPatterns) &gt; 0 {<br>        return 0.7<br>    }<br>    <br>    return 0.0<br>}<br><br>// 텍스트 분석<br>func (d *ProfanityDetector) AnalyzeText(text string) AnalysisResult {<br>    originalText := text<br>    normalizedText := d.NormalizeText(text)<br>    <br>    // 패턴 탐지<br>    originalPatterns := d.DetectPatterns(originalText)<br>    normalizedPatterns := d.DetectPatterns(normalizedText)<br>    <br>    isProfanity := len(originalPatterns) &gt; 0 || len(normalizedPatterns) &gt; 0<br>    confidence := d.calculateConfidence(originalPatterns, normalizedPatterns)<br>    <br>    return AnalysisResult{<br>        OriginalText:       originalText,<br>        NormalizedText:     normalizedText,<br>        IsProfanity:        isProfanity,<br>        OriginalPatterns:   originalPatterns,<br>        NormalizedPatterns: normalizedPatterns,<br>        Confidence:         confidence,<br>    }<br>}<br><br>// 배치 분석<br>func (d *ProfanityDetector) AnalyzeBatch(texts []string) ([]AnalysisResult, Statistics) {<br>    results := make([]AnalysisResult, len(texts))<br>    profanityCount := 0<br>    totalConfidence := 0.0<br>    <br>    for i, text := range texts {<br>        results[i] = d.AnalyzeText(text)<br>        if results[i].IsProfanity {<br>            profanityCount++<br>            totalConfidence += results[i].Confidence<br>        }<br>    }<br>    <br>    profanityRate := float64(profanityCount) / float64(len(texts)) * 100<br>    avgConfidence := 0.0<br>    if profanityCount &gt; 0 {<br>        avgConfidence = totalConfidence / float64(profanityCount)<br>    }<br>    <br>    stats := Statistics{<br>        TotalCount:     len(texts),<br>        ProfanityCount: profanityCount,<br>        ProfanityRate:  profanityRate,<br>        AvgConfidence:  avgConfidence,<br>    }<br>    <br>    return results, stats<br>}<br><br>// 결과 출력<br>func (d *ProfanityDetector) PrintResults(results []AnalysisResult, stats Statistics) {<br>    fmt.Println(&quot;=== 분석 결과 ===&quot;)<br>    for i, result := range results {<br>        status := &quot;정상&quot;<br>        if result.IsProfanity {<br>            status = &quot;욕설&quot;<br>        }<br>        fmt.Printf(&quot;%2d. &#39;%s&#39; → &#39;%s&#39; [%s] (신뢰도: %.2f)\n&quot;, <br>            i+1, result.OriginalText, result.NormalizedText, status, result.Confidence)<br>    }<br>    <br>    fmt.Println(&quot;\n=== 통계 정보 ===&quot;)<br>    fmt.Printf(&quot;총 텍스트 수: %d\n&quot;, stats.TotalCount)<br>    fmt.Printf(&quot;욕설 탐지 수: %d\n&quot;, stats.ProfanityCount)<br>    fmt.Printf(&quot;욕설 비율: %.1f%%\n&quot;, stats.ProfanityRate)<br>    fmt.Printf(&quot;평균 신뢰도: %.2f\n&quot;, stats.AvgConfidence)<br>    <br>    fmt.Println(&quot;\n=== 상세 분석 ===&quot;)<br>    for _, result := range results {<br>        if result.IsProfanity {<br>            fmt.Printf(&quot;&#39;%s&#39; → &#39;%s&#39; (신뢰도: %.2f)\n&quot;, <br>                result.OriginalText, result.NormalizedText, result.Confidence)<br>            <br>            if len(result.OriginalPatterns) &gt; 0 {<br>                fmt.Print(&quot;  원본 패턴: &quot;)<br>                for i, pattern := range result.OriginalPatterns {<br>                    if i &gt; 0 {<br>                        fmt.Print(&quot;, &quot;)<br>                    }<br>                    fmt.Print(pattern.Match)<br>                }<br>                fmt.Println()<br>            }<br>            <br>            if len(result.NormalizedPatterns) &gt; 0 {<br>                fmt.Print(&quot;  정규화 패턴: &quot;)<br>                for i, pattern := range result.NormalizedPatterns {<br>                    if i &gt; 0 {<br>                        fmt.Print(&quot;, &quot;)<br>                    }<br>                    fmt.Print(pattern.Match)<br>                }<br>                fmt.Println()<br>            }<br>        }<br>    }<br>}<br><br>// 성능 테스트<br>func (d *ProfanityDetector) PerformanceTest(texts []string) {<br>    fmt.Println(&quot;=== 성능 테스트 ===&quot;)<br>    <br>    // 단일 텍스트 분석 성능<br>    sampleText := texts[0]<br>    iterations := 1000<br>    <br>    start := time.Now()<br>    for i := 0; i &lt; iterations; i++ {<br>        d.AnalyzeText(sampleText)<br>    }<br>    duration := time.Since(start)<br>    <br>    fmt.Printf(&quot;단일 텍스트 분석 %d회: %v (평균: %v)\n&quot;, <br>        iterations, duration, duration/time.Duration(iterations))<br>    <br>    // 배치 분석 성능<br>    batchIterations := 100<br>    start = time.Now()<br>    for i := 0; i &lt; batchIterations; i++ {<br>        d.AnalyzeBatch(texts)<br>    }<br>    duration = time.Since(start)<br>    <br>    fmt.Printf(&quot;배치 분석 %d회: %v (평균: %v)\n&quot;, <br>        batchIterations, duration, duration/time.Duration(batchIterations))<br>    <br>    fmt.Println(&quot;성능 테스트 완료&quot;)<br>}<br><br>func main() {<br>    // 탐지기 초기화<br>    detector := NewProfanityDetector()<br>    <br>    // 테스트 데이터<br>    testTexts := []string{<br>        &quot;ㅈㄴ좋음&quot;,<br>        &quot;존나 좋음&quot;,<br>        &quot;개ㅊㅅ같음&quot;,<br>        &quot;개쳐싫음&quot;,<br>        &quot;시1발 뭐냐&quot;,<br>        &quot;안녕하세요&quot;,<br>        &quot;ㅅㅂ진짜&quot;,<br>        &quot;시*발놈&quot;,<br>        &quot;tlqkf 이거뭐야&quot;,<br>        &quot;병1신같은놈&quot;,<br>        &quot;정말 좋습니다&quot;,<br>    }<br>    <br>    // 배치 분석 실행<br>    results, stats := detector.AnalyzeBatch(testTexts)<br>    <br>    // 결과 출력<br>    detector.PrintResults(results, stats)<br>    <br>    // 성능 테스트<br>    detector.PerformanceTest(testTexts)<br>    <br>    fmt.Println(&quot;\n분석 완료!&quot;)<br>}<br><br><br>/*<br>실행 결과(예시):<br><br>=== 분석 결과 ===<br> 1. &#39;ㅈㄴ좋음&#39; → &#39;존나좋음&#39; [욕설] (신뢰도: 0.90)<br> 2. &#39;존나 좋음&#39; → &#39;존나 좋음&#39; [욕설] (신뢰도: 0.90)<br> 3. &#39;개ㅊㅅ같음&#39; → &#39;개쳐새같음&#39; [욕설] (신뢰도: 0.90)<br> 4. &#39;개쳐싫음&#39; → &#39;개쳐싫음&#39; [욕설] (신뢰도: 0.90)<br> 5. &#39;시1발 뭐냐&#39; → &#39;시발 뭐냐&#39; [욕설] (신뢰도: 0.90)<br> 6. &#39;안녕하세요&#39; → &#39;안녕하세요&#39; [정상] (신뢰도: 0.00)<br> 7. &#39;ㅅㅂ진짜&#39; → &#39;시발진짜&#39; [욕설] (신뢰도: 0.90)<br> 8. &#39;시*발놈&#39; → &#39;시발놈&#39; [욕설] (신뢰도: 0.90)<br> 9. &#39;tlqkf 이거뭐야&#39; → &#39;시발 이거뭐야&#39; [욕설] (신뢰도: 0.70)<br>10. &#39;병1신같은놈&#39; → &#39;병신같은놈&#39; [욕설] (신뢰도: 0.90)<br>11. &#39;정말 좋습니다&#39; → &#39;정말 좋습니다&#39; [정상] (신뢰도: 0.00)<br><br>=== 통계 정보 ===<br>총 텍스트 수: 11<br>욕설 탐지 수: 9<br>욕설 비율: 81.8%<br>평균 신뢰도: 0.87<br><br>=== 성능 테스트 ===<br>단일 텍스트 분석 1000회: 12.345ms (평균: 12.345µs)<br>배치 분석 100회: 123.456ms (평균: 1.23456ms)<br>성능 테스트 완료<br><br>분석 완료!<br>*/</pre><h4>3.6 C로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>C언어에서는 string.h 헤더와 정규표현식 라이브러리를 활용한 텍스트 처리를 수행할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>#include &lt;stdio.h&gt;<br>#include &lt;stdlib.h&gt;<br>#include &lt;string.h&gt;<br>#include &lt;regex.h&gt;<br>#include &lt;time.h&gt;<br><br>#define MAX_TEXT_LENGTH 1000<br>#define MAX_PATTERNS 10<br>#define MAX_MATCHES 50<br><br>// 패턴 매치 구조체<br>typedef struct {<br>    int pattern_id;<br>    char match[100];<br>    int start;<br>    int end;<br>    char pattern[200];<br>} PatternMatch;<br><br>// 분석 결과 구조체<br>typedef struct {<br>    char original_text[MAX_TEXT_LENGTH];<br>    char normalized_text[MAX_TEXT_LENGTH];<br>    int is_profanity;<br>    PatternMatch original_patterns[MAX_MATCHES];<br>    PatternMatch normalized_patterns[MAX_MATCHES];<br>    int original_pattern_count;<br>    int normalized_pattern_count;<br>    double confidence;<br>} AnalysisResult;<br><br>// 통계 구조체<br>typedef struct {<br>    int total_count;<br>    int profanity_count;<br>    double profanity_rate;<br>    double avg_confidence;<br>} Statistics;<br><br>// 욕설 탐지기 구조체<br>typedef struct {<br>    char choseong_mapping[10][2][20];<br>    char keyboard_mapping[10][2][20];<br>    char profanity_patterns[MAX_PATTERNS][200];<br>    regex_t compiled_patterns[MAX_PATTERNS];<br>    int pattern_count;<br>    int mapping_count;<br>    int keyboard_count;<br>} ProfanityDetector;<br><br>// 문자열 치환 함수<br>void replace_all(char *str, const char *old_str, const char *new_str) {<br>    char *pos = str;<br>    char temp[MAX_TEXT_LENGTH];<br>    int old_len = strlen(old_str);<br>    int new_len = strlen(new_str);<br>    <br>    while ((pos = strstr(pos, old_str)) != NULL) {<br>        // 치환할 부분 이후를 임시 저장<br>        strcpy(temp, pos + old_len);<br>        <br>        // 새 문자열 복사<br>        strcpy(pos, new_str);<br>        <br>        // 나머지 부분 복사<br>        strcpy(pos + new_len, temp);<br>        <br>        pos += new_len;<br>    }<br>}<br><br>// 특수문자 제거 함수<br>void remove_special_chars(char *str) {<br>    char *src = str;<br>    char *dst = str;<br>    <br>    while (*src) {<br>        if (!((*src &gt;= &#39;0&#39; &amp;&amp; *src &lt;= &#39;9&#39;) || <br>              *src == &#39;*&#39; || *src == &#39;@&#39; || *src == &#39;#&#39; || *src == &#39;!&#39;)) {<br>            *dst++ = *src;<br>        }<br>        src++;<br>    }<br>    *dst = &#39;\0&#39;;<br>}<br><br>// 탐지기 초기화<br>void init_detector(ProfanityDetector *detector) {<br>    // 초성-완성형 매핑 초기화<br>    strcpy(detector-&gt;choseong_mapping[0][0], &quot;ㅈㄴ&quot;);<br>    strcpy(detector-&gt;choseong_mapping[0][1], &quot;존나&quot;);<br>    strcpy(detector-&gt;choseong_mapping[1][0], &quot;ㅅㅂ&quot;);<br>    strcpy(detector-&gt;choseong_mapping[1][1], &quot;시발&quot;);<br>    strcpy(detector-&gt;choseong_mapping[2][0], &quot;ㅂㅅ&quot;);<br>    strcpy(detector-&gt;choseong_mapping[2][1], &quot;병신&quot;);<br>    strcpy(detector-&gt;choseong_mapping[3][0], &quot;ㄱㅅ&quot;);<br>    strcpy(detector-&gt;choseong_mapping[3][1], &quot;개새&quot;);<br>    strcpy(detector-&gt;choseong_mapping[4][0], &quot;ㅊㅅ&quot;);<br>    strcpy(detector-&gt;choseong_mapping[4][1], &quot;쳐새&quot;);<br>    detector-&gt;mapping_count = 5;<br>    <br>    // 키보드 매핑 초기화<br>    strcpy(detector-&gt;keyboard_mapping[0][0], &quot;tlqkf&quot;);<br>    strcpy(detector-&gt;keyboard_mapping[0][1], &quot;시발&quot;);<br>    strcpy(detector-&gt;keyboard_mapping[1][0], &quot;rotorl&quot;);<br>    strcpy(detector-&gt;keyboard_mapping[1][1], &quot;개새&quot;);<br>    strcpy(detector-&gt;keyboard_mapping[2][0], &quot;qudtls&quot;);<br>    strcpy(detector-&gt;keyboard_mapping[2][1], &quot;병신&quot;);<br>    strcpy(detector-&gt;keyboard_mapping[3][0], &quot;Tlqkf&quot;);<br>    strcpy(detector-&gt;keyboard_mapping[3][1], &quot;시발&quot;);<br>    detector-&gt;keyboard_count = 4;<br>    <br>    // 패턴 초기화<br>    strcpy(detector-&gt;profanity_patterns[0], &quot;ㅈㄴ|ㅅㅂ|ㅂㅅ|ㄱㅅ|ㅊㅅ&quot;);<br>    strcpy(detector-&gt;profanity_patterns[1], &quot;시.*발&quot;);<br>    strcpy(detector-&gt;profanity_patterns[2], &quot;개.*[ㅊㅈ].*[ㅅㅆ]&quot;);<br>    strcpy(detector-&gt;profanity_patterns[3], &quot;존.*나|병.*신&quot;);<br>    detector-&gt;pattern_count = 4;<br>    <br>    // 정규표현식 컴파일<br>    for (int i = 0; i &lt; detector-&gt;pattern_count; i++) {<br>        if (regcomp(&amp;detector-&gt;compiled_patterns[i], detector-&gt;profanity_patterns[i], REG_EXTENDED) != 0) {<br>            printf(&quot;패턴 컴파일 실패: %s\n&quot;, detector-&gt;profanity_patterns[i]);<br>        }<br>    }<br>}<br><br>// 텍스트 정규화<br>void normalize_text(ProfanityDetector *detector, const char *input, char *output) {<br>    strcpy(output, input);<br>    <br>    // 키보드 입력 변환<br>    for (int i = 0; i &lt; detector-&gt;keyboard_count; i++) {<br>        replace_all(output, detector-&gt;keyboard_mapping[i][0], detector-&gt;keyboard_mapping[i][1]);<br>    }<br>    <br>    // 초성을 완성형으로 변환<br>    for (int i = 0; i &lt; detector-&gt;mapping_count; i++) {<br>        replace_all(output, detector-&gt;choseong_mapping[i][0], detector-&gt;choseong_mapping[i][1]);<br>    }<br>    <br>    // 특수문자 제거<br>    remove_special_chars(output);<br>}<br><br>// 패턴 탐지<br>int detect_patterns(ProfanityDetector *detector, const char *text, PatternMatch *matches) {<br>    int match_count = 0;<br>    regmatch_t pmatch[10];<br>    <br>    for (int i = 0; i &lt; detector-&gt;pattern_count; i++) {<br>        int result = regexec(&amp;detector-&gt;compiled_patterns[i], text, 1, pmatch, 0);<br>        if (result == 0) {<br>            matches[match_count].pattern_id = i;<br>            matches[match_count].start = pmatch[0].rm_so;<br>            matches[match_count].end = pmatch[0].rm_eo;<br>            <br>            // 매치된 문자열 복사<br>            int len = pmatch[0].rm_eo - pmatch[0].rm_so;<br>            strncpy(matches[match_count].match, text + pmatch[0].rm_so, len);<br>            matches[match_count].match[len] = &#39;\0&#39;;<br>            <br>            strcpy(matches[match_count].pattern, detector-&gt;profanity_patterns[i]);<br>            match_count++;<br>        }<br>    }<br>    <br>    return match_count;<br>}<br><br>// 신뢰도 계산<br>double calculate_confidence(int original_count, int normalized_count) {<br>    if (original_count == 0 &amp;&amp; normalized_count == 0) {<br>        return 0.0;<br>    }<br>    <br>    if (original_count &gt; 0) {<br>        return 0.9;<br>    }<br>    <br>    if (normalized_count &gt; 0) {<br>        return 0.7;<br>    }<br>    <br>    return 0.0;<br>}<br><br>// 텍스트 분석<br>AnalysisResult analyze_text(ProfanityDetector *detector, const char *text) {<br>    AnalysisResult result;<br>    <br>    strcpy(result.original_text, text);<br>    normalize_text(detector, text, result.normalized_text);<br>    <br>    // 패턴 탐지<br>    result.original_pattern_count = detect_patterns(detector, result.original_text, result.original_patterns);<br>    result.normalized_pattern_count = detect_patterns(detector, result.normalized_text, result.normalized_patterns);<br>    <br>    result.is_profanity = (result.original_pattern_count &gt; 0) || (result.normalized_pattern_count &gt; 0);<br>    result.confidence = calculate_confidence(result.original_pattern_count, result.normalized_pattern_count);<br>    <br>    return result;<br>}<br><br>// 배치 분석<br>Statistics analyze_batch(ProfanityDetector *detector, char texts[][MAX_TEXT_LENGTH], int count, AnalysisResult *results) {<br>    Statistics stats;<br>    int profanity_count = 0;<br>    double total_confidence = 0.0;<br>    <br>    for (int i = 0; i &lt; count; i++) {<br>        results[i] = analyze_text(detector, texts[i]);<br>        if (results[i].is_profanity) {<br>            profanity_count++;<br>            total_confidence += results[i].confidence;<br>        }<br>    }<br>    <br>    stats.total_count = count;<br>    stats.profanity_count = profanity_count;<br>    stats.profanity_rate = (double)profanity_count / count * 100.0;<br>    stats.avg_confidence = (profanity_count &gt; 0) ? total_confidence / profanity_count : 0.0;<br>    <br>    return stats;<br>}<br><br>// 결과 출력<br>void print_results(AnalysisResult *results, Statistics stats, int count) {<br>    printf(&quot;=== 분석 결과 ===\n&quot;);<br>    for (int i = 0; i &lt; count; i++) {<br>        printf(&quot;%2d. &#39;%s&#39; → &#39;%s&#39; [%s] (신뢰도: %.2f)\n&quot;, <br>               i + 1, results[i].original_text, results[i].normalized_text, <br>               results[i].is_profanity ? &quot;욕설&quot; : &quot;정상&quot;, results[i].confidence);<br>    }<br>    <br>    printf(&quot;\n=== 통계 정보 ===\n&quot;);<br>    printf(&quot;총 텍스트 수: %d\n&quot;, stats.total_count);<br>    printf(&quot;욕설 탐지 수: %d\n&quot;, stats.profanity_count);<br>    printf(&quot;욕설 비율: %.1f%%\n&quot;, stats.profanity_rate);<br>    printf(&quot;평균 신뢰도: %.2f\n&quot;, stats.avg_confidence);<br>    <br>    printf(&quot;\n=== 상세 분석 ===\n&quot;);<br>    for (int i = 0; i &lt; count; i++) {<br>        if (results[i].is_profanity) {<br>            printf(&quot;&#39;%s&#39; → &#39;%s&#39; (신뢰도: %.2f)\n&quot;, <br>                   results[i].original_text, results[i].normalized_text, results[i].confidence);<br>            <br>            if (results[i].original_pattern_count &gt; 0) {<br>                printf(&quot;  원본 패턴: &quot;);<br>                for (int j = 0; j &lt; results[i].original_pattern_count; j++) {<br>                    if (j &gt; 0) printf(&quot;, &quot;);<br>                    printf(&quot;%s&quot;, results[i].original_patterns[j].match);<br>                }<br>                printf(&quot;\n&quot;);<br>            }<br>            <br>            if (results[i].normalized_pattern_count &gt; 0) {<br>                printf(&quot;  정규화 패턴: &quot;);<br>                for (int j = 0; j &lt; results[i].normalized_pattern_count; j++) {<br>                    if (j &gt; 0) printf(&quot;, &quot;);<br>                    printf(&quot;%s&quot;, results[i].normalized_patterns[j].match);<br>                }<br>                printf(&quot;\n&quot;);<br>            }<br>        }<br>    }<br>}<br><br>// 성능 테스트<br>void performance_test(ProfanityDetector *detector, char texts[][MAX_TEXT_LENGTH], int count) {<br>    printf(&quot;=== 성능 테스트 ===\n&quot;);<br>    <br>    // 단일 텍스트 분석 성능<br>    clock_t start = clock();<br>    int iterations = 1000;<br>    for (int i = 0; i &lt; iterations; i++) {<br>        AnalysisResult result = analyze_text(detector, texts[0]);<br>    }<br>    clock_t end = clock();<br>    double duration = ((double)(end - start)) / CLOCKS_PER_SEC;<br>    <br>    printf(&quot;단일 텍스트 분석 %d회: %.6f초 (평균: %.6f초)\n&quot;, <br>           iterations, duration, duration / iterations);<br>    <br>    // 배치 분석 성능<br>    AnalysisResult *results = malloc(count * sizeof(AnalysisResult));<br>    start = clock();<br>    int batch_iterations = 100;<br>    for (int i = 0; i &lt; batch_iterations; i++) {<br>        Statistics stats = analyze_batch(detector, texts, count, results);<br>    }<br>    end = clock();<br>    duration = ((double)(end - start)) / CLOCKS_PER_SEC;<br>    <br>    printf(&quot;배치 분석 %d회: %.6f초 (평균: %.6f초)\n&quot;, <br>           batch_iterations, duration, duration / batch_iterations);<br>    <br>    free(results);<br>    printf(&quot;성능 테스트 완료\n&quot;);<br>}<br><br>// 메모리 정리<br>void cleanup_detector(ProfanityDetector *detector) {<br>    for (int i = 0; i &lt; detector-&gt;pattern_count; i++) {<br>        regfree(&amp;detector-&gt;compiled_patterns[i]);<br>    }<br>}<br><br>int main() {<br>    ProfanityDetector detector;<br>    init_detector(&amp;detector);<br>    <br>    // 테스트 데이터<br>    char test_texts[][MAX_TEXT_LENGTH] = {<br>        &quot;ㅈㄴ좋음&quot;,<br>        &quot;존나 좋음&quot;,<br>        &quot;개ㅊㅅ같음&quot;,<br>        &quot;개쳐싫음&quot;,<br>        &quot;시1발 뭐냐&quot;,<br>        &quot;안녕하세요&quot;,<br>        &quot;ㅅㅂ진짜&quot;,<br>        &quot;시*발놈&quot;,<br>        &quot;tlqkf 이거뭐야&quot;,<br>        &quot;병1신같은놈&quot;,<br>        &quot;정말 좋습니다&quot;<br>    };<br>    <br>    int test_count = sizeof(test_texts) / sizeof(test_texts[0]);<br>    AnalysisResult *results = malloc(test_count * sizeof(AnalysisResult));<br>    <br>    // 배치 분석 실행<br>    Statistics stats = analyze_batch(&amp;detector, test_texts, test_count, results);<br>    <br>    // 결과 출력<br>    print_results(results, stats, test_count);<br>    <br>    // 성능 테스트<br>    performance_test(&amp;detector, test_texts, test_count);<br>    <br>    // 메모리 정리<br>    free(results);<br>    cleanup_detector(&amp;detector);<br>    <br>    printf(&quot;\n분석 완료!\n&quot;);<br>    return 0;<br>}<br><br><br>/*<br>실행 결과(예시):<br><br>=== 분석 결과 ===<br> 1. &#39;ㅈㄴ좋음&#39; → &#39;존나좋음&#39; [욕설] (신뢰도: 0.90)<br> 2. &#39;존나 좋음&#39; → &#39;존나 좋음&#39; [욕설] (신뢰도: 0.90)<br> 3. &#39;개ㅊㅅ같음&#39; → &#39;개쳐새같음&#39; [욕설] (신뢰도: 0.90)<br> 4. &#39;개쳐싫음&#39; → &#39;개쳐싫음&#39; [욕설] (신뢰도: 0.90)<br> 5. &#39;시1발 뭐냐&#39; → &#39;시발 뭐냐&#39; [욕설] (신뢰도: 0.90)<br> 6. &#39;안녕하세요&#39; → &#39;안녕하세요&#39; [정상] (신뢰도: 0.00)<br> 7. &#39;ㅅㅂ진짜&#39; → &#39;시발진짜&#39; [욕설] (신뢰도: 0.90)<br> 8. &#39;시*발놈&#39; → &#39;시발놈&#39; [욕설] (신뢰도: 0.90)<br> 9. &#39;tlqkf 이거뭐야&#39; → &#39;시발 이거뭐야&#39; [욕설] (신뢰도: 0.70)<br>10. &#39;병1신같은놈&#39; → &#39;병신같은놈&#39; [욕설] (신뢰도: 0.90)<br>11. &#39;정말 좋습니다&#39; → &#39;정말 좋습니다&#39; [정상] (신뢰도: 0.00)<br><br>=== 통계 정보 ===<br>총 텍스트 수: 11<br>욕설 탐지 수: 9<br>욕설 비율: 81.8%<br>평균 신뢰도: 0.87<br><br>=== 성능 테스트 ===<br>단일 텍스트 분석 1000회: 0.012345초 (평균: 0.000012초)<br>배치 분석 100회: 0.123456초 (평균: 0.001235초)<br>성능 테스트 완료<br><br>분석 완료!<br>*/</pre><h4>3.7 C++로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>C++에서는 STL의 string, regex 클래스를 활용한 텍스트 정규화를 수행할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>#include &lt;iostream&gt;<br>#include &lt;string&gt;<br>#include &lt;vector&gt;<br>#include &lt;unordered_map&gt;<br>#include &lt;regex&gt;<br>#include &lt;chrono&gt;<br>#include &lt;iomanip&gt;<br><br>// 패턴 매치 결과 클래스<br>class PatternMatch {<br>public:<br>    int pattern_id;<br>    std::string match;<br>    int start;<br>    int end;<br>    std::string pattern;<br>    <br>    PatternMatch(int id, const std::string&amp; m, int s, int e, const std::string&amp; p)<br>        : pattern_id(id), match(m), start(s), end(e), pattern(p) {}<br>};<br><br>// 분석 결과 클래스<br>class AnalysisResult {<br>public:<br>    std::string original_text;<br>    std::string normalized_text;<br>    bool is_profanity;<br>    std::vector&lt;PatternMatch&gt; original_patterns;<br>    std::vector&lt;PatternMatch&gt; normalized_patterns;<br>    double confidence;<br>    <br>    AnalysisResult() : is_profanity(false), confidence(0.0) {}<br>};<br><br>// 통계 클래스<br>class Statistics {<br>public:<br>    int total_count;<br>    int profanity_count;<br>    double profanity_rate;<br>    double avg_confidence;<br>    <br>    Statistics() : total_count(0), profanity_count(0), profanity_rate(0.0), avg_confidence(0.0) {}<br>};<br><br>// 욕설 탐지기 클래스<br>class ProfanityDetector {<br>private:<br>    std::unordered_map&lt;std::string, std::string&gt; choseong_mapping;<br>    std::unordered_map&lt;std::string, std::string&gt; keyboard_mapping;<br>    std::vector&lt;std::string&gt; profanity_patterns;<br>    std::vector&lt;std::regex&gt; compiled_patterns;<br>    <br>    void initialize_mappings() {<br>        // 초성-완성형 매핑<br>        choseong_mapping = {<br>            {&quot;ㅈㄴ&quot;, &quot;존나&quot;},<br>            {&quot;ㅅㅂ&quot;, &quot;시발&quot;},<br>            {&quot;ㅂㅅ&quot;, &quot;병신&quot;},<br>            {&quot;ㄱㅅ&quot;, &quot;개새&quot;},<br>            {&quot;ㅊㅅ&quot;, &quot;쳐새&quot;}<br>        };<br>        <br>        // 키보드 매핑<br>        keyboard_mapping = {<br>            {&quot;tlqkf&quot;, &quot;시발&quot;},<br>            {&quot;rotorl&quot;, &quot;개새&quot;},<br>            {&quot;qudtls&quot;, &quot;병신&quot;},<br>            {&quot;wjsska&quot;, &quot;전쟁&quot;},<br>            {&quot;Tlqkf&quot;, &quot;시발&quot;}<br>        };<br>        <br>        // 욕설 패턴<br>        profanity_patterns = {<br>            &quot;ㅈㄴ|ㅅㅂ|ㅂㅅ|ㄱㅅ|ㅊㅅ&quot;,                     // 초성 패턴<br>            &quot;시[0-9*@#!]*발|개[0-9*@#!]*[ㅊㅈ][ㅅㅆ]&quot;,        // 숫자/특수문자 삽입<br>            &quot;존[0-9*@#!]*나|병[0-9*@#!]*신&quot;,                // 완성형 + 특수문자<br>            &quot;[시씨][1-9]*[발빨]|[개게][1-9]*[새세]&quot;          // 유사 문자 치환<br>        };<br>    }<br>    <br>    void compile_patterns() {<br>        compiled_patterns.clear();<br>        for (const auto&amp; pattern : profanity_patterns) {<br>            try {<br>                compiled_patterns.emplace_back(pattern, std::regex_constants::ECMAScript);<br>            } catch (const std::regex_error&amp; e) {<br>                std::cerr &lt;&lt; &quot;정규표현식 컴파일 오류: &quot; &lt;&lt; pattern &lt;&lt; &quot; - &quot; &lt;&lt; e.what() &lt;&lt; std::endl;<br>            }<br>        }<br>    }<br>    <br>    std::string replace_all(std::string str, const std::string&amp; from, const std::string&amp; to) {<br>        size_t start_pos = 0;<br>        while ((start_pos = str.find(from, start_pos)) != std::string::npos) {<br>            str.replace(start_pos, from.length(), to);<br>            start_pos += to.length();<br>        }<br>        return str;<br>    }<br>    <br>    std::string remove_special_chars(const std::string&amp; text) {<br>        std::regex special_chars(R&quot;([0-9*@#!]+)&quot;);<br>        return std::regex_replace(text, special_chars, &quot;&quot;);<br>    }<br>    <br>    double calculate_confidence(const std::vector&lt;PatternMatch&gt;&amp; original_patterns,<br>                               const std::vector&lt;PatternMatch&gt;&amp; normalized_patterns) {<br>        if (original_patterns.empty() &amp;&amp; normalized_patterns.empty()) {<br>            return 0.0;<br>        }<br>        <br>        // 원본에서 탐지된 경우 높은 신뢰도<br>        if (!original_patterns.empty()) {<br>            return 0.9;<br>        }<br>        <br>        // 정규화 후에만 탐지된 경우 중간 신뢰도<br>        if (!normalized_patterns.empty()) {<br>            return 0.7;<br>        }<br>        <br>        return 0.0;<br>    }<br>    <br>public:<br>    ProfanityDetector() {<br>        initialize_mappings();<br>        compile_patterns();<br>    }<br>    <br>    std::string normalize_text(const std::string&amp; text) {<br>        std::string result = text;<br>        <br>        // 1. 키보드 입력 변환<br>        for (const auto&amp; mapping : keyboard_mapping) {<br>            result = replace_all(result, mapping.first, mapping.second);<br>        }<br>        <br>        // 2. 초성을 완성형으로 변환<br>        for (const auto&amp; mapping : choseong_mapping) {<br>            result = replace_all(result, mapping.first, mapping.second);<br>        }<br>        <br>        // 3. 특수문자 제거<br>        result = remove_special_chars(result);<br>        <br>        return result;<br>    }<br>    <br>    std::vector&lt;PatternMatch&gt; detect_patterns(const std::string&amp; text) {<br>        std::vector&lt;PatternMatch&gt; detected;<br>        <br>        for (size_t i = 0; i &lt; compiled_patterns.size(); ++i) {<br>            std::smatch match;<br>            std::string::const_iterator start = text.cbegin();<br>            <br>            while (std::regex_search(start, text.cend(), match, compiled_patterns[i])) {<br>                int start_pos = static_cast&lt;int&gt;(start - text.cbegin() + match.position());<br>                int end_pos = start_pos + static_cast&lt;int&gt;(match.length());<br>                <br>                detected.emplace_back(<br>                    static_cast&lt;int&gt;(i),<br>                    match.str(),<br>                    start_pos,<br>                    end_pos,<br>                    profanity_patterns[i]<br>                );<br>                <br>                start = match.suffix().first;<br>            }<br>        }<br>        <br>        return detected;<br>    }<br>    <br>    AnalysisResult analyze_text(const std::string&amp; text) {<br>        AnalysisResult result;<br>        <br>        result.original_text = text;<br>        result.normalized_text = normalize_text(text);<br>        <br>        // 패턴 탐지<br>        result.original_patterns = detect_patterns(result.original_text);<br>        result.normalized_patterns = detect_patterns(result.normalized_text);<br>        <br>        result.is_profanity = !result.original_patterns.empty() || !result.normalized_patterns.empty();<br>        result.confidence = calculate_confidence(result.original_patterns, result.normalized_patterns);<br>        <br>        return result;<br>    }<br>    <br>    std::pair&lt;std::vector&lt;AnalysisResult&gt;, Statistics&gt; analyze_batch(const std::vector&lt;std::string&gt;&amp; texts) {<br>        std::vector&lt;AnalysisResult&gt; results;<br>        results.reserve(texts.size());<br>        <br>        int profanity_count = 0;<br>        double total_confidence = 0.0;<br>        <br>        for (const auto&amp; text : texts) {<br>            AnalysisResult result = analyze_text(text);<br>            results.push_back(result);<br>            <br>            if (result.is_profanity) {<br>                profanity_count++;<br>                total_confidence += result.confidence;<br>            }<br>        }<br>        <br>        Statistics stats;<br>        stats.total_count = static_cast&lt;int&gt;(texts.size());<br>        stats.profanity_count = profanity_count;<br>        stats.profanity_rate = (static_cast&lt;double&gt;(profanity_count) / texts.size()) * 100.0;<br>        stats.avg_confidence = (profanity_count &gt; 0) ? total_confidence / profanity_count : 0.0;<br>        <br>        return {results, stats};<br>    }<br>    <br>    void print_results(const std::vector&lt;AnalysisResult&gt;&amp; results, const Statistics&amp; stats) {<br>        std::cout &lt;&lt; &quot;=== 분석 결과 ===&quot; &lt;&lt; std::endl;<br>        for (size_t i = 0; i &lt; results.size(); ++i) {<br>            const auto&amp; result = results[i];<br>            std::cout &lt;&lt; std::setw(2) &lt;&lt; (i + 1) &lt;&lt; &quot;. &quot;<br>                      &lt;&lt; &quot;&#39;&quot; &lt;&lt; result.original_text &lt;&lt; &quot;&#39; → &#39;&quot; &lt;&lt; result.normalized_text &lt;&lt; &quot;&#39; &quot;<br>                      &lt;&lt; &quot;[&quot; &lt;&lt; (result.is_profanity ? &quot;욕설&quot; : &quot;정상&quot;) &lt;&lt; &quot;] &quot;<br>                      &lt;&lt; &quot;(신뢰도: &quot; &lt;&lt; std::fixed &lt;&lt; std::setprecision(2) &lt;&lt; result.confidence &lt;&lt; &quot;)&quot;<br>                      &lt;&lt; std::endl;<br>        }<br>        <br>        std::cout &lt;&lt; &quot;\n=== 통계 정보 ===&quot; &lt;&lt; std::endl;<br>        std::cout &lt;&lt; &quot;총 텍스트 수: &quot; &lt;&lt; stats.total_count &lt;&lt; std::endl;<br>        std::cout &lt;&lt; &quot;욕설 탐지 수: &quot; &lt;&lt; stats.profanity_count &lt;&lt; std::endl;<br>        std::cout &lt;&lt; &quot;욕설 비율: &quot; &lt;&lt; std::fixed &lt;&lt; std::setprecision(1) &lt;&lt; stats.profanity_rate &lt;&lt; &quot;%&quot; &lt;&lt; std::endl;<br>        std::cout &lt;&lt; &quot;평균 신뢰도: &quot; &lt;&lt; std::fixed &lt;&lt; std::setprecision(2) &lt;&lt; stats.avg_confidence &lt;&lt; std::endl;<br>        <br>        std::cout &lt;&lt; &quot;\n=== 상세 분석 ===&quot; &lt;&lt; std::endl;<br>        for (const auto&amp; result : results) {<br>            if (result.is_profanity) {<br>                std::cout &lt;&lt; &quot;&#39;&quot; &lt;&lt; result.original_text &lt;&lt; &quot;&#39; → &#39;&quot; &lt;&lt; result.normalized_text<br>                          &lt;&lt; &quot;&#39; (신뢰도: &quot; &lt;&lt; std::fixed &lt;&lt; std::setprecision(2) &lt;&lt; result.confidence &lt;&lt; &quot;)&quot; &lt;&lt; std::endl;<br>                <br>                if (!result.original_patterns.empty()) {<br>                    std::cout &lt;&lt; &quot;  원본 패턴: &quot;;<br>                    for (size_t i = 0; i &lt; result.original_patterns.size(); ++i) {<br>                        if (i &gt; 0) std::cout &lt;&lt; &quot;, &quot;;<br>                        std::cout &lt;&lt; result.original_patterns[i].match;<br>                    }<br>                    std::cout &lt;&lt; std::endl;<br>                }<br>                <br>                if (!result.normalized_patterns.empty()) {<br>                    std::cout &lt;&lt; &quot;  정규화 패턴: &quot;;<br>                    for (size_t i = 0; i &lt; result.normalized_patterns.size(); ++i) {<br>                        if (i &gt; 0) std::cout &lt;&lt; &quot;, &quot;;<br>                        std::cout &lt;&lt; result.normalized_patterns[i].match;<br>                    }<br>                    std::cout &lt;&lt; std::endl;<br>                }<br>            }<br>        }<br>    }<br>    <br>    void performance_test(const std::vector&lt;std::string&gt;&amp; texts) {<br>        std::cout &lt;&lt; &quot;=== 성능 테스트 ===&quot; &lt;&lt; std::endl;<br>        <br>        // 단일 텍스트 분석 성능<br>        const int iterations = 1000;<br>        auto start = std::chrono::high_resolution_clock::now();<br>        <br>        for (int i = 0; i &lt; iterations; ++i) {<br>            analyze_text(texts[0]);<br>        }<br>        <br>        auto end = std::chrono::high_resolution_clock::now();<br>        auto duration = std::chrono::duration_cast&lt;std::chrono::microseconds&gt;(end - start);<br>        <br>        std::cout &lt;&lt; &quot;단일 텍스트 분석 &quot; &lt;&lt; iterations &lt;&lt; &quot;회: &quot; <br>                  &lt;&lt; duration.count() / 1000.0 &lt;&lt; &quot;ms &quot;<br>                  &lt;&lt; &quot;(평균: &quot; &lt;&lt; duration.count() / static_cast&lt;double&gt;(iterations) &lt;&lt; &quot;μs)&quot; &lt;&lt; std::endl;<br>        <br>        // 배치 분석 성능<br>        const int batch_iterations = 100;<br>        start = std::chrono::high_resolution_clock::now();<br>        <br>        for (int i = 0; i &lt; batch_iterations; ++i) {<br>            analyze_batch(texts);<br>        }<br>        <br>        end = std::chrono::high_resolution_clock::now();<br>        duration = std::chrono::duration_cast&lt;std::chrono::microseconds&gt;(end - start);<br>        <br>        std::cout &lt;&lt; &quot;배치 분석 &quot; &lt;&lt; batch_iterations &lt;&lt; &quot;회: &quot; <br>                  &lt;&lt; duration.count() / 1000.0 &lt;&lt; &quot;ms &quot;<br>                  &lt;&lt; &quot;(평균: &quot; &lt;&lt; duration.count() / static_cast&lt;double&gt;(batch_iterations) &lt;&lt; &quot;μs)&quot; &lt;&lt; std::endl;<br>        <br>        std::cout &lt;&lt; &quot;성능 테스트 완료&quot; &lt;&lt; std::endl;<br>    }<br>};<br><br>int main() {<br>    ProfanityDetector detector;<br>    <br>    // 테스트 데이터<br>    std::vector&lt;std::string&gt; test_texts = {<br>        &quot;ㅈㄴ좋음&quot;,<br>        &quot;존나 좋음&quot;,<br>        &quot;개ㅊㅅ같음&quot;,<br>        &quot;개쳐싫음&quot;,<br>        &quot;시1발 뭐냐&quot;,<br>        &quot;안녕하세요&quot;,<br>        &quot;ㅅㅂ진짜&quot;,<br>        &quot;시*발놈&quot;,<br>        &quot;tlqkf 이거뭐야&quot;,<br>        &quot;병1신같은놈&quot;,<br>        &quot;정말 좋습니다&quot;<br>    };<br>    <br>    // 배치 분석 실행<br>    auto [results, stats] = detector.analyze_batch(test_texts);<br>    <br>    // 결과 출력<br>    detector.print_results(results, stats);<br>    <br>    // 성능 테스트<br>    detector.performance_test(test_texts);<br>    <br>    std::cout &lt;&lt; &quot;\n분석 완료!&quot; &lt;&lt; std::endl;<br>    return 0;<br>}<br><br><br>/*<br>실행 결과(예시):<br><br>=== 분석 결과 ===<br> 1. &#39;ㅈㄴ좋음&#39; → &#39;존나좋음&#39; [욕설] (신뢰도: 0.90)<br> 2. &#39;존나 좋음&#39; → &#39;존나 좋음&#39; [욕설] (신뢰도: 0.90)<br> 3. &#39;개ㅊㅅ같음&#39; → &#39;개쳐새같음&#39; [욕설] (신뢰도: 0.90)<br> 4. &#39;개쳐싫음&#39; → &#39;개쳐싫음&#39; [욕설] (신뢰도: 0.90)<br> 5. &#39;시1발 뭐냐&#39; → &#39;시발 뭐냐&#39; [욕설] (신뢰도: 0.90)<br> 6. &#39;안녕하세요&#39; → &#39;안녕하세요&#39; [정상] (신뢰도: 0.00)<br> 7. &#39;ㅅㅂ진짜&#39; → &#39;시발진짜&#39; [욕설] (신뢰도: 0.90)<br> 8. &#39;시*발놈&#39; → &#39;시발놈&#39; [욕설] (신뢰도: 0.90)<br> 9. &#39;tlqkf 이거뭐야&#39; → &#39;시발 이거뭐야&#39; [욕설] (신뢰도: 0.70)<br>10. &#39;병1신같은놈&#39; → &#39;병신같은놈&#39; [욕설] (신뢰도: 0.90)<br>11. &#39;정말 좋습니다&#39; → &#39;정말 좋습니다&#39; [정상] (신뢰도: 0.00)<br><br>=== 통계 정보 ===<br>총 텍스트 수: 11<br>욕설 탐지 수: 9<br>욕설 비율: 81.8%<br>평균 신뢰도: 0.87<br><br>=== 성능 테스트 ===<br>단일 텍스트 분석 1000회: 8.234ms (평균: 8.234μs)<br>배치 분석 100회: 90.567ms (평균: 905.67μs)<br>성능 테스트 완료<br><br>분석 완료!<br>*/</pre><h4>3.8 Java로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Java에서는 String 클래스의 메소드와 Pattern, Matcher 클래스를 활용한 텍스트 정규화를 수행할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>import java.util.*;<br>import java.util.regex.Pattern;<br>import java.util.regex.Matcher;<br><br>// 패턴 매치 결과 클래스<br>class PatternMatch {<br>    private int patternId;<br>    private String match;<br>    private int start;<br>    private int end;<br>    private String pattern;<br>    <br>    public PatternMatch(int patternId, String match, int start, int end, String pattern) {<br>        this.patternId = patternId;<br>        this.match = match;<br>        this.start = start;<br>        this.end = end;<br>        this.pattern = pattern;<br>    }<br>    <br>    // Getters<br>    public int getPatternId() { return patternId; }<br>    public String getMatch() { return match; }<br>    public int getStart() { return start; }<br>    public int getEnd() { return end; }<br>    public String getPattern() { return pattern; }<br>}<br><br>// 분석 결과 클래스<br>class AnalysisResult {<br>    private String originalText;<br>    private String normalizedText;<br>    private boolean isProfanity;<br>    private List&lt;PatternMatch&gt; originalPatterns;<br>    private List&lt;PatternMatch&gt; normalizedPatterns;<br>    private double confidence;<br>    <br>    public AnalysisResult() {<br>        this.originalPatterns = new ArrayList&lt;&gt;();<br>        this.normalizedPatterns = new ArrayList&lt;&gt;();<br>        this.isProfanity = false;<br>        this.confidence = 0.0;<br>    }<br>    <br>    // Getters and Setters<br>    public String getOriginalText() { return originalText; }<br>    public void setOriginalText(String originalText) { this.originalText = originalText; }<br>    <br>    public String getNormalizedText() { return normalizedText; }<br>    public void setNormalizedText(String normalizedText) { this.normalizedText = normalizedText; }<br>    <br>    public boolean isProfanity() { return isProfanity; }<br>    public void setProfanity(boolean profanity) { isProfanity = profanity; }<br>    <br>    public List&lt;PatternMatch&gt; getOriginalPatterns() { return originalPatterns; }<br>    public void setOriginalPatterns(List&lt;PatternMatch&gt; originalPatterns) { this.originalPatterns = originalPatterns; }<br>    <br>    public List&lt;PatternMatch&gt; getNormalizedPatterns() { return normalizedPatterns; }<br>    public void setNormalizedPatterns(List&lt;PatternMatch&gt; normalizedPatterns) { this.normalizedPatterns = normalizedPatterns; }<br>    <br>    public double getConfidence() { return confidence; }<br>    public void setConfidence(double confidence) { this.confidence = confidence; }<br>}<br><br>// 통계 클래스<br>class Statistics {<br>    private int totalCount;<br>    private int profanityCount;<br>    private double profanityRate;<br>    private double avgConfidence;<br>    <br>    public Statistics(int totalCount, int profanityCount, double profanityRate, double avgConfidence) {<br>        this.totalCount = totalCount;<br>        this.profanityCount = profanityCount;<br>        this.profanityRate = profanityRate;<br>        this.avgConfidence = avgConfidence;<br>    }<br>    <br>    // Getters<br>    public int getTotalCount() { return totalCount; }<br>    public int getProfanityCount() { return profanityCount; }<br>    public double getProfanityRate() { return profanityRate; }<br>    public double getAvgConfidence() { return avgConfidence; }<br>}<br><br>// 욕설 탐지기 클래스<br>public class ProfanityDetector {<br>    private Map&lt;String, String&gt; choseongMapping;<br>    private Map&lt;String, String&gt; keyboardMapping;<br>    private List&lt;String&gt; profanityPatterns;<br>    private List&lt;Pattern&gt; compiledPatterns;<br>    <br>    public ProfanityDetector() {<br>        initializeMappings();<br>        compilePatterns();<br>    }<br>    <br>    private void initializeMappings() {<br>        // 초성-완성형 매핑<br>        choseongMapping = new HashMap&lt;&gt;();<br>        choseongMapping.put(&quot;ㅈㄴ&quot;, &quot;존나&quot;);<br>        choseongMapping.put(&quot;ㅅㅂ&quot;, &quot;시발&quot;);<br>        choseongMapping.put(&quot;ㅂㅅ&quot;, &quot;병신&quot;);<br>        choseongMapping.put(&quot;ㄱㅅ&quot;, &quot;개새&quot;);<br>        choseongMapping.put(&quot;ㅊㅅ&quot;, &quot;쳐새&quot;);<br>        <br>        // 키보드 매핑<br>        keyboardMapping = new HashMap&lt;&gt;();<br>        keyboardMapping.put(&quot;tlqkf&quot;, &quot;시발&quot;);<br>        keyboardMapping.put(&quot;rotorl&quot;, &quot;개새&quot;);<br>        keyboardMapping.put(&quot;qudtls&quot;, &quot;병신&quot;);<br>        keyboardMapping.put(&quot;wjsska&quot;, &quot;전쟁&quot;);<br>        keyboardMapping.put(&quot;Tlqkf&quot;, &quot;시발&quot;);<br>        <br>        // 욕설 패턴<br>        profanityPatterns = Arrays.asList(<br>            &quot;ㅈㄴ|ㅅㅂ|ㅂㅅ|ㄱㅅ|ㅊㅅ&quot;,                     // 초성 패턴<br>            &quot;시[0-9*@#!]*발|개[0-9*@#!]*[ㅊㅈ][ㅅㅆ]&quot;,        // 숫자/특수문자 삽입<br>            &quot;존[0-9*@#!]*나|병[0-9*@#!]*신&quot;,                // 완성형 + 특수문자<br>            &quot;[시씨][1-9]*[발빨]|[개게][1-9]*[새세]&quot;          // 유사 문자 치환<br>        );<br>    }<br>    <br>    private void compilePatterns() {<br>        compiledPatterns = new ArrayList&lt;&gt;();<br>        for (String pattern : profanityPatterns) {<br>            try {<br>                compiledPatterns.add(Pattern.compile(pattern));<br>            } catch (Exception e) {<br>                System.err.println(&quot;패턴 컴파일 오류: &quot; + pattern + &quot; - &quot; + e.getMessage());<br>            }<br>        }<br>    }<br>    <br>    public String normalizeText(String text) {<br>        String result = text;<br>        <br>        // 1. 키보드 입력 변환<br>        for (Map.Entry&lt;String, String&gt; entry : keyboardMapping.entrySet()) {<br>            result = result.replace(entry.getKey(), entry.getValue());<br>        }<br>        <br>        // 2. 초성을 완성형으로 변환<br>        for (Map.Entry&lt;String, String&gt; entry : choseongMapping.entrySet()) {<br>            result = result.replace(entry.getKey(), entry.getValue());<br>        }<br>        <br>        // 3. 특수문자 제거<br>        result = result.replaceAll(&quot;[0-9*@#!]+&quot;, &quot;&quot;);<br>        <br>        return result;<br>    }<br>    <br>    public List&lt;PatternMatch&gt; detectPatterns(String text) {<br>        List&lt;PatternMatch&gt; detected = new ArrayList&lt;&gt;();<br>        <br>        for (int i = 0; i &lt; compiledPatterns.size(); i++) {<br>            Pattern pattern = compiledPatterns.get(i);<br>            Matcher matcher = pattern.matcher(text);<br>            <br>            while (matcher.find()) {<br>                detected.add(new PatternMatch(<br>                    i,<br>                    matcher.group(),<br>                    matcher.start(),<br>                    matcher.end(),<br>                    profanityPatterns.get(i)<br>                ));<br>            }<br>        }<br>        <br>        return detected;<br>    }<br>    <br>    private double calculateConfidence(List&lt;PatternMatch&gt; originalPatterns, List&lt;PatternMatch&gt; normalizedPatterns) {<br>        if (originalPatterns.isEmpty() &amp;&amp; normalizedPatterns.isEmpty()) {<br>            return 0.0;<br>        }<br>        <br>        // 원본에서 탐지된 경우 높은 신뢰도<br>        if (!originalPatterns.isEmpty()) {<br>            return 0.9;<br>        }<br>        <br>        // 정규화 후에만 탐지된 경우 중간 신뢰도<br>        if (!normalizedPatterns.isEmpty()) {<br>            return 0.7;<br>        }<br>        <br>        return 0.0;<br>    }<br>    <br>    public AnalysisResult analyzeText(String text) {<br>        AnalysisResult result = new AnalysisResult();<br>        <br>        result.setOriginalText(text);<br>        result.setNormalizedText(normalizeText(text));<br>        <br>        // 패턴 탐지<br>        List&lt;PatternMatch&gt; originalPatterns = detectPatterns(result.getOriginalText());<br>        List&lt;PatternMatch&gt; normalizedPatterns = detectPatterns(result.getNormalizedText());<br>        <br>        result.setOriginalPatterns(originalPatterns);<br>        result.setNormalizedPatterns(normalizedPatterns);<br>        <br>        result.setProfanity(!originalPatterns.isEmpty() || !normalizedPatterns.isEmpty());<br>        result.setConfidence(calculateConfidence(originalPatterns, normalizedPatterns));<br>        <br>        return result;<br>    }<br>    <br>    public Map&lt;String, Object&gt; analyzeBatch(List&lt;String&gt; texts) {<br>        List&lt;AnalysisResult&gt; results = new ArrayList&lt;&gt;();<br>        int profanityCount = 0;<br>        double totalConfidence = 0.0;<br>        <br>        for (String text : texts) {<br>            AnalysisResult result = analyzeText(text);<br>            results.add(result);<br>            <br>            if (result.isProfanity()) {<br>                profanityCount++;<br>                totalConfidence += result.getConfidence();<br>            }<br>        }<br>        <br>        double profanityRate = (double) profanityCount / texts.size() * 100.0;<br>        double avgConfidence = (profanityCount &gt; 0) ? totalConfidence / profanityCount : 0.0;<br>        <br>        Statistics stats = new Statistics(texts.size(), profanityCount, profanityRate, avgConfidence);<br>        <br>        Map&lt;String, Object&gt; batchResult = new HashMap&lt;&gt;();<br>        batchResult.put(&quot;results&quot;, results);<br>        batchResult.put(&quot;stats&quot;, stats);<br>        <br>        return batchResult;<br>    }<br>    <br>    public void printResults(List&lt;AnalysisResult&gt; results, Statistics stats) {<br>        System.out.println(&quot;=== 분석 결과 ===&quot;);<br>        for (int i = 0; i &lt; results.size(); i++) {<br>            AnalysisResult result = results.get(i);<br>            System.out.printf(&quot;%2d. &#39;%s&#39; → &#39;%s&#39; [%s] (신뢰도: %.2f)\n&quot;,<br>                i + 1,<br>                result.getOriginalText(),<br>                result.getNormalizedText(),<br>                result.isProfanity() ? &quot;욕설&quot; : &quot;정상&quot;,<br>                result.getConfidence()<br>            );<br>        }<br>        <br>        System.out.println(&quot;\n=== 통계 정보 ===&quot;);<br>        System.out.printf(&quot;총 텍스트 수: %d\n&quot;, stats.getTotalCount());<br>        System.out.printf(&quot;욕설 탐지 수: %d\n&quot;, stats.getProfanityCount());<br>        System.out.printf(&quot;욕설 비율: %.1f%%\n&quot;, stats.getProfanityRate());<br>        System.out.printf(&quot;평균 신뢰도: %.2f\n&quot;, stats.getAvgConfidence());<br>        <br>        System.out.println(&quot;\n=== 상세 분석 ===&quot;);<br>        for (AnalysisResult result : results) {<br>            if (result.isProfanity()) {<br>                System.out.printf(&quot;&#39;%s&#39; → &#39;%s&#39; (신뢰도: %.2f)\n&quot;,<br>                    result.getOriginalText(),<br>                    result.getNormalizedText(),<br>                    result.getConfidence()<br>                );<br>                <br>                if (!result.getOriginalPatterns().isEmpty()) {<br>                    System.out.print(&quot;  원본 패턴: &quot;);<br>                    for (int i = 0; i &lt; result.getOriginalPatterns().size(); i++) {<br>                        if (i &gt; 0) System.out.print(&quot;, &quot;);<br>                        System.out.print(result.getOriginalPatterns().get(i).getMatch());<br>                    }<br>                    System.out.println();<br>                }<br>                <br>                if (!result.getNormalizedPatterns().isEmpty()) {<br>                    System.out.print(&quot;  정규화 패턴: &quot;);<br>                    for (int i = 0; i &lt; result.getNormalizedPatterns().size(); i++) {<br>                        if (i &gt; 0) System.out.print(&quot;, &quot;);<br>                        System.out.print(result.getNormalizedPatterns().get(i).getMatch());<br>                    }<br>                    System.out.println();<br>                }<br>            }<br>        }<br>    }<br>    <br>    public void performanceTest(List&lt;String&gt; texts) {<br>        System.out.println(&quot;=== 성능 테스트 ===&quot;);<br>        <br>        // 단일 텍스트 분석 성능<br>        int iterations = 1000;<br>        long startTime = System.nanoTime();<br>        <br>        for (int i = 0; i &lt; iterations; i++) {<br>            analyzeText(texts.get(0));<br>        }<br>        <br>        long endTime = System.nanoTime();<br>        long duration = endTime - startTime;<br>        <br>        System.out.printf(&quot;단일 텍스트 분석 %d회: %.3fms (평균: %.3fμs)\n&quot;,<br>            iterations,<br>            duration / 1_000_000.0,<br>            duration / (double) iterations / 1_000.0<br>        );<br>        <br>        // 배치 분석 성능<br>        int batchIterations = 100;<br>        startTime = System.nanoTime();<br>        <br>        for (int i = 0; i &lt; batchIterations; i++) {<br>            analyzeBatch(texts);<br>        }<br>        <br>        endTime = System.nanoTime();<br>        duration = endTime - startTime;<br>        <br>        System.out.printf(&quot;배치 분석 %d회: %.3fms (평균: %.3fμs)\n&quot;,<br>            batchIterations,<br>            duration / 1_000_000.0,<br>            duration / (double) batchIterations / 1_000.0<br>        );<br>        <br>        System.out.println(&quot;성능 테스트 완료&quot;);<br>    }<br>    <br>    public static void main(String[] args) {<br>        ProfanityDetector detector = new ProfanityDetector();<br>        <br>        // 테스트 데이터<br>        List&lt;String&gt; testTexts = Arrays.asList(<br>            &quot;ㅈㄴ좋음&quot;,<br>            &quot;존나 좋음&quot;,<br>            &quot;개ㅊㅅ같음&quot;,<br>            &quot;개쳐싫음&quot;,<br>            &quot;시1발 뭐냐&quot;,<br>            &quot;안녕하세요&quot;,<br>            &quot;ㅅㅂ진짜&quot;,<br>            &quot;시*발놈&quot;,<br>            &quot;tlqkf 이거뭐야&quot;,<br>            &quot;병1신같은놈&quot;,<br>            &quot;정말 좋습니다&quot;<br>        );<br>        <br>        // 배치 분석 실행<br>        Map&lt;String, Object&gt; batchResult = detector.analyzeBatch(testTexts);<br>        <br>        @SuppressWarnings(&quot;unchecked&quot;)<br>        List&lt;AnalysisResult&gt; results = (List&lt;AnalysisResult&gt;) batchResult.get(&quot;results&quot;);<br>        Statistics stats = (Statistics) batchResult.get(&quot;stats&quot;);<br>        <br>        // 결과 출력<br>        detector.printResults(results, stats);<br>        <br>        // 성능 테스트<br>        detector.performanceTest(testTexts);<br>        <br>        System.out.println(&quot;\n분석 완료!&quot;);<br>    }<br>}<br><br><br>/*<br>실행 결과(예시):<br><br>=== 분석 결과 ===<br> 1. &#39;ㅈㄴ좋음&#39; → &#39;존나좋음&#39; [욕설] (신뢰도: 0.90)<br> 2. &#39;존나 좋음&#39; → &#39;존나 좋음&#39; [욕설] (신뢰도: 0.90)<br> 3. &#39;개ㅊㅅ같음&#39; → &#39;개쳐새같음&#39; [욕설] (신뢰도: 0.90)<br> 4. &#39;개쳐싫음&#39; → &#39;개쳐싫음&#39; [욕설] (신뢰도: 0.90)<br> 5. &#39;시1발 뭐냐&#39; → &#39;시발 뭐냐&#39; [욕설] (신뢰도: 0.90)<br> 6. &#39;안녕하세요&#39; → &#39;안녕하세요&#39; [정상] (신뢰도: 0.00)<br> 7. &#39;ㅅㅂ진짜&#39; → &#39;시발진짜&#39; [욕설] (신뢰도: 0.90)<br> 8. &#39;시*발놈&#39; → &#39;시발놈&#39; [욕설] (신뢰도: 0.90)<br> 9. &#39;tlqkf 이거뭐야&#39; → &#39;시발 이거뭐야&#39; [욕설] (신뢰도: 0.70)<br>10. &#39;병1신같은놈&#39; → &#39;병신같은놈&#39; [욕설] (신뢰도: 0.90)<br>11. &#39;정말 좋습니다&#39; → &#39;정말 좋습니다&#39; [정상] (신뢰도: 0.00)<br><br>=== 통계 정보 ===<br>총 텍스트 수: 11<br>욕설 탐지 수: 9<br>욕설 비율: 81.8%<br>평균 신뢰도: 0.87<br><br>=== 성능 테스트 ===<br>단일 텍스트 분석 1000회: 15.234ms (평균: 15.234μs)<br>배치 분석 100회: 167.890ms (평균: 1678.900μs)<br>성능 테스트 완료<br><br>분석 완료!<br>*/</pre><h4>3.9 JavaScript로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>JavaScript에서는 String의 메소드와 정규표현식을 활용한 텍스트 정규화를 수행할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>// 채팅 데이터 예제<br>const chatMessages = [<br>    &quot;ㅈㄴ좋음&quot;,           // 초성 우회<br>    &quot;개ㅊㅅ같음&quot;,         // 혼합 우회<br>    &quot;존나 좋다&quot;,          // 정상 욕설<br>    &quot;개쳐싫음&quot;,           // 오타 우회<br>    &quot;시1발놈&quot;,            // 숫자 우회<br>    &quot;병@신아&quot;,            // 특수문자 우회<br>    &quot;좋은 하루다&quot;         // 정상 메시지<br>];<br><br>// 고급 욕설 탐지 클래스<br>class ProfanityDetector {<br>    constructor() {<br>        this.profanityList = [<br>            { word: &#39;존나&#39;, variations: [&#39;ㅈㄴ&#39;, &#39;존ㄴ&#39;, &#39;ㅈ나&#39;, &#39;jonn&#39;, &#39;whs&#39;] },<br>            { word: &#39;개새끼&#39;, variations: [&#39;ㄱㅅㄲ&#39;, &#39;개ㅅㄲ&#39;, &#39;ㄱ새끼&#39;, &#39;rhtorl&#39;, &#39;gae&#39;] },<br>            { word: &#39;시발&#39;, variations: [&#39;ㅅㅂ&#39;, &#39;시ㅂ&#39;, &#39;ㅅ발&#39;, &#39;tlqkf&#39;, &#39;sib&#39;] },<br>            { word: &#39;병신&#39;, variations: [&#39;ㅂㅅ&#39;, &#39;병ㅅ&#39;, &#39;ㅂ신&#39;, &#39;qudtls&#39;, &#39;byung&#39;] }<br>        ];<br>        <br>        this.numberMap = {<br>            &#39;1&#39;: &#39;ㅣ&#39;, &#39;2&#39;: &#39;ㅡ&#39;, &#39;3&#39;: &#39;ㅗ&#39;, &#39;4&#39;: &#39;ㅜ&#39;, &#39;5&#39;: &#39;ㅓ&#39;, <br>            &#39;6&#39;: &#39;ㅏ&#39;, &#39;7&#39;: &#39;ㅑ&#39;, &#39;8&#39;: &#39;ㅕ&#39;, &#39;9&#39;: &#39;ㅛ&#39;, &#39;0&#39;: &#39;ㅠ&#39;<br>        };<br>        <br>        this.symbolMap = {<br>            &#39;@&#39;: &#39;ㅏ&#39;, &#39;*&#39;: &#39;ㅗ&#39;, &#39;!&#39;: &#39;ㅣ&#39;, &#39;#&#39;: &#39;ㅡ&#39;, &#39;$&#39;: &#39;ㅜ&#39;,<br>            &#39;%&#39;: &#39;ㅓ&#39;, &#39;^&#39;: &#39;ㅑ&#39;, &#39;&amp;&#39;: &#39;ㅕ&#39;, &#39;(&#39;: &#39;ㅛ&#39;, &#39;)&#39;: &#39;ㅠ&#39;<br>        };<br>    }<br>    <br>    // 문자 정규화 처리<br>    normalizeInput(text) {<br>        let normalized = text.normalize(&#39;NFC&#39;);<br>        <br>        // 숫자를 모음으로 변환<br>        for (let [num, vowel] of Object.entries(this.numberMap)) {<br>            normalized = normalized.replace(new RegExp(num, &#39;g&#39;), vowel);<br>        }<br>        <br>        // 특수문자를 모음으로 변환<br>        for (let [symbol, vowel] of Object.entries(this.symbolMap)) {<br>            normalized = normalized.replace(new RegExp(&#39;\\&#39; + symbol, &#39;g&#39;), vowel);<br>        }<br>        <br>        return normalized;<br>    }<br>    <br>    // 초성과 완성형 혼합 복원<br>    reconstructMixedPattern(text) {<br>        let result = text;<br>        <br>        // 초성 + 완성형 패턴 처리<br>        result = result.replace(/([ㄱ-ㅎ])([가-힣])/g, (match, cho, complete) =&gt; {<br>            const decomposed = decomposeHangul(complete);<br>            if (decomposed) {<br>                const newChar = composeHangul(cho, decomposed.jung, decomposed.jong);<br>                return newChar || match;<br>            }<br>            return match;<br>        });<br>        <br>        // 완성형 + 초성 패턴 처리<br>        result = result.replace(/([가-힣])([ㄱ-ㅎ])/g, (match, complete, cho) =&gt; {<br>            const decomposed = decomposeHangul(complete);<br>            if (decomposed) {<br>                const newChar = composeHangul(decomposed.cho, decomposed.jung, cho);<br>                return newChar || match;<br>            }<br>            return match;<br>        });<br>        <br>        return result;<br>    }<br>    <br>    // 초성 패턴 매칭<br>    matchInitialPattern(text, profanity) {<br>        const initialPattern = extractInitials(profanity.word);<br>        const textInitials = extractInitials(text);<br>        <br>        return textInitials.includes(initialPattern);<br>    }<br>    <br>    // 변형 패턴 매칭<br>    matchVariationPattern(text, profanity) {<br>        for (let variation of profanity.variations) {<br>            if (text.includes(variation)) {<br>                return true;<br>            }<br>        }<br>        return false;<br>    }<br>    <br>    // 메인 탐지 함수<br>    detect(text) {<br>        const originalText = text;<br>        let normalizedText = this.normalizeInput(text);<br>        let reconstructedText = this.reconstructMixedPattern(normalizedText);<br>        <br>        const results = [];<br>        <br>        for (let profanity of this.profanityList) {<br>            // 1. 직접 매칭<br>            if (normalizedText.includes(profanity.word)) {<br>                results.push({<br>                    original: originalText,<br>                    detected: profanity.word,<br>                    type: &#39;direct&#39;,<br>                    confidence: 1.0<br>                });<br>            }<br>            <br>            // 2. 초성 패턴 매칭<br>            if (this.matchInitialPattern(normalizedText, profanity)) {<br>                results.push({<br>                    original: originalText,<br>                    detected: profanity.word,<br>                    type: &#39;initial&#39;,<br>                    confidence: 0.8<br>                });<br>            }<br>            <br>            // 3. 변형 패턴 매칭<br>            if (this.matchVariationPattern(normalizedText, profanity)) {<br>                results.push({<br>                    original: originalText,<br>                    detected: profanity.word,<br>                    type: &#39;variation&#39;,<br>                    confidence: 0.9<br>                });<br>            }<br>            <br>            // 4. 복원된 텍스트 매칭<br>            if (reconstructedText.includes(profanity.word)) {<br>                results.push({<br>                    original: originalText,<br>                    detected: profanity.word,<br>                    type: &#39;reconstructed&#39;,<br>                    confidence: 0.7<br>                });<br>            }<br>        }<br>        <br>        return results;<br>    }<br>}<br><br>// 실제 사용 예제<br>const detector = new ProfanityDetector();<br><br>console.log(&quot;=== Javascript 욕설 우회 탐지 결과 ===&quot;);<br><br>chatMessages.forEach((message, index) =&gt; {<br>    const results = detector.detect(message);<br>    <br>    console.log(`\n${index + 1}. 원본: &quot;${message}&quot;`);<br>    console.log(`   정규화: &quot;${detector.normalizeInput(message)}&quot;`);<br>    console.log(`   복원: &quot;${detector.reconstructMixedPattern(detector.normalizeInput(message))}&quot;`);<br>    <br>    if (results.length &gt; 0) {<br>        console.log(`   탐지 결과:`);<br>        results.forEach(result =&gt; {<br>            console.log(`     - 욕설: &quot;${result.detected}&quot;, 타입: ${result.type}, 신뢰도: ${result.confidence}`);<br>        });<br>    } else {<br>        console.log(`   탐지 결과: 정상`);<br>    }<br>});<br><br>// 추가 테스트 케이스<br>const additionalTests = [<br>    &quot;ㅈㄴ힘들다&quot;,        // 초성 우회<br>    &quot;개ㅊㅅ같네&quot;,        // 혼합 우회  <br>    &quot;시1발열받네&quot;,       // 숫자 우회<br>    &quot;병@신같은&quot;,         // 특수문자 우회<br>    &quot;존ㄴ웃기네&quot;,        // 부분 초성 우회<br>    &quot;ㄱㅅㄲ야&quot;,          // 완전 초성 우회<br>    &quot;좋은하루&quot;           // 정상 메시지<br>];<br><br>console.log(&quot;\n=== 추가 테스트 케이스 ===&quot;);<br><br>additionalTests.forEach((test, index) =&gt; {<br>    const results = detector.detect(test);<br>    console.log(`\n${index + 1}. &quot;${test}&quot; → ${results.length &gt; 0 ? &#39;욕설 탐지&#39; : &#39;정상&#39;}`);<br>    <br>    if (results.length &gt; 0) {<br>        results.forEach(result =&gt; {<br>            console.log(`   - ${result.detected} (${result.type}, 신뢰도: ${result.confidence})`);<br>        });<br>    }<br>});<br><br>// 성능 테스트<br>console.log(&quot;\n=== 성능 테스트 ===&quot;);<br>const performanceTest = () =&gt; {<br>    const startTime = performance.now();<br>    <br>    for (let i = 0; i &lt; 1000; i++) {<br>        chatMessages.forEach(message =&gt; {<br>            detector.detect(message);<br>        });<br>    }<br>    <br>    const endTime = performance.now();<br>    console.log(`1000회 반복 처리 시간: ${(endTime - startTime).toFixed(2)}ms`);<br>    console.log(`평균 처리 시간: ${((endTime - startTime) / (1000 * chatMessages.length)).toFixed(4)}ms per message`);<br>};<br><br>performanceTest();<br><br><br>/*<br>실행 결과(예시):<br><br>=== Javascript 욕설 우회 탐지 결과 ===<br><br>1. 원본: &quot;ㅈㄴ좋음&quot;<br>   정규화: &quot;ㅈㄴ좋음&quot;<br>   복원: &quot;ㅈㄴ좋음&quot;<br>   탐지 결과:<br>     - 욕설: &quot;존나&quot;, 타입: variation, 신뢰도: 0.9<br>     - 욕설: &quot;존나&quot;, 타입: initial, 신뢰도: 0.8<br><br>2. 원본: &quot;개ㅊㅅ같음&quot;<br>   정규화: &quot;개ㅊㅅ같음&quot;<br>   복원: &quot;개ㅊㅅ같음&quot;<br>   탐지 결과:<br>     - 욕설: &quot;개새끼&quot;, 타입: variation, 신뢰도: 0.9<br><br>3. 원본: &quot;존나 좋다&quot;<br>   정규화: &quot;존나 좋다&quot;<br>   복원: &quot;존나 좋다&quot;<br>   탐지 결과:<br>     - 욕설: &quot;존나&quot;, 타입: direct, 신뢰도: 1.0<br><br>4. 원본: &quot;개쳐싫음&quot;<br>   정규화: &quot;개쳐싫음&quot;<br>   복원: &quot;개쳐싫음&quot;<br>   탐지 결과: 정상<br><br>5. 원본: &quot;시1발놈&quot;<br>   정규화: &quot;시ㅣ발놈&quot;<br>   복원: &quot;시ㅣ발놈&quot;<br>   탐지 결과:<br>     - 욕설: &quot;시발&quot;, 타입: reconstructed, 신뢰도: 0.7<br><br>6. 원본: &quot;병@신아&quot;<br>   정규화: &quot;병ㅏ신아&quot;<br>   복원: &quot;병ㅏ신아&quot;<br>   탐지 결과:<br>     - 욕설: &quot;병신&quot;, 타입: reconstructed, 신뢰도: 0.7<br><br>7. 원본: &quot;좋은 하루다&quot;<br>   정규화: &quot;좋은 하루다&quot;<br>   복원: &quot;좋은 하루다&quot;<br>   탐지 결과: 정상<br><br>=== 추가 테스트 케이스 ===<br><br>1. &quot;ㅈㄴ힘들다&quot; → 욕설 탐지<br>   - 존나 (variation, 신뢰도: 0.9)<br>   - 존나 (initial, 신뢰도: 0.8)<br><br>2. &quot;개ㅊㅅ같네&quot; → 욕설 탐지<br>   - 개새끼 (variation, 신뢰도: 0.9)<br><br>3. &quot;시1발열받네&quot; → 욕설 탐지<br>   - 시발 (reconstructed, 신뢰도: 0.7)<br><br>4. &quot;병@신같은&quot; → 욕설 탐지<br>   - 병신 (reconstructed, 신뢰도: 0.7)<br><br>5. &quot;존ㄴ웃기네&quot; → 욕설 탐지<br>   - 존나 (variation, 신뢰도: 0.9)<br><br>6. &quot;ㄱㅅㄲ야&quot; → 욕설 탐지<br>   - 개새끼 (variation, 신뢰도: 0.9)<br><br>7. &quot;좋은하루&quot; → 정상<br><br>=== 성능 테스트 ===<br>1000회 반복 처리 시간: 284.52ms<br>평균 처리 시간: 0.0406ms per message<br>*/</pre><h3>4. 문제 해결의 중요성</h3><p>의도적 문자 뒤섞기 및 비속어 우회는 온라인 커뮤니티, 소셜 미디어, 채팅 서비스 전반에서 비속어 필터링의 허점을 이용해 혐오 표현이나 악성 댓글을 우회 게시하도록 만든다. 이로 인해 다음과 같은 문제가 발생한다.</p><p><strong>(1) 사용자 경험 저하</strong><br>정상 이용자는 혐오 표현 피해를 입어 서비스에 대한 신뢰가 떨어진다.</p><p><strong>(2) 법적·윤리적 리스크</strong><br>플랫폼 운영자는 명예훼손·모욕죄 등 법적 책임과 사회적 비판에 직면할 수 있다.</p><p><strong>(3) 데이터 분석 왜곡</strong><br>텍스트 마이닝·감성 분석 결과에 비속어 우회 표현이 섞이면 모델 학습·예측 정확도가 하락한다.</p><p>(4) 자동화 시스템 한계 노출<br>단순 키워드 기반 필터링의 취약성이 드러나면, 공격자는 더욱 교묘한 우회 기법을 개발해 필터링 시스템을 무력화한다.</p><p>이러한 이유로 정교한 텍스트 정규화 및 우회 탐지는 서비스 안전성과 품질을 높이기 위해 반드시 해결해야 할 과제다.</p><h3>5. 한계점</h3><p>텍스트 정규화 및 비속어 우회 감지 기법은 강력하지만, 다음과 같은 한계가 존재한다.</p><p><strong>(1) 새로운 변형 기법 출현</strong><br>초성·종성 변형, 숫자·특수문자 치환 등 이미 알려진 패턴 외에도 의도적으로 띄어쓰기·유니코드 이모지·글자 대체(Mirroring) 등을 활용한 복잡한 우회 기법이 계속 등장한다.</p><p><strong>(2) 오탐(false positive) 및 미탐(false negative)</strong><br>‘개발자’ 같은 단어에 포함된 ‘개’나 ‘새’ 등 초성 패턴 때문에 정상 단어를 비속어로 잘못 탐지할 수 있다. 반대로 지나치게 복잡한 우회 기법은 탐지하지 못할 위험이 있다.</p><p><strong>(3) 성능 부담</strong><br>모든 입력에 대해 자모 분해·조합, 정규표현식 다중 매칭, 재구성 로직을 적용하면 대용량 실시간 처리 시 응답 지연이 발생할 수 있다.</p><p><strong>(4) 언어·도메인 의존성</strong><br>한국어 자모 기반 기법은 다른 언어(영어·중국어·일본어)에는 적용 불가능하다. 다국어 서비스에선 각 언어별 전용 로직을 별도 개발·유지해야 한다.</p><p><strong>(5) 유지보수 난이도</strong><br>비속어 리스트·변형 패턴 매핑·신뢰도 임계값 설정 등 파라미터가 많아, 운영 중 지속적으로 추가·조정 작업이 필요하다.</p><h3>6. 결론</h3><p>의도적 문자 뒤섞기 및 비속어 우회는 단순 필터링으로 해결할 수 없는 고도화된 문제다. 본문에서 소개한 구현 사례들은 다음과 같은 공통 가이드를 따른다.</p><ul><li>텍스트 정규화(NFC/NFD)를 통해 유니코드 분해·조합 차이를 제거</li><li>자모 분해·조합 알고리즘으로 초성·중성·종성 레벨에서 우회 패턴을 복원</li><li>정규표현식 또는 변형 매핑 테이블을 활용해 숫자·특수문자·영문자 치환을 처리</li><li>신뢰도 기반 다중 매칭 전략으로 직접 매칭·초성 매칭·변형 매칭·복원 매칭을 결합</li></ul><p>이를 통해 탐지 정확도와 실시간 처리 성능 간 균형을 맞추는 것이 핵심이다. 실제 운영 환경에서는 탐지 로그 분석·피드백 루프를 통해 지속적으로 우회 패턴을 업데이트하고, 머신러닝 기반 이상 탐지 기법과 결합해 정확도와 견고성을 높이는 것이 바람직하다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=60c89d0dad11" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[텍스트 정규화 #40 — 수학 알파벳/서체 기호]]></title>
            <link>https://medium.com/@praster1/%ED%85%8D%EC%8A%A4%ED%8A%B8-%EC%A0%95%EA%B7%9C%ED%99%94-40-%EC%88%98%ED%95%99-%EC%95%8C%ED%8C%8C%EB%B2%B3-%EC%84%9C%EC%B2%B4-%EA%B8%B0%ED%98%B8-eab757fd2d3a?source=rss-2267dcfdebd3------2</link>
            <guid isPermaLink="false">https://medium.com/p/eab757fd2d3a</guid>
            <category><![CDATA[수학알파벳]]></category>
            <category><![CDATA[알파벳변환]]></category>
            <category><![CDATA[수학기호변환]]></category>
            <category><![CDATA[자연어처리]]></category>
            <category><![CDATA[문자인코딩]]></category>
            <dc:creator><![CDATA[Jaeseong Yoo]]></dc:creator>
            <pubDate>Sat, 28 Jun 2025 07:35:02 GMT</pubDate>
            <atom:updated>2025-06-28T07:35:45.951Z</atom:updated>
            <content:encoded><![CDATA[<h3>텍스트 정규화 #40 — 수학 알파벳/서체 기호</h3><h3>1. 문제 상황 소개</h3><p>현대의 디지털 환경에서 수학적 표현과 과학 문서가 증가하면서, 다양한 수학 알파벳 기호들이 텍스트에 포함되는 경우가 빈번하다. 특히 𝔸, 𝐀, Ａ와 같은 서로 다른 유니코드 문자가 시각적으로는 동일하거나 유사하게 보이지만, 컴퓨터 시스템에서는 완전히 다른 문자로 인식되는 문제가 발생한다.</p><p>이러한 문제는 다음과 같은 상황에서 특히 심각하게 나타난다. 수학 논문이나 과학 문서를 처리할 때, 𝔸(Mathematical Double-Struck Capital A, U+1D538)과 A(Latin Capital Letter A, U+0041)가 시각적으로는 매우 유사하지만 검색, 정렬, 데이터베이스 저장 시에는 완전히 다른 결과를 야기한다. 또한 소셜 미디어나 이메일에서 스타일링 목적으로 사용되는 Mathematical Alphanumeric Symbols들이 텍스트 분석이나 자연어 처리 작업에서 예상치 못한 오류를 발생시킨다.</p><p>데이터 과학자와 개발자들이 직면하는 구체적인 문제들을 살펴보면, 텍스트 마이닝 과정에서 동일한 의미의 단어가 서로 다른 유니코드 문자로 구성되어 있어 중복 제거나 빈도 분석에서 부정확한 결과가 나타난다. 검색 엔진이나 데이터베이스에서 𝐀와 A를 포함한 키워드가 서로 다른 검색 결과를 반환하여 사용자 경험을 저해한다. 또한 자연어 처리 모델이 동일한 의미의 텍스트를 서로 다른 토큰으로 인식하여 모델의 성능이 저하된다.</p><h3>2. 문제가 발생한 근본 원인 분석</h3><p><strong>(1) 유니코드 표준의 설계 철학과 호환성 요구사항</strong><br>유니코드는 전 세계의 모든 문자 체계를 포괄적으로 지원하기 위해 설계되었으며, 이 과정에서 의미론적으로는 유사하지만 시각적 표현이나 사용 맥락이 다른 문자들을 별도의 코드 포인트로 할당했다.</p><p>Mathematical Alphanumeric Symbols(U+1D400–U+1D7FF) 블록의 존재 이유를 분석해보면, 수학에서는 서로 다른 폰트 스타일이 서로 다른 의미를 나타내는 경우가 많다. 예를 들어, 볼드체 A는 행렬을, 이탤릭체 A는 변수를, 블랙보드 볼드체 𝔸는 대수적 구조를 나타낼 수 있다. 따라서 유니코드는 이러한 의미론적 차이를 보존하기 위해 각각을 별도의 문자로 정의했다.</p><p><strong>(2) 기존 문자 인코딩 시스템과의 호환성 문제</strong><br>전폭 문자(Full-width characters)인 Ａ(U+FF21)은 동아시아 문자 체계에서 한글, 한자와 함께 사용될 때 시각적 균형을 맞추기 위해 도입되었다. 이러한 문자들은 기존 시스템과의 호환성을 유지하면서도 특정 지역의 표기 요구사항을 충족시키기 위한 것이었다.</p><p><strong>(3) 텍스트 입력 방식의 다양성</strong><br>LaTeX 수식 편집기, 유니코드 입력 도구, 소셜 미디어 스타일링 도구 등 다양한 입력 방법이 서로 다른 유니코드 문자를 생성한다. 사용자는 시각적으로 동일해 보이는 문자를 입력했다고 생각하지만, 실제로는 서로 다른 코드 포인트를 가진 문자들이 생성되는 것이다.</p><h3>3. 해결 방법</h3><h4>3.1 SQL로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>SQL에서 유니코드 정규화를 수행하는 것은 데이터베이스 시스템에 따라 다른 접근법이 필요하다. 대부분의 주요 데이터베이스 시스템은 내장된 유니코드 정규화 함수를 제공하지 않으므로, 사용자 정의 함수나 외부 라이브러리를 활용해야 한다.</p><p>PostgreSQL에서는 unaccent 확장을 사용하거나 정규 표현식 기반 치환을 수행할 수 있다. MySQL에서는 CONVERT 함수와 REPLACE 함수를 조합하여 기본적인 문자 변환을 수행할 수 있다. SQL Server에서는 CLR 함수를 작성하여 .NET의 정규화 기능을 활용할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>-- PostgreSQL에서 수학 기호 정규화 예제<br>-- 먼저 샘플 테이블 생성<br>CREATE TABLE mathematical_texts (<br>    id SERIAL PRIMARY KEY,<br>    original_text TEXT,<br>    normalized_text TEXT<br>);<br><br>-- 샘플 데이터 삽입 (수학 유니코드 문자 포함)<br>INSERT INTO mathematical_texts (original_text) VALUES <br>(&#39;𝔸 ∈ ℝ 에서 𝐀 = {𝟏, 𝟐, 𝟑}&#39;),<br>(&#39;Let 𝑓: ℝ → ℝ be a function where 𝑓(𝒙) = 𝒙²&#39;),<br>(&#39;Matrix 𝗔 = [𝖆₁₁ 𝖆₁₂; 𝖆₂₁ 𝖆₂₂]&#39;),<br>(&#39;The equation 𝛼 + 𝛽 = γ has solutions in ℂ&#39;),<br>(&#39;Set 𝒮 = {𝓪, 𝓫, 𝓬} where 𝓪 ∈ ℕ&#39;);<br><br>-- 기본적인 문자 변환 함수 (Mathematical Alphanumeric Symbols → Basic Latin)<br>CREATE OR REPLACE FUNCTION normalize_math_symbols(input_text TEXT)<br>RETURNS TEXT AS $$<br>BEGIN<br>    RETURN TRANSLATE(input_text,<br>        &#39;𝔸𝔹ℂ𝔻𝔼𝔽𝔾ℍ𝕀𝕁𝕂𝕃𝕄ℕ𝕆ℙℚℝ𝕊𝕋𝕌𝕍𝕎𝕏𝕐ℤ𝐀𝐁𝐂𝐃𝐄𝐅𝐆𝐇𝐈𝐉𝐊𝐋𝐌𝐍𝐎𝐏𝐐𝐑𝐒𝐓𝐔𝐕𝐖𝐗𝐘𝐙𝟎𝟏𝟐𝟑𝟒𝟓𝟔𝟕𝟖𝟗&#39;,<br>        &#39;ABCDEFGHIJKLMNOPQRSTUVWXYZABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789&#39;<br>    );<br>END;<br>$$ LANGUAGE plpgsql;<br><br>-- 정규화 수행<br>UPDATE mathematical_texts <br>SET normalized_text = normalize_math_symbols(original_text);<br><br>-- 결과 확인<br>SELECT <br>    id,<br>    original_text,<br>    normalized_text,<br>    CASE <br>        WHEN original_text = normalized_text THEN &#39;No change&#39;<br>        ELSE &#39;Normalized&#39;<br>    END as status<br>FROM mathematical_texts;<br><br>-- 실행 결과(예시):<br>-- id | original_text                           | normalized_text                      | status<br>-- 1  | 𝔸 ∈ ℝ 에서 𝐀 = {𝟏, 𝟐, 𝟑}               | A ∈ R 에서 A = {1, 2, 3}             | Normalized<br>-- 2  | Let 𝑓: ℝ → ℝ be a function where...    | Let f: R → R be a function where...  | Normalized<br>-- 3  | Matrix 𝗔 = [𝖆₁₁ 𝖆₁₂; 𝖆₂₁ 𝖆₂₂]         | Matrix A = [a11 a12; a21 a22]        | Normalized<br>-- 4  | The equation 𝛼 + 𝛽 = γ has solutions   | The equation α + β = γ has solutions | Normalized<br>-- 5  | Set 𝒮 = {𝓪, 𝓫, 𝓬} where 𝓪 ∈ ℕ        | Set S = {a, b, c} where a ∈ N        | Normalized<br><br>-- 고급 정규화 함수 (더 포괄적인 변환)<br>CREATE OR REPLACE FUNCTION advanced_normalize_math(input_text TEXT)<br>RETURNS TEXT AS $$<br>DECLARE<br>    result TEXT;<br>BEGIN<br>    result := input_text;<br>    <br>    -- Mathematical Bold 변환<br>    result := REGEXP_REPLACE(result, &#39;[𝐀-𝐙]&#39;, <br>        CHR(ASCII(&#39;A&#39;) + (ASCII(SUBSTRING(result FROM &#39;[𝐀-𝐙]&#39;)) - 119808)), &#39;g&#39;);<br>    <br>    -- Mathematical Italic 변환<br>    result := REGEXP_REPLACE(result, &#39;[𝐴-𝑍]&#39;, <br>        CHR(ASCII(&#39;A&#39;) + (ASCII(SUBSTRING(result FROM &#39;[𝐴-𝑍]&#39;)) - 119860)), &#39;g&#39;);<br>    <br>    -- Full-width 문자 변환<br>    result := REGEXP_REPLACE(result, &#39;[Ａ-Ｚ]&#39;, <br>        CHR(ASCII(&#39;A&#39;) + (ASCII(SUBSTRING(result FROM &#39;[Ａ-Ｚ]&#39;)) - 65313)), &#39;g&#39;);<br>    <br>    RETURN result;<br>END;<br>$$ LANGUAGE plpgsql;</pre><h4>3.2 Python으로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Python에서는 unicodedata 모듈을 사용하여 강력한 유니코드 정규화 기능을 제공한다. 주요 정규화 형식으로는 NFC(Canonical Composition), NFD(Canonical Decomposition), NFKC(Compatibility Composition), NFKD(Compatibility Decomposition)가 있다.</p><p>NFKC 정규화는 호환성 분해 후 정준 결합을 수행하여 수학 알파벳 기호들을 기본 라틴 문자로 변환하는 데 가장 적합하다. 이는 시각적으로 유사한 문자들을 표준 형태로 통일하는 데 효과적이다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>import unicodedata<br>import re<br>import pandas as pd<br>from typing import Dict, List, Union<br>import time<br><br>def normalize_mathematical_text(text: str, method: str = &#39;nfkc&#39;) -&gt; str:<br>    &quot;&quot;&quot;<br>    수학 유니코드 문자를 기본 라틴 문자로 정규화<br>    <br>    Args:<br>        text: 정규화할 텍스트<br>        method: 정규화 방법 (&#39;nfkc&#39;, &#39;custom&#39;, &#39;comprehensive&#39;)<br>    <br>    Returns:<br>        정규화된 텍스트<br>    &quot;&quot;&quot;<br>    <br>    if method == &#39;nfkc&#39;:<br>        # NFKC 정규화 사용<br>        return unicodedata.normalize(&#39;NFKC&#39;, text)<br>    <br>    elif method == &#39;custom&#39;:<br>        # 사용자 정의 매핑 테이블 사용<br>        math_to_latin = {<br>            # Mathematical Double-Struck<br>            &#39;𝔸&#39;: &#39;A&#39;, &#39;𝔹&#39;: &#39;B&#39;, &#39;ℂ&#39;: &#39;C&#39;, &#39;𝔻&#39;: &#39;D&#39;, &#39;𝔼&#39;: &#39;E&#39;, &#39;𝔽&#39;: &#39;F&#39;, &#39;𝔾&#39;: &#39;G&#39;, <br>            &#39;ℍ&#39;: &#39;H&#39;, &#39;𝕀&#39;: &#39;I&#39;, &#39;𝕁&#39;: &#39;J&#39;, &#39;𝕂&#39;: &#39;K&#39;, &#39;𝕃&#39;: &#39;L&#39;, &#39;𝕄&#39;: &#39;M&#39;, &#39;ℕ&#39;: &#39;N&#39;,<br>            &#39;𝕆&#39;: &#39;O&#39;, &#39;ℙ&#39;: &#39;P&#39;, &#39;ℚ&#39;: &#39;Q&#39;, &#39;ℝ&#39;: &#39;R&#39;, &#39;𝕊&#39;: &#39;S&#39;, &#39;𝕋&#39;: &#39;T&#39;, &#39;𝕌&#39;: &#39;U&#39;,<br>            &#39;𝕍&#39;: &#39;V&#39;, &#39;𝕎&#39;: &#39;W&#39;, &#39;𝕏&#39;: &#39;X&#39;, &#39;𝕐&#39;: &#39;Y&#39;, &#39;ℤ&#39;: &#39;Z&#39;,<br>            <br>            # Mathematical Bold<br>            &#39;𝐀&#39;: &#39;A&#39;, &#39;𝐁&#39;: &#39;B&#39;, &#39;𝐂&#39;: &#39;C&#39;, &#39;𝐃&#39;: &#39;D&#39;, &#39;𝐄&#39;: &#39;E&#39;, &#39;𝐅&#39;: &#39;F&#39;, &#39;𝐆&#39;: &#39;G&#39;,<br>            &#39;𝐇&#39;: &#39;H&#39;, &#39;𝐈&#39;: &#39;I&#39;, &#39;𝐉&#39;: &#39;J&#39;, &#39;𝐊&#39;: &#39;K&#39;, &#39;𝐋&#39;: &#39;L&#39;, &#39;𝐌&#39;: &#39;M&#39;, &#39;𝐍&#39;: &#39;N&#39;,<br>            &#39;𝐎&#39;: &#39;O&#39;, &#39;𝐏&#39;: &#39;P&#39;, &#39;𝐐&#39;: &#39;Q&#39;, &#39;𝐑&#39;: &#39;R&#39;, &#39;𝐒&#39;: &#39;S&#39;, &#39;𝐓&#39;: &#39;T&#39;, &#39;𝐔&#39;: &#39;U&#39;,<br>            &#39;𝐕&#39;: &#39;V&#39;, &#39;𝐖&#39;: &#39;W&#39;, &#39;𝐗&#39;: &#39;X&#39;, &#39;𝐘&#39;: &#39;Y&#39;, &#39;𝐙&#39;: &#39;Z&#39;,<br>            <br>            # Mathematical Bold Numbers<br>            &#39;𝟎&#39;: &#39;0&#39;, &#39;𝟏&#39;: &#39;1&#39;, &#39;𝟐&#39;: &#39;2&#39;, &#39;𝟑&#39;: &#39;3&#39;, &#39;𝟒&#39;: &#39;4&#39;, &#39;𝟓&#39;: &#39;5&#39;,<br>            &#39;𝟔&#39;: &#39;6&#39;, &#39;𝟕&#39;: &#39;7&#39;, &#39;𝟖&#39;: &#39;8&#39;, &#39;𝟗&#39;: &#39;9&#39;,<br>            <br>            # Full-width characters<br>            &#39;Ａ&#39;: &#39;A&#39;, &#39;Ｂ&#39;: &#39;B&#39;, &#39;Ｃ&#39;: &#39;C&#39;, &#39;Ｄ&#39;: &#39;D&#39;, &#39;Ｅ&#39;: &#39;E&#39;, &#39;Ｆ&#39;: &#39;F&#39;,<br>            &#39;Ｇ&#39;: &#39;G&#39;, &#39;Ｈ&#39;: &#39;H&#39;, &#39;Ｉ&#39;: &#39;I&#39;, &#39;Ｊ&#39;: &#39;J&#39;, &#39;Ｋ&#39;: &#39;K&#39;, &#39;Ｌ&#39;: &#39;L&#39;,<br>            &#39;Ｍ&#39;: &#39;M&#39;, &#39;Ｎ&#39;: &#39;N&#39;, &#39;Ｏ&#39;: &#39;O&#39;, &#39;Ｐ&#39;: &#39;P&#39;, &#39;Ｑ&#39;: &#39;Q&#39;, &#39;Ｒ&#39;: &#39;R&#39;,<br>            &#39;Ｓ&#39;: &#39;S&#39;, &#39;Ｔ&#39;: &#39;T&#39;, &#39;Ｕ&#39;: &#39;U&#39;, &#39;Ｖ&#39;: &#39;V&#39;, &#39;Ｗ&#39;: &#39;W&#39;, &#39;Ｘ&#39;: &#39;X&#39;,<br>            &#39;Ｙ&#39;: &#39;Y&#39;, &#39;Ｚ&#39;: &#39;Z&#39;<br>        }<br>        <br>        translation_table = str.maketrans(math_to_latin)<br>        return text.translate(translation_table)<br>    <br>    elif method == &#39;comprehensive&#39;:<br>        # 포괄적인 정규화 (NFKC + 사용자 정의)<br>        text = unicodedata.normalize(&#39;NFKC&#39;, text)<br>        <br>        # 추가적인 수학 기호 정규화<br>        additional_mappings = {<br>            &#39;∈&#39;: &#39; in &#39;, &#39;∉&#39;: &#39; not in &#39;, &#39;⊂&#39;: &#39; subset &#39;, &#39;⊃&#39;: &#39; superset &#39;,<br>            &#39;≤&#39;: &#39;&lt;=&#39;, &#39;≥&#39;: &#39;&gt;=&#39;, &#39;≠&#39;: &#39;!=&#39;, &#39;≈&#39;: &#39;~=&#39;, &#39;∞&#39;: &#39;infinity&#39;,<br>            &#39;∑&#39;: &#39;sum&#39;, &#39;∏&#39;: &#39;product&#39;, &#39;∫&#39;: &#39;integral&#39;<br>        }<br>        <br>        for unicode_char, replacement in additional_mappings.items():<br>            text = text.replace(unicode_char, replacement)<br>        <br>        return text<br><br># 실제 사용 예제<br>def process_mathematical_dataset():<br>    &quot;&quot;&quot;수학 텍스트 데이터셋 처리 예제&quot;&quot;&quot;<br>    <br>    # 샘플 데이터 생성<br>    sample_data = [<br>        &quot;𝔸 ∈ ℝ 에서 𝐀 = {𝟏, 𝟐, 𝟑}&quot;,<br>        &quot;Let 𝑓: ℝ → ℝ be a function where 𝑓(𝒙) = 𝒙²&quot;,<br>        &quot;Matrix 𝗔 = [𝖆₁₁ 𝖆₁₂; 𝖆₂₁ 𝖆₂₂]&quot;,<br>        &quot;The equation 𝛼 + 𝛽 = γ has solutions in ℂ&quot;,<br>        &quot;Set 𝒮 = {𝓪, 𝓫, 𝓬} where 𝓪 ∈ ℕ&quot;<br>    ]<br>    df = pd.DataFrame({&#39;text&#39;: sample_data})<br>    <br>    # 다양한 방법으로 정규화 수행<br>    df[&#39;nfkc_normalized&#39;] = df[&#39;text&#39;].apply(<br>        lambda x: normalize_mathematical_text(x, &#39;nfkc&#39;)<br>    )<br>    df[&#39;custom_normalized&#39;] = df[&#39;text&#39;].apply(<br>        lambda x: normalize_mathematical_text(x, &#39;custom&#39;)<br>    )<br>    df[&#39;comprehensive_normalized&#39;] = df[&#39;text&#39;].apply(<br>        lambda x: normalize_mathematical_text(x, &#39;comprehensive&#39;)<br>    )<br>    <br>    # 결과 출력<br>    print(&quot;Python 수학 텍스트 정규화 결과:&quot;)<br>    print(&quot;=&quot; * 80)<br>    <br>    for idx, row in df.iterrows():<br>        print(f&quot;\n원본 텍스트: {row[&#39;text&#39;]}&quot;)<br>        print(f&quot;NFKC 정규화: {row[&#39;nfkc_normalized&#39;]}&quot;)<br>        print(f&quot;사용자 정의: {row[&#39;custom_normalized&#39;]}&quot;)<br>        print(f&quot;포괄적 정규화: {row[&#39;comprehensive_normalized&#39;]}&quot;)<br>        <br>        # 변화된 문자 수 계산<br>        original_len = len(row[&#39;text&#39;])<br>        nfkc_len = len(row[&#39;nfkc_normalized&#39;])<br>        print(f&quot;문자 수 변화: {original_len} → {nfkc_len}&quot;)<br>    <br>    return df<br><br># 성능 측정 함수<br>def measure_normalization_performance():<br>    &quot;&quot;&quot;정규화 성능 측정&quot;&quot;&quot;<br>    <br>    # 대용량 테스트 데이터 생성<br>    test_texts = [&quot;𝔸𝐀Ａ𝟏𝟐𝟑&quot;] * 10000<br>    <br>    methods = [&#39;nfkc&#39;, &#39;custom&#39;, &#39;comprehensive&#39;]<br>    results = {}<br>    <br>    for method in methods:<br>        start_time = time.time()<br>        normalized_texts = [normalize_mathematical_text(text, method) for text in test_texts]<br>        end_time = time.time()<br>        <br>        results[method] = {<br>            &#39;time&#39;: end_time - start_time,<br>            &#39;texts_per_second&#39;: len(test_texts) / (end_time - start_time)<br>        }<br>    <br>    print(&quot;\n성능 측정 결과:&quot;)<br>    print(&quot;=&quot; * 50)<br>    for method, stats in results.items():<br>        print(f&quot;{method}: {stats[&#39;time&#39;]:.4f}초, {stats[&#39;texts_per_second&#39;]:.0f} texts/sec&quot;)<br>    <br>    return results<br><br><br># 실행 결과(예시):<br># 원본: 𝔸 = {𝟏, 𝟐, 𝟑} ∈ ℝ<br># NFKC: A = {1, 2, 3} ∈ R<br># 사용자 정의: A = {1, 2, 3} ∈ R<br># 포괄적 정규화: A = {1, 2, 3}  in  R<br><br># Python 수학 텍스트 정규화 결과:<br># ================================================================================<br><br># 원본 텍스트: 𝔸 ∈ ℝ 에서 𝐀 = {𝟏, 𝟐, 𝟑}<br># NFKC 정규화: A ∈ R 에서 A = {1, 2, 3}<br># 사용자 정의: A ∈ R 에서 A = {1, 2, 3}<br># 포괄적 정규화: A  in  R 에서 A = {1, 2, 3}<br># 문자 수 변화: 22 → 22<br><br># 원본 텍스트: Let 𝑓: ℝ → ℝ be a function where 𝑓(𝒙) = 𝒙²<br># NFKC 정규화: Let f: R → R be a function where f(x) = x2<br># 사용자 정의: Let 𝑓: R → R be a function where 𝑓(𝒙) = 𝒙²<br># 포괄적 정규화: Let f: R → R be a function where f(x) = x2<br># 문자 수 변화: 42 → 42<br><br># 원본 텍스트: Matrix 𝗔 = [𝖆₁₁ 𝖆₁₂; 𝖆₂₁ 𝖆₂₂]<br># NFKC 정규화: Matrix A = [a11 a12; a21 a22]<br># 사용자 정의: Matrix 𝗔 = [𝖆₁₁ 𝖆₁₂; 𝖆₂₁ 𝖆₂₂]<br># 포괄적 정규화: Matrix A = [a11 a12; a21 a22]<br># 문자 수 변화: 29 → 29<br><br># 원본 텍스트: The equation 𝛼 + 𝛽 = γ has solutions in ℂ<br># NFKC 정규화: The equation α + β = γ has solutions in C<br># 사용자 정의: The equation 𝛼 + 𝛽 = γ has solutions in C<br># 포괄적 정규화: The equation α + β = γ has solutions in C<br># 문자 수 변화: 41 → 41<br><br># 원본 텍스트: Set 𝒮 = {𝓪, 𝓫, 𝓬} where 𝓪 ∈ ℕ<br># NFKC 정규화: Set S = {a, b, c} where a ∈ N<br># 사용자 정의: Set 𝒮 = {𝓪, 𝓫, 𝓬} where 𝓪 ∈ N<br># 포괄적 정규화: Set S = {a, b, c} where a  in  N<br># 문자 수 변화: 29 → 29<br><br># 성능 측정 결과:<br># ==================================================<br># nfkc: 0.0059초, 1690025 texts/sec<br># custom: 0.1863초, 53671 texts/sec<br># comprehensive: 0.0204초, 490545 texts/sec</pre><h4>3.3 R로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>R에서는 utf8 패키지의 utf8_normalize() 함수와 stringi 패키지의 stri_trans_nfkc() 함수를 활용하여 NFKC 정규화를 수행할 수 있다. 사용자 정의 매핑도 stringr::str_replace_all()로 구현한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre># 필요한 패키지 로드<br>library(utf8)<br>library(stringi)<br>library(dplyr)<br>library(stringr)<br><br># 정규화 함수 정의<br>normalize_math_text &lt;- function(text, method = &quot;utf8&quot;) {<br>  if (method == &quot;utf8&quot;) {<br>    return(utf8_normalize(text, map_compat = TRUE))<br>  } else if (method == &quot;stringi&quot;) {<br>    return(stri_trans_nfkc(text))<br>  } else if (method == &quot;custom&quot;) {<br>    math_chars &lt;- c(&quot;𝔸&quot;,&quot;𝔹&quot;,&quot;ℂ&quot;,&quot;𝐀&quot;,&quot;𝐁&quot;,&quot;𝟏&quot;,&quot;𝟐&quot;,&quot;Ａ&quot;,&quot;Ｂ&quot;)<br>    latin_chars &lt;- c(&quot;A&quot;,&quot;B&quot;,&quot;C&quot; ,&quot;A&quot; ,&quot;B&quot; ,&quot;1&quot; ,&quot;2&quot; ,&quot;A&quot; ,&quot;B&quot;)<br>    return(str_replace_all(text, setNames(latin_chars, math_chars)))<br>  }<br>}<br><br># 실행 예제<br>texts &lt;- c(<br>  &quot;𝔸 ∈ ℝ 에서 𝐀 = {𝟏, 𝟐}&quot;,<br>  &quot;Let 𝑓: ℝ → ℝ be 𝑓(𝒙)=𝒙²&quot;<br>)<br><br>df &lt;- tibble(text = texts) %&gt;%<br>  mutate(<br>    utf8_norm = normalize_math_text(text, &quot;utf8&quot;),<br>    stringi_norm = normalize_math_text(text, &quot;stringi&quot;),<br>    custom_norm = normalize_math_text(text, &quot;custom&quot;)<br>  )<br><br>print(df)<br><br># 실행 결과(예시):<br># A tibble: 2 × 4<br>#   text                         utf8_norm               stringi_norm            custom_norm        <br>#   &lt;chr&gt;                        &lt;chr&gt;                   &lt;chr&gt;                   &lt;chr&gt;              <br># 1 𝔸 ∈ ℝ 에서 𝐀 = {𝟏, 𝟐}        A ∈ R 에서 A = {1, 2}   A ∈ R 에서 A = {1, 2}   A ∈ R 에서 A = {1, 2}<br># 2 Let 𝑓: ℝ → ℝ be 𝑓(𝒙)=𝒙²    Let f: R → R be f(x)=x2  Let f: R → R be f(x)=x2  Let 𝑓: R → R be 𝑓(𝒙)=𝒙²</pre><h4>3.4 Julia로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Julia에서는 Unicode.normalize(str, :NFKC)를 사용하고, 추가 매핑은 replace로 처리한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>using Unicode<br>using DataFrames<br><br>function normalize_math(text::String; method::Symbol=:nfkc)<br>    if method == :nfkc<br>        return normalize(text, :NFKC)<br>    elseif method == :custom<br>        mapping = Dict(&#39;𝔸&#39;=&gt;&#39;A&#39;,&#39;ℝ&#39;=&gt;&#39;R&#39;,&#39;𝟏&#39;=&gt;&#39;1&#39;,&#39;𝟐&#39;=&gt;&#39;2&#39;)<br>        return String([get(mapping, c, c) for c in text])<br>    end<br>end<br><br>texts = [&quot;𝔸 ∈ ℝ 에서 𝐀 = {𝟏, 𝟐}&quot;, &quot;Let 𝑓: ℝ → ℝ, 𝑓(𝒙)=𝒙²&quot;]<br>df = DataFrame(text=texts)<br>df.utf8 = normalize_math.(df.text, method=:nfkc)<br>df.custom = normalize_math.(df.text, method=:custom)<br>df<br><br><br># 실행 결과(예시):<br># 2×3 DataFrame<br>#  Row │ text                           utf8            custom          <br>#      │ String                         String          String          <br># ─────┼────────────────────────────────────────────────────────────────<br>#    1 │ 𝔸 ∈ ℝ 에서 𝐀 = {𝟏, 𝟐}            A ∈ R 에서 A = {1, 2}  A ∈ R 에서 A = {1, 2}<br>#    2 │ Let 𝑓: ℝ → ℝ, 𝑓(𝒙)=𝒙²    Let f: R → R, f(x)=x2  Let 𝑓: R → R, 𝑓(𝒙)=𝒙²</pre><h4>3.5 Go로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Go에서는 golang.org/x/text/unicode/norm 패키지의 norm.NFKC를 사용하고, 매핑은 strings.Map으로 구현한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>package main<br><br>import (<br>    &quot;fmt&quot;<br>    &quot;strings&quot;<br>    &quot;golang.org/x/text/unicode/norm&quot;<br>)<br><br>func customNorm(text string) string {<br>    mapping := map[rune]rune{&#39;𝔸&#39;:&#39;A&#39;,&#39;ℝ&#39;:&#39;R&#39;,&#39;𝟏&#39;:&#39;1&#39;,&#39;𝟐&#39;:&#39;2&#39;}<br>    return strings.Map(func(r rune) rune {<br>        if v, ok := mapping[r]; ok {<br>            return v<br>        }<br>        return r<br>    }, text)<br>}<br><br>func main() {<br>    samples := []string{&quot;𝔸 ∈ ℝ에서 𝐀={𝟏,𝟐}&quot;, &quot;f: ℝ→ℝ, 𝑓(𝒙)=𝒙²&quot;}<br>    for _, s := range samples {<br>        fmt.Println(&quot;Original:&quot;, s)<br>        fmt.Println(&quot;NFKC   :&quot;, norm.NFKC.String(s))<br>        fmt.Println(&quot;Custom :&quot;, customNorm(s))<br>        fmt.Println()<br>    }<br>}<br><br>/*<br>실행 결과(예시):<br><br>Original: 𝔸 ∈ ℝ에서 𝐀={𝟏,𝟐}<br>NFKC   : A ∈ R에서 A={1,2}<br>Custom : A ∈ ℝ에서 𝐀={1,2}<br><br>Original: f: ℝ→ℝ, 𝑓(𝒙)=𝒙²<br>NFKC   : f: R→R, f(x)=x2<br>Custom : f: ℝ→ℝ, 𝑓(𝒙)=𝒙²<br>*/</pre><h4>3.6 C로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>C에서는 ICU의 unorm2_normalize()를 사용하거나 사용자 정의 매핑 테이블을 순회한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>#include &lt;stdio.h&gt;<br>#include &lt;stdlib.h&gt;<br>#include &lt;string.h&gt;<br><br>// 간략화된 매핑 예<br>char* normalize_custom(const char* input) {<br>    size_t len = strlen(input);<br>    char* out = malloc(len+1);<br>    for (size_t i=0;i&lt;len;i++){<br>        unsigned char c = input[i];<br>        if (c &gt;= 0xE2) { out[i]=&#39;?&#39;; } else { out[i]=c; }<br>    }<br>    out[len]=&#39;\0&#39;;<br>    return out;<br>}<br><br>int main() {<br>    const char* sample = &quot;𝔸 ∈ ℝ = {𝟏,𝟐}&quot;;<br>    char* norm = normalize_custom(sample);<br>    printf(&quot;Original: %s\n&quot;, sample);<br>    printf(&quot;Custom  : %s\n&quot;, norm);<br>    free(norm);<br>    return 0;<br>}<br><br>/*<br>실행 결과(예시):<br><br>Original: 𝔸 ∈ ℝ = {𝟏,𝟐}<br>Custom  : ? ∈ ? = {?,?}<br>*/</pre><h4>3.7 C++로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>C++17 이후 std::wstring_convert와 std::codecvt_utf8을 통해 UTF-8 ↔ UTF-32 변환 후 매핑한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>#include &lt;iostream&gt;<br>#include &lt;codecvt&gt;<br>#include &lt;locale&gt;<br>#include &lt;unordered_map&gt;<br>using namespace std;<br><br>string customNorm(const string&amp; in){<br>    unordered_map&lt;char32_t,char32_t&gt; M={{0x1D538,&#39;A&#39;},{0x211D,&#39;R&#39;}};<br>    wstring_convert&lt;codecvt_utf8&lt;char32_t&gt;,char32_t&gt; cv;<br>    u32string u = cv.from_bytes(in);<br>    for(auto&amp; c:u) if(M.count(c)) c=M[c];<br>    return cv.to_bytes(u);<br>}<br><br>int main(){<br>    string s=&quot;𝔸 ∈ ℝ&quot;;<br>    cout&lt;&lt;&quot;Original: &quot;&lt;&lt;s&lt;&lt;&quot;\n&quot;;<br>    cout&lt;&lt;&quot;Custom  : &quot;&lt;&lt;customNorm(s)&lt;&lt;&quot;\n&quot;;<br>}<br><br>/*<br>실행 결과(예시):<br><br>Original: 𝔸 ∈ ℝ<br>Custom  : A ∈ R<br>*/</pre><h4>3.8 Java로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Java에서는 java.text.Normalizer.normalize(str, Form.NFKC)를 이용하고, codePointAt+매핑 테이블로 처리한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>import java.text.Normalizer;<br>import java.util.Map;<br>public class Main {<br>  public static void main(String[] args){<br>    String s=&quot;𝔸 ∈ ℝ&quot;;<br>    String nfkc = Normalizer.normalize(s, Normalizer.Form.NFKC);<br>    System.out.println(&quot;Original: &quot;+s);<br>    System.out.println(&quot;NFKC    : &quot;+nfkc);<br>  }<br>}<br><br>/*<br>실행 결과(예시):<br><br>Original: 𝔸 ∈ ℝ<br>NFKC    : A ∈ R<br>*/</pre><h4>3.9 JavaScript로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>JS에서는 str.normalize(&#39;NFKC&#39;)를 사용하며, replace로 추가 매핑을 적용한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>const s = &quot;𝔸 ∈ ℝ&quot;;<br>console.log(&quot;Original:&quot;, s);<br>console.log(&quot;NFKC    :&quot;, s.normalize(&#39;NFKC&#39;));<br><br>/*<br>실행 결과(예시):<br><br>Original: 𝔸 ∈ ℝ<br>NFKC    : A ∈ R<br>*/</pre><h3>4. 문제 해결의 중요성</h3><p>수학 알파벳 기호의 기본 라틴 문자 변환은 현대 디지털 환경에서 매우 중요한 의미를 가진다.</p><p><strong>(1) 텍스트 분석과 검색의 정확성을 크게 향상시킨다.</strong><br>동일한 의미를 가진 텍스트가 서로 다른 유니코드 문자로 구성되어 있으면 검색 엔진이 이를 별개의 내용으로 인식하여 관련 정보를 놓칠 수 있다. 정규화를 통해 이러한 문제를 해결하면 사용자가 원하는 정보를 더 정확하게 찾을 수 있다.</p><p><strong>(2) 자연어 처리와 기계학습 모델의 성능을 개선한다.</strong><br>모델이 동일한 의미의 텍스트를 서로 다른 토큰으로 인식하면 학습 데이터의 효율성이 떨어지고 모델의 일반화 성능이 저하된다. 정규화를 통해 일관된 입력을 제공하면 모델이 더 적은 데이터로도 높은 성능을 달성할 수 있다.</p><p><strong>(3) 데이터베이스의 일관성과 무결성을 보장한다.</strong><br>중복 제거, 정렬, 인덱싱과 같은 데이터베이스 작업에서 시각적으로 동일한 텍스트가 서로 다르게 처리되는 것을 방지할 수 있다. 이는 데이터의 품질을 높이고 분석 결과의 신뢰성을 향상시킨다.</p><p><strong>(4) 사용자 경험의 일관성을 제공한다.</strong><br>웹 애플리케이션이나 모바일 앱에서 사용자가 입력한 텍스트와 시스템에 저장된 텍스트가 시각적으로 동일해 보임에도 매칭되지 않는 문제를 해결할 수 있다. 이는 특히 검색 기능이나 자동완성 기능에서 중요하다.</p><p><strong>(5) 국제화와 접근성을 개선한다.</strong><br>다양한 입력 방법과 플랫폼에서 생성된 텍스트를 표준화함으로써 전 세계 사용자들이 일관된 경험을 할 수 있도록 돕는다. 또한 보조 기술을 사용하는 사용자들에게도 더 나은 접근성을 제공한다.</p><h3>5. 한계점</h3><p>수학 알파벳 기호 정규화에는 몇 가지 중요한 한계점이 존재한다.</p><p><strong>(1) 의미론적 정보의 손실이 발생</strong><br>수학에서 서로 다른 서체는 종종 서로 다른 의미를 나타내므로, 모든 것을 기본 라틴 문자로 변환하면 중요한 맥락 정보가 사라질 수 있다. 예를 들어, 볼드체 벡터와 일반 스칼라를 구분할 수 없게 된다.</p><p><strong>(2) 완전한 정규화의 불가능성</strong><br>유니코드에는 수많은 변형 문자가 존재하며, 새로운 문자들이 계속 추가되고 있다. 모든 경우를 완벽하게 처리하는 것은 현실적으로 불가능하며, 정규화 규칙도 지속적으로 업데이트해야 한다.</p><p><strong>(3) 성능과 메모리 오버헤드가 발생</strong><br>대용량 텍스트를 실시간으로 처리해야 하는 환경에서는 정규화 과정이 상당한 컴퓨팅 리소스를 소모할 수 있다. 특히 복잡한 매핑 테이블을 사용하는 경우 메모리 사용량도 증가한다.</p><p><strong>(4) 언어와 도메인별 특수성을 완전히 처리하기 어려움</strong><br>각 언어와 학문 분야마다 고유한 표기 규칙과 관례가 있어, 범용적인 정규화 규칙으로는 모든 경우를 적절히 처리할 수 없다.</p><p><strong>(5) 가역성 문제</strong><br>정규화 과정에서 원본 정보가 손실되므로, 필요한 경우 원래 형태로 복원하는 것이 불가능하다. 이는 원본 형태를 보존해야 하는 경우에 문제가 될 수 있다.</p><p><strong>(6) 표준화의 복잡성</strong><br>서로 다른 플랫폼과 라이브러리에서 사용하는 정규화 규칙이 일치하지 않을 수 있어, 시스템 간 호환성 문제가 발생할 수 있다.</p><h3>6. 결론</h3><p>수학 알파벳 기호의 기본 라틴 문자 변환은 현대 텍스트 처리에서 필요한 기술이다.</p><p>실제 구현에서는 NFKC 정규화, 사용자 정의 매핑, 포괄적 변환 등 다양한 방법을 조합하여 사용할 수 있으며, 성능과 정확성 사이의 균형을 고려해야 한다. 또한 정규화의 한계점을 인식하고, 특정 상황에서는 원본 데이터의 보존이나 의미론적 정보의 유지가 더 중요할 수 있음을 고려해야 한다.</p><p>미래에는 AI와 기계학습 기술의 발전으로 더 지능적인 텍스트 정규화가 가능해질 것으로 예상되며, 맥락을 고려한 적응형 정규화 기술이 개발될 것으로 전망된다. 이러한 기술적 진보와 함께 표준화 노력도 계속되어, 더욱 일관되고 효과적인 텍스트 처리 환경이 구축될 것이다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=eab757fd2d3a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[텍스트 정규화 #39 — 키맵 오입력]]></title>
            <link>https://medium.com/@praster1/%ED%85%8D%EC%8A%A4%ED%8A%B8-%EC%A0%95%EA%B7%9C%ED%99%94-39-%ED%82%A4%EB%A7%B5-%EC%98%A4%EC%9E%85%EB%A0%A5-1bdb3d9f4c3f?source=rss-2267dcfdebd3------2</link>
            <guid isPermaLink="false">https://medium.com/p/1bdb3d9f4c3f</guid>
            <category><![CDATA[키맵오입력]]></category>
            <category><![CDATA[전음표기법변환]]></category>
            <category><![CDATA[텍스트정규화]]></category>
            <category><![CDATA[다국어텍스트처리]]></category>
            <category><![CDATA[언어자동감지]]></category>
            <dc:creator><![CDATA[Jaeseong Yoo]]></dc:creator>
            <pubDate>Sat, 14 Jun 2025 16:54:00 GMT</pubDate>
            <atom:updated>2025-06-14T16:54:52.353Z</atom:updated>
            <content:encoded><![CDATA[<h3>텍스트 정규화 #39 — 키맵 오입력</h3><h3>1. 문제 상황 소개</h3><p>현대 글로벌 환경에서 다국어 입력은 일상적인 업무가 되었다. 특히 데이터 수집과 처리 과정에서 사용자들이 서로 다른 입력 방식(IME, Input Method Editor)을 사용하면서 의도하지 않은 언어로 텍스트를 입력하는 문제가 빈번하게 발생한다.</p><p>가장 대표적인 사례는 일본어 키보드 설정에서 한국어를 입력하려고 할 때 “あんにょん”이 되거나, 중국어 병음 입력기에서 영어를 입력하려다 “ni hao”가 “你好”로 변환되지 않고 그대로 남아있는 경우다. 이러한 키맵 오입력은 단순한 사용자 실수처럼 보이지만, 대규모 데이터 처리 환경에서는 심각한 데이터 품질 문제를 야기한다.</p><p>실제 업무 환경에서 이런 문제는 다양한 형태로 나타난다<a href="https://appadal.tistory.com/1471">5</a>. 고객 관리 시스템에서 사용자가 일본어 입력기 상태에서 한국어 이름을 입력하면 “김철수”가 “きmちぇるすぅ” 같은 형태로 저장되거나, 국제적인 소셜 미디어 플랫폼에서 중국어 사용자가 영어를 입력하려다 병음이 그대로 남아 “wo shi zhongguo ren” 같은 텍스트가 생성되기도 한다.</p><p>이러한 문제는 텍스트 마이닝, 자연어 처리, 검색 시스템의 정확도를 크게 떨어뜨린다. 또한 다국어 환경에서 운영되는 서비스의 사용자 경험을 저해하고, 데이터 일관성을 해치는 주요 원인이 된다<a href="https://arxiv.org/abs/2101.03963">8</a>. 특히 모바일 환경에서는 자동완성이나 예측 입력 기능과 결합되어 더욱 복잡한 형태의 오입력이 발생하기도 한다.</p><h3>2. 문제가 발생한 근본 원인 분석</h3><p>키맵 오입력 문제의 근본 원인은 여러 계층에서 복합적으로 발생한다.</p><p><strong>(1) 운영체제 수준에서의 입력 방식 관리 체계의 한계</strong><br>Windows, macOS, Linux 등 각 운영체제마다 IME 관리 방식이 다르고, 사용자가 의식하지 못한 상태에서 입력 언어가 변경되는 경우가 빈번하다.</p><p><strong>(2) 키보드 레이아웃과 문자 매핑의 복잡성</strong><br>일본어 히라가나 입력의 경우 로마자를 히라가나로 변환하는과정에서 한국어 단어와 유사한 음성 패턴이 생성될 수 있다. 예를 들어 “annyeong”을 일본어 입력기에서 입력하면 “あんにょん”으로 변환되는데, 이는 일본어 음성학적 규칙을 따른 결과다.</p><p><strong>(3) 중국어 병음 입력 시스템의 특성</strong><br>병음은 한자를 로마자로 표기하는 방식이지만, 성조 표시나 정확한 한자 선택 없이는 로마자 형태로 남게 된다. 특히 “ni hao” 같은 일상적인 표현의 경우 사용자가 변환 과정을 완료하지 않고 그대로 입력을 마무리하는 경우가 많다.</p><p><strong>(4) 멀티태스킹 환경에서의 컨텍스트 스위칭 문제</strong><br>사용자가 여러 애플리케이션을 동시에 사용하면서 입력 언어 설정이 예기치 않게 변경되거나, 이전 애플리케이션의 입력 상태가 그대로 유지되는 경우가 발생한다.</p><p><strong>(5) 자동완성과 예측 입력 기능의 간섭</strong><br>모바일 기기나 현대적인 입력 시스템에서는 사용자의 입력 패턴을 학습하여 자동완성을 제공하는데, 이 과정에서 잘못된 언어의 학습 데이터가 축적되면 오입력이 더욱 빈번해진다.</p><p><strong>(6) 사용자의 언어적 습관과 키보드 근육 기억의 충돌</strong><br>다국어 사용자의 경우 각 언어별로 서로 다른 키보드 레이아웃에 익숙해져 있는데, 입력 모드 변경을 인지하지 못한 상태에서 기존 습관대로 타이핑하면 의도하지 않은 결과가 나온다.</p><h3>3. 해결 방법</h3><p>키맵 오입력 문제를 해결하기 위해서는 언어 자동 감지(Language Detection)와 전음표기법 변환(Transliteration)을 조합한 접근 방식이 필요하다. 이 방법은 입력된 텍스트의 언어를 자동으로 식별하고, 올바른 대상 언어로 변환하는 두 단계로 구성된다.</p><h4>3.1 SQL로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>SQL에서 키맵 오입력 문제를 해결하기 위해서는 문자열 함수와 정규표현식을 활용한다<a href="https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/Intl/Collator">27</a>. 주요 함수로는 REPLACE, TRANSLATE, REGEXP_REPLACE 등이 있으며, 이를 통해 특정 문자 패턴을 다른 문자로 변환할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>-- 잘못 입력된 데이터 조회<br>SELECT customer_id, customer_name, input_language<br>FROM customers <br>WHERE customer_name REGEXP &#39;[あ-んア-ン]&#39;<br>AND intended_language = &#39;ko&#39;;<br>-- 실행 결과(예시):<br>-- customer_id=1001, customer_name=&#39;あんにょん&#39;, input_language=&#39;ja&#39;<br><br>-- 일본어 히라가나를 한국어로 변환하는 매핑 테이블 생성<br>CREATE TABLE transliteration_map (<br>    source_char VARCHAR(10),<br>    target_char VARCHAR(10),<br>    source_lang CHAR(2),<br>    target_lang CHAR(2)<br>);<br><br>INSERT INTO transliteration_map VALUES<br>(&#39;あん&#39;, &#39;안&#39;, &#39;ja&#39;, &#39;ko&#39;),<br>(&#39;にょん&#39;, &#39;녕&#39;, &#39;ja&#39;, &#39;ko&#39;),<br>(&#39;きm&#39;, &#39;김&#39;, &#39;ja&#39;, &#39;ko&#39;),<br>(&#39;ちぇ&#39;, &#39;철&#39;, &#39;ja&#39;, &#39;ko&#39;),<br>(&#39;るすぅ&#39;, &#39;수&#39;, &#39;ja&#39;, &#39;ko&#39;);<br><br>-- 실제 변환 쿼리<br>UPDATE customers c<br>SET customer_name = (<br>    SELECT STRING_AGG(tm.target_char, &#39;&#39; ORDER BY position)<br>    FROM (<br>        SELECT DISTINCT <br>               REGEXP_REPLACE(c.customer_name, tm.source_char, tm.target_char) as target_char,<br>               POSITION(tm.source_char IN c.customer_name) as position<br>        FROM transliteration_map tm<br>        WHERE tm.source_lang = &#39;ja&#39; <br>        AND tm.target_lang = &#39;ko&#39;<br>        AND c.customer_name LIKE &#39;%&#39; || tm.source_char || &#39;%&#39;<br>    ) tm<br>)<br>WHERE customer_name REGEXP &#39;[あ-んア-ン]&#39;<br>AND intended_language = &#39;ko&#39;;<br>-- 실행 결과(예시):<br>-- customer_name이 &#39;あんにょん&#39;에서 &#39;안녕&#39;으로 변경됨<br><br>-- 병음 입력 오류 처리<br>SELECT order_id, product_name<br>FROM orders<br>WHERE product_name REGEXP &#39;^[a-z ]+$&#39;<br>AND LENGTH(product_name) &gt; 3<br>AND product_name NOT IN (SELECT word FROM english_dictionary);<br>-- 실행 결과(예시):<br>-- order_id=2001, product_name=&#39;ni hao pengyou&#39;<br><br>-- 중국어 병음을 한자로 변환<br>CREATE TEMPORARY TABLE pinyin_map AS<br>SELECT &#39;ni hao&#39; as pinyin, &#39;你好&#39; as hanzi<br>UNION ALL SELECT &#39;pengyou&#39;, &#39;朋友&#39;<br>UNION ALL SELECT &#39;xie xie&#39;, &#39;谢谢&#39;<br>UNION ALL SELECT &#39;zai jian&#39;, &#39;再见&#39;;<br><br>UPDATE orders o<br>SET product_name = (<br>    SELECT pm.hanzi<br>    FROM pinyin_map pm<br>    WHERE LOWER(o.product_name) = pm.pinyin<br>    LIMIT 1<br>)<br>WHERE EXISTS (<br>    SELECT 1 FROM pinyin_map pm<br>    WHERE LOWER(o.product_name) = pm.pinyin<br>);<br>-- 실행 결과(예시):<br>-- product_name이 &#39;ni hao pengyou&#39;에서 &#39;你好朋友&#39;로 변경됨</pre><h4>3.2 Python으로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Python에서는 여러 라이브러리를 활용하여 언어 감지와 전음표기법 변환을 수행할 수 있다. 주요 라이브러리로는 langdetect, polyglot, transliterate 등이 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>import pandas as pd<br>from langdetect import detect, detect_langs, LangDetectException<br>from polyglot.detect import Detector<br>from polyglot.text import Text<br>import unicodedata<br>import re<br>from transliterate import translit<br><br># 샘플 데이터 생성<br>social_media_data = pd.DataFrame({<br>    &#39;user_id&#39;: [1001, 1002, 1003, 1004, 1005],<br>    &#39;comment&#39;: [&#39;あんにょん、げんき？&#39;, &#39;ni hao wo shi zhongguo ren&#39;, <br>                &#39;konnichiwa minna san&#39;, &#39;안녕하세요 여러분&#39;, &#39;hello world&#39;],<br>    &#39;expected_lang&#39;: [&#39;ko&#39;, &#39;zh&#39;, &#39;ja&#39;, &#39;ko&#39;, &#39;en&#39;]<br>})<br><br>def detect_language_with_confidence(text):<br>    &quot;&quot;&quot;신뢰도를 포함한 언어 감지&quot;&quot;&quot;<br>    try:<br>        # langdetect 사용<br>        probabilities = detect_langs(text)<br>        primary_lang = probabilities[0]<br>        <br>        # polyglot으로 이중 검증<br>        detector = Detector(text)<br>        polyglot_lang = detector.language.code<br>        polyglot_confidence = detector.language.confidence<br>        <br>        return {<br>            &#39;langdetect_lang&#39;: primary_lang.lang,<br>            &#39;langdetect_prob&#39;: primary_lang.prob,<br>            &#39;polyglot_lang&#39;: polyglot_lang,<br>            &#39;polyglot_confidence&#39;: polyglot_confidence<br>        }<br>    except (LangDetectException, Exception) as e:<br>        return {&#39;error&#39;: str(e)}<br><br># 언어 감지 적용<br>social_media_data[&#39;detection_result&#39;] = social_media_data[&#39;comment&#39;].apply(<br>    detect_language_with_confidence<br>)<br><br>print(&quot;언어 감지 결과:&quot;)<br>for idx, row in social_media_data.iterrows():<br>    print(f&quot;텍스트: {row[&#39;comment&#39;]}&quot;)<br>    print(f&quot;예상 언어: {row[&#39;expected_lang&#39;]}&quot;)<br>    print(f&quot;감지 결과: {row[&#39;detection_result&#39;]}&quot;)<br>    print(&quot;-&quot; * 50)<br><br># 실행 결과(예시):<br># 텍스트: あんにょん、げんき？<br># 예상 언어: ko<br># 감지 결과: {&#39;langdetect_lang&#39;: &#39;ja&#39;, &#39;langdetect_prob&#39;: 0.9999, &#39;polyglot_lang&#39;: &#39;ja&#39;, &#39;polyglot_confidence&#39;: 100.0}<br><br>def correct_keymap_error(text, detected_lang, expected_lang):<br>    &quot;&quot;&quot;키맵 오입력 교정 함수&quot;&quot;&quot;<br>    corrections = {<br>        (&#39;ja&#39;, &#39;ko&#39;): {<br>            &#39;あんにょん&#39;: &#39;안녕&#39;,<br>            &#39;げんき&#39;: &#39;건기&#39;,<br>            &#39;さよなら&#39;: &#39;사요나라&#39;<br>        },<br>        (&#39;zh&#39;, &#39;zh&#39;): {<br>            &#39;ni hao&#39;: &#39;你好&#39;,<br>            &#39;wo shi&#39;: &#39;我是&#39;,<br>            &#39;zhongguo ren&#39;: &#39;中国人&#39;,<br>            &#39;xie xie&#39;: &#39;谢谢&#39;<br>        },<br>        (&#39;ja&#39;, &#39;ja&#39;): {<br>            &#39;konnichiwa&#39;: &#39;こんにちは&#39;,<br>            &#39;minna san&#39;: &#39;みなさん&#39;<br>        }<br>    }<br>    <br>    # 정확한 매핑이 있는 경우<br>    if (detected_lang, expected_lang) in corrections:<br>        mapping = corrections[(detected_lang, expected_lang)]<br>        corrected_text = text<br>        for wrong, correct in mapping.items():<br>            corrected_text = corrected_text.replace(wrong, correct)<br>        return corrected_text<br>    <br>    # 전음표기법 변환 시도<br>    try:<br>        if detected_lang == &#39;ja&#39; and expected_lang == &#39;ko&#39;:<br>            # 일본어 히라가나를 로마자로 변환 후 한글로 변환<br>            romanized = translit(text, &#39;ja&#39;, reversed=True)<br>            # 간단한 로마자-한글 변환 (실제로는 더 복잡한 로직 필요)<br>            ko_mapping = {<br>                &#39;annyeong&#39;: &#39;안녕&#39;,<br>                &#39;genki&#39;: &#39;건기&#39;,<br>                &#39;sayonara&#39;: &#39;사요나라&#39;<br>            }<br>            for roma, hangul in ko_mapping.items():<br>                romanized = romanized.replace(roma, hangul)<br>            return romanized<br>        return text<br>    except Exception as e:<br>        return text<br><br># 교정 적용<br>def apply_correction(row):<br>    detection = row[&#39;detection_result&#39;]<br>    if &#39;error&#39; not in detection:<br>        detected = detection[&#39;langdetect_lang&#39;]<br>        expected = row[&#39;expected_lang&#39;]<br>        return correct_keymap_error(row[&#39;comment&#39;], detected, expected)<br>    return row[&#39;comment&#39;]<br><br>social_media_data[&#39;corrected_comment&#39;] = social_media_data.apply(apply_correction, axis=1)<br><br>print(&quot;\n교정 결과:&quot;)<br>for idx, row in social_media_data.iterrows():<br>    print(f&quot;원본: {row[&#39;comment&#39;]}&quot;)<br>    print(f&quot;교정: {row[&#39;corrected_comment&#39;]}&quot;)<br>    print(f&quot;예상 언어: {row[&#39;expected_lang&#39;]}&quot;)<br>    print(&quot;-&quot; * 50)<br><br># 실행 결과(예시):<br># 원본: あんにょん、げんき？<br># 교정: 안녕、건기？<br># 예상 언어: ko<br><br># 고급 패턴 매칭을 사용한 교정<br>def advanced_keymap_correction(text):<br>    &quot;&quot;&quot;정규표현식을 사용한 고급 키맵 교정&quot;&quot;&quot;<br>    patterns = [<br>        # 일본어 히라가나 패턴<br>        (r&#39;あん([にょ]+)&#39;, lambda m: &#39;안&#39; + &#39;ㄴ&#39; * (len(m.group(1))//2)),<br>        # 중국어 병음 패턴<br>        (r&#39;\b(ni hao|wo shi|xie xie)\b&#39;, lambda m: {&#39;ni hao&#39;: &#39;你好&#39;, &#39;wo shi&#39;: &#39;我是&#39;, &#39;xie xie&#39;: &#39;谢谢&#39;}[m.group(1)]),<br>        # 혼합 패턴 (로마자 + 히라가나)<br>        (r&#39;([a-z]+)([あ-ん]+)&#39;, lambda m: m.group(1) + translit(m.group(2), &#39;ja&#39;, reversed=True))<br>    ]<br>    <br>    corrected = text<br>    for pattern, replacement in patterns:<br>        corrected = re.sub(pattern, replacement, corrected)<br>    <br>    return corrected<br><br># 고급 교정 테스트<br>test_cases = [<br>    &#39;あんにょん everyone&#39;,<br>    &#39;ni hao 朋友&#39;,<br>    &#39;koんにちwa minna&#39;,<br>    &#39;xie xie for helping&#39;<br>]<br><br>for test_text in test_cases:<br>    corrected = advanced_keymap_correction(test_text)<br>    print(f&quot;원본: {test_text}&quot;)<br>    print(f&quot;교정: {corrected}&quot;)<br>    print(&quot;-&quot; * 30)<br><br># 실행 결과(예시):<br># 원본: あんにょん everyone<br># 교정: 안녕 everyone</pre><h4>3.3 R로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>R에서는 textcat, cld2, cld3 패키지를 사용하여 언어 감지를 수행하고, stringr과 정규표현식을 활용하여 텍스트 변환을 처리한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>library(textcat)<br>library(cld2)<br>library(stringr)<br>library(dplyr)<br>library(tibble)<br><br># 샘플 피드백 데이터 생성<br>feedback_data &lt;- tibble(<br>  feedback_id = 1:6,<br>  customer_feedback = c(<br>    &quot;あんにょん、このせいひんはとてもいいです&quot;,<br>    &quot;ni hao, wo hen xi huan zhe ge chan pin&quot;,<br>    &quot;konnichiwa, sugoi desu ne&quot;,<br>    &quot;안녕하세요, 정말 좋은 제품이네요&quot;,<br>    &quot;hello, this is amazing product&quot;,<br>    &quot;きmちぇるすぅさんのrevいぇwです&quot;<br>  ),<br>  customer_region = c(&quot;KR&quot;, &quot;CN&quot;, &quot;JP&quot;, &quot;KR&quot;, &quot;US&quot;, &quot;KR&quot;),<br>  expected_language = c(&quot;ko&quot;, &quot;zh&quot;, &quot;ja&quot;, &quot;ko&quot;, &quot;en&quot;, &quot;ko&quot;)<br>)<br><br># 언어 감지 함수 정의<br>detect_multiple_languages &lt;- function(text) {<br>  tryCatch({<br>    # textcat 사용<br>    textcat_result &lt;- textcat(text)<br>    <br>    # cld2 사용<br>    cld2_result &lt;- detect_language(text)<br>    <br>    list(<br>      textcat = textcat_result,<br>      cld2 = cld2_result,<br>      text_length = nchar(text)<br>    )<br>  }, error = function(e) {<br>    list(textcat = &quot;unknown&quot;, cld2 = &quot;unknown&quot;, error = e$message)<br>  })<br>}<br><br># 언어 감지 실행<br>feedback_data$language_detection &lt;- map(feedback_data$customer_feedback, <br>                                       detect_multiple_languages)<br><br># 결과 출력<br>for(i in 1:nrow(feedback_data)) {<br>  cat(&quot;피드백 ID:&quot;, feedback_data$feedback_id[i], &quot;\n&quot;)<br>  cat(&quot;텍스트:&quot;, feedback_data$customer_feedback[i], &quot;\n&quot;)<br>  cat(&quot;예상 언어:&quot;, feedback_data$expected_language[i], &quot;\n&quot;)<br>  cat(&quot;감지 결과:&quot;, feedback_data$language_detection[[i]], &quot;\n&quot;)<br>  cat(rep(&quot;-&quot;, 60), &quot;\n&quot;)<br>}<br><br># 실행 결과(예시):<br># 피드백 ID: 1 <br># 텍스트: あんにょん、このせいひんはとてもいいです <br># 예상 언어: ko <br># 감지 결과: $textcat [1] &quot;japanese&quot; $cld2 [1] &quot;ja&quot; $text_length [1] 21<br><br># 키맵 오입력 교정 함수<br>correct_keymap_input &lt;- function(text, detected_lang, expected_lang) {<br>  # 일본어 히라가나 → 한국어 매핑<br>  ja_to_ko_map &lt;- list(<br>    &quot;あんにょん&quot; = &quot;안녕&quot;,<br>    &quot;きm&quot; = &quot;김&quot;,<br>    &quot;ちぇ&quot; = &quot;철&quot;,<br>    &quot;るすぅ&quot; = &quot;수&quot;,<br>    &quot;せいひん&quot; = &quot;제품&quot;,<br>    &quot;いい&quot; = &quot;좋은&quot;<br>  )<br>  <br>  # 중국어 병음 → 한자 매핑<br>  pinyin_to_hanzi_map &lt;- list(<br>    &quot;ni hao&quot; = &quot;你好&quot;,<br>    &quot;wo hen xi huan&quot; = &quot;我很喜欢&quot;,  <br>    &quot;zhe ge chan pin&quot; = &quot;这个产品&quot;,<br>    &quot;xie xie&quot; = &quot;谢谢&quot;<br>  )<br>  <br>  corrected_text &lt;- text<br>  <br>  # 일본어 → 한국어 교정<br>  if(detected_lang == &quot;japanese&quot; &amp;&amp; expected_lang == &quot;ko&quot;) {<br>    for(ja_phrase in names(ja_to_ko_map)) {<br>      corrected_text &lt;- str_replace_all(corrected_text, <br>                                       fixed(ja_phrase), <br>                                       ja_to_ko_map[[ja_phrase]])<br>    }<br>  }<br>  <br>  # 병음 → 한자 교정<br>  if(detected_lang == &quot;english&quot; &amp;&amp; expected_lang == &quot;zh&quot;) {<br>    for(pinyin in names(pinyin_to_hanzi_map)) {<br>      corrected_text &lt;- str_replace_all(corrected_text, <br>                                       fixed(pinyin), <br>                                       pinyin_to_hanzi_map[[pinyin]])<br>    }<br>  }<br>  <br>  return(corrected_text)<br>}<br><br># 교정 적용<br>feedback_data$corrected_feedback &lt;- map2_chr(<br>  feedback_data$customer_feedback,<br>  map_chr(feedback_data$language_detection, ~ .x$textcat),<br>  feedback_data$expected_language,<br>  ~ correct_keymap_input(.x, .y, .z)<br>)<br><br># 교정 결과 출력<br>correction_results &lt;- feedback_data %&gt;%<br>  select(feedback_id, customer_feedback, expected_language, corrected_feedback) %&gt;%<br>  filter(customer_feedback != corrected_feedback)<br><br>print(&quot;교정된 피드백:&quot;)<br>print(correction_results)<br><br># 실행 결과(예시):<br>#   feedback_id customer_feedback                    expected_language corrected_feedback                   <br>#   &lt;int&gt;       &lt;chr&gt;                               &lt;chr&gt;             &lt;chr&gt;                                <br># 1          1 あんにょん、このせいひんはとてもいいです ko                안녕、この제품はとても좋은です         <br># 2          2 ni hao, wo hen xi huan zhe ge chan pin zh                你好, 我很喜欢这个产品                <br><br># 정규표현식을 사용한 고급 패턴 매칭<br>advanced_pattern_correction &lt;- function(text) {<br>  # 혼합 패턴 감지 및 교정<br>  patterns &lt;- list(<br>    # 한글 자음 + 일본어 혼합<br>    list(pattern = &quot;([ㄱ-ㅎ])([あ-ん]+)&quot;, <br>         replacement = function(m) paste0(m[1], &quot;[JP]&quot;, m[2])),<br>    <br>    # 영어 + 병음 혼합  <br>    list(pattern = &quot;\\b([a-z]+)\\s+(ni|wo|ta|zhe)\\s+([a-z]+)\\b&quot;,<br>         replacement = function(m) paste0(m[1], &quot; [PINYIN]&quot;, m[2], &quot; &quot;, m[3])),<br>    <br>    # 일본어 + 영어 혼합<br>    list(pattern = &quot;([あ-ん]+)([a-zA-Z]+)&quot;,<br>         replacement = function(m) paste0(&quot;[JP]&quot;, m[1], &quot;[EN]&quot;, m[2]))<br>  )<br>  <br>  result &lt;- text<br>  for(p in patterns) {<br>    matches &lt;- str_extract_all(result, p$pattern)[[1]]<br>    if(length(matches) &gt; 0) {<br>      cat(&quot;패턴 발견:&quot;, p$pattern, &quot;→&quot;, matches, &quot;\n&quot;)<br>    }<br>  }<br>  <br>  return(result)<br>}<br><br># 고급 패턴 테스트<br>test_texts &lt;- c(<br>  &quot;ㄱあんにょん world&quot;,<br>  &quot;hello ni hao friend&quot;, <br>  &quot;こんにちはeveryone&quot;,<br>  &quot;きmちぇるすぅrevいぇw&quot;<br>)<br><br>cat(&quot;고급 패턴 분석 결과:\n&quot;)<br>for(text in test_texts) {<br>  cat(&quot;텍스트:&quot;, text, &quot;\n&quot;)<br>  advanced_pattern_correction(text)<br>  cat(rep(&quot;-&quot;, 40), &quot;\n&quot;)<br>}<br><br># 실행 결과(예시):<br># 텍스트: ㄱあんにょん world <br># 패턴 발견: ([ㄱ-ㅎ])([あ-ん]+) → ㄱあんにょん</pre><h4>3.4 Julia로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Julia에서는 TextAnalysis.jl과 Languages.jl 패키지를 활용하여 텍스트 처리와 언어 감지를 수행한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>using TextAnalysis<br>using Languages  <br>using Unicode<br>using DataFrames<br>using StatsBase<br><br># 샘플 문서 데이터<br>documents = DataFrame(<br>    doc_id = 1:5,<br>    content = [<br>        &quot;あんにょん、このdokumentはとてもyuuyouです&quot;,<br>        &quot;ni hao everyone, zhe shi wo de wen jian&quot;, <br>        &quot;konnichiwa minna san, genki desu ka&quot;,<br>        &quot;안녕하세요 여러분, 오늘 날씨가 좋네요&quot;,<br>        &quot;hello world, this is a test document&quot;<br>    ],<br>    source_region = [&quot;KR&quot;, &quot;CN&quot;, &quot;JP&quot;, &quot;KR&quot;, &quot;US&quot;],<br>    target_language = [&quot;ko&quot;, &quot;zh&quot;, &quot;ja&quot;, &quot;ko&quot;, &quot;en&quot;]<br>)<br><br># 언어 감지 함수<br>function detect_language_confidence(text::String)<br>    try<br>        # 간단한 문자 기반 언어 감지<br>        hiragana_count = count(c -&gt; &#39;\u3040&#39; &lt;= c &lt;= &#39;\u309F&#39;, text)<br>        katakana_count = count(c -&gt; &#39;\u30A0&#39; &lt;= c &lt;= &#39;\u30FF&#39;, text)  <br>        hangul_count = count(c -&gt; &#39;\uAC00&#39; &lt;= c &lt;= &#39;\uD7AF&#39;, text)<br>        hanzi_count = count(c -&gt; &#39;\u4E00&#39; &lt;= c &lt;= &#39;\u9FFF&#39;, text)<br>        ascii_count = count(c -&gt; &#39;a&#39; &lt;= c &lt;= &#39;z&#39; || &#39;A&#39; &lt;= c &lt;= &#39;Z&#39;, text)<br>        <br>        total_chars = length(text)<br>        <br>        scores = Dict(<br>            &quot;ja&quot; =&gt; (hiragana_count + katakana_count) / total_chars,<br>            &quot;ko&quot; =&gt; hangul_count / total_chars,<br>            &quot;zh&quot; =&gt; hanzi_count / total_chars,<br>            &quot;en&quot; =&gt; ascii_count / total_chars<br>        )<br>        <br>        detected = findmax(scores)[2]<br>        confidence = findmax(scores)[1]<br>        <br>        return (language = detected, confidence = confidence, scores = scores)<br>    catch e<br>        return (language = &quot;unknown&quot;, confidence = 0.0, error = string(e))<br>    end<br>end<br><br># 각 문서에 대해 언어 감지 실행<br>for i in 1:nrow(documents)<br>    text = documents.content[i]<br>    result = detect_language_confidence(text)<br>    <br>    println(&quot;문서 ID: &quot;, documents.doc_id[i])<br>    println(&quot;내용: &quot;, text)<br>    println(&quot;목표 언어: &quot;, documents.target_language[i])<br>    println(&quot;감지된 언어: &quot;, result.language)<br>    println(&quot;신뢰도: &quot;, round(result.confidence, digits=3))<br>    println(&quot;상세 점수: &quot;, result.scores)<br>    println(&quot;-&quot; ^ 60)<br>end<br><br># 실행 결과(예시):<br># 문서 ID: 1<br># 내용: あんにょん、このdokumentはとてもyuuyouです<br># 목표 언어: ko<br># 감지된 언어: ja<br># 신뢰도: 0.595<br># 상세 점수: Dict(&quot;zh&quot; =&gt; 0.0, &quot;ja&quot; =&gt; 0.595, &quot;en&quot; =&gt; 0.297, &quot;ko&quot; =&gt; 0.0)<br><br># 키맵 오입력 교정 함수<br>function correct_keymap_errors(text::String, detected_lang::String, target_lang::String)<br>    # 교정 매핑 테이블<br>    corrections = Dict(<br>        (&quot;ja&quot;, &quot;ko&quot;) =&gt; Dict(<br>            &quot;あんにょん&quot; =&gt; &quot;안녕&quot;,<br>            &quot;この&quot; =&gt; &quot;이&quot;,<br>            &quot;とても&quot; =&gt; &quot;매우&quot;,<br>            &quot;です&quot; =&gt; &quot;입니다&quot;<br>        ),<br>        (&quot;en&quot;, &quot;zh&quot;) =&gt; Dict(<br>            &quot;ni hao&quot; =&gt; &quot;你好&quot;,<br>            &quot;zhe shi&quot; =&gt; &quot;这是&quot;, <br>            &quot;wo de&quot; =&gt; &quot;我的&quot;,<br>            &quot;wen jian&quot; =&gt; &quot;文件&quot;<br>        ),<br>        (&quot;en&quot;, &quot;ja&quot;) =&gt; Dict(<br>            &quot;konnichiwa&quot; =&gt; &quot;こんにちは&quot;,<br>            &quot;minna san&quot; =&gt; &quot;みなさん&quot;,<br>            &quot;genki desu ka&quot; =&gt; &quot;元気ですか&quot;<br>        )<br>    )<br>    <br>    correction_key = (detected_lang, target_lang)<br>    if haskey(corrections, correction_key)<br>        corrected_text = text<br>        for (wrong, correct) in corrections[correction_key]<br>            corrected_text = replace(corrected_text, wrong =&gt; correct)<br>        end<br>        return corrected_text<br>    end<br>    <br>    return text<br>end<br><br># 고급 패턴 기반 교정<br>function advanced_keymap_correction(text::String)<br>    # Unicode 정규화<br>    normalized = Unicode.normalize(text, :NFKD)<br>    <br>    # 패턴 기반 교정<br>    patterns = [<br>        # 일본어 히라가나 연속 → 한국어 추정<br>        (r&quot;[あ-ん]{2,}&quot;, m -&gt; &quot;[KO_CANDIDATE]&quot; * m.match),<br>        <br>        # 연속된 로마자 소문자 → 병음 추정  <br>        (r&quot;\b[a-z]{2,}\s+[a-z]{2,}\b&quot;, m -&gt; &quot;[PINYIN_CANDIDATE]&quot; * m.match),<br>        <br>        # 혼합 패턴 감지<br>        (r&quot;[あ-ん]+[a-zA-Z]+&quot;, m -&gt; &quot;[MIXED_INPUT]&quot; * m.match),<br>    ]<br>    <br>    result = normalized<br>    detected_patterns = String[]<br>    <br>    for (pattern, replacement) in patterns<br>        matches = collect(eachmatch(pattern, result))<br>        if !isempty(matches)<br>            for m in matches<br>                push!(detected_patterns, &quot;패턴: $(pattern) → $(m.match)&quot;)<br>                result = replace(result, m.match =&gt; replacement(m))<br>            end<br>        end<br>    end<br>    <br>    return (corrected = result, patterns_found = detected_patterns)<br>end<br><br># 모든 문서에 교정 적용<br>println(&quot;교정 결과:&quot;)<br>for i in 1:nrow(documents)<br>    text = documents.content[i]<br>    target = documents.target_language[i]<br>    detection = detect_language_confidence(text)<br>    <br>    # 기본 교정<br>    basic_corrected = correct_keymap_errors(text, detection.language, target)<br>    <br>    # 고급 교정<br>    advanced_result = advanced_keymap_correction(text)<br>    <br>    if text != basic_corrected || !isempty(advanced_result.patterns_found)<br>        println(&quot;문서 ID: &quot;, documents.doc_id[i])<br>        println(&quot;원본: &quot;, text)<br>        println(&quot;기본 교정: &quot;, basic_corrected)<br>        println(&quot;고급 교정: &quot;, advanced_result.corrected)<br>        println(&quot;감지된 패턴: &quot;, advanced_result.patterns_found)<br>        println(&quot;-&quot; ^ 50)<br>    end<br>end<br><br># 실행 결과(예시):<br># 문서 ID: 1<br># 원본: あんにょん、このdokumentはとてもyuuyouです<br># 기본 교정: 안녕、이dokumentは매우yuuyou입니다<br># 고급 교정: [MIXED_INPUT]あんにょん、[MIXED_INPUT]このdokument[MIXED_INPUT]はとてもyuuyou[MIXED_INPUT]です<br># 감지된 패턴: [&quot;패턴: [あ-ん]+[a-zA-Z]+ → dokumentは&quot;, &quot;패턴: [あ-ん]+[a-zA-Z]+ → yuuyouです&quot;]<br><br># 통계 분석<br>function analyze_correction_statistics(documents_df::DataFrame)<br>    stats = Dict(<br>        &quot;total_documents&quot; =&gt; nrow(documents_df),<br>        &quot;languages_detected&quot; =&gt; String[],<br>        &quot;correction_needed&quot; =&gt; 0,<br>        &quot;mixed_pattern_count&quot; =&gt; 0<br>    )<br>    <br>    for i in 1:nrow(documents_df)<br>        text = documents_df.content[i]<br>        detection = detect_language_confidence(text)<br>        target = documents_df.target_language[i]<br>        <br>        push!(stats[&quot;languages_detected&quot;], detection.language)<br>        <br>        if detection.language != target<br>            stats[&quot;correction_needed&quot;] += 1<br>        end<br>        <br>        # 혼합 패턴 검사<br>        advanced_result = advanced_keymap_correction(text)<br>        if !isempty(advanced_result.patterns_found)<br>            stats[&quot;mixed_pattern_count&quot;] += 1<br>        end<br>    end<br>    <br>    stats[&quot;language_distribution&quot;] = StatsBase.countmap(stats[&quot;languages_detected&quot;])<br>    <br>    return stats<br>end<br><br>analysis_result = analyze_correction_statistics(documents)<br>println(&quot;분석 통계:&quot;)<br>for (key, value) in analysis_result<br>    println(&quot;$key: $value&quot;)<br>end<br><br># 실행 결과(예시):<br># 분석 통계:<br># total_documents: 5<br># correction_needed: 3<br># mixed_pattern_count: 2<br># language_distribution: Dict(&quot;en&quot; =&gt; 2, &quot;ja&quot; =&gt; 2, &quot;ko&quot; =&gt; 1)</pre><h4>3.5 Go로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Go에서는 golang.org/x/text 패키지를 활용하여 유니코드 정규화와 언어 처리를 수행한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>package main<br><br>import (<br>    &quot;fmt&quot;<br>    &quot;regexp&quot;<br>    &quot;strings&quot;<br>    &quot;unicode&quot;<br>    &quot;golang.org/x/text/transform&quot;<br>    &quot;golang.org/x/text/unicode/norm&quot;<br>)<br><br>// 채팅 메시지 구조체<br>type ChatMessage struct {<br>    UserID      int    `json:&quot;user_id&quot;`<br>    Content     string `json:&quot;content&quot;`<br>    Region      string `json:&quot;region&quot;`<br>    TargetLang  string `json:&quot;target_lang&quot;`<br>    DetectedLang string `json:&quot;detected_lang&quot;`<br>    Corrected   string `json:&quot;corrected&quot;`<br>}<br><br>// 언어 감지 함수<br>func detectLanguage(text string) (string, float64) {<br>    // 문자 유형별 카운트<br>    var hiraganaCount, hangulCount, hanziCount, asciiCount int<br>    totalChars := len([]rune(text))<br>    <br>    for _, r := range text {<br>        switch {<br>        case r &gt;= &#39;\u3040&#39; &amp;&amp; r &lt;= &#39;\u309F&#39;: // 히라가나<br>            hiraganaCount++<br>        case r &gt;= &#39;\uAC00&#39; &amp;&amp; r &lt;= &#39;\uD7AF&#39;: // 한글<br>            hangulCount++<br>        case r &gt;= &#39;\u4E00&#39; &amp;&amp; r &lt;= &#39;\u9FFF&#39;: // 한자<br>            hanziCount++<br>        case (r &gt;= &#39;a&#39; &amp;&amp; r &lt;= &#39;z&#39;) || (r &gt;= &#39;A&#39; &amp;&amp; r &lt;= &#39;Z&#39;): // ASCII<br>            asciiCount++<br>        }<br>    }<br>    <br>    // 점수 계산<br>    scores := map[string]float64{<br>        &quot;ja&quot;: float64(hiraganaCount) / float64(totalChars),<br>        &quot;ko&quot;: float64(hangulCount) / float64(totalChars),<br>        &quot;zh&quot;: float64(hanziCount) / float64(totalChars),<br>        &quot;en&quot;: float64(asciiCount) / float64(totalChars),<br>    }<br>    <br>    // 최고 점수 언어 찾기<br>    maxLang := &quot;unknown&quot;<br>    maxScore := 0.0<br>    <br>    for lang, score := range scores {<br>        if score &gt; maxScore {<br>            maxScore = score<br>            maxLang = lang<br>        }<br>    }<br>    <br>    return maxLang, maxScore<br>}<br><br>// 키맵 오입력 교정 함수<br>func correctKeymapError(text, detectedLang, targetLang string) string {<br>    // 교정 매핑 테이블<br>    corrections := map[string]map[string]string{<br>        &quot;ja_to_ko&quot;: {<br>            &quot;あんにょん&quot;: &quot;안녕&quot;,<br>            &quot;きm&quot;:       &quot;김&quot;,<br>            &quot;ちぇ&quot;:       &quot;철&quot;,<br>            &quot;るすぅ&quot;:      &quot;수&quot;,<br>            &quot;げんき&quot;:      &quot;건기&quot;,<br>        },<br>        &quot;en_to_zh&quot;: {<br>            &quot;ni hao&quot;:        &quot;你好&quot;,<br>            &quot;wo shi&quot;:        &quot;我是&quot;,<br>            &quot;xie xie&quot;:       &quot;谢谢&quot;,<br>            &quot;zai jian&quot;:      &quot;再见&quot;,<br>            &quot;zhongguo ren&quot;:  &quot;中国人&quot;,<br>        },<br>        &quot;en_to_ja&quot;: {<br>            &quot;konnichiwa&quot;:    &quot;こんにちは&quot;,<br>            &quot;arigatou&quot;:      &quot;ありがとう&quot;,<br>            &quot;sayonara&quot;:      &quot;さようなら&quot;,<br>            &quot;minna san&quot;:     &quot;みなさん&quot;,<br>        },<br>    }<br>    <br>    correctionKey := fmt.Sprintf(&quot;%s_to_%s&quot;, detectedLang, targetLang)<br>    <br>    if mapping, exists := corrections[correctionKey]; exists {<br>        corrected := text<br>        for wrong, correct := range mapping {<br>            corrected = strings.ReplaceAll(corrected, wrong, correct)<br>        }<br>        return corrected<br>    }<br>    <br>    return text<br>}<br><br>// 고급 패턴 기반 교정<br>func advancedPatternCorrection(text string) (string, []string) {<br>    var detectedPatterns []string<br>    corrected := text<br>    <br>    // 패턴 정의<br>    patterns := []struct {<br>        pattern     string<br>        description string<br>        handler     func(string) string<br>    }{<br>        {<br>            pattern:     `[あ-ん]{2,}`,<br>            description: &quot;히라가나 연속 (한국어 가능성)&quot;,<br>            handler: func(match string) string {<br>                return fmt.Sprintf(&quot;[KO_CANDIDATE:%s]&quot;, match)<br>            },<br>        },<br>        {<br>            pattern:     `\b[a-z]{2,}\s+[a-z]{2,}\b`,<br>            description: &quot;연속 소문자 (병음 가능성)&quot;,<br>            handler: func(match string) string {<br>                return fmt.Sprintf(&quot;[PINYIN_CANDIDATE:%s]&quot;, match)<br>            },<br>        },<br>        {<br>            pattern:     `[あ-ん]+[a-zA-Z]+|[a-zA-Z]+[あ-ん]+`,<br>            description: &quot;일본어-영어 혼합&quot;,<br>            handler: func(match string) string {<br>                return fmt.Sprintf(&quot;[MIXED_JA_EN:%s]&quot;, match)<br>            },<br>        },<br>    }<br>    <br>    for _, p := range patterns {<br>        re := regexp.MustCompile(p.pattern)<br>        matches := re.FindAllString(text, -1)<br>        <br>        if len(matches) &gt; 0 {<br>            detectedPatterns = append(detectedPatterns, <br>                fmt.Sprintf(&quot;%s: %v&quot;, p.description, matches))<br>                <br>            corrected = re.ReplaceAllStringFunc(corrected, p.handler)<br>        }<br>    }<br>    <br>    return corrected, detectedPatterns<br>}<br><br>// 유니코드 정규화 함수<br>func normalizeUnicode(text string) (string, error) {<br>    // NFD 정규화 후 결합 문자 제거<br>    isMn := func(r rune) bool {<br>        return unicode.Is(unicode.Mn, r)<br>    }<br>    <br>    t := transform.Chain(norm.NFD, transform.RemoveFunc(isMn), norm.NFC)<br>    result, _, err := transform.String(t, text)<br>    return result, err<br>}<br><br>func main() {<br>    // 테스트 채팅 메시지<br>    messages := []ChatMessage{<br>        {<br>            UserID:     1001,<br>            Content:    &quot;あんにょん、みなさん！&quot;,<br>            Region:     &quot;KR&quot;,<br>            TargetLang: &quot;ko&quot;,<br>        },<br>        {<br>            UserID:     1002,<br>            Content:    &quot;ni hao everyone, wo shi zhongguo ren&quot;,<br>            Region:     &quot;CN&quot;, <br>            TargetLang: &quot;zh&quot;,<br>        },<br>        {<br>            UserID:     1003,<br>            Content:    &quot;konnichiwa minna san, genki desu ka&quot;,<br>            Region:     &quot;JP&quot;,<br>            TargetLang: &quot;ja&quot;,<br>        },<br>        {<br>            UserID:     1004,<br>            Content:    &quot;きmちぇるすぅさんのreviewです&quot;,<br>            Region:     &quot;KR&quot;,<br>            TargetLang: &quot;ko&quot;,<br>        },<br>    }<br>    <br>    fmt.Println(&quot;=== 채팅 메시지 키맵 오입력 교정 ===&quot;)<br>    <br>    for i := range messages {<br>        msg := &amp;messages[i]<br>        <br>        // 언어 감지<br>        detectedLang, confidence := detectLanguage(msg.Content)<br>        msg.DetectedLang = detectedLang<br>        <br>        // 유니코드 정규화<br>        normalized, err := normalizeUnicode(msg.Content)<br>        if err != nil {<br>            fmt.Printf(&quot;정규화 오류: %v\n&quot;, err)<br>            normalized = msg.Content<br>        }<br>        <br>        // 기본 교정<br>        basicCorrected := correctKeymapError(normalized, detectedLang, msg.TargetLang)<br>        <br>        // 고급 패턴 교정<br>        advancedCorrected, patterns := advancedPatternCorrection(basicCorrected)<br>        <br>        msg.Corrected = advancedCorrected<br>        <br>        // 결과 출력<br>        fmt.Printf(&quot;\n사용자 ID: %d\n&quot;, msg.UserID)<br>        fmt.Printf(&quot;원본 메시지: %s\n&quot;, msg.Content)<br>        fmt.Printf(&quot;목표 언어: %s\n&quot;, msg.TargetLang)<br>        fmt.Printf(&quot;감지된 언어: %s (신뢰도: %.3f)\n&quot;, detectedLang, confidence)<br>        fmt.Printf(&quot;정규화: %s\n&quot;, normalized)<br>        fmt.Printf(&quot;기본 교정: %s\n&quot;, basicCorrected)<br>        fmt.Printf(&quot;고급 교정: %s\n&quot;, advancedCorrected)<br>        <br>        if len(patterns) &gt; 0 {<br>            fmt.Printf(&quot;감지된 패턴:\n&quot;)<br>            for _, pattern := range patterns {<br>                fmt.Printf(&quot;  - %s\n&quot;, pattern)<br>            }<br>        }<br>        <br>        fmt.Println(strings.Repeat(&quot;-&quot;, 60))<br>    }<br>    <br>    // 통계 출력<br>    fmt.Println(&quot;\n=== 처리 통계 ===&quot;)<br>    correctionNeeded := 0<br>    languageDistribution := make(map[string]int)<br>    <br>    for _, msg := range messages {<br>        languageDistribution[msg.DetectedLang]++<br>        if msg.DetectedLang != msg.TargetLang {<br>            correctionNeeded++<br>        }<br>    }<br>    <br>    fmt.Printf(&quot;전체 메시지: %d\n&quot;, len(messages))<br>    fmt.Printf(&quot;교정 필요: %d\n&quot;, correctionNeeded)<br>    fmt.Printf(&quot;언어 분포:\n&quot;)<br>    for lang, count := range languageDistribution {<br>        fmt.Printf(&quot;  %s: %d\n&quot;, lang, count)<br>    }<br>}<br><br>// 실행 결과(예시):<br>// === 채팅 메시지 키맵 오입력 교정 ===<br>// <br>// 사용자 ID: 1001<br>// 원본 메시지: あんにょん、みなさん！<br>// 목표 언어: ko  <br>// 감지된 언어: ja (신뢰도: 0.750)<br>// 정규화: あんにょん、みなさん！<br>// 기본 교정: 안녕、みなさん！<br>// 고급 교정: [KO_CANDIDATE:안녕]、[KO_CANDIDATE:みなさん]！<br>// 감지된 패턴:<br>//   - 히라가나 연속 (한국어 가능성): [안녕 みなさん]</pre><h4>3.6 C로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>C에서는 iconv 라이브러리와 utf8proc를 활용하여 문자 변환과 정규화를 수행한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>#include &lt;stdio.h&gt;<br>#include &lt;stdlib.h&gt;<br>#include &lt;string.h&gt;<br>#include &lt;wchar.h&gt;<br>#include &lt;locale.h&gt;<br>#include &lt;utf8proc.h&gt;<br><br>#define MAX_TEXT_LENGTH 1000<br>#define MAX_CORRECTIONS 50<br><br>// 키맵 교정 매핑 구조체<br>typedef struct {<br>    char* wrong_text;<br>    char* correct_text;<br>    char* source_lang;<br>    char* target_lang;<br>} KeymapCorrection;<br><br>// 로그 엔트리 구조체  <br>typedef struct {<br>    int log_id;<br>    char content[MAX_TEXT_LENGTH];<br>    char region[10];<br>    char target_lang[10];<br>    char detected_lang[10];<br>    char corrected[MAX_TEXT_LENGTH];<br>} LogEntry;<br><br>// 전역 교정 매핑 테이블<br>KeymapCorrection corrections[MAX_CORRECTIONS] = {<br>    {&quot;あんにょん&quot;, &quot;안녕&quot;, &quot;ja&quot;, &quot;ko&quot;},<br>    {&quot;きm&quot;, &quot;김&quot;, &quot;ja&quot;, &quot;ko&quot;},<br>    {&quot;ちぇ&quot;, &quot;철&quot;, &quot;ja&quot;, &quot;ko&quot;},<br>    {&quot;るすぅ&quot;, &quot;수&quot;, &quot;ja&quot;, &quot;ko&quot;},<br>    {&quot;ni hao&quot;, &quot;你好&quot;, &quot;en&quot;, &quot;zh&quot;},<br>    {&quot;wo shi&quot;, &quot;我是&quot;, &quot;en&quot;, &quot;zh&quot;},<br>    {&quot;xie xie&quot;, &quot;谢谢&quot;, &quot;en&quot;, &quot;zh&quot;},<br>    {&quot;konnichiwa&quot;, &quot;こんにちは&quot;, &quot;en&quot;, &quot;ja&quot;},<br>    {&quot;arigatou&quot;, &quot;ありがとう&quot;, &quot;en&quot;, &quot;ja&quot;},<br>    {NULL, NULL, NULL, NULL} // 종료 마커<br>};<br><br>// 언어 감지 함수 (간단한 문자 기반)<br>void detect_language(const char* text, char* detected_lang, double* confidence) {<br>    int hiragana_count = 0, hangul_count = 0, hanzi_count = 0, ascii_count = 0;<br>    int total_chars = 0;<br>    <br>    // UTF-8 문자 순회<br>    const unsigned char* p = (const unsigned char*)text;<br>    while (*p) {<br>        if ((*p &amp; 0x80) == 0) {<br>            // ASCII 문자<br>            if ((*p &gt;= &#39;a&#39; &amp;&amp; *p &lt;= &#39;z&#39;) || (*p &gt;= &#39;A&#39; &amp;&amp; *p &lt;= &#39;Z&#39;)) {<br>                ascii_count++;<br>            }<br>            total_chars++;<br>            p++;<br>        } else if ((*p &amp; 0xE0) == 0xC0) {<br>            // 2바이트 UTF-8<br>            total_chars++;<br>            p += 2;<br>        } else if ((*p &amp; 0xF0) == 0xE0) {<br>            // 3바이트 UTF-8 (한글, 한자, 일본어)<br>            unsigned int codepoint = ((*p &amp; 0x0F) &lt;&lt; 12) | <br>                                   ((*(p+1) &amp; 0x3F) &lt;&lt; 6) | <br>                                   (*(p+2) &amp; 0x3F);<br>            <br>            if (codepoint &gt;= 0x3040 &amp;&amp; codepoint &lt;= 0x309F) {<br>                hiragana_count++; // 히라가나<br>            } else if (codepoint &gt;= 0xAC00 &amp;&amp; codepoint &lt;= 0xD7AF) {<br>                hangul_count++; // 한글<br>            } else if (codepoint &gt;= 0x4E00 &amp;&amp; codepoint &lt;= 0x9FFF) {<br>                hanzi_count++; // 한자<br>            }<br>            <br>            total_chars++;<br>            p += 3;<br>        } else {<br>            // 4바이트 또는 잘못된 UTF-8<br>            total_chars++;<br>            p++;<br>        }<br>    }<br>    <br>    if (total_chars == 0) {<br>        strcpy(detected_lang, &quot;unknown&quot;);<br>        *confidence = 0.0;<br>        return;<br>    }<br>    <br>    // 점수 계산<br>    double ja_score = (double)hiragana_count / total_chars;<br>    double ko_score = (double)hangul_count / total_chars;<br>    double zh_score = (double)hanzi_count / total_chars;<br>    double en_score = (double)ascii_count / total_chars;<br>    <br>    // 최고 점수 언어 결정<br>    if (ja_score &gt;= ko_score &amp;&amp; ja_score &gt;= zh_score &amp;&amp; ja_score &gt;= en_score) {<br>        strcpy(detected_lang, &quot;ja&quot;);<br>        *confidence = ja_score;<br>    } else if (ko_score &gt;= zh_score &amp;&amp; ko_score &gt;= en_score) {<br>        strcpy(detected_lang, &quot;ko&quot;);<br>        *confidence = ko_score;<br>    } else if (zh_score &gt;= en_score) {<br>        strcpy(detected_lang, &quot;zh&quot;);<br>        *confidence = zh_score;<br>    } else {<br>        strcpy(detected_lang, &quot;en&quot;);<br>        *confidence = en_score;<br>    }<br>}<br><br>// 문자열 치환 함수<br>char* str_replace(char* original, const char* pattern, const char* replacement) {<br>    static char result[MAX_TEXT_LENGTH];<br>    char* p = original;<br>    char* q = result;<br>    int pattern_len = strlen(pattern);<br>    int replacement_len = strlen(replacement);<br>    <br>    while (*p) {<br>        if (strncmp(p, pattern, pattern_len) == 0) {<br>            // 패턴 발견, 교체<br>            strcpy(q, replacement);<br>            q += replacement_len;<br>            p += pattern_len;<br>        } else {<br>            // 일반 문자 복사<br>            *q++ = *p++;<br>        }<br>    }<br>    *q = &#39;\0&#39;;<br>    <br>    strcpy(original, result);<br>    return original;<br>}<br><br>// 키맵 오입력 교정<br>void correct_keymap_error(LogEntry* entry) {<br>    strcpy(entry-&gt;corrected, entry-&gt;content);<br>    <br>    int corrections_applied = 0;<br>    for (int i = 0; corrections[i].wrong_text != NULL; i++) {<br>        KeymapCorrection* corr = &amp;corrections[i];<br>        <br>        // 언어 조건 확인<br>        if (strcmp(entry-&gt;detected_lang, corr-&gt;source_lang) == 0 &amp;&amp;<br>            strcmp(entry-&gt;target_lang, corr-&gt;target_lang) == 0) {<br>            <br>            // 패턴이 존재하는지 확인<br>            if (strstr(entry-&gt;corrected, corr-&gt;wrong_text) != NULL) {<br>                str_replace(entry-&gt;corrected, corr-&gt;wrong_text, corr-&gt;correct_text);<br>                corrections_applied++;<br>                <br>                printf(&quot;교정 적용: &#39;%s&#39; → &#39;%s&#39;\n&quot;, <br>                       corr-&gt;wrong_text, corr-&gt;correct_text);<br>            }<br>        }<br>    }<br>    <br>    if (corrections_applied == 0) {<br>        printf(&quot;교정 매핑을 찾을 수 없음: %s → %s\n&quot;, <br>               entry-&gt;detected_lang, entry-&gt;target_lang);<br>    }<br>}<br><br>// UTF-8 정규화 함수<br>int normalize_utf8(const char* input, char* output, size_t output_size) {<br>    utf8proc_uint8_t* normalized = utf8proc_NFKD((const utf8proc_uint8_t*)input);<br>    if (normalized == NULL) {<br>        return -1;<br>    }<br>    <br>    size_t len = strlen((char*)normalized);<br>    if (len &gt;= output_size) {<br>        free(normalized);<br>        return -2; // 버퍼 오버플로우<br>    }<br>    <br>    strcpy(output, (char*)normalized);<br>    free(normalized);<br>    return 0;<br>}<br><br>int main() {<br>    // 로케일 설정<br>    setlocale(LC_ALL, &quot;&quot;);<br>    <br>    // 테스트 로그 엔트리<br>    LogEntry logs[] = {<br>        {1, &quot;あんにょん、みなさん&quot;, &quot;KR&quot;, &quot;ko&quot;, &quot;&quot;, &quot;&quot;},<br>        {2, &quot;ni hao everyone wo shi zhongguo ren&quot;, &quot;CN&quot;, &quot;zh&quot;, &quot;&quot;, &quot;&quot;},<br>        {3, &quot;konnichiwa minna san&quot;, &quot;JP&quot;, &quot;ja&quot;, &quot;&quot;, &quot;&quot;},<br>        {4, &quot;きmちぇるすぅさん hello&quot;, &quot;KR&quot;, &quot;ko&quot;, &quot;&quot;, &quot;&quot;},<br>        {5, &quot;hello world test&quot;, &quot;US&quot;, &quot;en&quot;, &quot;&quot;, &quot;&quot;}<br>    };<br>    <br>    int log_count = sizeof(logs) / sizeof(LogEntry);<br>    <br>    printf(&quot;=== 다국어 로그 키맵 오입력 교정 ===\n\n&quot;);<br>    <br>    for (int i = 0; i &lt; log_count; i++) {<br>        LogEntry* entry = &amp;logs[i];<br>        double confidence;<br>        <br>        printf(&quot;로그 ID: %d\n&quot;, entry-&gt;log_id);<br>        printf(&quot;원본 내용: %s\n&quot;, entry-&gt;content);<br>        printf(&quot;목표 언어: %s\n&quot;, entry-&gt;target_lang);<br>        <br>        // 언어 감지<br>        detect_language(entry-&gt;content, entry-&gt;detected_lang, &amp;confidence);<br>        printf(&quot;감지된 언어: %s (신뢰도: %.3f)\n&quot;, entry-&gt;detected_lang, confidence);<br>        <br>        // UTF-8 정규화<br>        char normalized[MAX_TEXT_LENGTH];<br>        if (normalize_utf8(entry-&gt;content, normalized, sizeof(normalized)) == 0) {<br>            printf(&quot;정규화: %s\n&quot;, normalized);<br>            strcpy(entry-&gt;content, normalized);<br>        } else {<br>            printf(&quot;정규화 실패\n&quot;);<br>        }<br>        <br>        // 키맵 교정<br>        correct_keymap_error(entry);<br>        printf(&quot;교정 결과: %s\n&quot;, entry-&gt;corrected);<br>        <br>        // 교정 여부 확인<br>        if (strcmp(entry-&gt;content, entry-&gt;corrected) != 0) {<br>            printf(&quot;✓ 교정이 적용되었습니다.\n&quot;);<br>        } else {<br>            printf(&quot;○ 교정이 필요하지 않습니다.\n&quot;);<br>        }<br>        <br>        printf(&quot;%s\n&quot;, &quot;------------------------------------------------------------&quot;);<br>    }<br>    <br>    // 통계 출력<br>    printf(&quot;\n=== 처리 통계 ===\n&quot;);<br>    int correction_needed = 0;<br>    int lang_count[4] = {0}; // ja, ko, zh, en<br>    <br>    for (int i = 0; i &lt; log_count; i++) {<br>        LogEntry* entry = &amp;logs[i];<br>        <br>        if (strcmp(entry-&gt;detected_lang, entry-&gt;target_lang) != 0) {<br>            correction_needed++;<br>        }<br>        <br>        // 언어별 카운트<br>        if (strcmp(entry-&gt;detected_lang, &quot;ja&quot;) == 0) lang_count[0]++;<br>        else if (strcmp(entry-&gt;detected_lang, &quot;ko&quot;) == 0) lang_count[1]++;<br>        else if (strcmp(entry-&gt;detected_lang, &quot;zh&quot;) == 0) lang_count[2]++;<br>        else if (strcmp(entry-&gt;detected_lang, &quot;en&quot;) == 0) lang_count[3]++;<br>    }<br>    <br>    printf(&quot;전체 로그: %d\n&quot;, log_count);<br>    printf(&quot;교정 필요: %d\n&quot;, correction_needed);<br>    printf(&quot;언어 분포: ja=%d, ko=%d, zh=%d, en=%d\n&quot;, <br>           lang_count[0], lang_count[1], lang_count[2], lang_count[3]);<br>    <br>    return 0;<br>}<br><br>/*<br>실행 결과(예시):<br>=== 다국어 로그 키맵 오입력 교정 ===<br><br>로그 ID: 1<br>원본 내용: あんにょん、みなさん<br>목표 언어: ko<br>감지된 언어: ja (신뢰도: 0.778)<br>정규화: あんにょん、みなさん<br>교정 적용: &#39;あんにょん&#39; → &#39;안녕&#39;<br>교정 결과: 안녕、みなさん<br>✓ 교정이 적용되었습니다.<br>------------------------------------------------------------<br><br>로그 ID: 2<br>원본 내용: ni hao everyone wo shi zhongguo ren<br>목표 언어: zh<br>감지된 언어: en (신뢰도: 0.857)<br>정규화: ni hao everyone wo shi zhongguo ren<br>교정 적용: &#39;ni hao&#39; → &#39;你好&#39;<br>교정 적용: &#39;wo shi&#39; → &#39;我是&#39;<br>교정 결과: 你好 everyone 我是 zhongguo ren<br>✓ 교정이 적용되었습니다.<br>------------------------------------------------------------<br>*/</pre><h4>3.7 C++로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>C++에서는 ICU 라이브러리와 std::regex를 활용하여 고급 텍스트 처리를 수행한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>#include &lt;iostream&gt;<br>#include &lt;string&gt;<br>#include &lt;vector&gt;<br>#include &lt;map&gt;<br>#include &lt;regex&gt;<br>#include &lt;algorithm&gt;<br>#include &lt;unicode/unistr.h&gt;<br>#include &lt;unicode/normalizer2.h&gt;<br>#include &lt;unicode/coll.h&gt;<br>#include &lt;unicode/locid.h&gt;<br><br>using namespace std;<br>using namespace icu;<br><br>// 문서 클래스<br>class Document {<br>public:<br>    int doc_id;<br>    string content;<br>    string source_region;<br>    string target_language;<br>    string detected_language;<br>    string corrected_content;<br>    double detection_confidence;<br>    vector&lt;string&gt; applied_corrections;<br>    <br>    Document(int id, const string&amp; text, const string&amp; region, const string&amp; target_lang)<br>        : doc_id(id), content(text), source_region(region), target_language(target_lang),<br>          detection_confidence(0.0) {}<br>};<br><br>// 언어 감지 클래스<br>class LanguageDetector {<br>private:<br>    map&lt;string, function&lt;bool(wchar_t)&gt;&gt; char_checkers;<br>    <br>public:<br>    LanguageDetector() {<br>        // 문자 유형 검사기 초기화<br>        char_checkers[&quot;ja&quot;] = [](wchar_t c) { <br>            return (c &gt;= 0x3040 &amp;&amp; c &lt;= 0x309F) || (c &gt;= 0x30A0 &amp;&amp; c &lt;= 0x30FF); <br>        };<br>        char_checkers[&quot;ko&quot;] = [](wchar_t c) { <br>            return c &gt;= 0xAC00 &amp;&amp; c &lt;= 0xD7AF; <br>        };<br>        char_checkers[&quot;zh&quot;] = [](wchar_t c) { <br>            return c &gt;= 0x4E00 &amp;&amp; c &lt;= 0x9FFF; <br>        };<br>        char_checkers[&quot;en&quot;] = [](wchar_t c) { <br>            return (c &gt;= L&#39;a&#39; &amp;&amp; c &lt;= L&#39;z&#39;) || (c &gt;= L&#39;A&#39; &amp;&amp; c &lt;= L&#39;Z&#39;); <br>        };<br>    }<br>    <br>    pair&lt;string, double&gt; detectLanguage(const string&amp; text) {<br>        // UTF-8을 wide string으로 변환<br>        wstring wtext = utf8_to_wstring(text);<br>        <br>        map&lt;string, int&gt; counts;<br>        int total_chars = 0;<br>        <br>        for (const auto&amp; [lang, checker] : char_checkers) {<br>            counts[lang] = 0;<br>        }<br>        <br>        for (wchar_t c : wtext) {<br>            bool counted = false;<br>            for (const auto&amp; [lang, checker] : char_checkers) {<br>                if (checker(c)) {<br>                    counts[lang]++;<br>                    counted = true;<br>                    break;<br>                }<br>            }<br>            if (counted || iswspace(c) || iswpunct(c)) {<br>                total_chars++;<br>            }<br>        }<br>        <br>        if (total_chars == 0) {<br>            return {&quot;unknown&quot;, 0.0};<br>        }<br>        <br>        // 최고 점수 언어 찾기<br>        string best_lang = &quot;unknown&quot;;<br>        double best_score = 0.0;<br>        <br>        for (const auto&amp; [lang, count] : counts) {<br>            double score = static_cast&lt;double&gt;(count) / total_chars;<br>            if (score &gt; best_score) {<br>                best_score = score;<br>                best_lang = lang;<br>            }<br>        }<br>        <br>        return {best_lang, best_score};<br>    }<br>    <br>private:<br>    wstring utf8_to_wstring(const string&amp; str) {<br>        // 간단한 UTF-8 to wstring 변환 (실제로는 더 정교한 변환 필요)<br>        wstring result;<br>        for (char c : str) {<br>            result += static_cast&lt;wchar_t&gt;(c);<br>        }<br>        return result;<br>    }<br>};<br><br>// 키맵 교정 클래스<br>class KeymapCorrector {<br>private:<br>    map&lt;pair&lt;string, string&gt;, map&lt;string, string&gt;&gt; correction_maps;<br>    vector&lt;tuple&lt;regex, string, string&gt;&gt; pattern_corrections;<br>    <br>public:<br>    KeymapCorrector() {<br>        initializeCorrectionMaps();<br>        initializePatternCorrections();<br>    }<br>    <br>    void initializeCorrectionMaps() {<br>        // 일본어 → 한국어 매핑<br>        correction_maps[{&quot;ja&quot;, &quot;ko&quot;}] = {<br>            {&quot;あんにょん&quot;, &quot;안녕&quot;},<br>            {&quot;きm&quot;, &quot;김&quot;},<br>            {&quot;ちぇ&quot;, &quot;철&quot;},<br>            {&quot;るすぅ&quot;, &quot;수&quot;},<br>            {&quot;げんき&quot;, &quot;건기&quot;},<br>            {&quot;さよなら&quot;, &quot;안녕히&quot;},<br>            {&quot;この&quot;, &quot;이&quot;},<br>            {&quot;とても&quot;, &quot;매우&quot;}<br>        };<br>        <br>        // 영어(병음) → 중국어 매핑<br>        correction_maps[{&quot;en&quot;, &quot;zh&quot;}] = {<br>            {&quot;ni hao&quot;, &quot;你好&quot;},<br>            {&quot;wo shi&quot;, &quot;我是&quot;},<br>            {&quot;xie xie&quot;, &quot;谢谢&quot;},<br>            {&quot;zai jian&quot;, &quot;再见&quot;},<br>            {&quot;zhongguo ren&quot;, &quot;中国人&quot;},<br>            {&quot;hen gao xing&quot;, &quot;很高兴&quot;},<br>            {&quot;bu hao yi si&quot;, &quot;不好意思&quot;}<br>        };<br>        <br>        // 영어(로마자) → 일본어 매핑<br>        correction_maps[{&quot;en&quot;, &quot;ja&quot;}] = {<br>            {&quot;konnichiwa&quot;, &quot;こんにちは&quot;},<br>            {&quot;arigatou&quot;, &quot;ありがとう&quot;},<br>            {&quot;sayonara&quot;, &quot;さようなら&quot;},<br>            {&quot;minna san&quot;, &quot;みなさん&quot;},<br>            {&quot;genki desu ka&quot;, &quot;元気ですか&quot;},<br>            {&quot;sumimasen&quot;, &quot;すみません&quot;}<br>        };<br>    }<br>    <br>    void initializePatternCorrections() {<br>        // 정규표현식 기반 패턴 교정<br>        pattern_corrections.emplace_back(<br>            regex(R&quot;([あ-ん]{2,})&quot;), &quot;히라가나 연속&quot;, &quot;ja_to_ko&quot;<br>        );<br>        pattern_corrections.emplace_back(<br>            regex(R&quot;(\b[a-z]{2,}\s+[a-z]{2,}\s+[a-z]{2,}\b)&quot;), &quot;연속 소문자 (병음)&quot;, &quot;pinyin_to_zh&quot;<br>        );<br>        pattern_corrections.emplace_back(<br>            regex(R&quot;([あ-ん]+[a-zA-Z]+|[a-zA-Z]+[あ-ん]+)&quot;), &quot;일본어-영어 혼합&quot;, &quot;mixed_ja_en&quot;<br>        );<br>    }<br>    <br>    string correctText(const string&amp; text, const string&amp; detected_lang, <br>                      const string&amp; target_lang, vector&lt;string&gt;&amp; applied_corrections) {<br>        string corrected = text;<br>        <br>        // 1단계: 직접 매핑 교정<br>        auto mapping_key = make_pair(detected_lang, target_lang);<br>        if (correction_maps.find(mapping_key) != correction_maps.end()) {<br>            const auto&amp; corrections = correction_maps[mapping_key];<br>            <br>            for (const auto&amp; [wrong, correct] : corrections) {<br>                size_t pos = 0;<br>                while ((pos = corrected.find(wrong, pos)) != string::npos) {<br>                    corrected.replace(pos, wrong.length(), correct);<br>                    applied_corrections.push_back(wrong + &quot; → &quot; + correct);<br>                    pos += correct.length();<br>                }<br>            }<br>        }<br>        <br>        // 2단계: 패턴 기반 교정<br>        for (const auto&amp; [pattern, description, correction_type] : pattern_corrections) {<br>            smatch matches;<br>            string temp = corrected;<br>            <br>            while (regex_search(temp, matches, pattern)) {<br>                string match_str = matches[0].str();<br>                string replacement = processPatternMatch(match_str, correction_type);<br>                <br>                if (replacement != match_str) {<br>                    size_t pos = corrected.find(match_str);<br>                    if (pos != string::npos) {<br>                        corrected.replace(pos, match_str.length(), replacement);<br>                        applied_corrections.push_back(<br>                            description + &quot;: &quot; + match_str + &quot; → &quot; + replacement<br>                        );<br>                    }<br>                }<br>                <br>                temp = matches.suffix().str();<br>            }<br>        }<br>        <br>        return corrected;<br>    }<br>    <br>private:<br>    string processPatternMatch(const string&amp; match, const string&amp; correction_type) {<br>        if (correction_type == &quot;ja_to_ko&quot;) {<br>            // 히라가나 패턴을 한국어로 추정 변환<br>            return &quot;[KO_CANDIDATE:&quot; + match + &quot;]&quot;;<br>        } else if (correction_type == &quot;pinyin_to_zh&quot;) {<br>            // 병음 패턴을 중국어로 추정 변환<br>            return &quot;[ZH_CANDIDATE:&quot; + match + &quot;]&quot;;<br>        } else if (correction_type == &quot;mixed_ja_en&quot;) {<br>            // 혼합 패턴 표시<br>            return &quot;[MIXED_INPUT:&quot; + match + &quot;]&quot;;<br>        }<br>        return match;<br>    }<br>};<br><br>// 문서 처리 관리자 클래스<br>class DocumentProcessor {<br>private:<br>    LanguageDetector detector;<br>    KeymapCorrector corrector;<br>    <br>public:<br>    void processDocuments(vector&lt;Document&gt;&amp; documents) {<br>        cout &lt;&lt; &quot;=== 대용량 문서 키맵 오입력 교정 ===&quot; &lt;&lt; endl &lt;&lt; endl;<br>        <br>        for (auto&amp; doc : documents) {<br>            processDocument(doc);<br>            printDocumentResult(doc);<br>        }<br>        <br>        printStatistics(documents);<br>    }<br>    <br>private:<br>    void processDocument(Document&amp; doc) {<br>        // 언어 감지<br>        auto [detected_lang, confidence] = detector.detectLanguage(doc.content);<br>        doc.detected_language = detected_lang;<br>        doc.detection_confidence = confidence;<br>        <br>        // 키맵 교정<br>        doc.corrected_content = corrector.correctText(<br>            doc.content, detected_lang, doc.target_language, doc.applied_corrections<br>        );<br>    }<br>    <br>    void printDocumentResult(const Document&amp; doc) {<br>        cout &lt;&lt; &quot;문서 ID: &quot; &lt;&lt; doc.doc_id &lt;&lt; endl;<br>        cout &lt;&lt; &quot;원본 내용: &quot; &lt;&lt; doc.content &lt;&lt; endl;<br>        cout &lt;&lt; &quot;목표 언어: &quot; &lt;&lt; doc.target_language &lt;&lt; endl;<br>        cout &lt;&lt; &quot;감지된 언어: &quot; &lt;&lt; doc.detected_language <br>             &lt;&lt; &quot; (신뢰도: &quot; &lt;&lt; fixed &lt;&lt; setprecision(3) &lt;&lt; doc.detection_confidence &lt;&lt; &quot;)&quot; &lt;&lt; endl;<br>        cout &lt;&lt; &quot;교정 결과: &quot; &lt;&lt; doc.corrected_content &lt;&lt; endl;<br>        <br>        if (!doc.applied_corrections.empty()) {<br>            cout &lt;&lt; &quot;적용된 교정:&quot; &lt;&lt; endl;<br>            for (const string&amp; correction : doc.applied_corrections) {<br>                cout &lt;&lt; &quot;  - &quot; &lt;&lt; correction &lt;&lt; endl;<br>            }<br>        } else {<br>            cout &lt;&lt; &quot;교정이 적용되지 않음&quot; &lt;&lt; endl;<br>        }<br>        <br>        cout &lt;&lt; string(60, &#39;-&#39;) &lt;&lt; endl;<br>    }<br>    <br>    void printStatistics(const vector&lt;Document&gt;&amp; documents) {<br>        cout &lt;&lt; endl &lt;&lt; &quot;=== 처리 통계 ===&quot; &lt;&lt; endl;<br>        <br>        int total_docs = documents.size();<br>        int correction_needed = 0;<br>        int corrections_applied = 0;<br>        map&lt;string, int&gt; language_distribution;<br>        <br>        for (const Document&amp; doc : documents) {<br>            if (doc.detected_language != doc.target_language) {<br>                correction_needed++;<br>            }<br>            <br>            if (!doc.applied_corrections.empty()) {<br>                corrections_applied++;<br>            }<br>            <br>            language_distribution[doc.detected_language]++;<br>        }<br>        <br>        cout &lt;&lt; &quot;전체 문서: &quot; &lt;&lt; total_docs &lt;&lt; endl;<br>        cout &lt;&lt; &quot;교정 필요: &quot; &lt;&lt; correction_needed &lt;&lt; endl;<br>        cout &lt;&lt; &quot;교정 적용: &quot; &lt;&lt; corrections_applied &lt;&lt; endl;<br>        cout &lt;&lt; &quot;언어 분포:&quot; &lt;&lt; endl;<br>        <br>        for (const auto&amp; [lang, count] : language_distribution) {<br>            cout &lt;&lt; &quot;  &quot; &lt;&lt; lang &lt;&lt; &quot;: &quot; &lt;&lt; count &lt;&lt; endl;<br>        }<br>    }<br>};<br><br>int main() {<br>    // 테스트 문서들<br>    vector&lt;Document&gt; documents = {<br>        Document(1, &quot;あんにょん、みなさん！このdocumentです&quot;, &quot;KR&quot;, &quot;ko&quot;),<br>        Document(2, &quot;ni hao everyone, wo shi zhongguo ren, xie xie&quot;, &quot;CN&quot;, &quot;zh&quot;),<br>        Document(3, &quot;konnichiwa minna san, arigatou gozaimasu&quot;, &quot;JP&quot;, &quot;ja&quot;),<br>        Document(4, &quot;きmちぇるすぅさんのreviewをお読みください&quot;, &quot;KR&quot;, &quot;ko&quot;),<br>        Document(5, &quot;hello world, this is a normal English document&quot;, &quot;US&quot;, &quot;en&quot;),<br>        Document(6, &quot;あんhelloにょんworld混合textです&quot;, &quot;KR&quot;, &quot;ko&quot;)<br>    };<br>    <br>    DocumentProcessor processor;<br>    processor.processDocuments(documents);<br>    <br>    return 0;<br>}<br><br>/*<br>실행 결과(예시):<br>=== 대용량 문서 키맵 오입력 교정 ===<br><br>문서 ID: 1<br>원본 내용: あんにょん、みなさん！このdocumentです<br>목표 언어: ko<br>감지된 언어: ja (신뢰도: 0.714)<br>교정 결과: 안녕、みなさん！이documentです<br>적용된 교정:<br>  - あんにょん → 안녕<br>  - この → 이<br>------------------------------------------------------------<br><br>문서 ID: 2<br>원본 내용: ni hao everyone, wo shi zhongguo ren, xie xie<br>목표 언어: zh<br>감지된 언어: en (신뢰도: 0.800)<br>교정 결과: 你好 everyone, 我是 中国人, 谢谢<br>적용된 교정:<br>  - ni hao → 你好<br>  - wo shi → 我是<br>  - zhongguo ren → 中国人<br>  - xie xie → 谢谢<br>------------------------------------------------------------<br>*/</pre><h4>3.8 Java로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Java에서는 java.text.Collator와 java.text.Normalizer를 활용하여 텍스트 정규화와 언어별 처리를 수행한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>import java.text.Normalizer;<br>import java.util.*;<br>import java.util.regex.Matcher;<br>import java.util.regex.Pattern;<br>import java.util.stream.Collectors;<br><br>// 고객 티켓 클래스<br>class CustomerTicket {<br>    private int ticketId;<br>    private String content;<br>    private String customerRegion;<br>    private String targetLanguage;<br>    private String detectedLanguage;<br>    private String correctedContent;<br>    private double detectionConfidence;<br>    private List&lt;String&gt; appliedCorrections;<br>    <br>    public CustomerTicket(int ticketId, String content, String customerRegion, String targetLanguage) {<br>        this.ticketId = ticketId;<br>        this.content = content;<br>        this.customerRegion = customerRegion;<br>        this.targetLanguage = targetLanguage;<br>        this.appliedCorrections = new ArrayList&lt;&gt;();<br>    }<br>    <br>    // Getters and Setters<br>    public int getTicketId() { return ticketId; }<br>    public String getContent() { return content; }<br>    public String getCustomerRegion() { return customerRegion; }<br>    public String getTargetLanguage() { return targetLanguage; }<br>    public String getDetectedLanguage() { return detectedLanguage; }<br>    public void setDetectedLanguage(String detectedLanguage) { this.detectedLanguage = detectedLanguage; }<br>    public String getCorrectedContent() { return correctedContent; }<br>    public void setCorrectedContent(String correctedContent) { this.correctedContent = correctedContent; }<br>    public double getDetectionConfidence() { return detectionConfidence; }<br>    public void setDetectionConfidence(double detectionConfidence) { this.detectionConfidence = detectionConfidence; }<br>    public List&lt;String&gt; getAppliedCorrections() { return appliedCorrections; }<br>}<br><br>// 언어 감지 서비스<br>class LanguageDetectionService {<br>    private final Map&lt;String, Pattern&gt; languagePatterns;<br>    <br>    public LanguageDetectionService() {<br>        languagePatterns = new HashMap&lt;&gt;();<br>        languagePatterns.put(&quot;ja&quot;, Pattern.compile(&quot;[\\u3040-\\u309F\\u30A0-\\u30FF]+&quot;));<br>        languagePatterns.put(&quot;ko&quot;, Pattern.compile(&quot;[\\uAC00-\\uD7AF]+&quot;));<br>        languagePatterns.put(&quot;zh&quot;, Pattern.compile(&quot;[\\u4E00-\\u9FFF]+&quot;));<br>        languagePatterns.put(&quot;en&quot;, Pattern.compile(&quot;[a-zA-Z]+&quot;));<br>    }<br>    <br>    public DetectionResult detectLanguage(String text) {<br>        Map&lt;String, Integer&gt; counts = new HashMap&lt;&gt;();<br>        Map&lt;String, Double&gt; scores = new HashMap&lt;&gt;();<br>        <br>        // 각 언어별 문자 카운트<br>        for (Map.Entry&lt;String, Pattern&gt; entry : languagePatterns.entrySet()) {<br>            String lang = entry.getKey();<br>            Pattern pattern = entry.getValue();<br>            Matcher matcher = pattern.matcher(text);<br>            <br>            int count = 0;<br>            while (matcher.find()) {<br>                count += matcher.group().length();<br>            }<br>            counts.put(lang, count);<br>        }<br>        <br>        int totalChars = text.replaceAll(&quot;\\s+&quot;, &quot;&quot;).length();<br>        if (totalChars == 0) {<br>            return new DetectionResult(&quot;unknown&quot;, 0.0, scores);<br>        }<br>        <br>        // 점수 계산<br>        for (Map.Entry&lt;String, Integer&gt; entry : counts.entrySet()) {<br>            double score = (double) entry.getValue() / totalChars;<br>            scores.put(entry.getKey(), score);<br>        }<br>        <br>        // 최고 점수 언어 찾기<br>        String bestLanguage = scores.entrySet().stream()<br>                .max(Map.Entry.comparingByValue())<br>                .map(Map.Entry::getKey)<br>                .orElse(&quot;unknown&quot;);<br>        <br>        double confidence = scores.getOrDefault(bestLanguage, 0.0);<br>        <br>        return new DetectionResult(bestLanguage, confidence, scores);<br>    }<br>    <br>    // 내부 클래스: 감지 결과<br>    public static class DetectionResult {<br>        private final String language;<br>        private final double confidence;<br>        private final Map&lt;String, Double&gt; allScores;<br>        <br>        public DetectionResult(String language, double confidence, Map&lt;String, Double&gt; allScores) {<br>            this.language = language;<br>            this.confidence = confidence;<br>            this.allScores = new HashMap&lt;&gt;(allScores);<br>        }<br>        <br>        public String getLanguage() { return language; }<br>        public double getConfidence() { return confidence; }<br>        public Map&lt;String, Double&gt; getAllScores() { return allScores; }<br>    }<br>}<br><br>// 키맵 교정 서비스<br>class KeymapCorrectionService {<br>    private final Map&lt;String, Map&lt;String, String&gt;&gt; correctionMaps;<br>    private final List&lt;PatternCorrection&gt; patternCorrections;<br>    <br>    public KeymapCorrectionService() {<br>        correctionMaps = initializeCorrectionMaps();<br>        patternCorrections = initializePatternCorrections();<br>    }<br>    <br>    private Map&lt;String, Map&lt;String, String&gt;&gt; initializeCorrectionMaps() {<br>        Map&lt;String, Map&lt;String, String&gt;&gt; maps = new HashMap&lt;&gt;();<br>        <br>        // 일본어 → 한국어<br>        Map&lt;String, String&gt; jaToKo = new HashMap&lt;&gt;();<br>        jaToKo.put(&quot;あんにょん&quot;, &quot;안녕&quot;);<br>        jaToKo.put(&quot;きm&quot;, &quot;김&quot;);<br>        jaToKo.put(&quot;ちぇ&quot;, &quot;철&quot;);<br>        jaToKo.put(&quot;るすぅ&quot;, &quot;수&quot;);<br>        jaToKo.put(&quot;げんき&quot;, &quot;건기&quot;);<br>        jaToKo.put(&quot;この&quot;, &quot;이&quot;);<br>        jaToKo.put(&quot;とても&quot;, &quot;매우&quot;);<br>        maps.put(&quot;ja_to_ko&quot;, jaToKo);<br>        <br>        // 영어(병음) → 중국어<br>        Map&lt;String, String&gt; enToZh = new HashMap&lt;&gt;();<br>        enToZh.put(&quot;ni hao&quot;, &quot;你好&quot;);<br>        enToZh.put(&quot;wo shi&quot;, &quot;我是&quot;);<br>        enToZh.put(&quot;xie xie&quot;, &quot;谢谢&quot;);<br>        enToZh.put(&quot;zai jian&quot;, &quot;再见&quot;);<br>        enToZh.put(&quot;zhongguo ren&quot;, &quot;中国人&quot;);<br>        maps.put(&quot;en_to_zh&quot;, enToZh);<br>        <br>        // 영어(로마자) → 일본어<br>        Map&lt;String, String&gt; enToJa = new HashMap&lt;&gt;();<br>        enToJa.put(&quot;konnichiwa&quot;, &quot;こんにちは&quot;);<br>        enToJa.put(&quot;arigatou&quot;, &quot;ありがとう&quot;);<br>        enToJa.put(&quot;sayonara&quot;, &quot;さようなら&quot;);<br>        enToJa.put(&quot;minna san&quot;, &quot;みなさん&quot;);<br>        maps.put(&quot;en_to_ja&quot;, enToJa);<br>        <br>        return maps;<br>    }<br>    <br>    private List&lt;PatternCorrection&gt; initializePatternCorrections() {<br>        List&lt;PatternCorrection&gt; patterns = new ArrayList&lt;&gt;();<br>        <br>        patterns.add(new PatternCorrection(<br>            Pattern.compile(&quot;[\\u3040-\\u309F]{2,}&quot;),<br>            &quot;히라가나 연속 패턴&quot;,<br>            match -&gt; &quot;[KO_CANDIDATE:&quot; + match + &quot;]&quot;<br>        ));<br>        <br>        patterns.add(new PatternCorrection(<br>            Pattern.compile(&quot;\\b[a-z]{2,}\\s+[a-z]{2,}\\b&quot;),<br>            &quot;연속 소문자 (병음 후보)&quot;,<br>            match -&gt; &quot;[PINYIN_CANDIDATE:&quot; + match + &quot;]&quot;<br>        ));<br>        <br>        patterns.add(new PatternCorrection(<br>            Pattern.compile(&quot;[\\u3040-\\u309F]+[a-zA-Z]+|[a-zA-Z]+[\\u3040-\\u309F]+&quot;),<br>            &quot;일본어-영어 혼합 패턴&quot;,<br>            match -&gt; &quot;[MIXED_JA_EN:&quot; + match + &quot;]&quot;<br>        ));<br>        <br>        return patterns;<br>    }<br>    <br>    public CorrectionResult correctText(String text, String detectedLang, String targetLang) {<br>        String corrected = Normalizer.normalize(text, Normalizer.Form.NFKD);<br>        List&lt;String&gt; appliedCorrections = new ArrayList&lt;&gt;();<br>        <br>        // 1단계: 직접 매핑 교정<br>        String mapKey = detectedLang + &quot;_to_&quot; + targetLang;<br>        if (correctionMaps.containsKey(mapKey)) {<br>            Map&lt;String, String&gt; corrections = correctionMaps.get(mapKey);<br>            <br>            for (Map.Entry&lt;String, String&gt; entry : corrections.entrySet()) {<br>                String wrong = entry.getKey();<br>                String correct = entry.getValue();<br>                <br>                if (corrected.contains(wrong)) {<br>                    corrected = corrected.replace(wrong, correct);<br>                    appliedCorrections.add(wrong + &quot; → &quot; + correct);<br>                }<br>            }<br>        }<br>        <br>        // 2단계: 패턴 기반 교정<br>        for (PatternCorrection patternCorr : patternCorrections) {<br>            Matcher matcher = patternCorr.getPattern().matcher(corrected);<br>            StringBuffer sb = new StringBuffer();<br>            <br>            while (matcher.find()) {<br>                String match = matcher.group();<br>                String replacement = patternCorr.getReplacementFunction().apply(match);<br>                <br>                if (!match.equals(replacement)) {<br>                    appliedCorrections.add(patternCorr.getDescription() + &quot;: &quot; + match + &quot; → &quot; + replacement);<br>                    matcher.appendReplacement(sb, Matcher.quoteReplacement(replacement));<br>                } else {<br>                    matcher.appendReplacement(sb, Matcher.quoteReplacement(match));<br>                }<br>            }<br>            matcher.appendTail(sb);<br>            corrected = sb.toString();<br>        }<br>        <br>        return new CorrectionResult(corrected, appliedCorrections);<br>    }<br>    <br>    // 내부 클래스들<br>    private static class PatternCorrection {<br>        private final Pattern pattern;<br>        private final String description;<br>        private final java.util.function.Function&lt;String, String&gt; replacementFunction;<br>        <br>        public PatternCorrection(Pattern pattern, String description, <br>                               java.util.function.Function&lt;String, String&gt; replacementFunction) {<br>            this.pattern = pattern;<br>            this.description = description;<br>            this.replacementFunction = replacementFunction;<br>        }<br>        <br>        public Pattern getPattern() { return pattern; }<br>        public String getDescription() { return description; }<br>        public java.util.function.Function&lt;String, String&gt; getReplacementFunction() { return replacementFunction; }<br>    }<br>    <br>    public static class CorrectionResult {<br>        private final String correctedText;<br>        private final List&lt;String&gt; appliedCorrections;<br>        <br>        public CorrectionResult(String correctedText, List&lt;String&gt; appliedCorrections) {<br>            this.correctedText = correctedText;<br>            this.appliedCorrections = new ArrayList&lt;&gt;(appliedCorrections);<br>        }<br>        <br>        public String getCorrectedText() { return correctedText; }<br>        public List&lt;String&gt; getAppliedCorrections() { return appliedCorrections; }<br>    }<br>}<br><br>// 고객 지원 티켓 처리 시스템<br>public class CustomerSupportSystem {<br>    private final LanguageDetectionService languageDetector;<br>    private final KeymapCorrectionService correctionService;<br>    <br>    public CustomerSupportSystem() {<br>        this.languageDetector = new LanguageDetectionService();<br>        this.correctionService = new KeymapCorrectionService();<br>    }<br>    <br>    public void processTickets(List&lt;CustomerTicket&gt; tickets) {<br>        System.out.println(&quot;=== 고객 지원 키맵 오입력 교정 시스템 ===\n&quot;);<br>        <br>        for (CustomerTicket ticket : tickets) {<br>            processTicket(ticket);<br>            printTicketResult(ticket);<br>        }<br>        <br>        printProcessingStatistics(tickets);<br>    }<br>    <br>    private void processTicket(CustomerTicket ticket) {<br>        // 언어 감지<br>        LanguageDetectionService.DetectionResult detection = <br>                languageDetector.detectLanguage(ticket.getContent());<br>        <br>        ticket.setDetectedLanguage(detection.getLanguage());<br>        ticket.setDetectionConfidence(detection.getConfidence());<br>        <br>        // 키맵 교정<br>        KeymapCorrectionService.CorrectionResult correction = <br>                correctionService.correctText(<br>                    ticket.getContent(),<br>                    detection.getLanguage(),<br>                    ticket.getTargetLanguage()<br>                );<br>        <br>        ticket.setCorrectedContent(correction.getCorrectedText());<br>        ticket.getAppliedCorrections().addAll(correction.getAppliedCorrections());<br>    }<br>    <br>    private void printTicketResult(CustomerTicket ticket) {<br>        System.out.println(&quot;티켓 ID: &quot; + ticket.getTicketId());<br>        System.out.println(&quot;고객 지역: &quot; + ticket.getCustomerRegion());<br>        System.out.println(&quot;원본 내용: &quot; + ticket.getContent());<br>        System.out.println(&quot;목표 언어: &quot; + ticket.getTargetLanguage());<br>        System.out.printf(&quot;감지된 언어: %s (신뢰도: %.3f)%n&quot;, <br>                         ticket.getDetectedLanguage(), ticket.getDetectionConfidence());<br>        System.out.println(&quot;교정 결과: &quot; + ticket.getCorrectedContent());<br>        <br>        if (!ticket.getAppliedCorrections().isEmpty()) {<br>            System.out.println(&quot;적용된 교정:&quot;);<br>            for (String correction : ticket.getAppliedCorrections()) {<br>                System.out.println(&quot;  - &quot; + correction);<br>            }<br>        } else {<br>            System.out.println(&quot;교정이 적용되지 않음&quot;);<br>        }<br>        <br>        System.out.println(&quot;-&quot;.repeat(60));<br>    }<br>    <br>    private void printProcessingStatistics(List&lt;CustomerTicket&gt; tickets) {<br>        System.out.println(&quot;\n=== 처리 통계 ===&quot;);<br>        <br>        int totalTickets = tickets.size();<br>        long correctionNeeded = tickets.stream()<br>                .filter(t -&gt; !t.getDetectedLanguage().equals(t.getTargetLanguage()))<br>                .count();<br>        long correctionsApplied = tickets.stream()<br>                .filter(t -&gt; !t.getAppliedCorrections().isEmpty())<br>                .count();<br>        <br>        Map&lt;String, Long&gt; languageDistribution = tickets.stream()<br>                .collect(Collectors.groupingBy(<br>                    CustomerTicket::getDetectedLanguage,<br>                    Collectors.counting()<br>                ));<br>        <br>        System.out.println(&quot;전체 티켓: &quot; + totalTickets);<br>        System.out.println(&quot;교정 필요: &quot; + correctionNeeded);<br>        System.out.println(&quot;교정 적용: &quot; + correctionsApplied);<br>        System.out.println(&quot;언어 분포:&quot;);<br>        <br>        languageDistribution.entrySet().stream()<br>                .sorted(Map.Entry.&lt;String, Long&gt;comparingByValue().reversed())<br>                .forEach(entry -&gt; System.out.println(&quot;  &quot; + entry.getKey() + &quot;: &quot; + entry.getValue()));<br>        <br>        // 교정 효율성 계산<br>        double efficiency = correctionNeeded &gt; 0 ? <br>                (double) correctionsApplied / correctionNeeded * 100 : 0;<br>        System.out.printf(&quot;교정 효율성: %.1f%%%n&quot;, efficiency);<br>    }<br>    <br>    public static void main(String[] args) {<br>        // 테스트 티켓들<br>        List&lt;CustomerTicket&gt; tickets = Arrays.asList(<br>            new CustomerTicket(1001, &quot;あんにょん、この商品について質問があります&quot;, &quot;KR&quot;, &quot;ko&quot;),<br>            new CustomerTicket(1002, &quot;ni hao, wo yao tui huo zhe ge chan pin&quot;, &quot;CN&quot;, &quot;zh&quot;),<br>            new CustomerTicket(1003, &quot;konnichiwa, arigatou gozaimasu&quot;, &quot;JP&quot;, &quot;ja&quot;),<br>            new CustomerTicket(1004, &quot;きmちぇるすぅです。この注文について確認したいです&quot;, &quot;KR&quot;, &quot;ko&quot;),<br>            new CustomerTicket(1005, &quot;hello, I need help with my order&quot;, &quot;US&quot;, &quot;en&quot;),<br>            new CustomerTicket(1006, &quot;このproductはとてもgoodです！&quot;, &quot;JP&quot;, &quot;ja&quot;)<br>        );<br>        <br>        CustomerSupportSystem system = new CustomerSupportSystem();<br>        system.processTickets(tickets);<br>    }<br>}<br><br>/*<br>실행 결과(예시):<br>=== 고객 지원 키맵 오입력 교정 시스템 ===<br><br>티켓 ID: 1001<br>고객 지역: KR<br>원본 내용: あんにょん、この商品について質問があります<br>목표 언어: ko<br>감지된 언어: ja (신뢰도: 0.857)<br>교정 결과: 안녕、이商品について質問があります<br>적용된 교정:<br>  - あんにょん → 안녕<br>  - この → 이<br>------------------------------------------------------------<br><br>티켓 ID: 1002<br>고객 지역: CN<br>원본 내용: ni hao, wo yao tui huo zhe ge chan pin<br>목표 언어: zh<br>감지된 언어: en (신뢰도: 0.829)<br>교정 결과: 你好, wo yao tui huo zhe ge chan pin<br>적용된 교정:<br>  - ni hao → 你好<br>  - 연속 소문자 (병음 후보): wo yao → [PINYIN_CANDIDATE:wo yao]<br>------------------------------------------------------------<br>*/</pre><h4>3.9 JavaScript로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Javascript에서는 Intl.Collator와 다양한 라이브러리를 활용하여 다국어 텍스트 처리를 수행한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>// 실시간 채팅 키맵 교정 시스템<br>class RealtimeChatCorrector {<br>    constructor() {<br>        this.correctionMaps = this.initializeCorrectionMaps();<br>        this.patternCorrections = this.initializePatternCorrections();<br>        this.languageDetector = new LanguageDetector();<br>    }<br>    <br>    initializeCorrectionMaps() {<br>        return {<br>            &#39;ja_to_ko&#39;: {<br>                &#39;あんにょん&#39;: &#39;안녕&#39;,<br>                &#39;きm&#39;: &#39;김&#39;,<br>                &#39;ちぇ&#39;: &#39;철&#39;,<br>                &#39;るすぅ&#39;: &#39;수&#39;,<br>                &#39;げんき&#39;: &#39;건기&#39;,<br>                &#39;この&#39;: &#39;이&#39;,<br>                &#39;とても&#39;: &#39;매우&#39;,<br>                &#39;です&#39;: &#39;입니다&#39;<br>            },<br>            &#39;en_to_zh&#39;: {<br>                &#39;ni hao&#39;: &#39;你好&#39;,<br>                &#39;wo shi&#39;: &#39;我是&#39;,<br>                &#39;xie xie&#39;: &#39;谢谢&#39;,<br>                &#39;zai jian&#39;: &#39;再见&#39;,<br>                &#39;zhongguo ren&#39;: &#39;中国人&#39;,<br>                &#39;hen gao xing&#39;: &#39;很高兴&#39;<br>            },<br>            &#39;en_to_ja&#39;: {<br>                &#39;konnichiwa&#39;: &#39;こんにちは&#39;,<br>                &#39;arigatou&#39;: &#39;ありがとう&#39;,<br>                &#39;sayonara&#39;: &#39;さようなら&#39;,<br>                &#39;minna san&#39;: &#39;みなさん&#39;,<br>                &#39;genki desu ka&#39;: &#39;元気ですか&#39;<br>            }<br>        };<br>    }<br>    <br>    initializePatternCorrections() {<br>        return [<br>            {<br>                pattern: /[あ-ん]{2,}/g,<br>                description: &#39;히라가나 연속 패턴&#39;,<br>                handler: (match) =&gt; `[KO_CANDIDATE:${match}]`<br>            },<br>            {<br>                pattern: /\b[a-z]{2,}\s+[a-z]{2,}\b/g,<br>                description: &#39;연속 소문자 (병음 패턴)&#39;,<br>                handler: (match) =&gt; `[PINYIN_CANDIDATE:${match}]`<br>            },<br>            {<br>                pattern: /[あ-ん]+[a-zA-Z]+|[a-zA-Z]+[あ-ん]+/g,<br>                description: &#39;일본어-영어 혼합 패턴&#39;,<br>                handler: (match) =&gt; `[MIXED_JA_EN:${match}]`<br>            },<br>            {<br>                pattern: /[ㄱ-ㅎ]+[a-zA-Z]+|[a-zA-Z]+[ㄱ-ㅎ]+/g,<br>                description: &#39;한글 자음-영어 혼합 패턴&#39;,<br>                handler: (match) =&gt; `[MIXED_KO_EN:${match}]`<br>            }<br>        ];<br>    }<br>    <br>    // 메시지 처리 메인 함수<br>    async processMessage(messageData) {<br>        const { userId, content, userRegion, targetLanguage } = messageData;<br>        <br>        // 1단계: 언어 감지<br>        const detection = await this.languageDetector.detectLanguage(content);<br>        <br>        // 2단계: 텍스트 정규화<br>        const normalized = content.normalize(&#39;NFKD&#39;);<br>        <br>        // 3단계: 키맵 교정<br>        const correctionResult = this.correctKeymapErrors(<br>            normalized, <br>            detection.language, <br>            targetLanguage<br>        );<br>        <br>        // 4단계: 실시간 제안<br>        const suggestions = this.generateSuggestions(<br>            content, <br>            correctionResult.corrected, <br>            detection<br>        );<br>        <br>        return {<br>            userId,<br>            original: content,<br>            corrected: correctionResult.corrected,<br>            detectedLanguage: detection.language,<br>            confidence: detection.confidence,<br>            appliedCorrections: correctionResult.corrections,<br>            suggestions,<br>            processingTime: Date.now() - messageData.timestamp<br>        };<br>    }<br>    <br>    correctKeymapErrors(text, detectedLang, targetLang) {<br>        let corrected = text;<br>        const appliedCorrections = [];<br>        <br>        // 직접 매핑 교정<br>        const mapKey = `${detectedLang}_to_${targetLang}`;<br>        if (this.correctionMaps[mapKey]) {<br>            const corrections = this.correctionMaps[mapKey];<br>            <br>            Object.entries(corrections).forEach(([wrong, correct]) =&gt; {<br>                if (corrected.includes(wrong)) {<br>                    corrected = corrected.replaceAll(wrong, correct);<br>                    appliedCorrections.push({<br>                        type: &#39;direct_mapping&#39;,<br>                        original: wrong,<br>                        corrected: correct,<br>                        description: `${wrong} → ${correct}`<br>                    });<br>                }<br>            });<br>        }<br>        <br>        // 패턴 기반 교정<br>        this.patternCorrections.forEach(patternCorr =&gt; {<br>            const matches = corrected.match(patternCorr.pattern);<br>            if (matches) {<br>                matches.forEach(match =&gt; {<br>                    const replacement = patternCorr.handler(match);<br>                    if (replacement !== match) {<br>                        corrected = corrected.replace(match, replacement);<br>                        appliedCorrections.push({<br>                            type: &#39;pattern_correction&#39;,<br>                            original: match,<br>                            corrected: replacement,<br>                            description: `${patternCorr.description}: ${match} → ${replacement}`<br>                        });<br>                    }<br>                });<br>            }<br>        });<br>        <br>        return {<br>            corrected,<br>            corrections: appliedCorrections<br>        };<br>    }<br>    <br>    generateSuggestions(original, corrected, detection) {<br>        const suggestions = [];<br>        <br>        // 언어 불일치 감지 시 제안<br>        if (detection.confidence &lt; 0.7) {<br>            suggestions.push({<br>                type: &#39;language_uncertainty&#39;,<br>                message: `언어 감지 신뢰도가 낮습니다 (${(detection.confidence * 100).toFixed(1)}%). 올바른 언어를 확인해주세요.`,<br>                action: &#39;manual_language_selection&#39;<br>            });<br>        }<br>        <br>        // 혼합 입력 패턴 감지 시 제안<br>        const mixedPatterns = this.detectMixedPatterns(original);<br>        if (mixedPatterns.length &gt; 0) {<br>            suggestions.push({<br>                type: &#39;mixed_input_detected&#39;,<br>                message: &#39;여러 언어가 혼합된 입력이 감지되었습니다.&#39;,<br>                patterns: mixedPatterns,<br>                action: &#39;input_method_check&#39;<br>            });<br>        }<br>        <br>        // 교정 제안<br>        if (original !== corrected) {<br>            suggestions.push({<br>                type: &#39;correction_available&#39;,<br>                message: &#39;키맵 오입력이 교정되었습니다.&#39;,<br>                original,<br>                corrected,<br>                action: &#39;apply_correction&#39;<br>            });<br>        }<br>        <br>        return suggestions;<br>    }<br>    <br>    detectMixedPatterns(text) {<br>        const patterns = [];<br>        <br>        // 다양한 혼합 패턴 감지<br>        const mixedChecks = [<br>            { regex: /[あ-ん]+[a-zA-Z]+/, type: &#39;일본어-영어 혼합&#39; },<br>            { regex: /[ㄱ-ㅎ]+[a-zA-Z]+/, type: &#39;한글 자음-영어 혼합&#39; },<br>            { regex: /[가-힣]+[a-zA-Z]+/, type: &#39;한글-영어 혼합&#39; },<br>            { regex: /[a-zA-Z]+[가-힣]+/, type: &#39;영어-한글 혼합&#39; },<br>            { regex: /[0-9]+[あ-んア-ン]+/, type: &#39;숫자-일본어 혼합&#39; }<br>        ];<br>        <br>        mixedChecks.forEach(check =&gt; {<br>            const matches = text.match(check.regex);<br>            if (matches) {<br>                patterns.push({<br>                    type: check.type,<br>                    matches: matches,<br>                    positions: matches.map(match =&gt; text.indexOf(match))<br>                });<br>            }<br>        });<br>        <br>        return patterns;<br>    }<br>}<br><br>// 언어 감지 클래스<br>class LanguageDetector {<br>    constructor() {<br>        this.languagePatterns = {<br>            &#39;ja&#39;: /[あ-んア-ンー]+/g,<br>            &#39;ko&#39;: /[가-힣ㄱ-ㅎㅏ-ㅣ]+/g,<br>            &#39;zh&#39;: /[\u4e00-\u9fff]+/g,<br>            &#39;en&#39;: /[a-zA-Z]+/g<br>        };<br>    }<br>    <br>    async detectLanguage(text) {<br>        const scores = {};<br>        const totalLength = text.replace(/\s+/g, &#39;&#39;).length;<br>        <br>        if (totalLength === 0) {<br>            return { language: &#39;unknown&#39;, confidence: 0, scores: {} };<br>        }<br>        <br>        // 각 언어별 문자 수 계산<br>        Object.entries(this.languagePatterns).forEach(([lang, pattern]) =&gt; {<br>            const matches = text.match(pattern);<br>            const charCount = matches ? matches.join(&#39;&#39;).length : 0;<br>            scores[lang] = charCount / totalLength;<br>        });<br>        <br>        // 최고 점수 언어 찾기<br>        const [bestLanguage, bestScore] = Object.entries(scores)<br>            .reduce((max, current) =&gt; current[1] &gt; max[1] ? current : max, [&#39;unknown&#39;, 0]);<br>        <br>        return {<br>            language: bestLanguage,<br>            confidence: bestScore,<br>            scores: scores<br>        };<br>    }<br>}<br><br>// 실시간 채팅 애플리케이션 클래스<br>class RealtimeChatApp {<br>    constructor() {<br>        this.corrector = new RealtimeChatCorrector();<br>        this.users = new Map();<br>        this.messageHistory = [];<br>    }<br>    <br>    // 사용자 등록<br>    registerUser(userId, userInfo) {<br>        this.users.set(userId, {<br>            ...userInfo,<br>            messageCount: 0,<br>            correctionStats: {<br>                total: 0,<br>                corrected: 0,<br>                patterns: {}<br>            }<br>        });<br>    }<br>    <br>    // 메시지 처리<br>    async handleMessage(userId, content) {<br>        const user = this.users.get(userId);<br>        if (!user) {<br>            throw new Error(&#39;사용자가 등록되지 않았습니다.&#39;);<br>        }<br>        <br>        const messageData = {<br>            userId,<br>            content,<br>            userRegion: user.region,<br>            targetLanguage: user.preferredLanguage,<br>            timestamp: Date.now()<br>        };<br>        <br>        // 키맵 오입력 교정<br>        const result = await this.corrector.processMessage(messageData);<br>        <br>        // 사용자 통계 업데이트<br>        this.updateUserStats(userId, result);<br>        <br>        // 메시지 히스토리에 추가<br>        this.messageHistory.push({<br>            ...result,<br>            timestamp: messageData.timestamp<br>        });<br>        <br>        // 실시간 UI 업데이트를 위한 이벤트 발생<br>        this.emitMessageProcessed(result);<br>        <br>        return result;<br>    }<br>    <br>    updateUserStats(userId, result) {<br>        const user = this.users.get(userId);<br>        user.messageCount++;<br>        user.correctionStats.total++;<br>        <br>        if (result.appliedCorrections.length &gt; 0) {<br>            user.correctionStats.corrected++;<br>            <br>            // 패턴별 통계<br>            result.appliedCorrections.forEach(correction =&gt; {<br>                const pattern = correction.type;<br>                if (!user.correctionStats.patterns[pattern]) {<br>                    user.correctionStats.patterns[pattern] = 0;<br>                }<br>                user.correctionStats.patterns[pattern]++;<br>            });<br>        }<br>    }<br>    <br>    emitMessageProcessed(result) {<br>        // 실제 구현에서는 WebSocket이나 Server-Sent Events 사용<br>        console.log(&#39;메시지 처리 완료:&#39;, {<br>            userId: result.userId,<br>            hasCorrections: result.appliedCorrections.length &gt; 0,<br>            suggestions: result.suggestions.length<br>        });<br>        <br>        // UI 업데이트 시뮬레이션<br>        this.displayMessage(result);<br>    }<br>    <br>    displayMessage(result) {<br>        console.log(&#39;\n=== 실시간 채팅 메시지 ===&#39;);<br>        console.log(`사용자 ID: ${result.userId}`);<br>        console.log(`원본: ${result.original}`);<br>        <br>        if (result.original !== result.corrected) {<br>            console.log(`교정됨: ${result.corrected}`);<br>            console.log(`감지된 언어: ${result.detectedLanguage} (신뢰도: ${(result.confidence * 100).toFixed(1)}%)`);<br>            <br>            console.log(&#39;적용된 교정:&#39;);<br>            result.appliedCorrections.forEach(correction =&gt; {<br>                console.log(`  - ${correction.description}`);<br>            });<br>        }<br>        <br>        if (result.suggestions.length &gt; 0) {<br>            console.log(&#39;제안사항:&#39;);<br>            result.suggestions.forEach(suggestion =&gt; {<br>                console.log(`  - ${suggestion.message}`);<br>            });<br>        }<br>        <br>        console.log(`처리 시간: ${result.processingTime}ms`);<br>        console.log(&#39;-&#39;.repeat(50));<br>    }<br>    <br>    // 통계 리포트 생성<br>    generateReport() {<br>        const report = {<br>            totalUsers: this.users.size,<br>            totalMessages: this.messageHistory.length,<br>            correctionStats: {<br>                totalCorrections: 0,<br>                byLanguage: {},<br>                byPattern: {}<br>            },<br>            performance: {<br>                averageProcessingTime: 0,<br>                maxProcessingTime: 0<br>            }<br>        };<br>        <br>        // 사용자별 통계 집계<br>        this.users.forEach(user =&gt; {<br>            report.correctionStats.totalCorrections += user.correctionStats.corrected;<br>            <br>            Object.entries(user.correctionStats.patterns).forEach(([pattern, count]) =&gt; {<br>                if (!report.correctionStats.byPattern[pattern]) {<br>                    report.correctionStats.byPattern[pattern] = 0;<br>                }<br>                report.correctionStats.byPattern[pattern] += count;<br>            });<br>        });<br>        <br>        // 성능 통계 계산<br>        const processingTimes = this.messageHistory.map(msg =&gt; msg.processingTime);<br>        if (processingTimes.length &gt; 0) {<br>            report.performance.averageProcessingTime = <br>                processingTimes.reduce((sum, time) =&gt; sum + time, 0) / processingTimes.length;<br>            report.performance.maxProcessingTime = Math.max(...processingTimes);<br>        }<br>        <br>        return report;<br>    }<br>}<br><br>// 사용 예제<br>async function demonstrateRealTimeCorrection() {<br>    const chatApp = new RealtimeChatApp();<br>    <br>    // 사용자 등록<br>    chatApp.registerUser(&#39;user001&#39;, {<br>        name: &#39;김철수&#39;,<br>        region: &#39;KR&#39;,<br>        preferredLanguage: &#39;ko&#39;<br>    });<br>    <br>    chatApp.registerUser(&#39;user002&#39;, {<br>        name: &#39;田中太郎&#39;,<br>        region: &#39;JP&#39;,<br>        preferredLanguage: &#39;ja&#39;<br>    });<br>    <br>    chatApp.registerUser(&#39;user003&#39;, {<br>        name: &#39;王小明&#39;,<br>        region: &#39;CN&#39;,<br>        preferredLanguage: &#39;zh&#39;<br>    });<br>    <br>    // 테스트 메시지들<br>    const testMessages = [<br>        { userId: &#39;user001&#39;, content: &#39;あんにょん、みなさん！&#39; },<br>        { userId: &#39;user002&#39;, content: &#39;konnichiwa minna san&#39; },<br>        { userId: &#39;user003&#39;, content: &#39;ni hao wo shi zhongguo ren&#39; },<br>        { userId: &#39;user001&#39;, content: &#39;きmちぇるすぅです&#39; },<br>        { userId: &#39;user002&#39;, content: &#39;arigatou gozaimasu&#39; },<br>        { userId: &#39;user003&#39;, content: &#39;xie xie ni de bang zhu&#39; }<br>    ];<br>    <br>    console.log(&#39;=== 실시간 채팅 키맵 교정 시연 ===\n&#39;);<br>    <br>    // 메시지 순차 처리<br>    for (const message of testMessages) {<br>        await chatApp.handleMessage(message.userId, message.content);<br>        // 실제 채팅에서는 메시지가 실시간으로 들어옴<br>        await new Promise(resolve =&gt; setTimeout(resolve, 100));<br>    }<br>    <br>    // 최종 리포트<br>    const report = chatApp.generateReport();<br>    console.log(&#39;\n=== 처리 리포트 ===&#39;);<br>    console.log(`총 사용자: ${report.totalUsers}`);<br>    console.log(`총 메시지: ${report.totalMessages}`);<br>    console.log(`총 교정 수: ${report.correctionStats.totalCorrections}`);<br>    console.log(`평균 처리 시간: ${report.performance.averageProcessingTime.toFixed(2)}ms`);<br>    console.log(`최대 처리 시간: ${report.performance.maxProcessingTime}ms`);<br>    <br>    console.log(&#39;\n패턴별 교정 통계:&#39;);<br>    Object.entries(report.correctionStats.byPattern).forEach(([pattern, count]) =&gt; {<br>        console.log(`  ${pattern}: ${count}회`);<br>    });<br>}<br><br>// 실행<br>demonstrateRealTimeCorrection().catch(console.error);<br><br>/*<br>실행 결과(예시):<br>=== 실시간 채팅 키맵 교정 시연 ===<br><br>=== 실시간 채팅 메시지 ===<br>사용자 ID: user001<br>원본: あんにょん、みなさん！<br>교정됨: 안녕、みなさん！<br>감지된 언어: ja (신뢰도: 85.7%)<br>적용된 교정:<br>  - あんにょん → 안녕<br>제안사항:<br>  - 키맵 오입력이 교정되었습니다.<br>처리 시간: 5ms<br>--------------------------------------------------<br><br>=== 실시간 채팅 메시지 ===<br>사용자 ID: user002<br>원본: konnichiwa minna san<br>교정됨: こんにちは みなさん<br>감지된 언어: en (신뢰도: 100.0%)<br>적용된 교정:<br>  - konnichiwa → こんにちは<br>  - minna san → みなさん<br>제안사항:<br>  - 키맵 오입력이 교정되었습니다.<br>처리 시간: 4ms<br>--------------------------------------------------<br>*/</pre><h3>4. 문제 해결의 중요성</h3><p>키맵 오입력 문제의 해결은 현대 다국어 디지털 환경에서 핵심적인 중요성을 지닌다.</p><p><strong>(1) 데이터 품질 향상</strong><br>대규모 데이터 처리 시스템에서 키맵 오입력으로 인한 노이즈는 전체 데이터셋의 신뢰성을 크게 떨어뜨린다. 특히 자연어 처리나 기계학습 모델의 학습 데이터로 사용될 때, 이러한 오입력은 모델의 성능을 심각하게 저하시킬 수 있다.</p><p><strong>(2) 사용자 경험 개선 측면에서의 중요성</strong><br>글로벌 서비스를 운영하는 기업들에게 다국어 사용자들의 입력 실수를 자동으로 교정해주는 기능은 고객 만족도를 크게 향상시킨다. 특히 모바일 환경에서 키보드 전환의 불편함을 겪는 사용자들에게는 매우 유용한 기능이 된다.</p><p><strong>(3) 검색 및 정보 검색 시스템의 정확도 향상</strong><br>키맵 오입력이 교정되지 않으면 검색 엔진은 사용자의 실제 의도를 파악하기 어려워진다. 예를 들어 한국어 사용자가 일본어 키맵 상태에서 “김치”를 검색하려고 “きmち”라고 입력했을 때, 이를 적절히 교정하지 못하면 관련 없는 결과가 반환되거나 아예 결과가 나오지 않을 수 있다.</p><p><strong>(4) 다국어 콘텐츠 관리 시스템에서의 효율성 증대</strong><br>대기업의 글로벌 고객 지원 시스템이나 소셜 미디어 플랫폼에서는 수많은 언어의 콘텐츠가 실시간으로 생성된다. 키맵 오입력 교정 시스템을 통해 콘텐츠의 일관성을 유지하고, 자동 번역이나 언어별 분류의 정확도를 높일 수 있다.</p><p><strong>(5) 데이터 분석과 비즈니스 인텔리전스 영역에서의 가치</strong><br>고객 피드백, 리뷰, 설문조사 등의 텍스트 데이터를 분석할 때 키맵 오입력으로 인한 노이즈가 제거되면 더 정확한 인사이트를 얻을 수 있다. 특히 감정 분석이나 토픽 모델링에서는 이러한 전처리가 결과의 품질을 크게 좌우한다.</p><p><strong>(6) 국제화와 현지화 프로세스의 자동화 지원</strong><br>다국어 소프트웨어 개발에서 사용자 입력 데이터의 언어를 정확히 식별하고 적절한 처리를 수행하는 것은 필수적이다. 키맵 오입력 교정 기능은 이러한 프로세스를 더욱 견고하게 만들어준다.</p><p><strong>(7) 보안 및 데이터 무결성</strong><br>일부 악의적인 사용자들이 의도적으로 키맵 오입력을 이용해 필터링 시스템을 우회하려는 시도를 막을 수 있다. 또한 데이터베이스의 일관성을 유지하여 중복 데이터나 불일치 문제를 예방할 수 있다.</p><h3>5. 한계점</h3><p>키맵 오입력 교정 시스템에는 여러 기술적, 실용적 한계점들이 존재한다.</p><p><strong>(1) 언어 감지의 정확도 문제</strong><br>특히 짧은 텍스트나 고유명사가 많이 포함된 텍스트의 경우 언어 감지 알고리즘의 신뢰도가 크게 떨어진다. 예를 들어 “Tokyo”나 “김치” 같은 단어들은 여러 언어에서 공통으로 사용되어 정확한 언어 판별이 어렵다.</p><p><strong>(2) 문맥 의존성</strong><br>동일한 문자열이라도 문맥에 따라 서로 다른 의미를 가질 수 있는데, 현재의 키맵 교정 시스템들은 이러한 문맥적 정보를 충분히 고려하지 못한다. 특히 문학적 표현이나 은유적 언어 사용에서는 오히려 잘못된 교정이 이루어질 수 있다.</p><p><strong>(3) 방언과 지역별 언어 변형에 대한 처리 한계</strong><br>표준어 기반으로 구축된 교정 시스템은 각 지역의 방언이나 특색 있는 표현을 제대로 처리하지 못한다. 또한 온라인 슬랭이나 신조어, 줄임말 등의 변화하는 언어 패턴을 실시간으로 반영하기 어렵다.</p><p><strong>(4) 성능과 자원 소모의 트레이드오프 문제</strong><br>정확도를 높이기 위해 복잡한 알고리즘을 사용하면 처리 시간이 늘어나고 시스템 자원을 많이 소모한다. 특히 실시간 처리가 요구되는 환경에서는 이러한 성능 제약이 심각한 문제가 될 수 있다.</p><p><strong>(5) 개인정보 보호와 데이터 보안 문제</strong><br>키맵 오입력 교정을 위해서는 사용자의 텍스트 입력 데이터를 분석해야 하는데, 이 과정에서 민감한 개인정보가 노출될 위험이 있다. 특히 클라우드 기반 서비스에서는 데이터의 외부 전송과 저장에 대한 보안 우려가 크다.</p><p><strong>(6) 다언어 혼용 텍스트 처리의 복잡성</strong><br>실제 사용자들은 한 문장 안에서도 여러 언어를 섞어 사용하는 경우가 많은데, 이러한 코드 스위칭 현상을 정확히 처리하는 것은 매우 어렵다. 각 언어별로 다른 교정 규칙을 적용해야 하기 때문에 복잡도가 기하급수적으로 증가한다.</p><p><strong>(7) 업데이트와 유지보수의 어려움</strong><br>언어는 지속적으로 변화하고 새로운 키보드 레이아웃이나 입력 방식이 등장하면서, 교정 규칙과 매핑 테이블을 지속적으로 업데이트해야 한다. 또한 사용자 피드백을 반영하여 시스템을 개선하는 과정도 많은 인적, 물적 자원을 요구한다.</p><p><strong>(8) 언어별 특성 차이로 인한 일반화의 어려움</strong><br>각 언어마다 고유한 문법 구조, 어순, 활용 규칙이 있어서 하나의 통합된 접근 방식으로는 모든 언어를 효과적으로 처리하기 어렵다. 특히 교착어, 굴절어, 고립어 등 언어 유형별로 서로 다른 처리 전략이 필요하다.</p><h3>6. 결론</h3><p>키맵 오입력 문제는 현대 다국어 디지털 환경에서 점점 더 중요해지고 있는 텍스트 정규화 과제다. 본 글에서 살펴본 바와 같이, 이 문제는 단순한 사용자 실수를 넘어서 데이터 품질, 사용자 경험, 시스템 효율성에 광범위한 영향을 미친다.</p><p>미래의 키맵 오입력 교정 시스템은 인공지능과 기계학습 기술의 발전과 함께 더욱 정교해질 것으로 예상된다. 특히 대화형 AI와 결합된 상황 인식 교정, 개인화된 학습 기반 교정, 다중 모달 입력 처리 등의 발전이 기대된다.</p><p>데이터 과학자와 개발자들에게 이 문제는 단순한 기술적 과제를 넘어서 사용자 중심적 사고와 국제적 감각을 기를 수 있는 좋은 기회이기도 하다. 다양한 언어와 문화적 배경을 가진 사용자들의 요구를 이해하고, 이를 기술적으로 구현하는 과정에서 더 포용적이고 접근 가능한 시스템을 만들 수 있다.</p><p>결론적으로, 키맵 오입력 교정은 글로벌 디지털 생태계에서 필수적인 기능이 되어가고 있으며, 이를 효과적으로 구현하고 개선하는 것은 데이터 품질 향상과 사용자 경험 개선에 직접적으로 기여한다. 본 글에서 제시한 다양한 언어별 구현 방법들이 실무에서 키맵 오입력 문제를 해결하는 데 도움이 되기를 기대한다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1bdb3d9f4c3f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[텍스트 정규화 #38 — OCR 오류]]></title>
            <link>https://medium.com/@praster1/%ED%85%8D%EC%8A%A4%ED%8A%B8-%EC%A0%95%EA%B7%9C%ED%99%94-38-ocr-%EC%98%A4%EB%A5%98-a4e859ffd078?source=rss-2267dcfdebd3------2</link>
            <guid isPermaLink="false">https://medium.com/p/a4e859ffd078</guid>
            <category><![CDATA[문자인식오류]]></category>
            <category><![CDATA[레벤슈타인거리]]></category>
            <category><![CDATA[퍼지매칭]]></category>
            <category><![CDATA[ocr]]></category>
            <category><![CDATA[자연어처리]]></category>
            <dc:creator><![CDATA[Jaeseong Yoo]]></dc:creator>
            <pubDate>Sat, 07 Jun 2025 16:26:19 GMT</pubDate>
            <atom:updated>2025-06-07T16:27:02.131Z</atom:updated>
            <content:encoded><![CDATA[<h3>텍스트 정규화 #38 — OCR 오류</h3><h3>1. 문제 상황 소개</h3><p>현대의 OCR 시스템은 97% 이상의 높은 정확도를 자랑하지만, 여전히 특정 상황에서는 인식률이 70% 이하로 떨어지는 경우가 빈번하다. 이러한 문제는 특히 다음과 같은 상황에서 두드러진다.</p><p><strong>(1) 숫자와 영문자 간의 혼동이 가장 일반적인 OCR 오류 유형</strong><br>“0”(숫자 영)과 “O”(대문자 오), “1”(숫자 일)과 “I”(대문자 아이), “5”(숫자 오)와 “S”(대문자 에스) 등의 혼동은 OCR 시스템에서 반복적으로 발생하는 전형적인 패턴이다. 이러한 문자들은 시각적으로 매우 유사하여 OCR 알고리즘이 구분하기 어려워한다.</p><p><strong>(2) 문서의 품질 저하로 인한 오류</strong><br>복사본을 여러 번 복사한 문서, 팩스로 전송된 문서, 스캔 과정에서 기울어진 문서 등은 문자의 형태를 왜곡시켜 OCR 인식률을 현저히 떨어뜨린다. 특히 이탤릭체나 밑줄이 있는 텍스트, 특이한 폰트를 사용한 문서에서는 오류율이 급증한다.</p><p><strong>(3) 맥락 정보의 부족</strong><br>OCR 시스템은 개별 문자를 인식할 때 주변 맥락을 충분히 고려하지 못하는 경우가 많다. 예를 들어 “LOVE”라는 단어에서 “O”가 “0”으로 잘못 인식되어 “L0VE”가 되었을 때, 이것이 의미 있는 단어가 아니라는 것을 인지하지 못할 수 있다.</p><p>이러한 오류들은 단순히 텍스트가 이상하게 보이는 수준을 넘어서, 데이터베이스 검색 실패, 자동 분류 시스템의 오작동, 번역 프로그램의 오역 등 심각한 후속 문제를 야기한다. 특히 법무, 의료, 금융 등의 분야에서는 단 하나의 문자 오류도 치명적인 결과를 낳을 수 있어 정확한 후처리 시스템의 필요성이 더욱 절실하다.</p><h3>2. 문제가 발생한 근본 원인 분석</h3><p>OCR 오류의 근본 원인을 체계적으로 분석하면 크게 기술적 한계, 데이터 품질 문제, 그리고 알고리즘적 제약으로 나눌 수 있다.</p><h4>2.1 기술적 한계</h4><p><strong>(1) 현재의 OCR 기술은 주로 픽셀 패턴 인식에 의존</strong><br>문자를 인식할 때 각 픽셀의 밝기값과 형태를 분석하여 가장 유사한 문자로 분류하는 방식을 사용하는데, 이 과정에서 시각적으로 유사한 문자들은 구분하기 어렵다. 특히 “0”과 “O”의 경우, 대부분의 폰트에서 거의 동일한 원형 또는 타원형을 가지고 있어 OCR 시스템이 구분하기 매우 까다롭다.</p><p><strong>(2) 이미지 전처리 단계에서의 정보 손실</strong><br>OCR 처리 전에 이미지의 노이즈 제거, 대비 조정, 이진화 등의 전처리 과정을 거치는데, 이 과정에서 문자의 미세한 특징들이 사라질 수 있다. 예를 들어 “5”와 “S”를 구분하는 미세한 곡선이나 각도 차이가 전처리 과정에서 소실되면 두 문자의 구분이 불가능해진다.</p><p><strong>(3) 문자 분할(Character Segmentation) 과정의 복잡성</strong><br>연결된 문자들을 개별 문자로 분리하는 과정에서 일부 문자의 형태가 변형되거나 누락될 수 있다. 특히 이탤릭체나 손글씨체에서는 문자들이 연결되어 있어 정확한 분할이 어렵고, 이로 인해 개별 문자의 인식 정확도가 떨어진다.</p><h4>2.2 데이터 품질 문제</h4><p><strong>(1) 원본 문서의 해상도가 낮거나 스캔 품질이 떨어지는 경우</strong><br>이 때는 OCR 시스템이 분석할 수 있는 정보가 제한된다. 특히 팩스로 전송된 문서나 여러 번 복사된 문서는 원본의 선명도가 크게 떨어져 문자의 경계가 흐려지고, 이로 인해 오인식이 빈발한다.</p><p><strong>(2) 조명 조건과 그림자 효과</strong><br>문서 촬영 시 불균등한 조명이나 그림자로 인해 문자의 일부가 왜곡되거나 가려질 수 있다. 이러한 상황에서는 정상적인 문자도 다른 문자로 인식될 가능성이 높아진다.</p><h4>2.3 알고리즘적 제약</h4><p><strong>(1) 맥락 정보 활용의 한계</strong><br>전통적인 OCR 시스템은 개별 문자를 독립적으로 인식하는 경우가 많아, 단어나 문장 수준의 맥락을 충분히 활용하지 못한다. 예를 들어 “L0VE”라는 결과가 나왔을 때, 이것이 “LOVE”의 오인식일 가능성을 고려하지 못하고 그대로 출력한다.</p><p><strong>(2) 사전(Dictionary) 기반 검증의 한계</strong><br>많은 OCR 시스템이 인식 결과를 사전과 비교하여 검증하지만, 고유명사나 숫자, 기술 용어 등은 일반 사전에 포함되지 않아 검증이 어렵다. “5Korea”와 같은 경우 “Korea”는 사전에 있지만 앞의 “5”는 검증하기 어려워 “SKorea”로의 수정이 자동으로 이루어지지 않는다.</p><p><strong>(3) 기계학습 모델의 훈련 데이터 편향성</strong><br>OCR 시스템의 인식 모델이 특정 유형의 문서나 폰트에 편향되어 훈련된 경우, 다른 유형의 문서에서는 성능이 크게 떨어질 수 있다. 이는 특히 다국어 문서나 특수한 도메인의 문서에서 두드러진다.</p><h3>3. 해결 방법</h3><p>OCR 오류를 효과적으로 수정하기 위해서는 다양한 후처리 기법을 활용한 검증 시스템이 필요하다. 주요 접근 방법으로는 퍼지 매칭(Fuzzy Matching), 레벤슈타인 거리 계산, 문자 혼동 행렬 기반 수정, 그리고 자연어 처리 기반 맥락 검증 등이 있다.</p><h4>3.1 SQL로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>SQL에서 OCR 오류를 수정하기 위해 사용할 수 있는 주요 함수들은 퍼지 매칭 관련 함수들이다. 최신 SQL Server 2025에서는 EDIT_DISTANCE, EDIT_DISTANCE_SIMILARITY, JARO_WINKLER_DISTANCE, JARO_WINKLER_SIMILARITY 등의 함수를 제공한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>-- OCR 오류 데이터 테이블 생성<br>CREATE TABLE ocr_errors (<br>    id INT IDENTITY(1,1) PRIMARY KEY,<br>    original_text NVARCHAR(100),<br>    ocr_result NVARCHAR(100)<br>);<br><br>-- 테스트 데이터 삽입<br>INSERT INTO ocr_errors (original_text, ocr_result) VALUES<br>(&#39;LOVE&#39;, &#39;I0VE&#39;),<br>(&#39;SKorea&#39;, &#39;5Korea&#39;),<br>(&#39;Hello&#39;, &#39;He11o&#39;),<br>(&#39;Microsoft&#39;, &#39;Micr0soft&#39;),<br>(&#39;DataBase&#39;, &#39;DataBa5e&#39;);<br><br>-- 문자별 치환을 통한 OCR 오류 수정<br>WITH corrected_ocr AS (<br>    SELECT <br>        id,<br>        original_text,<br>        ocr_result,<br>        REPLACE(<br>            REPLACE(<br>                REPLACE(<br>                    REPLACE(ocr_result, &#39;0&#39;, &#39;O&#39;), <br>                    &#39;1&#39;, &#39;I&#39;), <br>                &#39;5&#39;, &#39;S&#39;), <br>            &#39;I&#39;, &#39;l&#39;) AS corrected_text<br>    FROM ocr_errors<br>)<br>SELECT <br>    id,<br>    ocr_result AS &#39;OCR 결과&#39;,<br>    corrected_text AS &#39;수정된 텍스트&#39;,<br>    EDIT_DISTANCE_SIMILARITY(original_text, corrected_text) AS &#39;유사도 점수&#39;<br>FROM corrected_ocr;<br><br>/*<br>실행 결과(예시):<br><br>id | OCR 결과   | 수정된 텍스트 | 유사도 점수<br>1  | I0VE      | lOVE        | 85<br>2  | 5Korea    | SKorea      | 95<br>3  | He11o     | Hello       | 90<br>4  | Micr0soft | Microsoft   | 92<br>5  | DataBa5e  | DataBase    | 88<br>*/<br><br>-- 사전 기반 검증을 통한 더 정확한 수정<br>CREATE TABLE dictionary (<br>    word NVARCHAR(50) PRIMARY KEY<br>);<br><br>INSERT INTO dictionary VALUES <br>(&#39;LOVE&#39;), (&#39;SKorea&#39;), (&#39;Hello&#39;), (&#39;Microsoft&#39;), (&#39;DataBase&#39;);<br><br>-- 사전 매칭을 통한 최적 후보 찾기<br>WITH candidate_matches AS (<br>    SELECT <br>        o.id,<br>        o.ocr_result,<br>        d.word AS dictionary_word,<br>        EDIT_DISTANCE_SIMILARITY(o.ocr_result, d.word) AS similarity_score,<br>        ROW_NUMBER() OVER (PARTITION BY o.id ORDER BY EDIT_DISTANCE_SIMILARITY(o.ocr_result, d.word) DESC) as rank<br>    FROM ocr_errors o<br>    CROSS JOIN dictionary d<br>    WHERE EDIT_DISTANCE_SIMILARITY(o.ocr_result, d.word) &gt; 70<br>)<br>SELECT <br>    id,<br>    ocr_result AS &#39;OCR 결과&#39;,<br>    dictionary_word AS &#39;수정 후보&#39;,<br>    similarity_score AS &#39;유사도&#39;<br>FROM candidate_matches <br>WHERE rank = 1;<br><br>/*<br>실행 결과(예시):<br><br>id | OCR 결과  | 수정 후보 | 유사도<br>1  | I0VE     | LOVE     | 89<br>2  | 5Korea   | SKorea   | 91<br>3  | He11o    | Hello    | 87<br>4  | Micr0soft| Microsoft| 93<br>5  | DataBa5e | DataBase | 85<br>*/</pre><h4>3.2 Python으로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Python에서는 다양한 라이브러리를 활용하여 OCR 오류를 수정할 수 있다. 주요 라이브러리로는 difflib(내장), fuzzywuzzy/thefuzz, python-Levenshtein 등이 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>import difflib<br>import re<br>from typing import List, Tuple, Dict<br><br>class OCRErrorCorrector:<br>    def __init__(self):<br>        # 일반적인 OCR 문자 혼동 매핑<br>        self.char_confusion_map = {<br>            &#39;0&#39;: &#39;O&#39;,<br>            &#39;1&#39;: &#39;I&#39;,<br>            &#39;5&#39;: &#39;S&#39;,<br>            &#39;I&#39;: &#39;l&#39;,<br>            &#39;8&#39;: &#39;B&#39;,<br>            &#39;6&#39;: &#39;G&#39;<br>        }<br>        <br>        # 사전 데이터<br>        self.dictionary = [<br>            &#39;LOVE&#39;, &#39;SKorea&#39;, &#39;Hello&#39;, &#39;Microsoft&#39;, &#39;DataBase&#39;,<br>            &#39;Python&#39;, &#39;Programming&#39;, &#39;Computer&#39;, &#39;Science&#39;, &#39;Technology&#39;<br>        ]<br>    <br>    def simple_character_replacement(self, text: str) -&gt; str:<br>        &quot;&quot;&quot;간단한 문자 치환을 통한 오류 수정&quot;&quot;&quot;<br>        corrected = text<br>        for wrong, correct in self.char_confusion_map.items():<br>            corrected = corrected.replace(wrong, correct)<br>        return corrected<br>    <br>    def calculate_similarity(self, str1: str, str2: str) -&gt; float:<br>        &quot;&quot;&quot;두 문자열 간의 유사도 계산&quot;&quot;&quot;<br>        return difflib.SequenceMatcher(None, str1, str2).ratio()<br>    <br>    def find_best_match(self, ocr_text: str, threshold: float = 0.7) -&gt; Tuple[str, float]:<br>        &quot;&quot;&quot;사전에서 가장 유사한 단어 찾기&quot;&quot;&quot;<br>        best_match = &quot;&quot;<br>        best_score = 0.0<br>        <br>        for word in self.dictionary:<br>            similarity = self.calculate_similarity(ocr_text, word)<br>            if similarity &gt; best_score and similarity &gt;= threshold:<br>                best_score = similarity<br>                best_match = word<br>        <br>        return best_match, best_score<br>    <br>    def fuzzy_correct(self, ocr_text: str) -&gt; List[str]:<br>        &quot;&quot;&quot;퍼지 매칭을 통한 오류 수정 후보 제시&quot;&quot;&quot;<br>        return difflib.get_close_matches(ocr_text, self.dictionary, n=3, cutoff=0.6)<br>    <br>    def advanced_correct(self, ocr_text: str) -&gt; Dict[str, any]:<br>        &quot;&quot;&quot;종합적인 OCR 오류 수정&quot;&quot;&quot;<br>        result = {<br>            &#39;original&#39;: ocr_text,<br>            &#39;simple_replacement&#39;: self.simple_character_replacement(ocr_text),<br>            &#39;best_match&#39;: None,<br>            &#39;best_score&#39;: 0.0,<br>            &#39;fuzzy_candidates&#39;: []<br>        }<br>        <br>        # 간단한 치환 후 재검색<br>        simple_corrected = result[&#39;simple_replacement&#39;]<br>        best_match, best_score = self.find_best_match(simple_corrected)<br>        <br>        if best_match:<br>            result[&#39;best_match&#39;] = best_match<br>            result[&#39;best_score&#39;] = best_score<br>        <br>        # 퍼지 매칭 후보들<br>        result[&#39;fuzzy_candidates&#39;] = self.fuzzy_correct(ocr_text)<br>        <br>        return result<br><br># 사용 예제<br>corrector = OCRErrorCorrector()<br><br># 테스트 데이터<br>test_cases = [&#39;I0VE&#39;, &#39;5Korea&#39;, &#39;He11o&#39;, &#39;Micr0soft&#39;, &#39;DataBa5e&#39;, &#39;Pyth0n&#39;]<br><br>print(&quot;OCR 오류 수정 결과:&quot;)<br>print(&quot;=&quot; * 80)<br><br>for ocr_text in test_cases:<br>    result = corrector.advanced_correct(ocr_text)<br>    <br>    print(f&quot;원본 OCR 결과: {result[&#39;original&#39;]}&quot;)<br>    print(f&quot;간단 치환 결과: {result[&#39;simple_replacement&#39;]}&quot;)<br>    print(f&quot;최적 매칭: {result[&#39;best_match&#39;]} (유사도: {result[&#39;best_score&#39;]:.3f})&quot;)<br>    print(f&quot;퍼지 매칭 후보: {result[&#39;fuzzy_candidates&#39;]}&quot;)<br>    print(&quot;-&quot; * 80)<br><br><br># 실행 결과(예시):<br># OCR 오류 수정 결과:<br># ================================================================================<br># 원본 OCR 결과: I0VE<br># 간단 치환 결과: lOVE<br># 최적 매칭: LOVE (유사도: 0.800)<br># 퍼지 매칭 후보: [&#39;LOVE&#39;]<br># --------------------------------------------------------------------------------<br># 원본 OCR 결과: 5Korea<br># 간단 치환 결과: SKorea<br># 최적 매칭: SKorea (유사도: 1.000)<br># 퍼지 매칭 후보: [&#39;SKorea&#39;]<br># --------------------------------------------------------------------------------<br># 원본 OCR 결과: He11o<br># 간단 치환 결과: HelloO<br># 최적 매칭: Hello (유사도: 0.833)<br># 퍼지 매칭 후보: [&#39;Hello&#39;]<br># --------------------------------------------------------------------------------<br># 원본 OCR 결과: Micr0soft<br># 간단 치환 결과: MicrOsoft<br># 최적 매칭: Microsoft (유사도: 0.900)<br># 퍼지 매칭 후보: [&#39;Microsoft&#39;]<br># --------------------------------------------------------------------------------<br># 원본 OCR 결과: DataBa5e<br># 간단 치환 결과: DataBaSe<br># 최적 매칭: DataBase (유사도: 0.875)<br># 퍼지 매칭 후보: [&#39;DataBase&#39;]<br># --------------------------------------------------------------------------------<br># 원본 OCR 결과: Pyth0n<br># 간단 치환 결과: PythOn<br># 최적 매칭: Python (유사도: 0.833)<br># 퍼지 매칭 후보: [&#39;Python&#39;]<br><br><br># 고급 기능: 가중치 기반 레벤슈타인 거리<br>def weighted_levenshtein_correction(ocr_text: str, dictionary: List[str]) -&gt; Tuple[str, float]:<br>    &quot;&quot;&quot;가중치가 적용된 레벤슈타인 거리를 사용한 수정&quot;&quot;&quot;<br>    <br>    # OCR 오류에 특화된 가중치 설정<br>    insert_cost = 1.0<br>    delete_cost = 1.0<br>    <br>    # 일반적인 OCR 혼동 문자들에 대한 낮은 치환 비용<br>    ocr_confusions = {<br>        (&#39;0&#39;, &#39;O&#39;): 0.2, (&#39;O&#39;, &#39;0&#39;): 0.2,<br>        (&#39;1&#39;, &#39;I&#39;): 0.2, (&#39;I&#39;, &#39;1&#39;): 0.2,<br>        (&#39;5&#39;, &#39;S&#39;): 0.2, (&#39;S&#39;, &#39;5&#39;): 0.2,<br>        (&#39;8&#39;, &#39;B&#39;): 0.3, (&#39;B&#39;, &#39;8&#39;): 0.3,<br>        (&#39;6&#39;, &#39;G&#39;): 0.3, (&#39;G&#39;, &#39;6&#39;): 0.3<br>    }<br>    <br>    def substitute_cost(char1, char2):<br>        if char1 == char2:<br>            return 0<br>        return ocr_confusions.get((char1, char2), 1.0)<br>    <br>    def weighted_distance(s1, s2):<br>        &quot;&quot;&quot;가중치가 적용된 편집 거리 계산&quot;&quot;&quot;<br>        len1, len2 = len(s1), len(s2)<br>        dp = [[0] * (len2 + 1) for _ in range(len1 + 1)]<br>        <br>        # 초기화<br>        for i in range(len1 + 1):<br>            dp[i][0] = i * delete_cost<br>        for j in range(len2 + 1):<br>            dp[0][j] = j * insert_cost<br>        <br>        # 동적 프로그래밍<br>        for i in range(1, len1 + 1):<br>            for j in range(1, len2 + 1):<br>                if s1[i-1] == s2[j-1]:<br>                    dp[i][j] = dp[i-1][j-1]<br>                else:<br>                    dp[i][j] = min(<br>                        dp[i-1][j] + delete_cost,  # 삭제<br>                        dp[i][j-1] + insert_cost,  # 삽입<br>                        dp[i-1][j-1] + substitute_cost(s1[i-1], s2[j-1])  # 치환<br>                    )<br>        <br>        return dp[len1][len2]<br>    <br>    # 사전의 모든 단어와 비교<br>    best_word = &quot;&quot;<br>    min_distance = float(&#39;inf&#39;)<br>    <br>    for word in dictionary:<br>        distance = weighted_distance(ocr_text.upper(), word.upper())<br>        if distance &lt; min_distance:<br>            min_distance = distance<br>            best_word = word<br>    <br>    # 유사도 점수 계산 (0~1 범위로 정규화)<br>    max_len = max(len(ocr_text), len(best_word))<br>    similarity = 1 - (min_distance / max_len) if max_len &gt; 0 else 0<br>    <br>    return best_word, similarity<br><br># 가중치 기반 수정 테스트<br>print(&quot;\n가중치 기반 레벤슈타인 거리 수정 결과:&quot;)<br>print(&quot;=&quot; * 80)<br><br>dictionary = [&#39;LOVE&#39;, &#39;SKorea&#39;, &#39;Hello&#39;, &#39;Microsoft&#39;, &#39;DataBase&#39;, &#39;Python&#39;]<br><br>for ocr_text in test_cases:<br>    best_word, similarity = weighted_levenshtein_correction(ocr_text, dictionary)<br>    print(f&quot;OCR 결과: {ocr_text:12} -&gt; 수정: {best_word:12} (유사도: {similarity:.3f})&quot;)<br><br><br># 실행 결과(예시):<br><br># 가중치 기반 레벤슈타인 거리 수정 결과:<br># ================================================================================<br># OCR 결과: I0VE         -&gt; 수정: LOVE         (유사도: 0.900)<br># OCR 결과: 5Korea       -&gt; 수정: SKorea       (유사도: 0.967)<br># OCR 결과: He11o        -&gt; 수정: Hello        (유사도: 0.920)<br># OCR 결과: Micr0soft    -&gt; 수정: Microsoft    (유사도: 0.978)<br># OCR 결과: DataBa5e     -&gt; 수정: DataBase     (유사도: 0.950)<br># OCR 결과: Pyth0n       -&gt; 수정: Python       (유사도: 0.950)</pre><h4>3.3 R로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>R에서는 stringdist 패키지를 주로 활용하여 문자열 거리 계산과 퍼지 매칭을 수행한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre># OCR 오류 수정을 위한 R 함수들<br>library(stringdist)<br>library(dplyr)<br><br># OCR 오류 수정 클래스 정의<br>OCRErrorCorrector &lt;- function() {<br>  <br>  # 문자 혼동 매핑<br>  char_confusion &lt;- list(<br>    &quot;0&quot; = &quot;O&quot;, &quot;1&quot; = &quot;I&quot;, &quot;5&quot; = &quot;S&quot;, <br>    &quot;I&quot; = &quot;l&quot;, &quot;8&quot; = &quot;B&quot;, &quot;6&quot; = &quot;G&quot;<br>  )<br>  <br>  # 사전 데이터<br>  dictionary &lt;- c(&quot;LOVE&quot;, &quot;SKorea&quot;, &quot;Hello&quot;, &quot;Microsoft&quot;, &quot;DataBase&quot;, <br>                  &quot;Python&quot;, &quot;Programming&quot;, &quot;Computer&quot;, &quot;Science&quot;, &quot;Technology&quot;)<br>  <br>  # 간단한 문자 치환 함수<br>  simple_replacement &lt;- function(text) {<br>    result &lt;- text<br>    for (wrong in names(char_confusion)) {<br>      correct &lt;- char_confusion[[wrong]]<br>      result &lt;- gsub(wrong, correct, result, fixed = TRUE)<br>    }<br>    return(result)<br>  }<br>  <br>  # 최적 매칭 찾기<br>  find_best_match &lt;- function(ocr_text, threshold = 0.7) {<br>    similarities &lt;- sapply(dictionary, function(word) {<br>      stringsim(ocr_text, word, method = &quot;jw&quot;)<br>    })<br>    <br>    best_idx &lt;- which.max(similarities)<br>    best_score &lt;- similarities[best_idx]<br>    <br>    if (best_score &gt;= threshold) {<br>      return(list(<br>        word = dictionary[best_idx],<br>        score = best_score<br>      ))<br>    } else {<br>      return(list(word = &quot;&quot;, score = 0))<br>    }<br>  }<br>  <br>  # 퍼지 매칭으로 후보 찾기<br>  fuzzy_candidates &lt;- function(ocr_text, max_dist = 2) {<br>    matches &lt;- amatch(ocr_text, dictionary, maxDist = max_dist)<br>    valid_matches &lt;- dictionary[matches[!is.na(matches)]]<br>    return(unique(valid_matches))<br>  }<br>  <br>  # 종합적인 수정 함수<br>  correct_ocr &lt;- function(ocr_text) {<br>    # 간단한 치환<br>    simple_corrected &lt;- simple_replacement(ocr_text)<br>    <br>    # 최적 매칭<br>    best_match &lt;- find_best_match(simple_corrected)<br>    <br>    # 퍼지 매칭 후보<br>    fuzzy_matches &lt;- fuzzy_candidates(ocr_text)<br>    <br>    return(list(<br>      original = ocr_text,<br>      simple_replacement = simple_corrected,<br>      best_match = best_match$word,<br>      best_score = best_match$score,<br>      fuzzy_candidates = fuzzy_matches<br>    ))<br>  }<br>  <br>  # 함수들을 리스트로 반환<br>  return(list(<br>    simple_replacement = simple_replacement,<br>    find_best_match = find_best_match,<br>    fuzzy_candidates = fuzzy_candidates,<br>    correct_ocr = correct_ocr<br>  ))<br>}<br><br># 사용 예제<br>corrector &lt;- OCRErrorCorrector()<br><br># 테스트 데이터<br>test_cases &lt;- c(&quot;I0VE&quot;, &quot;5Korea&quot;, &quot;He11o&quot;, &quot;Micr0soft&quot;, &quot;DataBa5e&quot;, &quot;Pyth0n&quot;)<br><br># 결과 데이터프레임 생성<br>results &lt;- data.frame(<br>  original = character(0),<br>  simple_replacement = character(0),<br>  best_match = character(0),<br>  best_score = numeric(0),<br>  fuzzy_candidates = character(0),<br>  stringsAsFactors = FALSE<br>)<br><br>cat(&quot;OCR 오류 수정 결과 (R):\n&quot;)<br>cat(rep(&quot;=&quot;, 80), &quot;\n&quot;)<br><br>for (ocr_text in test_cases) {<br>  result &lt;- corrector$correct_ocr(ocr_text)<br>  <br>  # 퍼지 후보들을 문자열로 결합<br>  fuzzy_str &lt;- paste(result$fuzzy_candidates, collapse = &quot;, &quot;)<br>  <br>  # 결과 출력<br>  cat(sprintf(&quot;원본 OCR: %s\n&quot;, result$original))<br>  cat(sprintf(&quot;간단 치환: %s\n&quot;, result$simple_replacement))<br>  cat(sprintf(&quot;최적 매칭: %s (점수: %.3f)\n&quot;, result$best_match, result$best_score))<br>  cat(sprintf(&quot;퍼지 후보: %s\n&quot;, fuzzy_str))<br>  cat(rep(&quot;-&quot;, 80), &quot;\n&quot;)<br>  <br>  # 데이터프레임에 추가<br>  results &lt;- rbind(results, data.frame(<br>    original = result$original,<br>    simple_replacement = result$simple_replacement,<br>    best_match = result$best_match,<br>    best_score = result$best_score,<br>    fuzzy_candidates = fuzzy_str,<br>    stringsAsFactors = FALSE<br>  ))<br>}<br><br><br># 실행 결과(예시):<br><br># OCR 오류 수정 결과 (R):<br># ================================================================================<br># 원본 OCR: I0VE<br># 간단 치환: lOVE<br># 최적 매칭: LOVE (점수: 0.867)<br># 퍼지 후보: LOVE<br># --------------------------------------------------------------------------------<br># 원본 OCR: 5Korea<br># 간단 치환: SKorea<br># 최적 매칭: SKorea (점수: 1.000)<br># 퍼지 후보: SKorea<br># --------------------------------------------------------------------------------<br># 원본 OCR: He11o<br># 간단 치환: Hello<br># 최적 매칭: Hello (점수: 1.000)<br># 퍼지 후보: Hello<br># --------------------------------------------------------------------------------<br># 원본 OCR: Micr0soft<br># 간단 치환: MicrOsoft<br># 최적 매칭: Microsoft (점수: 0.926)<br># 퍼지 후보: Microsoft<br># --------------------------------------------------------------------------------<br># 원본 OCR: DataBa5e<br># 간단 치환: DataBaSe<br># 최적 매칭: DataBase (점수: 0.905)<br># 퍼지 후보: DataBase<br># --------------------------------------------------------------------------------<br># 원본 OCR: Pyth0n<br># 간단 치환: PythOn<br># 최적 매칭: Python (점수: 0.889)<br># 퍼지 후보: Python<br><br># 고급 분석: 다양한 거리 측정법 비교<br>distance_comparison &lt;- function(ocr_text, correct_text) {<br>  methods &lt;- c(&quot;lv&quot;, &quot;osa&quot;, &quot;dl&quot;, &quot;hamming&quot;, &quot;jw&quot;, &quot;soundex&quot;)<br>  <br>  distances &lt;- sapply(methods, function(method) {<br>    tryCatch({<br>      if (method == &quot;hamming&quot; &amp;&amp; nchar(ocr_text) != nchar(correct_text)) {<br>        return(NA)  # 해밍 거리는 같은 길이의 문자열에만 적용<br>      }<br>      stringdist(ocr_text, correct_text, method = method)<br>    }, error = function(e) NA)<br>  })<br>  <br>  similarities &lt;- sapply(methods, function(method) {<br>    tryCatch({<br>      stringsim(ocr_text, correct_text, method = method)<br>    }, error = function(e) NA)<br>  })<br>  <br>  return(data.frame(<br>    method = methods,<br>    distance = distances,<br>    similarity = similarities,<br>    stringsAsFactors = FALSE<br>  ))<br>}<br><br># 거리 측정법 비교 예제<br>cat(&quot;\n다양한 거리 측정법 비교:\n&quot;)<br>cat(rep(&quot;=&quot;, 80), &quot;\n&quot;)<br><br>comparison_cases &lt;- list(<br>  c(&quot;I0VE&quot;, &quot;LOVE&quot;),<br>  c(&quot;5Korea&quot;, &quot;SKorea&quot;),<br>  c(&quot;He11o&quot;, &quot;Hello&quot;)<br>)<br><br>for (case in comparison_cases) {<br>  ocr_text &lt;- case[1]<br>  correct_text &lt;- case[2]<br>  <br>  cat(sprintf(&quot;OCR: %s -&gt; 정답: %s\n&quot;, ocr_text, correct_text))<br>  <br>  comparison &lt;- distance_comparison(ocr_text, correct_text)<br>  print(comparison)<br>  cat(rep(&quot;-&quot;, 80), &quot;\n&quot;)<br>}<br><br># 실행 결과(예시):<br><br># 다양한 거리 측정법 비교:<br># ================================================================================<br># OCR: I0VE -&gt; 정답: LOVE<br>#     method distance similarity<br># 1       lv        2      0.500<br># 2      osa        2      0.500<br># 3       dl        2      0.500<br># 4  hamming       NA         NA<br># 5       jw       NA      0.867<br># 6  soundex        0      1.000<br># --------------------------------------------------------------------------------<br># OCR: 5Korea -&gt; 정답: SKorea<br>#     method distance similarity<br># 1       lv        1      0.833<br># 2      osa        1      0.833<br># 3       dl        1      0.833<br># 4  hamming        1      0.833<br># 5       jw       NA      0.944<br># 6  soundex        0      1.000<br># --------------------------------------------------------------------------------<br># OCR: He11o -&gt; 정답: Hello<br>#     method distance similarity<br># 1       lv        2      0.600<br># 2      osa        2      0.600<br># 3       dl        2      0.600<br># 4  hamming        2      0.600<br># 5       jw       NA      0.867<br># 6  soundex        0      1.000</pre><h4>3.4 Julia로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Julia에서는 StringDistances.jl 패키지와 Unicode 모듈을 활용하여 문자열 처리를 수행한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>using StringDistances<br>using Unicode<br><br># OCR 오류 수정을 위한 Julia 모듈<br>module OCRErrorCorrector<br><br>export correct_ocr, simple_replacement, find_best_match, fuzzy_candidates<br><br># 문자 혼동 매핑<br>const CHAR_CONFUSION = Dict(<br>    &#39;0&#39; =&gt; &#39;O&#39;, &#39;1&#39; =&gt; &#39;I&#39;, &#39;5&#39; =&gt; &#39;S&#39;,<br>    &#39;I&#39; =&gt; &#39;l&#39;, &#39;8&#39; =&gt; &#39;B&#39;, &#39;6&#39; =&gt; &#39;G&#39;<br>)<br><br># 사전 데이터<br>const DICTIONARY = [<br>    &quot;LOVE&quot;, &quot;SKorea&quot;, &quot;Hello&quot;, &quot;Microsoft&quot;, &quot;DataBase&quot;,<br>    &quot;Python&quot;, &quot;Programming&quot;, &quot;Computer&quot;, &quot;Science&quot;, &quot;Technology&quot;<br>]<br><br>&quot;&quot;&quot;<br>간단한 문자 치환을 통한 OCR 오류 수정<br>&quot;&quot;&quot;<br>function simple_replacement(text::String)::String<br>    result = text<br>    for (wrong, correct) in CHAR_CONFUSION<br>        result = replace(result, wrong =&gt; correct)<br>    end<br>    return result<br>end<br><br>&quot;&quot;&quot;<br>사전에서 가장 유사한 단어 찾기<br>&quot;&quot;&quot;<br>function find_best_match(ocr_text::String, threshold::Float64=0.7)<br>    best_word = &quot;&quot;<br>    best_score = 0.0<br>    <br>    for word in DICTIONARY<br>        # Jaro-Winkler 유사도 계산<br>        similarity = 1 - evaluate(JaroWinkler(), ocr_text, word)<br>        <br>        if similarity &gt; best_score &amp;&amp; similarity &gt;= threshold<br>            best_score = similarity<br>            best_word = word<br>        end<br>    end<br>    <br>    return (word=best_word, score=best_score)<br>end<br><br>&quot;&quot;&quot;<br>퍼지 매칭을 통한 후보 제시<br>&quot;&quot;&quot;<br>function fuzzy_candidates(ocr_text::String, max_distance::Int=2)<br>    candidates = String[]<br>    <br>    for word in DICTIONARY<br>        distance = evaluate(Levenshtein(), ocr_text, word)<br>        if distance &lt;= max_distance<br>            push!(candidates, word)<br>        end<br>    end<br>    <br>    return candidates<br>end<br><br>&quot;&quot;&quot;<br>가중치 기반 레벤슈타인 거리 계산<br>&quot;&quot;&quot;<br>function weighted_levenshtein(s1::String, s2::String)<br>    # OCR 혼동 문자에 대한 낮은 치환 비용<br>    ocr_confusions = Dict(<br>        (&#39;0&#39;, &#39;O&#39;) =&gt; 0.2, (&#39;O&#39;, &#39;0&#39;) =&gt; 0.2,<br>        (&#39;1&#39;, &#39;I&#39;) =&gt; 0.2, (&#39;I&#39;, &#39;1&#39;) =&gt; 0.2,<br>        (&#39;5&#39;, &#39;S&#39;) =&gt; 0.2, (&#39;S&#39;, &#39;5&#39;) =&gt; 0.2,<br>        (&#39;8&#39;, &#39;B&#39;) =&gt; 0.3, (&#39;B&#39;, &#39;8&#39;) =&gt; 0.3,<br>        (&#39;6&#39;, &#39;G&#39;) =&gt; 0.3, (&#39;G&#39;, &#39;6&#39;) =&gt; 0.3<br>    )<br>    <br>    function substitute_cost(c1::Char, c2::Char)<br>        if c1 == c2<br>            return 0.0<br>        end<br>        return get(ocr_confusions, (c1, c2), 1.0)<br>    end<br>    <br>    len1, len2 = length(s1), length(s2)<br>    dp = zeros(Float64, len1 + 1, len2 + 1)<br>    <br>    # 초기화<br>    for i in 1:len1+1<br>        dp[i, 1] = (i - 1) * 1.0  # 삭제 비용<br>    end<br>    for j in 1:len2+1<br>        dp[1, j] = (j - 1) * 1.0  # 삽입 비용<br>    end<br>    <br>    # 동적 프로그래밍<br>    for i in 2:len1+1<br>        for j in 2:len2+1<br>            if s1[i-1] == s2[j-1]<br>                dp[i, j] = dp[i-1, j-1]<br>            else<br>                dp[i, j] = min(<br>                    dp[i-1, j] + 1.0,      # 삭제<br>                    dp[i, j-1] + 1.0,      # 삽입<br>                    dp[i-1, j-1] + substitute_cost(s1[i-1], s2[j-1])  # 치환<br>                )<br>            end<br>        end<br>    end<br>    <br>    return dp[len1+1, len2+1]<br>end<br><br>&quot;&quot;&quot;<br>종합적인 OCR 오류 수정<br>&quot;&quot;&quot;<br>function correct_ocr(ocr_text::String)<br>    # 간단한 치환<br>    simple_corrected = simple_replacement(ocr_text)<br>    <br>    # 최적 매칭<br>    best_match = find_best_match(simple_corrected)<br>    <br>    # 퍼지 매칭 후보<br>    fuzzy_matches = fuzzy_candidates(ocr_text)<br>    <br>    # 가중치 기반 최적 매칭<br>    weighted_best = &quot;&quot;<br>    min_weighted_distance = Inf<br>    <br>    for word in DICTIONARY<br>        distance = weighted_levenshtein(uppercase(ocr_text), uppercase(word))<br>        if distance &lt; min_weighted_distance<br>            min_weighted_distance = distance<br>            weighted_best = word<br>        end<br>    end<br>    <br>    # 가중치 기반 유사도 계산<br>    max_len = max(length(ocr_text), length(weighted_best))<br>    weighted_similarity = max_len &gt; 0 ? 1 - (min_weighted_distance / max_len) : 0<br>    <br>    return (<br>        original = ocr_text,<br>        simple_replacement = simple_corrected,<br>        best_match = best_match.word,<br>        best_score = best_match.score,<br>        fuzzy_candidates = fuzzy_matches,<br>        weighted_best = weighted_best,<br>        weighted_similarity = weighted_similarity<br>    )<br>end<br><br>end  # module OCRErrorCorrector<br><br># 사용 예제<br>using .OCRErrorCorrector<br><br># 테스트 데이터<br>test_cases = [&quot;I0VE&quot;, &quot;5Korea&quot;, &quot;He11o&quot;, &quot;Micr0soft&quot;, &quot;DataBa5e&quot;, &quot;Pyth0n&quot;]<br><br>println(&quot;OCR 오류 수정 결과 (Julia):&quot;)<br>println(&quot;=&quot;^80)<br><br>for ocr_text in test_cases<br>    result = correct_ocr(ocr_text)<br>    <br>    println(&quot;원본 OCR: $(result.original)&quot;)<br>    println(&quot;간단 치환: $(result.simple_replacement)&quot;)<br>    println(&quot;최적 매칭: $(result.best_match) (점수: $(round(result.best_score, digits=3)))&quot;)<br>    println(&quot;가중치 매칭: $(result.weighted_best) (유사도: $(round(result.weighted_similarity, digits=3)))&quot;)<br>    println(&quot;퍼지 후보: $(join(result.fuzzy_candidates, &quot;, &quot;))&quot;)<br>    println(&quot;-&quot;^80)<br>end<br><br><br># 실행 결과(예시):<br><br># OCR 오류 수정 결과 (Julia):<br># ================================================================================<br># 원본 OCR: I0VE<br># 간단 치환: lOVE<br># 최적 매칭: LOVE (점수: 0.867)<br># 가중치 매칭: LOVE (유사도: 0.900)<br># 퍼지 후보: LOVE<br># --------------------------------------------------------------------------------<br># 원본 OCR: 5Korea<br># 간단 치환: SKorea<br># 최적 매칭: SKorea (점수: 1.000)<br># 가중치 매칭: SKorea (유사도: 0.967)<br># 퍼지 후보: SKorea<br># --------------------------------------------------------------------------------<br># 원본 OCR: He11o<br># 간단 치환: Hello<br># 최적 매칭: Hello (점수: 1.000)<br># 가중치 매칭: Hello (유사도: 0.920)<br># 퍼지 후보: Hello<br># --------------------------------------------------------------------------------<br># 원본 OCR: Micr0soft<br># 간단 치환: MicrOsoft<br># 최적 매칭: Microsoft (점수: 0.926)<br># 가중치 매칭: Microsoft (유사도: 0.978)<br># 퍼지 후보: Microsoft<br># --------------------------------------------------------------------------------<br># 원본 OCR: DataBa5e<br># 간단 치환: DataBaSe<br># 최적 매칭: DataBase (점수: 0.905)<br># 가중치 매칭: DataBase (유사도: 0.950)<br># 퍼지 후보: DataBase<br># --------------------------------------------------------------------------------<br># 원본 OCR: Pyth0n<br># 간단 치환: PythOn<br># 최적 매칭: Python (점수: 0.889)<br># 가중치 매칭: Python (유사도: 0.950)<br># 퍼지 후보: Python<br><br><br># 유니코드 정규화를 활용한 고급 문자 처리<br>println(&quot;\n유니코드 정규화를 활용한 문자 처리:&quot;)<br>println(&quot;=&quot;^50)<br><br># 다양한 유니코드 표현 처리 예제<br>unicode_test_cases = [<br>    &quot;café&quot;,    # 합성된 문자<br>    &quot;cafe\u0301&quot;,  # 분해된 문자 (e + 결합 악센트)<br>    &quot;naïve&quot;,<br>    &quot;naive\u0308&quot;  # i + 결합 다이어리시스<br>]<br><br>for (i, text) in enumerate(unicode_test_cases)<br>    normalized = Unicode.normalize(text, :NFC)  # 정규화된 형태<br>    println(&quot;원본 $(i): $(repr(text))&quot;)<br>    println(&quot;정규화: $(repr(normalized))&quot;)<br>    println(&quot;같은가? $(text == normalized)&quot;)<br>    println()<br>end<br><br><br># 실행 결과(예시):<br><br># 유니코드 정규화를 활용한 문자 처리:<br># ==================================================<br># 원본 1: &quot;café&quot;<br># 정규화: &quot;café&quot;<br># 같은가? true<br><br># 원본 2: &quot;cafe\u0301&quot;<br># 정규화: &quot;café&quot;<br># 같은가? false<br><br># 원본 3: &quot;naïve&quot;<br># 정규화: &quot;naïve&quot;<br># 같은가? true<br><br># 원본 4: &quot;naive\u0308&quot;<br># 정규화: &quot;naive\u0308&quot;<br># 같은가? true<br><br><br># FuzzyEmbeddingMatch를 활용한 의미론적 매칭 (패키지가 있다면)<br># using FuzzyEmbeddingMatch<br><br>function semantic_similarity_demo()<br>    println(&quot;\n의미론적 유사도 기반 매칭 시뮬레이션:&quot;)<br>    println(&quot;=&quot;^50)<br>    <br>    # 의미적으로 유사한 단어들의 그룹<br>    semantic_groups = Dict(<br>        &quot;technology&quot; =&gt; [&quot;tech&quot;, &quot;computer&quot;, &quot;software&quot;, &quot;programming&quot;],<br>        &quot;greeting&quot; =&gt; [&quot;hello&quot;, &quot;hi&quot;, &quot;hey&quot;, &quot;greetings&quot;],<br>        &quot;love&quot; =&gt; [&quot;love&quot;, &quot;affection&quot;, &quot;care&quot;, &quot;adore&quot;]<br>    )<br>    <br>    # OCR 오류가 있는 입력에 대해 의미적 매칭 시뮬레이션<br>    ocr_inputs = [&quot;tec4&quot;, &quot;h3llo&quot;, &quot;l0ve&quot;, &quot;c0mputer&quot;]<br>    <br>    for ocr_input in ocr_inputs<br>        println(&quot;OCR 입력: $ocr_input&quot;)<br>        <br>        # 각 의미 그룹과의 매칭 점수 계산<br>        best_group = &quot;&quot;<br>        best_word = &quot;&quot;<br>        best_score = 0.0<br>        <br>        for (group_name, words) in semantic_groups<br>            for word in words<br>                # 가중치 기반 레벤슈타인 거리로 유사도 계산<br>                distance = weighted_levenshtein(lowercase(ocr_input), lowercase(word))<br>                max_len = max(length(ocr_input), length(word))<br>                similarity = max_len &gt; 0 ? 1 - (distance / max_len) : 0<br>                <br>                if similarity &gt; best_score<br>                    best_score = similarity<br>                    best_word = word<br>                    best_group = group_name<br>                end<br>            end<br>        end<br>        <br>        println(&quot;  최적 매칭: $best_word (그룹: $best_group, 유사도: $(round(best_score, digits=3)))&quot;)<br>        println()<br>    end<br>end<br><br>semantic_similarity_demo()<br><br># 실행 결과(예시):<br><br># 의미론적 유사도 기반 매칭 시뮬레이션:<br># ==================================================<br># OCR 입력: tec4<br>#   최적 매칭: tech (그룹: technology, 유사도: 0.950)<br><br># OCR 입력: h3llo<br>#   최적 매칭: hello (그룹: greeting, 유사도: 0.920)<br><br># OCR 입력: l0ve<br>#   최적 매칭: love (그룹: love, 유사도: 0.950)<br><br># OCR 입력: c0mputer<br>#   최적 매칭: computer (그룹: technology, 유사도: 0.950)</pre><h4>3.5 Go로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Go에서는 go-edlib 패키지를 활용하여 편집 거리 계산과 퍼지 매칭을 수행한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>package main<br><br>import (<br>    &quot;fmt&quot;<br>    &quot;sort&quot;<br>    &quot;strings&quot;<br>)<br><br>// CharConfusion OCR 문자 혼동 매핑<br>var CharConfusion = map[rune]rune{<br>    &#39;0&#39;: &#39;O&#39;, &#39;1&#39;: &#39;I&#39;, &#39;5&#39;: &#39;S&#39;,<br>    &#39;I&#39;: &#39;l&#39;, &#39;8&#39;: &#39;B&#39;, &#39;6&#39;: &#39;G&#39;,<br>}<br><br>// Dictionary 사전 데이터<br>var Dictionary = []string{<br>    &quot;LOVE&quot;, &quot;SKorea&quot;, &quot;Hello&quot;, &quot;Microsoft&quot;, &quot;DataBase&quot;,<br>    &quot;Python&quot;, &quot;Programming&quot;, &quot;Computer&quot;, &quot;Science&quot;, &quot;Technology&quot;,<br>}<br><br>// OCRErrorCorrector OCR 오류 수정기 구조체<br>type OCRErrorCorrector struct {<br>    dictionary []string<br>    confusion  map[rune]rune<br>}<br><br>// NewOCRErrorCorrector 새로운 OCR 오류 수정기 생성<br>func NewOCRErrorCorrector() *OCRErrorCorrector {<br>    return &amp;OCRErrorCorrector{<br>        dictionary: Dictionary,<br>        confusion:  CharConfusion,<br>    }<br>}<br><br>// SimpleReplacement 간단한 문자 치환<br>func (oc *OCRErrorCorrector) SimpleReplacement(text string) string {<br>    result := []rune(text)<br>    for i, char := range result {<br>        if replacement, exists := oc.confusion[char]; exists {<br>            result[i] = replacement<br>        }<br>    }<br>    return string(result)<br>}<br><br>// LevenshteinDistance 레벤슈타인 거리 계산<br>func LevenshteinDistance(s1, s2 string) int {<br>    len1, len2 := len(s1), len(s2)<br>    <br>    // 빈 문자열 처리<br>    if len1 == 0 {<br>        return len2<br>    }<br>    if len2 == 0 {<br>        return len1<br>    }<br>    <br>    // DP 테이블 초기화<br>    dp := make([][]int, len1+1)<br>    for i := range dp {<br>        dp[i] = make([]int, len2+1)<br>        dp[i][0] = i<br>    }<br>    for j := 0; j &lt;= len2; j++ {<br>        dp[0][j] = j<br>    }<br>    <br>    // 동적 프로그래밍<br>    for i := 1; i &lt;= len1; i++ {<br>        for j := 1; j &lt;= len2; j++ {<br>            cost := 0<br>            if s1[i-1] != s2[j-1] {<br>                cost = 1<br>            }<br>            <br>            dp[i][j] = min(<br>                dp[i-1][j]+1,      // 삭제<br>                dp[i][j-1]+1,      // 삽입<br>                dp[i-1][j-1]+cost, // 치환<br>            )<br>        }<br>    }<br>    <br>    return dp[len1][len2]<br>}<br><br>// WeightedLevenshteinDistance 가중치 기반 레벤슈타인 거리<br>func (oc *OCRErrorCorrector) WeightedLevenshteinDistance(s1, s2 string) float64 {<br>    // OCR 혼동 문자에 대한 낮은 치환 비용<br>    ocrConfusions := map[string]float64{<br>        &quot;0O&quot;: 0.2, &quot;O0&quot;: 0.2,<br>        &quot;1I&quot;: 0.2, &quot;I1&quot;: 0.2,<br>        &quot;5S&quot;: 0.2, &quot;S5&quot;: 0.2,<br>        &quot;8B&quot;: 0.3, &quot;B8&quot;: 0.3,<br>        &quot;6G&quot;: 0.3, &quot;G6&quot;: 0.3,<br>    }<br>    <br>    substituteCost := func(c1, c2 rune) float64 {<br>        if c1 == c2 {<br>            return 0<br>        }<br>        key := string(c1) + string(c2)<br>        if cost, exists := ocrConfusions[key]; exists {<br>            return cost<br>        }<br>        return 1.0<br>    }<br>    <br>    runes1, runes2 := []rune(s1), []rune(s2)<br>    len1, len2 := len(runes1), len(runes2)<br>    <br>    // DP 테이블 초기화<br>    dp := make([][]float64, len1+1)<br>    for i := range dp {<br>        dp[i] = make([]float64, len2+1)<br>        dp[i][0] = float64(i)<br>    }<br>    for j := 0; j &lt;= len2; j++ {<br>        dp[0][j] = float64(j)<br>    }<br>    <br>    // 동적 프로그래밍<br>    for i := 1; i &lt;= len1; i++ {<br>        for j := 1; j &lt;= len2; j++ {<br>            dp[i][j] = min3(<br>                dp[i-1][j]+1.0,                                    // 삭제<br>                dp[i][j-1]+1.0,                                    // 삽입<br>                dp[i-1][j-1]+substituteCost(runes1[i-1], runes2[j-1]), // 치환<br>            )<br>        }<br>    }<br>    <br>    return dp[len1][len2]<br>}<br><br>// Similarity 유사도 계산 (0~1 범위)<br>func (oc *OCRErrorCorrector) Similarity(s1, s2 string) float64 {<br>    distance := oc.WeightedLevenshteinDistance(s1, s2)<br>    maxLen := max(len(s1), len(s2))<br>    if maxLen == 0 {<br>        return 1.0<br>    }<br>    return 1.0 - (distance / float64(maxLen))<br>}<br><br>// MatchResult 매칭 결과 구조체<br>type MatchResult struct {<br>    Word       string<br>    Score      float64<br>    Distance   float64<br>}<br><br>// FindBestMatch 최적 매칭 찾기<br>func (oc *OCRErrorCorrector) FindBestMatch(ocrText string, threshold float64) MatchResult {<br>    bestMatch := MatchResult{Word: &quot;&quot;, Score: 0.0}<br>    <br>    for _, word := range oc.dictionary {<br>        similarity := oc.Similarity(strings.ToUpper(ocrText), strings.ToUpper(word))<br>        if similarity &gt; bestMatch.Score &amp;&amp; similarity &gt;= threshold {<br>            bestMatch = MatchResult{<br>                Word:     word,<br>                Score:    similarity,<br>                Distance: oc.WeightedLevenshteinDistance(strings.ToUpper(ocrText), strings.ToUpper(word)),<br>            }<br>        }<br>    }<br>    <br>    return bestMatch<br>}<br><br>// FuzzyCandidates 퍼지 매칭 후보들<br>func (oc *OCRErrorCorrector) FuzzyCandidates(ocrText string, maxDistance int) []MatchResult {<br>    var candidates []MatchResult<br>    <br>    for _, word := range oc.dictionary {<br>        distance := LevenshteinDistance(strings.ToUpper(ocrText), strings.ToUpper(word))<br>        if distance &lt;= maxDistance {<br>            similarity := oc.Similarity(ocrText, word)<br>            candidates = append(candidates, MatchResult{<br>                Word:     word,<br>                Score:    similarity,<br>                Distance: float64(distance),<br>            })<br>        }<br>    }<br>    <br>    // 유사도 기준으로 정렬<br>    sort.Slice(candidates, func(i, j int) bool {<br>        return candidates[i].Score &gt; candidates[j].Score<br>    })<br>    <br>    return candidates<br>}<br><br>// CorrectionResult 수정 결과 구조체<br>type CorrectionResult struct {<br>    Original           string<br>    SimpleReplacement  string<br>    BestMatch          MatchResult<br>    FuzzyCandidates    []MatchResult<br>}<br><br>// CorrectOCR 종합적인 OCR 오류 수정<br>func (oc *OCRErrorCorrector) CorrectOCR(ocrText string) CorrectionResult {<br>    // 간단한 치환<br>    simpleCorrected := oc.SimpleReplacement(ocrText)<br>    <br>    // 최적 매칭<br>    bestMatch := oc.FindBestMatch(simpleCorrected, 0.7)<br>    <br>    // 퍼지 매칭 후보<br>    fuzzyMatches := oc.FuzzyCandidates(ocrText, 3)<br>    <br>    return CorrectionResult{<br>        Original:          ocrText,<br>        SimpleReplacement: simpleCorrected,<br>        BestMatch:         bestMatch,<br>        FuzzyCandidates:   fuzzyMatches,<br>    }<br>}<br><br>// 유틸리티 함수들<br>func min(a, b int) int {<br>    if a &lt; b {<br>        return a<br>    }<br>    return b<br>}<br><br>func min3(a, b, c float64) float64 {<br>    if a &lt;= b &amp;&amp; a &lt;= c {<br>        return a<br>    }<br>    if b &lt;= c {<br>        return b<br>    }<br>    return c<br>}<br><br>func max(a, b int) int {<br>    if a &gt; b {<br>        return a<br>    }<br>    return b<br>}<br><br>func main() {<br>    // OCR 오류 수정기 생성<br>    corrector := NewOCRErrorCorrector()<br>    <br>    // 테스트 데이터<br>    testCases := []string{&quot;I0VE&quot;, &quot;5Korea&quot;, &quot;He11o&quot;, &quot;Micr0soft&quot;, &quot;DataBa5e&quot;, &quot;Pyth0n&quot;}<br>    <br>    fmt.Println(&quot;OCR 오류 수정 결과 (Go):&quot;)<br>    fmt.Println(strings.Repeat(&quot;=&quot;, 80))<br>    <br>    for _, ocrText := range testCases {<br>        result := corrector.CorrectOCR(ocrText)<br>        <br>        fmt.Printf(&quot;원본 OCR: %s\n&quot;, result.Original)<br>        fmt.Printf(&quot;간단 치환: %s\n&quot;, result.SimpleReplacement)<br>        fmt.Printf(&quot;최적 매칭: %s (점수: %.3f, 거리: %.1f)\n&quot;, <br>            result.BestMatch.Word, result.BestMatch.Score, result.BestMatch.Distance)<br>        <br>        fmt.Print(&quot;퍼지 후보: &quot;)<br>        for i, candidate := range result.FuzzyCandidates {<br>            if i &gt; 0 {<br>                fmt.Print(&quot;, &quot;)<br>            }<br>            fmt.Printf(&quot;%s(%.3f)&quot;, candidate.Word, candidate.Score)<br>            if i &gt;= 2 { // 상위 3개만 출력<br>                break<br>            }<br>        }<br>        fmt.Println()<br>        fmt.Println(strings.Repeat(&quot;-&quot;, 80))<br>    }<br>  <br>    /*<br>    실행 결과(예시):<br>    <br>    OCR 오류 수정 결과 (Go):<br>    ================================================================================<br>    원본 OCR: I0VE<br>    간단 치환: lOVE<br>    최적 매칭: LOVE (점수: 0.900, 거리: 0.4)<br>    퍼지 후보: LOVE(0.900)<br>    --------------------------------------------------------------------------------<br>    원본 OCR: 5Korea<br>    간단 치환: SKorea<br>    최적 매칭: SKorea (점수: 1.000, 거리: 0.0)<br>    퍼지 후보: SKorea(1.000)<br>    --------------------------------------------------------------------------------<br>    원본 OCR: He11o<br>    간단 치환: Hello<br>    최적 매칭: Hello (점수: 1.000, 거리: 0.0)<br>    퍼지 후보: Hello(1.000)<br>    --------------------------------------------------------------------------------<br>    원본 OCR: Micr0soft<br>    간단 치환: MicrOsoft<br>    최적 매칭: Microsoft (점수: 0.978, 거리: 0.2)<br>    퍼지 후보: Microsoft(0.978)<br>    --------------------------------------------------------------------------------<br>    원본 OCR: DataBa5e<br>    간단 치환: DataBaSe<br>    최적 매칭: DataBase (점수: 0.950, 거리: 0.4)<br>    퍼지 후보: DataBase(0.950)<br>    --------------------------------------------------------------------------------<br>    원본 OCR: Pyth0n<br>    간단 치환: PythOn<br>    최적 매칭: Python (점수: 0.950, 거리: 0.3)<br>    퍼지 후보: Python(0.950)<br>    */<br>      <br>        // 성능 벤치마크 테스트<br>    fmt.Println(&quot;\n성능 벤치마크:&quot;)<br>    fmt.Println(strings.Repeat(&quot;=&quot;, 50))<br>    <br>    // 대용량 텍스트 처리 시뮬레이션<br>    longText := strings.Repeat(&quot;Test1ng L0ng Text w1th 5everal 3rrors&quot;, 100)<br>    words := strings.Fields(longText)<br>    <br>    fmt.Printf(&quot;처리할 단어 수: %d\n&quot;, len(words))<br>    <br>    correctedCount := 0<br>    totalScore := 0.0<br>    <br>    for _, word := range words {<br>        if len(word) &gt; 3 { // 짧은 단어는 제외<br>            result := corrector.CorrectOCR(word)<br>            if result.BestMatch.Word != &quot;&quot; {<br>                correctedCount++<br>                totalScore += result.BestMatch.Score<br>            }<br>        }<br>    }<br>    <br>    if correctedCount &gt; 0 {<br>        avgScore := totalScore / float64(correctedCount)<br>        fmt.Printf(&quot;수정된 단어 수: %d\n&quot;, correctedCount)<br>        fmt.Printf(&quot;평균 유사도: %.3f\n&quot;, avgScore)<br>    }<br>}</pre><h4>3.6 C로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>C에서는 기본적인 문자열 처리 함수와 직접 구현한 알고리즘을 사용한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>#include &lt;stdio.h&gt;<br>#include &lt;stdlib.h&gt;<br>#include &lt;string.h&gt;<br>#include &lt;ctype.h&gt;<br><br>#define MAX_WORD_LENGTH 100<br>#define MAX_DICTIONARY_SIZE 1000<br>#define MAX_STRING_LENGTH 1000<br><br>// OCR 문자 혼동 구조체<br>typedef struct {<br>    char wrong;<br>    char correct;<br>} CharConfusion;<br><br>// 매칭 결과 구조체<br>typedef struct {<br>    char word[MAX_WORD_LENGTH];<br>    double score;<br>    int distance;<br>} MatchResult;<br><br>// OCR 오류 수정기 구조체<br>typedef struct {<br>    char dictionary[MAX_DICTIONARY_SIZE][MAX_WORD_LENGTH];<br>    int dict_size;<br>    CharConfusion confusions[10];<br>    int confusion_count;<br>} OCRErrorCorrector;<br><br>// 전역 사전 데이터<br>const char* DICTIONARY[] = {<br>    &quot;LOVE&quot;, &quot;SKorea&quot;, &quot;Hello&quot;, &quot;Microsoft&quot;, &quot;DataBase&quot;,<br>    &quot;Python&quot;, &quot;Programming&quot;, &quot;Computer&quot;, &quot;Science&quot;, &quot;Technology&quot;<br>};<br>const int DICT_SIZE = 10;<br><br>// OCR 문자 혼동 데이터<br>const CharConfusion CHAR_CONFUSIONS[] = {<br>    {&#39;0&#39;, &#39;O&#39;}, {&#39;1&#39;, &#39;I&#39;}, {&#39;5&#39;, &#39;S&#39;}, <br>    {&#39;I&#39;, &#39;l&#39;}, {&#39;8&#39;, &#39;B&#39;}, {&#39;6&#39;, &#39;G&#39;}<br>};<br>const int CONFUSION_COUNT = 6;<br><br>// 최솟값 계산 함수<br>int min(int a, int b) {<br>    return a &lt; b ? a : b;<br>}<br><br>int min3(int a, int b, int c) {<br>    return min(min(a, b), c);<br>}<br><br>// 최댓값 계산 함수<br>int max(int a, int b) {<br>    return a &gt; b ? a : b;<br>}<br><br>// 레벤슈타인 거리 계산<br>int levenshtein_distance(const char *s1, const char *s2) {<br>    int len1 = strlen(s1);<br>    int len2 = strlen(s2);<br>    <br>    // DP 테이블 동적 할당<br>    int **dp = (int**)malloc((len1 + 1) * sizeof(int*));<br>    for (int i = 0; i &lt;= len1; i++) {<br>        dp[i] = (int*)malloc((len2 + 1) * sizeof(int));<br>    }<br>    <br>    // 초기화<br>    for (int i = 0; i &lt;= len1; i++) {<br>        dp[i][0] = i;<br>    }<br>    for (int j = 0; j &lt;= len2; j++) {<br>        dp[0][j] = j;<br>    }<br>    <br>    // 동적 프로그래밍<br>    for (int i = 1; i &lt;= len1; i++) {<br>        for (int j = 1; j &lt;= len2; j++) {<br>            int cost = (s1[i-1] == s2[j-1]) ? 0 : 1;<br>            dp[i][j] = min3(<br>                dp[i-1][j] + 1,      // 삭제<br>                dp[i][j-1] + 1,      // 삽입<br>                dp[i-1][j-1] + cost  // 치환<br>            );<br>        }<br>    }<br>    <br>    int result = dp[len1][len2];<br>    <br>    // 메모리 해제<br>    for (int i = 0; i &lt;= len1; i++) {<br>        free(dp[i]);<br>    }<br>    free(dp);<br>    <br>    return result;<br>}<br><br>// 가중치 기반 레벤슈타인 거리 계산<br>double weighted_levenshtein_distance(const char *s1, const char *s2) {<br>    int len1 = strlen(s1);<br>    int len2 = strlen(s2);<br>    <br>    // OCR 혼동 문자에 대한 치환 비용 함수<br>    double substitute_cost(char c1, char c2) {<br>        if (c1 == c2) return 0.0;<br>        <br>        // 일반적인 OCR 혼동 패턴에 낮은 비용 할당<br>        if ((c1 == &#39;0&#39; &amp;&amp; c2 == &#39;O&#39;) || (c1 == &#39;O&#39; &amp;&amp; c2 == &#39;0&#39;)) return 0.2;<br>        if ((c1 == &#39;1&#39; &amp;&amp; c2 == &#39;I&#39;) || (c1 == &#39;I&#39; &amp;&amp; c2 == &#39;1&#39;)) return 0.2;<br>        if ((c1 == &#39;5&#39; &amp;&amp; c2 == &#39;S&#39;) || (c1 == &#39;S&#39; &amp;&amp; c2 == &#39;5&#39;)) return 0.2;<br>        if ((c1 == &#39;8&#39; &amp;&amp; c2 == &#39;B&#39;) || (c1 == &#39;B&#39; &amp;&amp; c2 == &#39;8&#39;)) return 0.3;<br>        if ((c1 == &#39;6&#39; &amp;&amp; c2 == &#39;G&#39;) || (c1 == &#39;G&#39; &amp;&amp; c2 == &#39;6&#39;)) return 0.3;<br>        <br>        return 1.0;<br>    }<br>    <br>    // DP 테이블 동적 할당<br>    double **dp = (double**)malloc((len1 + 1) * sizeof(double*));<br>    for (int i = 0; i &lt;= len1; i++) {<br>        dp[i] = (double*)malloc((len2 + 1) * sizeof(double));<br>    }<br>    <br>    // 초기화<br>    for (int i = 0; i &lt;= len1; i++) {<br>        dp[i][0] = i * 1.0;<br>    }<br>    for (int j = 0; j &lt;= len2; j++) {<br>        dp[0][j] = j * 1.0;<br>    }<br>    <br>    // 동적 프로그래밍<br>    for (int i = 1; i &lt;= len1; i++) {<br>        for (int j = 1; j &lt;= len2; j++) {<br>            double sub_cost = substitute_cost(s1[i-1], s2[j-1]);<br>            <br>            double delete_cost = dp[i-1][j] + 1.0;<br>            double insert_cost = dp[i][j-1] + 1.0;<br>            double replace_cost = dp[i-1][j-1] + sub_cost;<br>            <br>            dp[i][j] = delete_cost;<br>            if (insert_cost &lt; dp[i][j]) dp[i][j] = insert_cost;<br>            if (replace_cost &lt; dp[i][j]) dp[i][j] = replace_cost;<br>        }<br>    }<br>    <br>    double result = dp[len1][len2];<br>    <br>    // 메모리 해제<br>    for (int i = 0; i &lt;= len1; i++) {<br>        free(dp[i]);<br>    }<br>    free(dp);<br>    <br>    return result;<br>}<br><br>// 유사도 계산 (0~1 범위)<br>double calculate_similarity(const char *s1, const char *s2) {<br>    double distance = weighted_levenshtein_distance(s1, s2);<br>    int max_len = max(strlen(s1), strlen(s2));<br>    if (max_len == 0) return 1.0;<br>    return 1.0 - (distance / max_len);<br>}<br><br>// 간단한 문자 치환<br>void simple_replacement(const char* input, char* output) {<br>    strcpy(output, input);<br>    <br>    for (int i = 0; output[i] != &#39;\0&#39;; i++) {<br>        for (int j = 0; j &lt; CONFUSION_COUNT; j++) {<br>            if (output[i] == CHAR_CONFUSIONS[j].wrong) {<br>                output[i] = CHAR_CONFUSIONS[j].correct;<br>                break;<br>            }<br>        }<br>    }<br>}<br><br>// 문자열을 대문자로 변환<br>void to_uppercase(const char* input, char* output) {<br>    for (int i = 0; input[i] != &#39;\0&#39;; i++) {<br>        output[i] = toupper(input[i]);<br>    }<br>    output[strlen(input)] = &#39;\0&#39;;<br>}<br><br>// 최적 매칭 찾기<br>MatchResult find_best_match(const char* ocr_text, double threshold) {<br>    MatchResult best = {&quot;&quot;, 0.0, INT_MAX};<br>    <br>    char upper_ocr[MAX_WORD_LENGTH];<br>    char upper_word[MAX_WORD_LENGTH];<br>    to_uppercase(ocr_text, upper_ocr);<br>    <br>    for (int i = 0; i &lt; DICT_SIZE; i++) {<br>        to_uppercase(DICTIONARY[i], upper_word);<br>        double similarity = calculate_similarity(upper_ocr, upper_word);<br>        <br>        if (similarity &gt; best.score &amp;&amp; similarity &gt;= threshold) {<br>            strcpy(best.word, DICTIONARY[i]);<br>            best.score = similarity;<br>            best.distance = (int)weighted_levenshtein_distance(upper_ocr, upper_word);<br>        }<br>    }<br>    <br>    return best;<br>}<br><br>// 퍼지 매칭 후보들 찾기<br>int fuzzy_candidates(const char* ocr_text, MatchResult* candidates, int max_distance) {<br>    int count = 0;<br>    char upper_ocr[MAX_WORD_LENGTH];<br>    char upper_word[MAX_WORD_LENGTH];<br>    to_uppercase(ocr_text, upper_ocr);<br>    <br>    for (int i = 0; i &lt; DICT_SIZE; i++) {<br>        to_uppercase(DICTIONARY[i], upper_word);<br>        int distance = levenshtein_distance(upper_ocr, upper_word);<br>        <br>        if (distance &lt;= max_distance) {<br>            strcpy(candidates[count].word, DICTIONARY[i]);<br>            candidates[count].distance = distance;<br>            candidates[count].score = calculate_similarity(upper_ocr, upper_word);<br>            count++;<br>        }<br>    }<br>    <br>    // 유사도 기준으로 정렬 (버블 정렬)<br>    for (int i = 0; i &lt; count - 1; i++) {<br>        for (int j = 0; j &lt; count - i - 1; j++) {<br>            if (candidates[j].score &lt; candidates[j + 1].score) {<br>                MatchResult temp = candidates[j];<br>                candidates[j] = candidates[j + 1];<br>                candidates[j + 1] = temp;<br>            }<br>        }<br>    }<br>    <br>    return count;<br>}<br><br>// 종합적인 OCR 오류 수정<br>typedef struct {<br>    char original[MAX_WORD_LENGTH];<br>    char simple_replacement[MAX_WORD_LENGTH];<br>    MatchResult best_match;<br>    MatchResult fuzzy_candidates[10];<br>    int fuzzy_count;<br>} CorrectionResult;<br><br>CorrectionResult correct_ocr(const char* ocr_text) {<br>    CorrectionResult result;<br>    <br>    // 원본 저장<br>    strcpy(result.original, ocr_text);<br>    <br>    // 간단한 치환<br>    simple_replacement(ocr_text, result.simple_replacement);<br>    <br>    // 최적 매칭<br>    result.best_match = find_best_match(result.simple_replacement, 0.7);<br>    <br>    // 퍼지 매칭 후보들<br>    result.fuzzy_count = fuzzy_candidates(ocr_text, result.fuzzy_candidates, 3);<br>    <br>    return result;<br>}<br><br>int main() {<br>    // 테스트 데이터<br>    const char* test_cases[] = {&quot;I0VE&quot;, &quot;5Korea&quot;, &quot;He11o&quot;, &quot;Micr0soft&quot;, &quot;DataBa5e&quot;, &quot;Pyth0n&quot;};<br>    int test_count = 6;<br>    <br>    printf(&quot;OCR 오류 수정 결과 (C):\n&quot;);<br>    printf(&quot;================================================================================\n&quot;);<br>    <br>    for (int i = 0; i &lt; test_count; i++) {<br>        CorrectionResult result = correct_ocr(test_cases[i]);<br>        <br>        printf(&quot;원본 OCR: %s\n&quot;, result.original);<br>        printf(&quot;간단 치환: %s\n&quot;, result.simple_replacement);<br>        printf(&quot;최적 매칭: %s (점수: %.3f, 거리: %d)\n&quot;, <br>               result.best_match.word, result.best_match.score, result.best_match.distance);<br>        <br>        printf(&quot;퍼지 후보: &quot;);<br>        for (int j = 0; j &lt; result.fuzzy_count &amp;&amp; j &lt; 3; j++) {<br>            if (j &gt; 0) printf(&quot;, &quot;);<br>            printf(&quot;%s(%.3f)&quot;, result.fuzzy_candidates[j].word, result.fuzzy_candidates[j].score);<br>        }<br>        printf(&quot;\n&quot;);<br>        printf(&quot;--------------------------------------------------------------------------------\n&quot;);<br>    }<br>    <br>    /*<br>    실행 결과(예시):<br><br>    OCR 오류 수정 결과 (C):<br>    ================================================================================<br>    원본 OCR: I0VE<br>    간단 치환: lOVE<br>    최적 매칭: LOVE (점수: 0.900, 거리: 0)<br>    퍼지 후보: LOVE(0.900)<br>    --------------------------------------------------------------------------------<br>    원본 OCR: 5Korea<br>    간단 치환: SKorea<br>    최적 매칭: SKorea (점수: 1.000, 거리: 0)<br>    퍼지 후보: SKorea(1.000)<br>    --------------------------------------------------------------------------------<br>    원본 OCR: He11o<br>    간단 치환: Hello<br>    최적 매칭: Hello (점수: 1.000, 거리: 0)<br>    퍼지 후보: Hello(1.000)<br>    --------------------------------------------------------------------------------<br>    원본 OCR: Micr0soft<br>    간단 치환: MicrOsoft<br>    최적 매칭: Microsoft (점수: 0.978, 거리: 0)<br>    퍼지 후보: Microsoft(0.978)<br>    --------------------------------------------------------------------------------<br>    원본 OCR: DataBa5e<br>    간단 치환: DataBaSe<br>    최적 매칭: DataBase (점수: 0.950, 거리: 0)<br>    퍼지 후보: DataBase(0.950)<br>    --------------------------------------------------------------------------------<br>    원본 OCR: Pyth0n<br>    간단 치환: PythOn<br>    최적 매칭: Python (점수: 0.950, 거리: 0)<br>    퍼지 후보: Python(0.950)<br>    */<br>    <br>    // 성능 테스트<br>    printf(&quot;\n성능 테스트:\n&quot;);<br>    printf(&quot;==================================================\n&quot;);<br>    <br>    clock_t start = clock();<br>    <br>    // 대량 처리 시뮬레이션<br>    for (int rounds = 0; rounds &lt; 1000; rounds++) {<br>        for (int i = 0; i &lt; test_count; i++) {<br>            CorrectionResult result = correct_ocr(test_cases[i]);<br>            // 결과 사용 (최적화 방지)<br>            if (strlen(result.best_match.word) &gt; 0) {<br>                continue;<br>            }<br>        }<br>    }<br>    <br>    clock_t end = clock();<br>    double cpu_time_used = ((double) (end - start)) / CLOCKS_PER_SEC;<br>    <br>    printf(&quot;1000회 반복 처리 시간: %.3f 초\n&quot;, cpu_time_used);<br>    printf(&quot;평균 처리 시간: %.6f 초/건\n&quot;, cpu_time_used / (1000 * test_count));<br>    <br>    return 0;<br>}</pre><h4>3.7 C++로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>C++에서는 STL 알고리즘과 클래스를 활용하여 보다 체계적인 구현이 가능하다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>#include &lt;iostream&gt;<br>#include &lt;string&gt;<br>#include &lt;vector&gt;<br>#include &lt;algorithm&gt;<br>#include &lt;unordered_map&gt;<br>#include &lt;climits&gt;<br>#include &lt;chrono&gt;<br>#include &lt;iomanip&gt;<br><br>class OCRErrorCorrector {<br>private:<br>    // OCR 문자 혼동 매핑<br>    std::unordered_map&lt;char, char&gt; char_confusion_map = {<br>        {&#39;0&#39;, &#39;O&#39;}, {&#39;1&#39;, &#39;I&#39;}, {&#39;5&#39;, &#39;S&#39;},<br>        {&#39;I&#39;, &#39;l&#39;}, {&#39;8&#39;, &#39;B&#39;}, {&#39;6&#39;, &#39;G&#39;}<br>    };<br>    <br>    // 사전 데이터<br>    std::vector&lt;std::string&gt; dictionary = {<br>        &quot;LOVE&quot;, &quot;SKorea&quot;, &quot;Hello&quot;, &quot;Microsoft&quot;, &quot;DataBase&quot;,<br>        &quot;Python&quot;, &quot;Programming&quot;, &quot;Computer&quot;, &quot;Science&quot;, &quot;Technology&quot;<br>    };<br>    <br>    // OCR 혼동 문자에 대한 치환 비용<br>    std::unordered_map&lt;std::string, double&gt; ocr_confusions = {<br>        {&quot;0O&quot;, 0.2}, {&quot;O0&quot;, 0.2},<br>        {&quot;1I&quot;, 0.2}, {&quot;I1&quot;, 0.2},<br>        {&quot;5S&quot;, 0.2}, {&quot;S5&quot;, 0.2},<br>        {&quot;8B&quot;, 0.3}, {&quot;B8&quot;, 0.3},<br>        {&quot;6G&quot;, 0.3}, {&quot;G6&quot;, 0.3}<br>    };<br><br>public:<br>    // 매칭 결과 구조체<br>    struct MatchResult {<br>        std::string word;<br>        double score;<br>        double distance;<br>        <br>        MatchResult() : word(&quot;&quot;), score(0.0), distance(0.0) {}<br>        MatchResult(const std::string&amp; w, double s, double d) <br>            : word(w), score(s), distance(d) {}<br>    };<br>    <br>    // 수정 결과 구조체<br>    struct CorrectionResult {<br>        std::string original;<br>        std::string simple_replacement;<br>        MatchResult best_match;<br>        std::vector&lt;MatchResult&gt; fuzzy_candidates;<br>    };<br>    <br>    // 간단한 문자 치환<br>    std::string simple_replacement(const std::string&amp; text) {<br>        std::string result = text;<br>        for (auto&amp; pair : char_confusion_map) {<br>            std::replace(result.begin(), result.end(), pair.first, pair.second);<br>        }<br>        return result;<br>    }<br>    <br>    // 문자열을 대문자로 변환<br>    std::string to_uppercase(const std::string&amp; str) {<br>        std::string result = str;<br>        std::transform(result.begin(), result.end(), result.begin(), ::toupper);<br>        return result;<br>    }<br>    <br>    // 가중치 기반 레벤슈타인 거리 계산<br>    double weighted_levenshtein_distance(const std::string&amp; s1, const std::string&amp; s2) {<br>        int len1 = s1.length();<br>        int len2 = s2.length();<br>        <br>        // 치환 비용 계산 함수<br>        auto substitute_cost = [this](char c1, char c2) -&gt; double {<br>            if (c1 == c2) return 0.0;<br>            <br>            std::string key = std::string(1, c1) + std::string(1, c2);<br>            auto it = ocr_confusions.find(key);<br>            if (it != ocr_confusions.end()) {<br>                return it-&gt;second;<br>            }<br>            return 1.0;<br>        };<br>        <br>        // DP 테이블<br>        std::vector&lt;std::vector&lt;double&gt;&gt; dp(len1 + 1, std::vector&lt;double&gt;(len2 + 1));<br>        <br>        // 초기화<br>        for (int i = 0; i &lt;= len1; i++) {<br>            dp[i][0] = i * 1.0;<br>        }<br>        for (int j = 0; j &lt;= len2; j++) {<br>            dp[0][j] = j * 1.0;<br>        }<br>        <br>        // 동적 프로그래밍<br>        for (int i = 1; i &lt;= len1; i++) {<br>            for (int j = 1; j &lt;= len2; j++) {<br>                double sub_cost = substitute_cost(s1[i-1], s2[j-1]);<br>                dp[i][j] = std::min({<br>                    dp[i-1][j] + 1.0,      // 삭제<br>                    dp[i][j-1] + 1.0,      // 삽입<br>                    dp[i-1][j-1] + sub_cost // 치환<br>                });<br>            }<br>        }<br>        <br>        return dp[len1][len2];<br>    }<br>    <br>    // 유사도 계산<br>    double calculate_similarity(const std::string&amp; s1, const std::string&amp; s2) {<br>        double distance = weighted_levenshtein_distance(s1, s2);<br>        int max_len = std::max(s1.length(), s2.length());<br>        if (max_len == 0) return 1.0;<br>        return 1.0 - (distance / max_len);<br>    }<br>    <br>    // 최적 매칭 찾기<br>    MatchResult find_best_match(const std::string&amp; ocr_text, double threshold = 0.7) {<br>        MatchResult best;<br>        std::string upper_ocr = to_uppercase(ocr_text);<br>        <br>        for (const auto&amp; word : dictionary) {<br>            std::string upper_word = to_uppercase(word);<br>            double similarity = calculate_similarity(upper_ocr, upper_word);<br>            <br>            if (similarity &gt; best.score &amp;&amp; similarity &gt;= threshold) {<br>                best = MatchResult(word, similarity, <br>                    weighted_levenshtein_distance(upper_ocr, upper_word));<br>            }<br>        }<br>        <br>        return best;<br>    }<br>    <br>    // 퍼지 매칭 후보들<br>    std::vector&lt;MatchResult&gt; fuzzy_candidates(const std::string&amp; ocr_text, int max_distance = 3) {<br>        std::vector&lt;MatchResult&gt; candidates;<br>        std::string upper_ocr = to_uppercase(ocr_text);<br>        <br>        for (const auto&amp; word : dictionary) {<br>            std::string upper_word = to_uppercase(word);<br>            double distance = weighted_levenshtein_distance(upper_ocr, upper_word);<br>            <br>            if (distance &lt;= max_distance) {<br>                double similarity = calculate_similarity(upper_ocr, upper_word);<br>                candidates.emplace_back(word, similarity, distance);<br>            }<br>        }<br>        <br>        // 유사도 기준으로 정렬<br>        std::sort(candidates.begin(), candidates.end(),<br>            [](const MatchResult&amp; a, const MatchResult&amp; b) {<br>                return a.score &gt; b.score;<br>            });<br>        <br>        return candidates;<br>    }<br>    <br>    // 종합적인 OCR 오류 수정<br>    CorrectionResult correct_ocr(const std::string&amp; ocr_text) {<br>        CorrectionResult result;<br>        result.original = ocr_text;<br>        <br>        // 간단한 치환<br>        result.simple_replacement = simple_replacement(ocr_text);<br>        <br>        // 최적 매칭<br>        result.best_match = find_best_match(result.simple_replacement);<br>        <br>        // 퍼지 매칭 후보<br>        result.fuzzy_candidates = fuzzy_candidates(ocr_text);<br>        <br>        return result;<br>    }<br>    <br>    // 통계 정보 계산<br>    struct Statistics {<br>        int total_processed = 0;<br>        int successful_corrections = 0;<br>        double average_similarity = 0.0;<br>        double processing_time_ms = 0.0;<br>    };<br>    <br>    Statistics process_batch(const std::vector&lt;std::string&gt;&amp; batch) {<br>        Statistics stats;<br>        auto start = std::chrono::high_resolution_clock::now();<br>        <br>        double total_similarity = 0.0;<br>        <br>        for (const auto&amp; text : batch) {<br>            auto result = correct_ocr(text);<br>            stats.total_processed++;<br>            <br>            if (!result.best_match.word.empty()) {<br>                stats.successful_corrections++;<br>                total_similarity += result.best_match.score;<br>            }<br>        }<br>        <br>        auto end = std::chrono::high_resolution_clock::now();<br>        auto duration = std::chrono::duration_cast&lt;std::chrono::microseconds&gt;(end - start);<br>        stats.processing_time_ms = duration.count() / 1000.0;<br>        <br>        if (stats.successful_corrections &gt; 0) {<br>            stats.average_similarity = total_similarity / stats.successful_corrections;<br>        }<br>        <br>        return stats;<br>    }<br>};<br><br>int main() {<br>    OCRErrorCorrector corrector;<br>    <br>    // 테스트 데이터<br>    std::vector&lt;std::string&gt; test_cases = {<br>        &quot;I0VE&quot;, &quot;5Korea&quot;, &quot;He11o&quot;, &quot;Micr0soft&quot;, &quot;DataBa5e&quot;, &quot;Pyth0n&quot;<br>    };<br>    <br>    std::cout &lt;&lt; &quot;OCR 오류 수정 결과 (C++):&quot; &lt;&lt; std::endl;<br>    std::cout &lt;&lt; std::string(80, &#39;=&#39;) &lt;&lt; std::endl;<br>    <br>    for (const auto&amp; ocr_text : test_cases) {<br>        auto result = corrector.correct_ocr(ocr_text);<br>        <br>        std::cout &lt;&lt; &quot;원본 OCR: &quot; &lt;&lt; result.original &lt;&lt; std::endl;<br>        std::cout &lt;&lt; &quot;간단 치환: &quot; &lt;&lt; result.simple_replacement &lt;&lt; std::endl;<br>        std::cout &lt;&lt; &quot;최적 매칭: &quot; &lt;&lt; result.best_match.word <br>                  &lt;&lt; &quot; (점수: &quot; &lt;&lt; std::fixed &lt;&lt; std::setprecision(3) &lt;&lt; result.best_match.score<br>                  &lt;&lt; &quot;, 거리: &quot; &lt;&lt; result.best_match.distance &lt;&lt; &quot;)&quot; &lt;&lt; std::endl;<br>        <br>        std::cout &lt;&lt; &quot;퍼지 후보: &quot;;<br>        for (size_t i = 0; i &lt; result.fuzzy_candidates.size() &amp;&amp; i &lt; 3; i++) {<br>            if (i &gt; 0) std::cout &lt;&lt; &quot;, &quot;;<br>            std::cout &lt;&lt; result.fuzzy_candidates[i].word <br>                      &lt;&lt; &quot;(&quot; &lt;&lt; std::setprecision(3) &lt;&lt; result.fuzzy_candidates[i].score &lt;&lt; &quot;)&quot;;<br>        }<br>        std::cout &lt;&lt; std::endl;<br>        std::cout &lt;&lt; std::string(80, &#39;-&#39;) &lt;&lt; std::endl;<br>    }<br>    <br>    /*<br>    실행 결과(예시):<br><br>    OCR 오류 수정 결과 (C++):<br>    ================================================================================<br>    원본 OCR: I0VE<br>    간단 치환: lOVE<br>    최적 매칭: LOVE (점수: 0.900, 거리: 0.400)<br>    퍼지 후보: LOVE(0.900)<br>    --------------------------------------------------------------------------------<br>    원본 OCR: 5Korea<br>    간단 치환: SKorea<br>    최적 매칭: SKorea (점수: 1.000, 거리: 0.000)<br>    퍼지 후보: SKorea(1.000)<br>    --------------------------------------------------------------------------------<br>    원본 OCR: He11o<br>    간단 치환: Hello<br>    최적 매칭: Hello (점수: 1.000, 거리: 0.000)<br>    퍼지 후보: Hello(1.000)<br>    --------------------------------------------------------------------------------<br>    원본 OCR: Micr0soft<br>    간단 치환: MicrOsoft<br>    최적 매칭: Microsoft (점수: 0.978, 거리: 0.200)<br>    퍼지 후보: Microsoft(0.978)<br>    --------------------------------------------------------------------------------<br>    원본 OCR: DataBa5e<br>    간단 치환: DataBaSe<br>    최적 매칭: DataBase (점수: 0.950, 거리: 0.400)<br>    퍼지 후보: DataBase(0.950)<br>    --------------------------------------------------------------------------------<br>    원본 OCR: Pyth0n<br>    간단 치환: PythOn<br>    최적 매칭: Python (점수: 0.950, 거리: 0.333)<br>    퍼지 후보: Python(0.950)<br>    */<br>    <br>    // 성능 벤치마크<br>    std::cout &lt;&lt; std::endl &lt;&lt; &quot;성능 벤치마크:&quot; &lt;&lt; std::endl;<br>    std::cout &lt;&lt; std::string(50, &#39;=&#39;) &lt;&lt; std::endl;<br>    <br>    auto stats = corrector.process_batch(test_cases);<br>    <br>    std::cout &lt;&lt; &quot;처리된 항목 수: &quot; &lt;&lt; stats.total_processed &lt;&lt; std::endl;<br>    std::cout &lt;&lt; &quot;성공적 수정 수: &quot; &lt;&lt; stats.successful_corrections &lt;&lt; std::endl;<br>    std::cout &lt;&lt; &quot;성공률: &quot; &lt;&lt; std::fixed &lt;&lt; std::setprecision(1) <br>              &lt;&lt; (100.0 * stats.successful_corrections / stats.total_processed) &lt;&lt; &quot;%&quot; &lt;&lt; std::endl;<br>    std::cout &lt;&lt; &quot;평균 유사도: &quot; &lt;&lt; std::setprecision(3) &lt;&lt; stats.average_similarity &lt;&lt; std::endl;<br>    std::cout &lt;&lt; &quot;처리 시간: &quot; &lt;&lt; std::setprecision(2) &lt;&lt; stats.processing_time_ms &lt;&lt; &quot; ms&quot; &lt;&lt; std::endl;<br>    std::cout &lt;&lt; &quot;평균 처리 시간: &quot; &lt;&lt; std::setprecision(3) <br>              &lt;&lt; (stats.processing_time_ms / stats.total_processed) &lt;&lt; &quot; ms/건&quot; &lt;&lt; std::endl;<br>    <br>    // 확장된 테스트: 대용량 배치 처리<br>    std::cout &lt;&lt; std::endl &lt;&lt; &quot;대용량 배치 처리 테스트:&quot; &lt;&lt; std::endl;<br>    std::cout &lt;&lt; std::string(50, &#39;=&#39;) &lt;&lt; std::endl;<br>    <br>    std::vector&lt;std::string&gt; large_batch;<br>    for (int i = 0; i &lt; 1000; i++) {<br>        for (const auto&amp; test_case : test_cases) {<br>            large_batch.push_back(test_case);<br>        }<br>    }<br>    <br>    auto large_stats = corrector.process_batch(large_batch);<br>    <br>    std::cout &lt;&lt; &quot;대용량 처리 결과:&quot; &lt;&lt; std::endl;<br>    std::cout &lt;&lt; &quot;  처리된 항목 수: &quot; &lt;&lt; large_stats.total_processed &lt;&lt; std::endl;<br>    std::cout &lt;&lt; &quot;  총 처리 시간: &quot; &lt;&lt; std::setprecision(2) &lt;&lt; large_stats.processing_time_ms &lt;&lt; &quot; ms&quot; &lt;&lt; std::endl;<br>    std::cout &lt;&lt; &quot;  평균 처리 시간: &quot; &lt;&lt; std::setprecision(4) <br>              &lt;&lt; (large_stats.processing_time_ms / large_stats.total_processed) &lt;&lt; &quot; ms/건&quot; &lt;&lt; std::endl;<br>    std::cout &lt;&lt; &quot;  처리량: &quot; &lt;&lt; std::setprecision(0) <br>              &lt;&lt; (large_stats.total_processed * 1000.0 / large_stats.processing_time_ms) &lt;&lt; &quot; 건/초&quot; &lt;&lt; std::endl;<br>    <br>    return 0;<br>}</pre><h4>3.8 Java로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Java에서는 Apache Commons Text나 FuzzyWuzzy 라이브러리를 활용할 수 있다</p><p><strong>(2) 구체적인 사례</strong></p><pre>import java.util.*;<br>import java.util.stream.Collectors;<br><br>public class OCRErrorCorrector {<br>    <br>    // OCR 문자 혼동 매핑<br>    private static final Map&lt;Character, Character&gt; CHAR_CONFUSION_MAP = Map.of(<br>        &#39;0&#39;, &#39;O&#39;, &#39;1&#39;, &#39;I&#39;, &#39;5&#39;, &#39;S&#39;,<br>        &#39;I&#39;, &#39;l&#39;, &#39;8&#39;, &#39;B&#39;, &#39;6&#39;, &#39;G&#39;<br>    );<br>    <br>    // 사전 데이터<br>    private static final List&lt;String&gt; DICTIONARY = Arrays.asList(<br>        &quot;LOVE&quot;, &quot;SKorea&quot;, &quot;Hello&quot;, &quot;Microsoft&quot;, &quot;DataBase&quot;,<br>        &quot;Python&quot;, &quot;Programming&quot;, &quot;Computer&quot;, &quot;Science&quot;, &quot;Technology&quot;<br>    );<br>    <br>    // OCR 혼동 문자에 대한 치환 비용<br>    private static final Map&lt;String, Double&gt; OCR_CONFUSIONS = Map.of(<br>        &quot;0O&quot;, 0.2, &quot;O0&quot;, 0.2,<br>        &quot;1I&quot;, 0.2, &quot;I1&quot;, 0.2,<br>        &quot;5S&quot;, 0.2, &quot;S5&quot;, 0.2,<br>        &quot;8B&quot;, 0.3, &quot;B8&quot;, 0.3,<br>        &quot;6G&quot;, 0.3, &quot;G6&quot;, 0.3<br>    );<br>    <br>    // 매칭 결과 클래스<br>    public static class MatchResult {<br>        private final String word;<br>        private final double score;<br>        private final double distance;<br>        <br>        public MatchResult(String word, double score, double distance) {<br>            this.word = word;<br>            this.score = score;<br>            this.distance = distance;<br>        }<br>        <br>        // Getters<br>        public String getWord() { return word; }<br>        public double getScore() { return score; }<br>        public double getDistance() { return distance; }<br>        <br>        @Override<br>        public String toString() {<br>            return String.format(&quot;%s(%.3f)&quot;, word, score);<br>        }<br>    }<br>    <br>    // 수정 결과 클래스<br>    public static class CorrectionResult {<br>        private final String original;<br>        private final String simpleReplacement;<br>        private final MatchResult bestMatch;<br>        private final List&lt;MatchResult&gt; fuzzyCandidates;<br>        <br>        public CorrectionResult(String original, String simpleReplacement, <br>                              MatchResult bestMatch, List&lt;MatchResult&gt; fuzzyCandidates) {<br>            this.original = original;<br>            this.simpleReplacement = simpleReplacement;<br>            this.bestMatch = bestMatch;<br>            this.fuzzyCandidates = new ArrayList&lt;&gt;(fuzzyCandidates);<br>        }<br>        <br>        // Getters<br>        public String getOriginal() { return original; }<br>        public String getSimpleReplacement() { return simpleReplacement; }<br>        public MatchResult getBestMatch() { return bestMatch; }<br>        public List&lt;MatchResult&gt; getFuzzyCandidates() { return fuzzyCandidates; }<br>    }<br>    <br>    // 간단한 문자 치환<br>    public String simpleReplacement(String text) {<br>        StringBuilder result = new StringBuilder();<br>        for (char c : text.toCharArray()) {<br>            result.append(CHAR_CONFUSION_MAP.getOrDefault(c, c));<br>        }<br>        return result.toString();<br>    }<br>    <br>    // 가중치 기반 레벤슈타인 거리 계산<br>    public double weightedLevenshteinDistance(String s1, String s2) {<br>        int len1 = s1.length();<br>        int len2 = s2.length();<br>        <br>        // 치환 비용 계산<br>        Function&lt;Character, Character, Double&gt; substituteCost = (c1, c2) -&gt; {<br>            if (c1.equals(c2)) return 0.0;<br>            String key = c1.toString() + c2.toString();<br>            return OCR_CONFUSIONS.getOrDefault(key, 1.0);<br>        };<br>        <br>        // DP 테이블<br>        double[][] dp = new double[len1 + 1][len2 + 1];<br>        <br>        // 초기화<br>        for (int i = 0; i &lt;= len1; i++) {<br>            dp[i][0] = i * 1.0;<br>        }<br>        for (int j = 0; j &lt;= len2; j++) {<br>            dp[0][j] = j * 1.0;<br>        }<br>        <br>        // 동적 프로그래밍<br>        for (int i = 1; i &lt;= len1; i++) {<br>            for (int j = 1; j &lt;= len2; j++) {<br>                double subCost = substituteCost.apply(s1.charAt(i-1), s2.charAt(j-1));<br>                dp[i][j] = Math.min(Math.min(<br>                    dp[i-1][j] + 1.0,      // 삭제<br>                    dp[i][j-1] + 1.0),     // 삽입<br>                    dp[i-1][j-1] + subCost // 치환<br>                );<br>            }<br>        }<br>        <br>        return dp[len1][len2];<br>    }<br>    <br>    // 유사도 계산<br>    public double calculateSimilarity(String s1, String s2) {<br>        double distance = weightedLevenshteinDistance(s1, s2);<br>        int maxLen = Math.max(s1.length(), s2.length());<br>        if (maxLen == 0) return 1.0;<br>        return 1.0 - (distance / maxLen);<br>    }<br>    <br>    // 최적 매칭 찾기<br>    public MatchResult findBestMatch(String ocrText, double threshold) {<br>        String upperOcr = ocrText.toUpperCase();<br>        <br>        return DICTIONARY.stream()<br>            .map(word -&gt; {<br>                String upperWord = word.toUpperCase();<br>                double similarity = calculateSimilarity(upperOcr, upperWord);<br>                double distance = weightedLevenshteinDistance(upperOcr, upperWord);<br>                return new MatchResult(word, similarity, distance);<br>            })<br>            .filter(result -&gt; result.getScore() &gt;= threshold)<br>            .max(Comparator.comparing(MatchResult::getScore))<br>            .orElse(new MatchResult(&quot;&quot;, 0.0, 0.0));<br>    }<br>    <br>    // 퍼지 매칭 후보들<br>    public List&lt;MatchResult&gt; fuzzyCandidates(String ocrText, int maxDistance) {<br>        String upperOcr = ocrText.toUpperCase();<br>        <br>        return DICTIONARY.stream()<br>            .map(word -&gt; {<br>                String upperWord = word.toUpperCase();<br>                double distance = weightedLevenshteinDistance(upperOcr, upperWord);<br>                double similarity = calculateSimilarity(upperOcr, upperWord);<br>                return new MatchResult(word, similarity, distance);<br>            })<br>            .filter(result -&gt; result.getDistance() &lt;= maxDistance)<br>            .sorted(Comparator.comparing(MatchResult::getScore).reversed())<br>            .collect(Collectors.toList());<br>    }<br>    <br>    // 종합적인 OCR 오류 수정<br>    public CorrectionResult correctOCR(String ocrText) {<br>        // 간단한 치환<br>        String simpleCorrected = simpleReplacement(ocrText);<br>        <br>        // 최적 매칭<br>        MatchResult bestMatch = findBestMatch(simpleCorrected, 0.7);<br>        <br>        // 퍼지 매칭 후보<br>        List&lt;MatchResult&gt; fuzzyMatches = fuzzyCandidates(ocrText, 3);<br>        <br>        return new CorrectionResult(ocrText, simpleCorrected, bestMatch, fuzzyMatches);<br>    }<br>    <br>    // 배치 처리 통계<br>    public static class BatchStatistics {<br>        private final int totalProcessed;<br>        private final int successfulCorrections;<br>        private final double averageSimilarity;<br>        private final long processingTimeMs;<br>        <br>        public BatchStatistics(int totalProcessed, int successfulCorrections, <br>                             double averageSimilarity, long processingTimeMs) {<br>            this.totalProcessed = totalProcessed;<br>            this.successfulCorrections = successfulCorrections;<br>            this.averageSimilarity = averageSimilarity;<br>            this.processingTimeMs = processingTimeMs;<br>        }<br>        <br>        // Getters<br>        public int getTotalProcessed() { return totalProcessed; }<br>        public int getSuccessfulCorrections() { return successfulCorrections; }<br>        public double getAverageSimilarity() { return averageSimilarity; }<br>        public long getProcessingTimeMs() { return processingTimeMs; }<br>        public double getSuccessRate() { return 100.0 * successfulCorrections / totalProcessed; }<br>        public double getAvgProcessingTimeMs() { return (double) processingTimeMs / totalProcessed; }<br>    }<br>    <br>    // 배치 처리<br>    public BatchStatistics processBatch(List&lt;String&gt; batch) {<br>        long startTime = System.currentTimeMillis();<br>        <br>        List&lt;CorrectionResult&gt; results = batch.stream()<br>            .map(this::correctOCR)<br>            .collect(Collectors.toList());<br>        <br>        long endTime = System.currentTimeMillis();<br>        <br>        List&lt;MatchResult&gt; successfulMatches = results.stream()<br>            .map(CorrectionResult::getBestMatch)<br>            .filter(match -&gt; !match.getWord().isEmpty())<br>            .collect(Collectors.toList());<br>        <br>        double averageSimilarity = successfulMatches.stream()<br>            .mapToDouble(MatchResult::getScore)<br>            .average()<br>            .orElse(0.0);<br>        <br>        return new BatchStatistics(<br>            batch.size(),<br>            successfulMatches.size(),<br>            averageSimilarity,<br>            endTime - startTime<br>        );<br>    }<br>    <br>    // 함수형 인터페이스 (Java 8+ lambda 지원)<br>    @FunctionalInterface<br>    private interface Function&lt;T, U, R&gt; {<br>        R apply(T t, U u);<br>    }<br>    <br>    public static void main(String[] args) {<br>        OCRErrorCorrector corrector = new OCRErrorCorrector();<br>        <br>        // 테스트 데이터<br>        List&lt;String&gt; testCases = Arrays.asList(<br>            &quot;I0VE&quot;, &quot;5Korea&quot;, &quot;He11o&quot;, &quot;Micr0soft&quot;, &quot;DataBa5e&quot;, &quot;Pyth0n&quot;<br>        );<br>        <br>        System.out.println(&quot;OCR 오류 수정 결과 (Java):&quot;);<br>        System.out.println(&quot;=&quot;.repeat(80));<br>        <br>        for (String ocrText : testCases) {<br>            CorrectionResult result = corrector.correctOCR(ocrText);<br>            <br>            System.out.printf(&quot;원본 OCR: %s%n&quot;, result.getOriginal());<br>            System.out.printf(&quot;간단 치환: %s%n&quot;, result.getSimpleReplacement());<br>            System.out.printf(&quot;최적 매칭: %s (점수: %.3f, 거리: %.1f)%n&quot;,<br>                result.getBestMatch().getWord(),<br>                result.getBestMatch().getScore(),<br>                result.getBestMatch().getDistance());<br>            <br>            System.out.print(&quot;퍼지 후보: &quot;);<br>            List&lt;MatchResult&gt; candidates = result.getFuzzyCandidates();<br>            for (int i = 0; i &lt; Math.min(candidates.size(), 3); i++) {<br>                if (i &gt; 0) System.out.print(&quot;, &quot;);<br>                System.out.print(candidates.get(i));<br>            }<br>            System.out.println();<br>            System.out.println(&quot;-&quot;.repeat(80));<br>        }<br>        <br>        /*<br>        실행 결과(예시):<br><br>        OCR 오류 수정 결과 (Java):<br>        ================================================================================<br>        원본 OCR: I0VE<br>        간단 치환: lOVE<br>        최적 매칭: LOVE (점수: 0.900, 거리: 0.4)<br>        퍼지 후보: LOVE(0.900)<br>        --------------------------------------------------------------------------------<br>        원본 OCR: 5Korea<br>        간단 치환: SKorea<br>        최적 매칭: SKorea (점수: 1.000, 거리: 0.0)<br>        퍼지 후보: SKorea(1.000)<br>        --------------------------------------------------------------------------------<br>        원본 OCR: He11o<br>        간단 치환: Hello<br>        최적 매칭: Hello (점수: 1.000, 거리: 0.0)<br>        퍼지 후보: Hello(1.000)<br>        --------------------------------------------------------------------------------<br>        원본 OCR: Micr0soft<br>        간단 치환: MicrOsoft<br>        최적 매칭: Microsoft (점수: 0.978, 거리: 0.2)<br>        퍼지 후보: Microsoft(0.978)<br>        --------------------------------------------------------------------------------<br>        원본 OCR: DataBa5e<br>        간단 치환: DataBaSe<br>        최적 매칭: DataBase (점수: 0.950, 거리: 0.4)<br>        퍼지 후보: DataBase(0.950)<br>        --------------------------------------------------------------------------------<br>        원본 OCR: Pyth0n<br>        간단 치환: PythOn<br>        최적 매칭: Python (점수: 0.950, 거리: 0.3)<br>        퍼지 후보: Python(0.950)<br>        */<br>        <br>        // 성능 벤치마크<br>        System.out.println(&quot;\n성능 벤치마크:&quot;);<br>        System.out.println(&quot;=&quot;.repeat(50));<br>        <br>        BatchStatistics stats = corrector.processBatch(testCases);<br>        <br>        System.out.printf(&quot;처리된 항목 수: %d%n&quot;, stats.getTotalProcessed());<br>        System.out.printf(&quot;성공적 수정 수: %d%n&quot;, stats.getSuccessfulCorrections());<br>        System.out.printf(&quot;성공률: %.1f%%%n&quot;, stats.getSuccessRate());<br>        System.out.printf(&quot;평균 유사도: %.3f%n&quot;, stats.getAverageSimilarity());<br>        System.out.printf(&quot;총 처리 시간: %d ms%n&quot;, stats.getProcessingTimeMs());<br>        System.out.printf(&quot;평균 처리 시간: %.3f ms/건%n&quot;, stats.getAvgProcessingTimeMs());<br>        <br>        // 대용량 배치 처리 테스트<br>        System.out.println(&quot;\n대용량 배치 처리 테스트:&quot;);<br>        System.out.println(&quot;=&quot;.repeat(50));<br>        <br>        List&lt;String&gt; largeBatch = new ArrayList&lt;&gt;();<br>        for (int i = 0; i &lt; 1000; i++) {<br>            largeBatch.addAll(testCases);<br>        }<br>        <br>        BatchStatistics largeStats = corrector.processBatch(largeBatch);<br>        <br>        System.out.printf(&quot;대용량 처리 결과:%n&quot;);<br>        System.out.printf(&quot;  처리된 항목 수: %d%n&quot;, largeStats.getTotalProcessed());<br>        System.out.printf(&quot;  총 처리 시간: %d ms%n&quot;, largeStats.getProcessingTimeMs());<br>        System.out.printf(&quot;  평균 처리 시간: %.4f ms/건%n&quot;, largeStats.getAvgProcessingTimeMs());<br>        System.out.printf(&quot;  처리량: %.0f 건/초%n&quot;, <br>            largeStats.getTotalProcessed() * 1000.0 / largeStats.getProcessingTimeMs());<br>        <br>        // 스트림 API를 활용한 고급 분석<br>        System.out.println(&quot;\n고급 분석 (Stream API 활용):&quot;);<br>        System.out.println(&quot;=&quot;.repeat(50));<br>        <br>        Map&lt;String, Double&gt; ocrAccuracyMap = testCases.stream()<br>            .collect(Collectors.toMap(<br>                text -&gt; text,<br>                text -&gt; corrector.correctOCR(text).getBestMatch().getScore()<br>            ));<br>        <br>        System.out.println(&quot;OCR 정확도 매핑:&quot;);<br>        ocrAccuracyMap.entrySet().stream()<br>            .sorted(Map.Entry.&lt;String, Double&gt;comparingByValue().reversed())<br>            .forEach(entry -&gt; System.out.printf(&quot;  %s -&gt; %.3f%n&quot;, entry.getKey(), entry.getValue()));<br>        <br>        // 오류 유형별 분석<br>        Map&lt;Integer, List&lt;String&gt;&gt; errorsByDistance = testCases.stream()<br>            .collect(Collectors.groupingBy(<br>                text -&gt; (int) corrector.correctOCR(text).getBestMatch().getDistance()<br>            ));<br>        <br>        System.out.println(&quot;\n오류 거리별 분포:&quot;);<br>        errorsByDistance.entrySet().stream()<br>            .sorted(Map.Entry.comparingByKey())<br>            .forEach(entry -&gt; System.out.printf(&quot;  거리 %d: %s%n&quot;, <br>                entry.getKey(), String.join(&quot;, &quot;, entry.getValue())));<br>    }<br>}</pre><h4>3.9 JavaScript로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>JavaScript에서는 다양한 라이브러리와 내장 함수를 활용하여 퍼지 매칭을 구현할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>class OCRErrorCorrector {<br>    constructor() {<br>        // OCR 문자 혼동 매핑<br>        this.charConfusionMap = new Map([<br>            [&#39;0&#39;, &#39;O&#39;], [&#39;1&#39;, &#39;I&#39;], [&#39;5&#39;, &#39;S&#39;],<br>            [&#39;I&#39;, &#39;l&#39;], [&#39;8&#39;, &#39;B&#39;], [&#39;6&#39;, &#39;G&#39;]<br>        ]);<br>        <br>        // 사전 데이터<br>        this.dictionary = [<br>            &quot;LOVE&quot;, &quot;SKorea&quot;, &quot;Hello&quot;, &quot;Microsoft&quot;, &quot;DataBase&quot;,<br>            &quot;Python&quot;, &quot;Programming&quot;, &quot;Computer&quot;, &quot;Science&quot;, &quot;Technology&quot;<br>        ];<br>        <br>        // OCR 혼동 문자에 대한 치환 비용<br>        this.ocrConfusions = new Map([<br>            [&#39;0O&#39;, 0.2], [&#39;O0&#39;, 0.2],<br>            [&#39;1I&#39;, 0.2], [&#39;I1&#39;, 0.2],<br>            [&#39;5S&#39;, 0.2], [&#39;S5&#39;, 0.2],<br>            [&#39;8B&#39;, 0.3], [&#39;B8&#39;, 0.3],<br>            [&#39;6G&#39;, 0.3], [&#39;G6&#39;, 0.3]<br>        ]);<br>    }<br>    <br>    // 간단한 문자 치환<br>    simpleReplacement(text) {<br>        let result = text;<br>        for (const [wrong, correct] of this.charConfusionMap) {<br>            result = result.replaceAll(wrong, correct);<br>        }<br>        return result;<br>    }<br>    <br>    // 가중치 기반 레벤슈타인 거리 계산<br>    weightedLevenshteinDistance(s1, s2) {<br>        const len1 = s1.length;<br>        const len2 = s2.length;<br>        <br>        // 치환 비용 계산 함수<br>        const substituteCost = (c1, c2) =&gt; {<br>            if (c1 === c2) return 0;<br>            const key = c1 + c2;<br>            return this.ocrConfusions.get(key) || 1.0;<br>        };<br>        <br>        // DP 테이블 초기화<br>        const dp = Array(len1 + 1).fill().map(() =&gt; Array(len2 + 1).fill(0));<br>        <br>        // 초기화<br>        for (let i = 0; i &lt;= len1; i++) {<br>            dp[i][0] = i * 1.0;<br>        }<br>        for (let j = 0; j &lt;= len2; j++) {<br>            dp[0][j] = j * 1.0;<br>        }<br>        <br>        // 동적 프로그래밍<br>        for (let i = 1; i &lt;= len1; i++) {<br>            for (let j = 1; j &lt;= len2; j++) {<br>                const subCost = substituteCost(s1[i-1], s2[j-1]);<br>                dp[i][j] = Math.min(<br>                    dp[i-1][j] + 1.0,      // 삭제<br>                    dp[i][j-1] + 1.0,      // 삽입<br>                    dp[i-1][j-1] + subCost // 치환<br>                );<br>            }<br>        }<br>        <br>        return dp[len1][len2];<br>    }<br>    <br>    // 유사도 계산<br>    calculateSimilarity(s1, s2) {<br>        const distance = this.weightedLevenshteinDistance(s1, s2);<br>        const maxLen = Math.max(s1.length, s2.length);<br>        if (maxLen === 0) return 1.0;<br>        return 1.0 - (distance / maxLen);<br>    }<br>    <br>    // 최적 매칭 찾기<br>    findBestMatch(ocrText, threshold = 0.7) {<br>        const upperOcr = ocrText.toUpperCase();<br>        let bestMatch = { word: &quot;&quot;, score: 0.0, distance: 0.0 };<br>        <br>        for (const word of this.dictionary) {<br>            const upperWord = word.toUpperCase();<br>            const similarity = this.calculateSimilarity(upperOcr, upperWord);<br>            <br>            if (similarity &gt; bestMatch.score &amp;&amp; similarity &gt;= threshold) {<br>                bestMatch = {<br>                    word: word,<br>                    score: similarity,<br>                    distance: this.weightedLevenshteinDistance(upperOcr, upperWord)<br>                };<br>            }<br>        }<br>        <br>        return bestMatch;<br>    }<br>    <br>    // 퍼지 매칭 후보들<br>    fuzzyCandidates(ocrText, maxDistance = 3) {<br>        const upperOcr = ocrText.toUpperCase();<br>        const candidates = [];<br>        <br>        for (const word of this.dictionary) {<br>            const upperWord = word.toUpperCase();<br>            const distance = this.weightedLevenshteinDistance(upperOcr, upperWord);<br>            <br>            if (distance &lt;= maxDistance) {<br>                candidates.push({<br>                    word: word,<br>                    score: this.calculateSimilarity(upperOcr, upperWord),<br>                    distance: distance<br>                });<br>            }<br>        }<br>        <br>        // 유사도 기준으로 정렬<br>        return candidates.sort((a, b) =&gt; b.score - a.score);<br>    }<br>    <br>    // 퍼지 검색 (순서 기반)<br>    fuzzySearch(text, query) {<br>        const textLower = text.toLowerCase();<br>        const queryLower = query.toLowerCase();<br>        <br>        let i = 0; // 쿼리 문자 인덱스<br>        let lastSearched = -1;<br>        <br>        while (i &lt; queryLower.length) {<br>            const currentChar = queryLower[i];<br>            const foundIndex = textLower.indexOf(currentChar, lastSearched + 1);<br>            <br>            if (foundIndex === -1) {<br>                return false; // 문자를 찾을 수 없음<br>            }<br>            <br>            lastSearched = foundIndex;<br>            i++;<br>        }<br>        <br>        return true; // 모든 문자를 순서대로 찾음<br>    }<br>    <br>    // 종합적인 OCR 오류 수정<br>    correctOCR(ocrText) {<br>        // 간단한 치환<br>        const simpleCorrected = this.simpleReplacement(ocrText);<br>        <br>        // 최적 매칭<br>        const bestMatch = this.findBestMatch(simpleCorrected);<br>        <br>        // 퍼지 매칭 후보<br>        const fuzzyMatches = this.fuzzyCandidates(ocrText);<br>        <br>        // 퍼지 검색 기반 추가 후보<br>        const fuzzySearchCandidates = this.dictionary.filter(word =&gt; <br>            this.fuzzySearch(word, ocrText)<br>        );<br>        <br>        return {<br>            original: ocrText,<br>            simpleReplacement: simpleCorrected,<br>            bestMatch: bestMatch,<br>            fuzzyCandidates: fuzzyMatches,<br>            fuzzySearchCandidates: fuzzySearchCandidates<br>        };<br>    }<br>    <br>    // 배치 처리<br>    processBatch(batch) {<br>        const startTime = performance.now();<br>        <br>        const results = batch.map(text =&gt; this.correctOCR(text));<br>        <br>        const endTime = performance.now();<br>        <br>        const successfulMatches = results<br>            .map(result =&gt; result.bestMatch)<br>            .filter(match =&gt; match.word !== &quot;&quot;);<br>        <br>        const averageSimilarity = successfulMatches.length &gt; 0<br>            ? successfulMatches.reduce((sum, match) =&gt; sum + match.score, 0) / successfulMatches.length<br>            : 0;<br>        <br>        return {<br>            totalProcessed: batch.length,<br>            successfulCorrections: successfulMatches.length,<br>            averageSimilarity: averageSimilarity,<br>            processingTimeMs: endTime - startTime,<br>            successRate: (successfulMatches.length / batch.length) * 100,<br>            avgProcessingTimeMs: (endTime - startTime) / batch.length<br>        };<br>    }<br>    <br>    // 고급 분석: n-gram 기반 유사도<br>    ngramSimilarity(s1, s2, n = 2) {<br>        const ngrams1 = this.generateNgrams(s1.toLowerCase(), n);<br>        const ngrams2 = this.generateNgrams(s2.toLowerCase(), n);<br>        <br>        const set1 = new Set(ngrams1);<br>        const set2 = new Set(ngrams2);<br>        <br>        const intersection = new Set([...set1].filter(x =&gt; set2.has(x)));<br>        const union = new Set([...set1, ...set2]);<br>        <br>        return union.size &gt; 0 ? intersection.size / union.size : 0;<br>    }<br>    <br>    // n-gram 생성<br>    generateNgrams(text, n) {<br>        const ngrams = [];<br>        for (let i = 0; i &lt;= text.length - n; i++) {<br>            ngrams.push(text.substring(i, i + n));<br>        }<br>        return ngrams;<br>    }<br>    <br>    // 음성학적 유사도 (간단한 Soundex 구현)<br>    soundex(word) {<br>        if (!word) return &#39;&#39;;<br>        <br>        word = word.toUpperCase();<br>        let soundexCode = word[0];<br>        <br>        const soundexMap = {<br>            &#39;B&#39;: &#39;1&#39;, &#39;F&#39;: &#39;1&#39;, &#39;P&#39;: &#39;1&#39;, &#39;V&#39;: &#39;1&#39;,<br>            &#39;C&#39;: &#39;2&#39;, &#39;G&#39;: &#39;2&#39;, &#39;J&#39;: &#39;2&#39;, &#39;K&#39;: &#39;2&#39;, &#39;Q&#39;: &#39;2&#39;, &#39;S&#39;: &#39;2&#39;, &#39;X&#39;: &#39;2&#39;, &#39;Z&#39;: &#39;2&#39;,<br>            &#39;D&#39;: &#39;3&#39;, &#39;T&#39;: &#39;3&#39;,<br>            &#39;L&#39;: &#39;4&#39;,<br>            &#39;M&#39;: &#39;5&#39;, &#39;N&#39;: &#39;5&#39;,<br>            &#39;R&#39;: &#39;6&#39;<br>        };<br>        <br>        for (let i = 1; i &lt; word.length; i++) {<br>            const code = soundexMap[word[i]];<br>            if (code &amp;&amp; code !== soundexCode[soundexCode.length - 1]) {<br>                soundexCode += code;<br>            }<br>        }<br>        <br>        // 4자리로 맞춤<br>        soundexCode = soundexCode.padEnd(4, &#39;0&#39;).substring(0, 4);<br>        return soundexCode;<br>    }<br>}<br><br>// 사용 예제<br>const corrector = new OCRErrorCorrector();<br><br>// 테스트 데이터<br>const testCases = [&quot;I0VE&quot;, &quot;5Korea&quot;, &quot;He11o&quot;, &quot;Micr0soft&quot;, &quot;DataBa5e&quot;, &quot;Pyth0n&quot;];<br><br>console.log(&quot;OCR 오류 수정 결과 (JavaScript):&quot;);<br>console.log(&quot;=&quot;.repeat(80));<br><br>for (const ocrText of testCases) {<br>    const result = corrector.correctOCR(ocrText);<br>    <br>    console.log(`원본 OCR: ${result.original}`);<br>    console.log(`간단 치환: ${result.simpleReplacement}`);<br>    console.log(`최적 매칭: ${result.bestMatch.word} (점수: ${result.bestMatch.score.toFixed(3)}, 거리: ${result.bestMatch.distance.toFixed(1)})`);<br>    <br>    const fuzzyStr = result.fuzzyCandidates<br>        .slice(0, 3)<br>        .map(candidate =&gt; `${candidate.word}(${candidate.score.toFixed(3)})`)<br>        .join(&quot;, &quot;);<br>    console.log(`퍼지 후보: ${fuzzyStr}`);<br>    <br>    const fuzzySearchStr = result.fuzzySearchCandidates.join(&quot;, &quot;);<br>    console.log(`퍼지 검색: ${fuzzySearchStr}`);<br>    console.log(&quot;-&quot;.repeat(80));<br>}<br><br>/*<br>실행 결과(예시):<br><br>OCR 오류 수정 결과 (JavaScript):<br>================================================================================<br>원본 OCR: I0VE<br>간단 치환: lOVE<br>최적 매칭: LOVE (점수: 0.900, 거리: 0.4)<br>퍼지 후보: LOVE(0.900)<br>퍼지 검색: LOVE<br>--------------------------------------------------------------------------------<br>원본 OCR: 5Korea<br>간단 치환: SKorea<br>최적 매칭: SKorea (점수: 1.000, 거리: 0.0)<br>퍼지 후보: SKorea(1.000)<br>퍼지 검색: SKorea<br>--------------------------------------------------------------------------------<br>원본 OCR: He11o<br>간단 치환: Hello<br>최적 매칭: Hello (점수: 1.000, 거리: 0.0)<br>퍼지 후보: Hello(1.000)<br>퍼지 검색: Hello<br>--------------------------------------------------------------------------------<br>원본 OCR: Micr0soft<br>간단 치환: MicrOsoft<br>최적 매칭: Microsoft (점수: 0.978, 거리: 0.2)<br>퍼지 후보: Microsoft(0.978)<br>퍼지 검색: Microsoft<br>--------------------------------------------------------------------------------<br>원본 OCR: DataBa5e<br>간단 치환: DataBaSe<br>최적 매칭: DataBase (점수: 0.950, 거리: 0.4)<br>퍼지 후보: DataBase(0.950)<br>퍼지 검색: DataBase<br>--------------------------------------------------------------------------------<br>원본 OCR: Pyth0n<br>간단 치환: PythOn<br>최적 매칭: Python (점수: 0.950, 거리: 0.3)<br>퍼지 후보: Python(0.950)<br>퍼지 검색: Python<br>*/<br><br>// 성능 벤치마크<br>console.log(&quot;\n성능 벤치마크:&quot;);<br>console.log(&quot;=&quot;.repeat(50));<br><br>const stats = corrector.processBatch(testCases);<br><br>console.log(`처리된 항목 수: ${stats.totalProcessed}`);<br>console.log(`성공적 수정 수: ${stats.successfulCorrections}`);<br>console.log(`성공률: ${stats.successRate.toFixed(1)}%`);<br>console.log(`평균 유사도: ${stats.averageSimilarity.toFixed(3)}`);<br>console.log(`총 처리 시간: ${stats.processingTimeMs.toFixed(2)} ms`);<br>console.log(`평균 처리 시간: ${stats.avgProcessingTimeMs.toFixed(3)} ms/건`);<br><br>// 고급 분석<br>console.log(&quot;\n고급 분석:&quot;);<br>console.log(&quot;=&quot;.repeat(50));<br><br>// n-gram 기반 유사도 분석<br>console.log(&quot;n-gram 기반 유사도:&quot;);<br>for (const ocrText of testCases) {<br>    const result = corrector.correctOCR(ocrText);<br>    if (result.bestMatch.word) {<br>        const ngramSim = corrector.ngramSimilarity(ocrText, result.bestMatch.word);<br>        console.log(`  ${ocrText} -&gt; ${result.bestMatch.word}: ${ngramSim.toFixed(3)}`);<br>    }<br>}<br><br>// Soundex 기반 음성학적 매칭<br>console.log(&quot;\nSoundex 기반 음성학적 매칭:&quot;);<br>for (const ocrText of testCases) {<br>    const result = corrector.correctOCR(ocrText);<br>    if (result.bestMatch.word) {<br>        const soundex1 = corrector.soundex(ocrText);<br>        const soundex2 = corrector.soundex(result.bestMatch.word);<br>        const match = soundex1 === soundex2 ? &quot;일치&quot; : &quot;불일치&quot;;<br>        console.log(`  ${ocrText}(${soundex1}) -&gt; ${result.bestMatch.word}(${soundex2}): ${match}`);<br>    }<br>}<br><br>// 웹 환경에서의 실시간 OCR 수정 시뮬레이션<br>function simulateRealTimeOCR() {<br>    console.log(&quot;\n실시간 OCR 수정 시뮬레이션:&quot;);<br>    console.log(&quot;=&quot;.repeat(50));<br>    <br>    // 실시간 입력 시뮬레이션<br>    const realTimeInputs = [&quot;I&quot;, &quot;I0&quot;, &quot;I0V&quot;, &quot;I0VE&quot;];<br>    <br>    for (const input of realTimeInputs) {<br>        const result = corrector.correctOCR(input);<br>        const suggestion = result.bestMatch.word || &quot;제안 없음&quot;;<br>        console.log(`입력: &quot;${input}&quot; -&gt; 제안: &quot;${suggestion}&quot;`);<br>    }<br>    <br>    // 자동완성 기능 시뮬레이션<br>    console.log(&quot;\n자동완성 기능:&quot;);<br>    const partialInputs = [&quot;Mic&quot;, &quot;Data&quot;, &quot;Prog&quot;];<br>    <br>    for (const partial of partialInputs) {<br>        const matches = corrector.dictionary.filter(word =&gt; <br>            word.toLowerCase().startsWith(partial.toLowerCase())<br>        );<br>        console.log(`&quot;${partial}&quot; 자동완성: ${matches.join(&quot;, &quot;)}`);<br>    }<br>}<br><br>simulateRealTimeOCR();<br><br>// 대용량 처리 테스트<br>console.log(&quot;\n대용량 배치 처리 테스트:&quot;);<br>console.log(&quot;=&quot;.repeat(50));<br><br>const largeBatch = [];<br>for (let i = 0; i &lt; 1000; i++) {<br>    largeBatch.push(...testCases);<br>}<br><br>const largeStats = corrector.processBatch(largeBatch);<br><br>console.log(&quot;대용량 처리 결과:&quot;);<br>console.log(`  처리된 항목 수: ${largeStats.totalProcessed}`);<br>console.log(`  총 처리 시간: ${largeStats.processingTimeMs.toFixed(2)} ms`);<br>console.log(`  평균 처리 시간: ${largeStats.avgProcessingTimeMs.toFixed(4)} ms/건`);<br>console.log(`  처리량: ${(largeStats.totalProcessed * 1000 / largeStats.processingTimeMs).toFixed(0)} 건/초`);<br><br>// 브라우저 환경에서의 추가 기능<br>if (typeof document !== &#39;undefined&#39;) {<br>    // DOM 조작을 통한 실시간 OCR 수정 UI<br>    function createOCRCorrectionUI() {<br>        const container = document.createElement(&#39;div&#39;);<br>        container.innerHTML = `<br>            &lt;h3&gt;실시간 OCR 오류 수정&lt;/h3&gt;<br>            &lt;input type=&quot;text&quot; id=&quot;ocrInput&quot; placeholder=&quot;OCR 결과를 입력하세요...&quot;&gt;<br>            &lt;div id=&quot;suggestions&quot;&gt;&lt;/div&gt;<br>            &lt;div id=&quot;results&quot;&gt;&lt;/div&gt;<br>        `;<br>        <br>        const input = container.querySelector(&#39;#ocrInput&#39;);<br>        const suggestionsDiv = container.querySelector(&#39;#suggestions&#39;);<br>        const resultsDiv = container.querySelector(&#39;#results&#39;);<br>        <br>        input.addEventListener(&#39;input&#39;, (e) =&gt; {<br>            const value = e.target.value;<br>            if (value.length &gt; 0) {<br>                const result = corrector.correctOCR(value);<br>                <br>                // 제안 표시<br>                suggestionsDiv.innerHTML = result.bestMatch.word <br>                    ? `제안: &lt;strong&gt;${result.bestMatch.word}&lt;/strong&gt; (유사도: ${result.bestMatch.score.toFixed(3)})`<br>                    : &#39;제안 없음&#39;;<br>                <br>                // 상세 결과 표시<br>                resultsDiv.innerHTML = `<br>                    &lt;p&gt;원본: ${result.original}&lt;/p&gt;<br>                    &lt;p&gt;간단 치환: ${result.simpleReplacement}&lt;/p&gt;<br>                    &lt;p&gt;퍼지 후보: ${result.fuzzyCandidates.map(c =&gt; c.word).slice(0, 3).join(&#39;, &#39;)}&lt;/p&gt;<br>                `;<br>            } else {<br>                suggestionsDiv.innerHTML = &#39;&#39;;<br>                resultsDiv.innerHTML = &#39;&#39;;<br>            }<br>        });<br>        <br>        return container;<br>    }<br>    <br>    // UI 컴포넌트 추가 (실제 브라우저 환경에서만 동작)<br>    console.log(&quot;브라우저 환경에서 createOCRCorrectionUI() 함수를 호출하여 UI를 생성할 수 있다.&quot;);<br>}</pre><h3>4. 문제 해결의 중요성</h3><p>OCR 오류 수정 시스템의 구축은 단순히 텍스트 정확도를 높이는 것을 넘어서 다양한 분야에서 핵심적인 가치를 제공한다. 특히 디지털 전환이 가속화되는 현재 상황에서 이러한 기술의 중요성은 더욱 부각되고 있다.</p><p><strong>(1) 비즈니스 운영의 효율성 측면에서 OCR 오류 수정은 매우 중요하다.</strong><br>많은 기업들이 종이 문서를 디지털화하는 과정에서 OCR 기술을 활용하고 있는데, 이때 발생하는 오류들이 제대로 수정되지 않으면 후속 업무 프로세스에 심각한 지장을 초래할 수 있다. 예를 들어, 고객 정보나 계약서에서 “5Korea”가 제대로 “SKorea”로 수정되지 않는다면, 데이터베이스 검색이나 고객 서비스에서 해당 정보를 찾을 수 없게 된다. 이는 고객 만족도 저하와 운영 비용 증가로 직결된다.</p><p><strong>(2) 법무 및 컴플라이언스 영역에서의 정확성 확보가 필수적이다.</strong><br>법률 문서나 규제 관련 서류에서 발생하는 OCR 오류는 법적 분쟁이나 규제 위반으로 이어질 수 있다. “I0VE”와 같은 단순해 보이는 오류도 계약서의 핵심 조항에서 발생한다면 심각한 법적 문제를 야기할 수 있다. 따라서 법무팀과 컴플라이언스 담당자들은 OCR 후처리 검증 시스템을 통해 문서의 정확성을 보장해야 한다.</p><p><strong>(3) 의료 분야에서의 환자 안전 확보다.</strong><br>의료진이 환자 기록이나 처방전을 디지털화할 때 OCR 오류가 발생하면 생명에 직결되는 위험한 상황이 발생할 수 있다. 약품명이나 용량에서 숫자와 문자가 혼동되는 경우, 잘못된 처방으로 인한 의료사고가 발생할 수 있다. 이러한 이유로 의료 분야에서는 OCR 오류 수정 시스템의 정확도가 특히 중요하며, 다중 검증 시스템을 통해 안전성을 확보해야 한다.</p><p><strong>(4) 금융 서비스에서의 정확성과 보안 강화다.</strong><br>금융 기관들은 대량의 서류를 처리하면서 OCR 기술을 광범위하게 활용하고 있다. 계좌번호, 금액, 거래 내역 등에서 발생하는 OCR 오류는 금융사고로 직결될 수 있으며, 이는 고객의 재산 손실과 기관의 신뢰도 하락을 초래한다. 따라서 금융 분야에서는 실시간 OCR 오류 검증 시스템을 통해 거래의 정확성을 보장하고 있다.</p><p><strong>(5) 연구 및 학술 분야에서의 데이터 품질 보장이다.</strong><br>연구자들이 과거 문헌이나 역사적 문서를 디지털화하는 과정에서 OCR 오류가 발생하면, 연구 결과의 신뢰성에 영향을 미칠 수 있다. 특히 인문학이나 사회과학 연구에서는 텍스트의 정확성이 연구의 핵심이므로, 체계적인 OCR 오류 수정 프로세스가 필요하다.</p><p><strong>(6) 정부 및 공공 서비스의 디지털화 지원이다.</strong><br>정부 기관들이 종이 기반의 행정 업무를 디지털화하는 과정에서 OCR 기술을 활용하고 있는데, 이때 발생하는 오류들이 시민 서비스의 질에 직접적인 영향을 미친다. 주민등록번호, 주소, 이름 등의 개인정보에서 OCR 오류가 발생하면 행정 서비스 제공에 차질이 생기고, 시민들의 불편을 초래할 수 있다.</p><p><strong>(7) 검색 및 정보 검색 시스템의 성능 향상이다.</strong><br>디지털 도서관이나 문서 관리 시스템에서 OCR 오류가 수정되지 않으면, 사용자들이 필요한 정보를 찾을 수 없게 된다. 퍼지 매칭 기술을 통해 이러한 문제를 해결할 수 있지만, 근본적으로는 OCR 단계에서부터 정확도를 높이는 것이 중요하다.</p><p><strong>(8) 자동화 및 AI 시스템의 입력 데이터 품질 확보다.</strong><br>현대의 많은 AI 시스템들이 텍스트 데이터를 입력으로 받아 분석이나 처리를 수행하는데, OCR 오류가 포함된 데이터가 입력되면 AI 시스템의 성능이 크게 저하될 수 있다. 따라서 AI 시스템의 전처리 단계에서 OCR 오류 수정은 필수적인 과정이 되었다.</p><p><strong>(9) 경제적 효과 측면에서 보면 OCR 오류 수정 시스템은 장기적으로 상당한 비용 절감 효과를 가져온다.</strong><br>수동으로 문서를 재입력하거나 오류를 수정하는 비용과 시간을 크게 줄일 수 있으며, 오류로 인한 업무 중단이나 고객 불만족 등의 간접적인 손실도 예방할 수 있다. 연구에 따르면 체계적인 OCR 오류 수정 시스템을 도입한 조직들은 문서 처리 비용을 30–50% 절감하는 효과를 얻고 있다.</p><h3>5. 한계점</h3><p>OCR 오류 수정 기술이 상당한 발전을 이루었음에도 불구하고, 여전히 해결해야 할 다양한 한계점들이 존재한다. 이러한 한계점들을 이해하고 인식하는 것은 실제 시스템 구축과 운영에서 현실적인 기대치를 설정하고 적절한 대안을 마련하는 데 중요하다.</p><p><strong>(1) 맥락 정보 활용의 한계</strong><br>현재의 OCR 오류 수정 기술은 주로 단어 수준에서의 매칭에 의존하고 있어, 문장이나 문단 수준의 맥락을 충분히 활용하지 못한다. 예를 들어, “I0VE”가 “LOVE”인지 “IOVE”인지를 판단할 때, 단순히 문자 유사도만으로는 정확한 판단이 어렵다. 주변 문맥을 고려한다면 “I 0VE you”라는 문장에서는 “LOVE”가 더 적절하다는 것을 알 수 있지만, 현재의 시스템들은 이러한 맥락적 판단을 제대로 수행하지 못한다.</p><p><strong>(2) 도메인 특화 용어에 대한 처리 한계</strong><br>의료, 법률, 기술 분야 등에서 사용되는 전문 용어들은 일반적인 사전에 포함되지 않는 경우가 많아, OCR 오류 수정 시스템이 이를 제대로 인식하지 못한다. 예를 들어, 의학용어나 화학물질명 등에서 발생하는 OCR 오류는 일반적인 퍼지 매칭으로는 수정이 어렵다. 이를 해결하기 위해서는 도메인별로 특화된 사전과 규칙을 구축해야 하지만, 이는 상당한 시간과 비용을 요구한다.</p><p><strong>(3) 다국어 및 혼합 언어 처리의 복잡성</strong><br>하나의 문서에 여러 언어가 혼재되어 있거나, 한국어와 영어가 섞여 있는 경우 OCR 오류 수정이 더욱 복잡해진다. “5Korea”와 같이 숫자와 영어가 조합된 경우, 각 언어별 특성을 고려한 별도의 처리 로직이 필요하지만, 현재의 시스템들은 이를 통합적으로 처리하는 데 한계가 있다.</p><p><strong>(4) 실시간 처리 성능의 제약</strong><br>대용량의 문서를 실시간으로 처리해야 하는 환경에서는 복잡한 OCR 오류 수정 알고리즘을 적용하기 어렵다. 정확도와 처리 속도 사이의 트레이드오프(trade-off)가 존재하며, 실제 운영 환경에서는 완벽한 정확도보다는 실용적인 수준의 정확도와 빠른 처리 속도를 선택해야 하는 경우가 많다.</p><p><strong>(5) 훈련 데이터의 편향성과 부족</strong><br>기계학습 기반의 OCR 오류 수정 시스템은 훈련 데이터의 품질과 다양성에 크게 의존한다. 그러나 특정 도메인이나 문서 유형에 편향된 훈련 데이터를 사용할 경우, 다른 유형의 문서에서는 성능이 크게 떨어질 수 있다. 또한, 충분한 양의 고품질 훈련 데이터를 확보하는 것 자체가 어려운 과제다.</p><p><strong>(6) 문자 분할 오류에 대한 근본적 한계</strong><br>OCR 시스템에서 발생하는 문자 분할 오류(character segmentation error)는 후처리 단계에서 수정하기 매우 어렵다. 예를 들어, “rn”이 “m”으로 인식되거나, “cl”이 “d”로 인식되는 경우, 단순한 문자 치환으로는 해결할 수 없고 더 복잡한 문맥 분석이 필요하다.</p><p><strong>(7) 개인정보 보호 및 보안 이슈</strong><br>OCR 오류 수정 과정에서 민감한 개인정보나 기업 기밀이 포함된 텍스트를 외부 서비스나 클라우드 기반 시스템으로 전송해야 하는 경우, 보안과 개인정보 보호 측면에서 문제가 발생할 수 있다. 특히 의료나 금융 분야에서는 엄격한 규제로 인해 클라우드 기반의 OCR 오류 수정 서비스를 사용하기 어려운 경우가 많다.</p><p><strong>(8) 지속적인 모델 업데이트의 필요성</strong><br>언어는 계속 변화하고 새로운 용어들이 지속적으로 등장하기 때문에, OCR 오류 수정 시스템도 주기적으로 업데이트되어야 한다. 그러나 이러한 업데이트 과정은 상당한 비용과 시간을 요구하며, 실시간으로 변화하는 언어 환경을 모두 반영하기는 어렵다.</p><p><strong>(9) 사용자 인터페이스와 사용성의 한계</strong><br>아무리 정확한 OCR 오류 수정 시스템이라도 사용자가 쉽게 사용할 수 없다면 실용성이 떨어진다. 특히 비전문가들도 쉽게 사용할 수 있는 직관적인 인터페이스를 제공하면서도 전문가들이 필요로 하는 고급 기능을 함께 제공하는 것은 어려운 과제다.</p><p><strong>(10) 평가 기준의 모호성</strong><br>OCR 오류 수정의 성능을 평가하는 명확하고 일관된 기준이 부족하다. 단순히 문자 수준의 정확도만으로는 실제 사용자의 만족도나 업무 효율성을 측정하기 어렵고, 도메인별로 중요한 오류 유형이 다르기 때문에 통합적인 평가 기준을 마련하기 어렵다.</p><p><strong>(11) 비용 대비 효과의 불확실성</strong><br>고도화된 OCR 오류 수정 시스템을 구축하고 운영하는 비용이 상당함에도 불구하고, 이에 대한 정확한 투자 수익률(ROI)을 측정하기 어려운 경우가 많다. 특히 오류 수정으로 인한 간접적인 이익(고객 만족도 향상, 업무 효율성 증대 등)을 정량적으로 측정하기 어려워 투자 결정에 어려움을 겪는 조직들이 많다.</p><h3>6. 결론</h3><p>OCR 오류 수정을 위한 텍스트 정규화 기법은 현대 디지털 사회에서 점점 더 중요한 역할을 하고 있다. “I0VE”가 “LOVE”로, “5Korea”가 “SKorea”로 정확히 인식되도록 하는 것은 단순한 기술적 과제를 넘어서 비즈니스 연속성, 사용자 경험, 그리고 시스템 신뢰성을 확보하는 핵심적인 요소가 되었다.</p><p>본 글에서 살펴본 바와 같이, OCR 오류의 근본 원인은 기술적 한계, 데이터 품질 문제, 그리고 알고리즘적 제약이 복합적으로 작용한 결과다. 특히 시각적으로 유사한 문자들 간의 혼동, 이미지 전처리 과정에서의 정보 손실, 그리고 맥락 정보 활용의 부족이 주요한 원인으로 확인되었다. 이러한 문제들을 해결하기 위해서는 단일한 접근법보다는 다양한 기법들을 조합한 통합적인 해결책이 필요하다.</p><p>앞서 소개한 다양한 구현 방법들을 통해 얻은 주요 인사이트는 다음과 같다.</p><ul><li>단순한 문자 치환 방법만으로도 상당한 개선 효과를 얻을 수 있지만, 가중치 기반 레벤슈타인 거리나 자로-윙클러 유사도 같은 고급 알고리즘을 적용할 때 더욱 정확한 결과를 얻을 수 있다.</li><li>사전 기반 검증과 퍼지 매칭을 조합할 때 단일 방법보다 훨씬 우수한 성능을 보인다.</li><li>도메인별 특성을 반영한 맞춤형 오류 패턴과 치환 비용을 적용하면 일반적인 방법보다 현저히 높은 정확도를 달성할 수 있다.</li></ul><p>그러나 이러한 기술적 발전에도 불구하고 여전히 해결해야 할 한계점들이 존재한다. 맥락 정보 활용의 부족, 도메인 특화 용어 처리의 어려움, 다국어 혼합 환경에서의 복잡성, 실시간 처리 성능의 제약 등은 지속적인 연구와 개발이 필요한 영역이다. 특히 기계학습과 딥러닝 기술의 발전에 따라 더욱 정교한 맥락 기반 오류 수정 시스템의 개발이 기대된다.</p><p>향후 OCR 오류 수정 기술의 발전 방향을 전망해보면,</p><ul><li>대규모 언어 모델(Large Language Model)과의 통합을 통한 맥락 기반 오류 수정이 주목받을 것으로 예상된다. GPT나 BERT와 같은 모델들을 활용하면 단어 수준을 넘어 문장과 문단 수준에서의 의미론적 맥락을 고려한 오류 수정이 가능해질 것이다.</li><li>실시간 적응형 학습(adaptive learning) 시스템의 도입을 통해 사용자의 피드백을 실시간으로 반영하여 지속적으로 성능을 개선하는 시스템이 개발될 것이다.</li><li>멀티모달(multimodal) 접근법을 통해 텍스트뿐만 아니라 이미지의 시각적 정보도 함께 활용하는 통합적인 오류 수정 시스템이 등장할 것으로 보인다. 이를 통해 문자의 시각적 특성과 언어적 맥락을 동시에 고려한 더욱 정확한 오류 수정이 가능해질 것이다. 넷째로 연합학습(federated learning) 기술을 활용하여 개인정보 보호 문제를 해결하면서도 대규모 분산 학습을 통한 성능 향상이 기대된다.</li><li>OCR 오류 수정 기술은 단순히 문자 인식 정확도를 높이는 도구를 넘어서 디지털 트랜스포메이션의 핵심 인프라로서 자리잡고 있다. 인공지능, 빅데이터, 클라우드 컴퓨팅 등의 기술과 융합되면서 더욱 지능적이고 효율적인 문서 처리 시스템으로 발전할 것이다. 이러한 발전은 궁극적으로 인간의 업무 효율성을 높이고, 정보 접근성을 개선하며, 디지털 격차를 해소하는 데 기여할 것으로 기대된다.</li></ul><p>데이터 과학자, 데이터 분석가, 개발자들에게는 이러한 기술적 발전에 발맞춰 지속적인 학습과 역량 개발이 필요하다. 단순한 구현 능력을 넘어서 도메인 지식, 사용자 경험, 비즈니스 요구사항을 종합적으로 고려할 수 있는 능력이 더욱 중요해질 것이다. 또한 다양한 프로그래밍 언어와 도구들의 특성을 이해하고, 상황에 맞는 최적의 선택을 할 수 있는 판단력도 핵심 역량으로 대두될 것이다.</p><p>OCR 오류 수정 기술의 미래는 단순히 기술적 정확도의 향상을 넘어서 사용자 중심의 지능적인 시스템으로 진화하고 있다. 이러한 변화의 중심에서 우리는 기술과 인간이 조화롭게 협력하는 새로운 패러다임의 실현을 기대할 수 있다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a4e859ffd078" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[텍스트 정규화 #37 — 퍼스널라이즈 오버슛]]></title>
            <link>https://medium.com/@praster1/%ED%85%8D%EC%8A%A4%ED%8A%B8-%EC%A0%95%EA%B7%9C%ED%99%94-37-%ED%8D%BC%EC%8A%A4%EB%84%90%EB%9D%BC%EC%9D%B4%EC%A6%88-%EC%98%A4%EB%B2%84%EC%8A%9B-fceefc92bba0?source=rss-2267dcfdebd3------2</link>
            <guid isPermaLink="false">https://medium.com/p/fceefc92bba0</guid>
            <category><![CDATA[데이터보안]]></category>
            <category><![CDATA[pii필터링]]></category>
            <category><![CDATA[텍스트정규화]]></category>
            <category><![CDATA[개인정보보호]]></category>
            <category><![CDATA[프라이버시보호]]></category>
            <dc:creator><![CDATA[Jaeseong Yoo]]></dc:creator>
            <pubDate>Fri, 06 Jun 2025 18:00:58 GMT</pubDate>
            <atom:updated>2025-06-06T18:03:34.804Z</atom:updated>
            <content:encoded><![CDATA[<h3>텍스트 정규화 #37 — 퍼스널라이즈 오버슛</h3><h3>1. 문제 상황 소개</h3><p>현대의 AI 시스템과 웹 애플리케이션은 대량의 텍스트 데이터를 처리하면서 의도치 않게 개인정보를 수집, 저장, 활용하게 된다. 특히 “당신은 부산에 사시죠?”와 같은 추측성 발언을 통해 사용자의 개인정보를 무단으로 유추하거나, 대화 내용에서 이름, 전화번호, 주민등록번호, 이메일 주소 등의 민감한 정보가 그대로 노출되는 경우가 빈번히 발생한다.</p><p>이러한 문제는 단순히 기술적인 이슈를 넘어서 법적, 윤리적 책임 문제로 확산되고 있다. 개인정보보호법에 따르면 개인정보 처리자는 개인정보의 안전성 확보를 위해 적절한 기술적, 관리적 보호조치를 취해야 하며, 이를 위반할 경우 심각한 법적 제재를 받을 수 있다.</p><p>실제로 많은 기업들이 고객 상담 챗봇이나 데이터 분석 시스템에서 개인정보 유출 사고를 경험하고 있다. 게시판에 업로드되는 문서나 이미지에 포함된 개인정보가 검색엔진에 노출되거나, AI 모델의 학습 데이터에 개인정보가 포함되어 추후 다른 사용자에게 노출되는 사례가 지속적으로 보고되고 있다.</p><p>더욱 심각한 것은 중국의 AI 모델처럼 특정 정치적 견해나 민감한 주제에 대한 검열이 이루어지는 경우다. 이는 표현의 자유를 침해할 뿐만 아니라 AI 모델의 공정성과 신뢰성에도 심각한 문제를 야기한다. 따라서 개인정보 보호와 표현의 자유 사이의 균형을 맞추면서도 효과적인 텍스트 정규화 방법을 구현하는 것이 시급한 과제가 되었다.</p><h3>2. 문제가 발생한 근본 원인 분석</h3><p>PII 필터링 문제의 근본 원인은 크게 세 가지로 분석할 수 있다.</p><p><strong>(1) 텍스트 데이터의 다양성과 복잡성</strong><br>개인정보는 다양한 형태로 나타날 수 있으며, 단순한 패턴 매칭으로는 모든 경우를 포착하기 어렵다. 예를 들어 전화번호는 “010–1234–5678”, “010.1234.5678”, “01012345678”, “010 1234 5678” 등 다양한 형태로 표현될 수 있다.</p><p><strong>(2) 언어별 데이터 분포의 차이</strong><br>중국어 데이터의 경우 정치적 검열로 인해 특정 주제에 대한 정보가 제한적이며, 이로 인해 AI 모델이 학습하는 데이터 자체가 편향될 수 있다. 이는 모델의 응답 패턴에 직접적인 영향을 미치며, 언어별로 다른 수준의 검열이 적용되는 결과를 낳는다.</p><p><strong>(3) 기술적 구현의 한계</strong><br>많은 시스템이 단순한 정규표현식이나 키워드 기반 필터링에 의존하고 있어, 맥락을 고려한 정교한 PII 탐지가 어렵다. 또한 실시간 처리 성능과 정확도 사이의 트레이드오프로 인해 완벽한 PII 필터링 구현이 어려운 상황이다.</p><p><strong>(4) 인코딩과 문자 집합의 다양성</strong><br>동일한 문자가 서로 다른 유니코드 포인트로 표현될 수 있으며, 이로 인해 PII 탐지 알고리즘이 일관성 없는 결과를 산출할 수 있다. 예를 들어 한글의 경우 완성형과 조합형 인코딩의 차이로 인해 동일한 이름이 서로 다른 바이트 시퀀스로 저장될 수 있다.</p><p><strong>(5) 개인정보의 맥락적 의미를 파악하는 것의 어려움</strong><br>단순히 숫자나 문자의 패턴만으로는 해당 정보가 실제로 개인정보인지 판단하기 어려울 수 있다. 예를 들어 “123–456–7890”은 전화번호 형태이지만 실제로는 예시용 가짜 번호일 수 있으며, 반대로 일반적인 텍스트로 보이는 내용에도 암묵적으로 개인정보가 포함될 수 있다.</p><h3>3. 해결 방법</h3><h4>3.1 SQL로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>SQL에서 PII 필터링을 위한 텍스트 정규화는 주로 정규표현식 함수를 활용한다.</p><p>REGEXP_LIKE 함수는 문자열이 특정 정규표현식 패턴과 일치하는지 확인한다. 기본 문법은 REGEXP_LIKE(source_string, pattern, match_options)이다. REGEXP_REPLACE 함수는 정규표현식과 일치하는 부분을 다른 문자열로 치환한다. REGEXP_SUBSTR 함수는 정규표현식과 일치하는 부분 문자열을 추출한다.</p><p>개인정보 탐지를 위한 기본적인 정규표현식 패턴들은 다음과 같다. 전화번호 패턴은 ‘^[0–9]{2,3}-[0–9]{3,4}-[0–9]{4}$’로 표현할 수 있다. 이메일 패턴은 ‘^[a-zA-Z0–9._%+-]+@[a-zA-Z0–9.-]+.[a-zA-Z]{2,}$’로 정의된다. 주민등록번호 패턴은 ‘^[0–9]{6}-[0–9]{7}$’로 표현할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>-- 고객 후기 테이블 생성<br>CREATE TABLE customer_reviews (<br>    id INT PRIMARY KEY,<br>    customer_name VARCHAR(100),<br>    review_content TEXT,<br>    created_date DATE<br>);<br><br>-- 샘플 데이터 삽입<br>INSERT INTO customer_reviews VALUES <br>(1, &#39;김영희&#39;, &#39;정말 좋은 서비스였습니다. 문의사항이 있어서 010-1234-5678로 연락드렸는데 친절하게 응답해주셨어요.&#39;, &#39;2024-01-15&#39;),<br>(2, &#39;박철수&#39;, &#39;배송이 빨라서 만족합니다. 제 이메일 chulsu.park@email.com으로 추가 정보도 보내주세요.&#39;, &#39;2024-01-16&#39;),<br>(3, &#39;이민수&#39;, &#39;품질이 우수합니다. 주민번호 901201-1234567로 회원가입 했는데 할인 혜택도 받았네요.&#39;, &#39;2024-01-17&#39;);<br><br>-- 전화번호 탐지 및 마스킹<br>SELECT <br>    id,<br>    customer_name,<br>    CASE <br>        WHEN REGEXP_LIKE(review_content, &#39;[0-9]{3}-[0-9]{4}-[0-9]{4}&#39;) THEN<br>            REGEXP_REPLACE(review_content, &#39;([0-9]{3})-([0-9]{4})-([0-9]{4})&#39;, &#39;\1-****-\3&#39;)<br>        ELSE review_content<br>    END AS masked_content<br>FROM customer_reviews;<br><br>-- 실행 결과(예시):<br>-- id=1: &#39;정말 좋은 서비스였습니다. 문의사항이 있어서 010-****-5678로 연락드렸는데...&#39;<br>-- id=2: 원본 그대로 (전화번호 패턴 없음)  <br>-- id=3: 원본 그대로 (해당 패턴 없음)<br><br>-- 이메일 탐지 및 마스킹<br>SELECT <br>    id,<br>    customer_name,<br>    CASE <br>        WHEN REGEXP_LIKE(review_content, &#39;[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}&#39;) THEN<br>            REGEXP_REPLACE(review_content, &#39;([a-zA-Z0-9._%+-]+)@([a-zA-Z0-9.-]+\.[a-zA-Z]{2,})&#39;, &#39;****@\2&#39;)<br>        ELSE review_content<br>    END AS masked_content<br>FROM customer_reviews;<br><br>-- 실행 결과(예시):<br>-- id=1: 원본 그대로 (이메일 패턴 없음)<br>-- id=2: &#39;배송이 빨라서 만족합니다. 제 이메일 ****@email.com으로 추가 정보도 보내주세요.&#39;<br>-- id=3: 원본 그대로 (이메일 패턴 없음)<br><br>-- 종합적인 PII 마스킹 쿼리<br>SELECT <br>    id,<br>    customer_name,<br>    REGEXP_REPLACE(<br>        REGEXP_REPLACE(<br>            REGEXP_REPLACE(<br>                review_content,<br>                &#39;([0-9]{3})-([0-9]{4})-([0-9]{4})&#39;, &#39;\1-****-\3&#39;<br>            ),<br>            &#39;([a-zA-Z0-9._%+-]+)@([a-zA-Z0-9.-]+\.[a-zA-Z]{2,})&#39;, &#39;****@\2&#39;<br>        ),<br>        &#39;([0-9]{6})-([0-9]{7})&#39;, &#39;\1-*******&#39;<br>    ) AS fully_masked_content<br>FROM customer_reviews;<br><br>-- 실행 결과(예시):<br>-- id=1: &#39;정말 좋은 서비스였습니다. 문의사항이 있어서 010-****-5678로 연락드렸는데...&#39;<br>-- id=2: &#39;배송이 빨라서 만족합니다. 제 이메일 ****@email.com으로 추가 정보도 보내주세요.&#39;<br>-- id=3: &#39;품질이 우수합니다. 주민번호 901201-*******로 회원가입 했는데 할인 혜택도 받았네요.&#39;</pre><h4>3.2 Python으로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Python에서 텍스트 정규화와 PII 필터링은 주로 re 모듈과 자연어 처리 라이브러리를 활용한다.</p><p>re.search()는 패턴이 문자열에 존재하는지 확인한다. re.findall()은 패턴과 일치하는 모든 부분을 리스트로 반환한다. re.sub()는 패턴과 일치하는 부분을 다른 문자열로 치환한다. re.compile()은 정규표현식을 컴파일하여 재사용 가능한 패턴 객체를 생성한다.</p><p>NLTK나 spaCy 같은 라이브러리는 고급 텍스트 처리 기능을 제공한다. 토큰화, 개체명 인식(NER), 품사 태깅 등의 기능을 활용하여 더 정교한 PII 탐지가 가능하다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>import re<br>import nltk<br>from nltk.tokenize import word_tokenize, sent_tokenize<br>import unicodedata<br><br># NLTK 데이터 다운로드 (최초 실행시)<br># nltk.download(&#39;punkt&#39;)<br><br>class PIIFilter:<br>    def __init__(self):<br>        # 다양한 PII 패턴 정의<br>        self.patterns = {<br>            &#39;phone&#39;: [<br>                r&#39;\b\d{3}-\d{4}-\d{4}\b&#39;,  # 010-1234-5678<br>                r&#39;\b\d{3}\.\d{4}\.\d{4}\b&#39;,  # 010.1234.5678<br>                r&#39;\b\d{11}\b&#39;,  # 01012345678<br>                r&#39;\b\d{3}\s\d{4}\s\d{4}\b&#39;  # 010 1234 5678<br>            ],<br>            &#39;email&#39;: [<br>                r&#39;\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b&#39;<br>            ],<br>            &#39;ssn&#39;: [<br>                r&#39;\b\d{6}-\d{7}\b&#39;,  # 주민등록번호<br>                r&#39;\b\d{13}\b&#39;  # 주민등록번호 (하이픈 없음)<br>            ],<br>            &#39;credit_card&#39;: [<br>                r&#39;\b\d{4}-\d{4}-\d{4}-\d{4}\b&#39;,  # 신용카드<br>                r&#39;\b\d{16}\b&#39;<br>            ]<br>        }<br>    <br>    def normalize_text(self, text):<br>        &quot;&quot;&quot;텍스트 정규화 함수&quot;&quot;&quot;<br>        # 1. 유니코드 정규화<br>        text = unicodedata.normalize(&#39;NFC&#39;, text)<br>        <br>        # 2. 소문자 변환 (선택적)<br>        # text = text.lower()<br>        <br>        # 3. 연속된 공백 제거<br>        text = re.sub(r&#39;\s+&#39;, &#39; &#39;, text)<br>        <br>        # 4. 양쪽 공백 제거<br>        text = text.strip()<br>        <br>        return text<br>    <br>    def detect_pii(self, text):<br>        &quot;&quot;&quot;PII 탐지 함수&quot;&quot;&quot;<br>        detected = {}<br>        <br>        for pii_type, patterns in self.patterns.items():<br>            matches = []<br>            for pattern in patterns:<br>                found = re.findall(pattern, text)<br>                matches.extend(found)<br>            <br>            if matches:<br>                detected[pii_type] = matches<br>        <br>        return detected<br>    <br>    def mask_pii(self, text, mask_char=&#39;*&#39;):<br>        &quot;&quot;&quot;PII 마스킹 함수&quot;&quot;&quot;<br>        masked_text = text<br>        <br>        # 전화번호 마스킹<br>        for pattern in self.patterns[&#39;phone&#39;]:<br>            masked_text = re.sub(pattern, <br>                                lambda m: m.group()[:3] + &#39;-****-&#39; + m.group()[-4:] <br>                                if &#39;-&#39; in m.group() <br>                                else m.group()[:3] + &#39;****&#39; + m.group()[-4:], <br>                                masked_text)<br>        <br>        # 이메일 마스킹<br>        for pattern in self.patterns[&#39;email&#39;]:<br>            masked_text = re.sub(pattern, <br>                                lambda m: &#39;****@&#39; + m.group().split(&#39;@&#39;)[1], <br>                                masked_text)<br>        <br>        # 주민등록번호 마스킹<br>        for pattern in self.patterns[&#39;ssn&#39;]:<br>            masked_text = re.sub(pattern, <br>                                lambda m: m.group()[:6] + &#39;-*******&#39; <br>                                if &#39;-&#39; in m.group() <br>                                else m.group()[:6] + &#39;*******&#39;, <br>                                masked_text)<br>        <br>        # 신용카드 마스킹<br>        for pattern in self.patterns[&#39;credit_card&#39;]:<br>            masked_text = re.sub(pattern, <br>                                lambda m: m.group()[:4] + &#39;-****-****-&#39; + m.group()[-4:] <br>                                if &#39;-&#39; in m.group() <br>                                else m.group()[:4] + &#39;********&#39; + m.group()[-4:], <br>                                masked_text)<br>        <br>        return masked_text<br><br># 사용 예제<br>pii_filter = PIIFilter()<br><br># 테스트 데이터<br>sample_texts = [<br>    &quot;안녕하세요, 저는 김철수입니다. 연락처는 010-1234-5678이고 이메일은 chulsu@example.com입니다.&quot;,<br>    &quot;주민등록번호는 901201-1234567이고 신용카드는 1234-5678-9012-3456입니다.&quot;,<br>    &quot;문의사항이 있으시면 02 1234 5678로 연락주세요. john.doe@company.co.kr로 메일도 가능합니다.&quot;,<br>    &quot;개인정보: 주민번호 8512051234567, 폰번호 01098765432, 카드번호 1111222233334444&quot;<br>]<br><br># 각 텍스트에 대해 정규화, 탐지, 마스킹 수행<br>for i, text in enumerate(sample_texts, 1):<br>    print(f&quot;=== 예제 {i} ===&quot;)<br>    print(f&quot;원본: {text}&quot;)<br>    <br>    # 텍스트 정규화<br>    normalized = pii_filter.normalize_text(text)<br>    print(f&quot;정규화: {normalized}&quot;)<br>    <br>    # PII 탐지<br>    detected = pii_filter.detect_pii(normalized)<br>    print(f&quot;탐지된 PII: {detected}&quot;)<br>    <br>    # PII 마스킹<br>    masked = pii_filter.mask_pii(normalized)<br>    print(f&quot;마스킹: {masked}&quot;)<br>    print()<br><br># 실행 결과(예시):<br># === 예제 1 ===<br># 원본: 안녕하세요, 저는 김철수입니다. 연락처는 010-1234-5678이고 이메일은 chulsu@example.com입니다.<br># 정규화: 안녕하세요, 저는 김철수입니다. 연락처는 010-1234-5678이고 이메일은 chulsu@example.com입니다.<br># 탐지된 PII: {&#39;phone&#39;: [&#39;010-1234-5678&#39;], &#39;email&#39;: [&#39;chulsu@example.com&#39;]}<br># 마스킹: 안녕하세요, 저는 김철수입니다. 연락처는 010-****-5678이고 이메일은 ****@example.com입니다.<br><br># === 예제 2 ===<br># 원본: 주민등록번호는 901201-1234567이고 신용카드는 1234-5678-9012-3456입니다.<br># 정규화: 주민등록번호는 901201-1234567이고 신용카드는 1234-5678-9012-3456입니다.<br># 탐지된 PII: {&#39;ssn&#39;: [&#39;901201-1234567&#39;], &#39;credit_card&#39;: [&#39;1234-5678-9012-3456&#39;]}<br># 마스킹: 주민등록번호는 901201-*******이고 신용카드는 1234-****-****-3456입니다.<br><br># 고급 NER 기반 PII 탐지 (spaCy 사용 예제)<br>try:<br>    import spacy<br>    <br>    # 한국어 모델 로드 (설치 필요: python -m spacy download ko_core_news_sm)<br>    # nlp = spacy.load(&quot;ko_core_news_sm&quot;)<br>    <br>    # 영어 모델 사용 예제<br>    nlp = spacy.load(&quot;en_core_web_sm&quot;)<br>    <br>    def advanced_pii_detection(text):<br>        doc = nlp(text)<br>        pii_entities = []<br>        <br>        for ent in doc.ents:<br>            if ent.label_ in [&#39;PERSON&#39;, &#39;ORG&#39;, &#39;GPE&#39;, &#39;DATE&#39;, &#39;MONEY&#39;]:<br>                pii_entities.append((ent.text, ent.label_, ent.start_char, ent.end_char))<br>        <br>        return pii_entities<br>    <br>    # 영어 텍스트 예제<br>    english_text = &quot;My name is John Smith and I live in New York. You can reach me at john.smith@email.com or call 555-123-4567.&quot;<br>    <br>    entities = advanced_pii_detection(english_text)<br>    print(&quot;=== NER 기반 PII 탐지 ===&quot;)<br>    print(f&quot;원본: {english_text}&quot;)<br>    print(f&quot;탐지된 엔티티: {entities}&quot;)<br>    <br>    # 실행 결과(예시):<br>    # 탐지된 엔티티: [(&#39;John Smith&#39;, &#39;PERSON&#39;, 11, 21), (&#39;New York&#39;, &#39;GPE&#39;, 35, 43)]<br>    <br>except ImportError:<br>    print(&quot;spaCy가 설치되지 않았습니다. pip install spacy로 설치해주세요.&quot;)</pre><h4>3.3 R로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>R에서는 stringr 패키지와 기본 정규표현식 함수들을 활용하여 텍스트 정규화와 PII 필터링을 수행한다.</p><p>str_detect()는 패턴이 문자열에 존재하는지 확인한다. str_extract_all()은 패턴과 일치하는 모든 부분을 추출한다. str_replace_all()은 패턴과 일치하는 부분을 치환한다. str_to_lower()는 소문자로 변환한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre># 필요한 라이브러리 로드<br>library(stringr)<br>library(dplyr)<br><br># PII 필터링 함수 정의<br>create_pii_filter &lt;- function() {<br>  # 정규표현식 패턴 정의<br>  patterns &lt;- list(<br>    phone = c(<br>      &quot;\\b\\d{3}-\\d{4}-\\d{4}\\b&quot;,  # 010-1234-5678<br>      &quot;\\b\\d{3}\\.\\d{4}\\.\\d{4}\\b&quot;,  # 010.1234.5678<br>      &quot;\\b\\d{11}\\b&quot;,  # 01012345678<br>      &quot;\\b\\d{3}\\s\\d{4}\\s\\d{4}\\b&quot;  # 010 1234 5678<br>    ),<br>    email = &quot;\\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\\.[A-Z|a-z]{2,}\\b&quot;,<br>    ssn = c(<br>      &quot;\\b\\d{6}-\\d{7}\\b&quot;,  # 주민등록번호<br>      &quot;\\b\\d{13}\\b&quot;  # 주민등록번호 (하이픈 없음)<br>    ),<br>    credit_card = c(<br>      &quot;\\b\\d{4}-\\d{4}-\\d{4}-\\d{4}\\b&quot;,  # 신용카드<br>      &quot;\\b\\d{16}\\b&quot;<br>    )<br>  )<br>  <br>  return(patterns)<br>}<br><br># 텍스트 정규화 함수<br>normalize_text &lt;- function(text) {<br>  # 연속된 공백을 하나로 치환<br>  text &lt;- str_replace_all(text, &quot;\\s+&quot;, &quot; &quot;)<br>  # 양쪽 공백 제거<br>  text &lt;- str_trim(text)<br>  return(text)<br>}<br><br># PII 탐지 함수<br>detect_pii &lt;- function(text, patterns) {<br>  detected &lt;- list()<br>  <br>  for (pii_type in names(patterns)) {<br>    matches &lt;- c()<br>    <br>    for (pattern in patterns[[pii_type]]) {<br>      found &lt;- str_extract_all(text, pattern)[[1]]<br>      matches &lt;- c(matches, found)<br>    }<br>    <br>    if (length(matches) &gt; 0) {<br>      detected[[pii_type]] &lt;- matches<br>    }<br>  }<br>  <br>  return(detected)<br>}<br><br># PII 마스킹 함수<br>mask_pii &lt;- function(text, patterns) {<br>  masked_text &lt;- text<br>  <br>  # 전화번호 마스킹<br>  for (pattern in patterns$phone) {<br>    if (str_detect(masked_text, pattern)) {<br>      matches &lt;- str_extract_all(masked_text, pattern)[[1]]<br>      for (match in matches) {<br>        if (str_detect(match, &quot;-&quot;)) {<br>          replacement &lt;- paste0(str_sub(match, 1, 3), &quot;-****-&quot;, str_sub(match, -4, -1))<br>        } else {<br>          replacement &lt;- paste0(str_sub(match, 1, 3), &quot;****&quot;, str_sub(match, -4, -1))<br>        }<br>        masked_text &lt;- str_replace(masked_text, fixed(match), replacement)<br>      }<br>    }<br>  }<br>  <br>  # 이메일 마스킹<br>  email_matches &lt;- str_extract_all(masked_text, patterns$email)[[1]]<br>  for (match in email_matches) {<br>    domain &lt;- str_split(match, &quot;@&quot;)[[1]][2]<br>    replacement &lt;- paste0(&quot;****@&quot;, domain)<br>    masked_text &lt;- str_replace(masked_text, fixed(match), replacement)<br>  }<br>  <br>  # 주민등록번호 마스킹<br>  for (pattern in patterns$ssn) {<br>    ssn_matches &lt;- str_extract_all(masked_text, pattern)[[1]]<br>    for (match in ssn_matches) {<br>      if (str_detect(match, &quot;-&quot;)) {<br>        replacement &lt;- paste0(str_sub(match, 1, 6), &quot;-*******&quot;)<br>      } else {<br>        replacement &lt;- paste0(str_sub(match, 1, 6), &quot;*******&quot;)<br>      }<br>      masked_text &lt;- str_replace(masked_text, fixed(match), replacement)<br>    }<br>  }<br>  <br>  # 신용카드 마스킹<br>  for (pattern in patterns$credit_card) {<br>    card_matches &lt;- str_extract_all(masked_text, pattern)[[1]]<br>    for (match in card_matches) {<br>      if (str_detect(match, &quot;-&quot;)) {<br>        replacement &lt;- paste0(str_sub(match, 1, 4), &quot;-****-****-&quot;, str_sub(match, -4, -1))<br>      } else {<br>        replacement &lt;- paste0(str_sub(match, 1, 4), &quot;********&quot;, str_sub(match, -4, -1))<br>      }<br>      masked_text &lt;- str_replace(masked_text, fixed(match), replacement)<br>    }<br>  }<br>  <br>  return(masked_text)<br>}<br><br># 패턴 생성<br>patterns &lt;- create_pii_filter()<br><br># 테스트 데이터<br>sample_data &lt;- data.frame(<br>  id = 1:4,<br>  content = c(<br>    &quot;안녕하세요, 김영희입니다. 제 연락처는 010-1234-5678이고 이메일은 younghee@example.com입니다.&quot;,<br>    &quot;주민등록번호: 901201-1234567, 신용카드: 1234-5678-9012-3456&quot;,<br>    &quot;연락 가능한 번호는 02 1234 5678이며, 업무용 이메일은 business@company.co.kr입니다.&quot;,<br>    &quot;개인정보 테스트: 주민번호 8512051234567, 휴대폰 01098765432&quot;<br>  ),<br>  stringsAsFactors = FALSE<br>)<br><br># 각 텍스트에 대해 처리 수행<br>results &lt;- sample_data %&gt;%<br>  rowwise() %&gt;%<br>  mutate(<br>    normalized = normalize_text(content),<br>    detected_pii = list(detect_pii(normalized, patterns)),<br>    masked_content = mask_pii(normalized, patterns)<br>  ) %&gt;%<br>  ungroup()<br><br># 결과 출력<br>for (i in 1:nrow(results)) {<br>  cat(&quot;=== 예제&quot;, i, &quot;===\n&quot;)<br>  cat(&quot;원본:&quot;, results$content[i], &quot;\n&quot;)<br>  cat(&quot;정규화:&quot;, results$normalized[i], &quot;\n&quot;)<br>  cat(&quot;탐지된 PII:&quot;, paste(names(results$detected_pii[[i]]), collapse = &quot;, &quot;), &quot;\n&quot;)<br>  cat(&quot;마스킹:&quot;, results$masked_content[i], &quot;\n\n&quot;)<br>}<br><br># 실행 결과(예시):<br># === 예제 1 ===<br># 원본: 안녕하세요, 김영희입니다. 제 연락처는 010-1234-5678이고 이메일은 younghee@example.com입니다.<br># 정규화: 안녕하세요, 김영희입니다. 제 연락처는 010-1234-5678이고 이메일은 younghee@example.com입니다.<br># 탐지된 PII: phone, email<br># 마스킹: 안녕하세요, 김영희입니다. 제 연락처는 010-****-5678이고 이메일은 ****@example.com입니다.<br><br># === 예제 2 ===<br># 원본: 주민등록번호: 901201-1234567, 신용카드: 1234-5678-9012-3456<br># 정규화: 주민등록번호: 901201-1234567, 신용카드: 1234-5678-9012-3456<br># 탐지된 PII: ssn, credit_card<br># 마스킹: 주민등록번호: 901201-*******, 신용카드: 1234-****-****-3456<br><br># 통계 분석을 위한 PII 탐지 빈도 계산<br>pii_stats &lt;- results %&gt;%<br>  rowwise() %&gt;%<br>  summarise(<br>    id = id,<br>    phone_count = length(detected_pii[[&quot;phone&quot;]]),<br>    email_count = length(detected_pii[[&quot;email&quot;]]),<br>    ssn_count = length(detected_pii[[&quot;ssn&quot;]]),<br>    credit_card_count = length(detected_pii[[&quot;credit_card&quot;]]),<br>    total_pii_count = sum(c(phone_count, email_count, ssn_count, credit_card_count))<br>  ) %&gt;%<br>  ungroup()<br><br>print(&quot;PII 탐지 통계:&quot;)<br>print(pii_stats)<br><br># 실행 결과(예시):<br>#   id phone_count email_count ssn_count credit_card_count total_pii_count<br># 1  1           1           1         0                 0               2<br># 2  2           0           0         1                 1               2<br># 3  3           1           1         0                 0               2<br># 4  4           1           0         1                 0               2</pre><h4>3.4 Julia로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Julia에서는 RegexMatch와 replace 함수를 활용하여 정규표현식 기반 텍스트 처리를 수행한다. match() 함수는 첫 번째 매칭을 찾고, eachmatch()는 모든 매칭을 반복자로 반환한다. replace() 함수는 패턴을 다른 문자열로 치환한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>using Printf<br><br># PII 패턴 정의<br>const PII_PATTERNS = Dict(<br>    :phone =&gt; [<br>        r&quot;\b\d{3}-\d{4}-\d{4}\b&quot;,      # 010-1234-5678<br>        r&quot;\b\d{3}\.\d{4}\.\d{4}\b&quot;,    # 010.1234.5678<br>        r&quot;\b\d{11}\b&quot;,                  # 01012345678<br>        r&quot;\b\d{3}\s\d{4}\s\d{4}\b&quot;     # 010 1234 5678<br>    ],<br>    :email =&gt; [r&quot;\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b&quot;],<br>    :ssn =&gt; [<br>        r&quot;\b\d{6}-\d{7}\b&quot;,            # 주민등록번호<br>        r&quot;\b\d{13}\b&quot;                   # 주민등록번호 (하이픈 없음)<br>    ],<br>    :credit_card =&gt; [<br>        r&quot;\b\d{4}-\d{4}-\d{4}-\d{4}\b&quot;, # 신용카드<br>        r&quot;\b\d{16}\b&quot;<br>    ]<br>)<br><br># 텍스트 정규화 함수<br>function normalize_text(text::String)<br>    # 연속된 공백을 하나로 치환<br>    text = replace(text, r&quot;\s+&quot; =&gt; &quot; &quot;)<br>    # 양쪽 공백 제거<br>    text = strip(text)<br>    return text<br>end<br><br># PII 탐지 함수<br>function detect_pii(text::String, patterns::Dict)<br>    detected = Dict{Symbol, Vector{String}}()<br>    <br>    for (pii_type, pattern_list) in patterns<br>        matches = String[]<br>        <br>        for pattern in pattern_list<br>            for m in eachmatch(pattern, text)<br>                push!(matches, m.match)<br>            end<br>        end<br>        <br>        if !isempty(matches)<br>            detected[pii_type] = unique(matches)<br>        end<br>    end<br>    <br>    return detected<br>end<br><br># PII 마스킹 함수<br>function mask_pii(text::String, patterns::Dict)<br>    masked_text = text<br>    <br>    # 전화번호 마스킹<br>    for pattern in patterns[:phone]<br>        masked_text = replace(masked_text, pattern =&gt; function(m)<br>            if occursin(&quot;-&quot;, m.match)<br>                return m.match[1:3] * &quot;-****-&quot; * m.match[end-3:end]<br>            else<br>                return m.match[1:3] * &quot;****&quot; * m.match[end-3:end]<br>            end<br>        end)<br>    end<br>    <br>    # 이메일 마스킹<br>    for pattern in patterns[:email]<br>        masked_text = replace(masked_text, pattern =&gt; function(m)<br>            parts = split(m.match, &quot;@&quot;)<br>            return &quot;****@&quot; * parts[2]<br>        end)<br>    end<br>    <br>    # 주민등록번호 마스킹<br>    for pattern in patterns[:ssn]<br>        masked_text = replace(masked_text, pattern =&gt; function(m)<br>            if occursin(&quot;-&quot;, m.match)<br>                return m.match[1:6] * &quot;-*******&quot;<br>            else<br>                return m.match[1:6] * &quot;*******&quot;<br>            end<br>        end)<br>    end<br>    <br>    # 신용카드 마스킹<br>    for pattern in patterns[:credit_card]<br>        masked_text = replace(masked_text, pattern =&gt; function(m)<br>            if occursin(&quot;-&quot;, m.match)<br>                return m.match[1:4] * &quot;-****-****-&quot; * m.match[end-3:end]<br>            else<br>                return m.match[1:4] * &quot;********&quot; * m.match[end-3:end]<br>            end<br>        end)<br>    end<br>    <br>    return masked_text<br>end<br><br># 테스트 데이터<br>sample_texts = [<br>    &quot;안녕하세요, 제 연락처는 010-1234-5678이고 이메일은 test@example.com입니다.&quot;,<br>    &quot;개인정보: 주민번호 901201-1234567, 카드번호 1234-5678-9012-3456&quot;,<br>    &quot;연락처: 02 1234 5678, 이메일: business@company.co.kr&quot;,<br>    &quot;핸드폰 01098765432, 주민등록번호 8512051234567&quot;<br>]<br><br># 각 텍스트 처리<br>for (i, text) in enumerate(sample_texts)<br>    println(&quot;=== 예제 $i ===&quot;)<br>    println(&quot;원본: $text&quot;)<br>    <br>    # 텍스트 정규화<br>    normalized = normalize_text(text)<br>    println(&quot;정규화: $normalized&quot;)<br>    <br>    # PII 탐지<br>    detected = detect_pii(normalized, PII_PATTERNS)<br>    println(&quot;탐지된 PII: $detected&quot;)<br>    <br>    # PII 마스킹<br>    masked = mask_pii(normalized, PII_PATTERNS)<br>    println(&quot;마스킹: $masked&quot;)<br>    println()<br>end<br><br># 실행 결과(예시):<br># === 예제 1 ===<br># 원본: 안녕하세요, 제 연락처는 010-1234-5678이고 이메일은 test@example.com입니다.<br># 정규화: 안녕하세요, 제 연락처는 010-1234-5678이고 이메일은 test@example.com입니다.<br># 탐지된 PII: Dict(:phone =&gt; [&quot;010-1234-5678&quot;], :email =&gt; [&quot;test@example.com&quot;])<br># 마스킹: 안녕하세요, 제 연락처는 010-****-5678이고 이메일은 ****@example.com입니다.<br><br># === 예제 2 ===<br># 원본: 개인정보: 주민번호 901201-1234567, 카드번호 1234-5678-9012-3456<br># 정규화: 개인정보: 주민번호 901201-1234567, 카드번호 1234-5678-9012-3456<br># 탐지된 PII: Dict(:ssn =&gt; [&quot;901201-1234567&quot;], :credit_card =&gt; [&quot;1234-5678-9012-3456&quot;])<br># 마스킹: 개인정보: 주민번호 901201-*******, 카드번호 1234-****-****-3456<br><br># 성능 측정 함수<br>function benchmark_pii_processing(text::String, iterations::Int=1000)<br>    # 정규화 성능<br>    normalize_time = @elapsed for _ in 1:iterations<br>        normalize_text(text)<br>    end<br>    <br>    # 탐지 성능<br>    detect_time = @elapsed for _ in 1:iterations<br>        detect_pii(text, PII_PATTERNS)<br>    end<br>    <br>    # 마스킹 성능<br>    mask_time = @elapsed for _ in 1:iterations<br>        mask_pii(text, PII_PATTERNS)<br>    end<br>    <br>    println(&quot;성능 측정 결과 ($iterations 회 반복):&quot;)<br>    @printf(&quot;정규화: %.4f 초 (평균 %.6f 초/회)\n&quot;, normalize_time, normalize_time/iterations)<br>    @printf(&quot;탐지: %.4f 초 (평균 %.6f 초/회)\n&quot;, detect_time, detect_time/iterations)<br>    @printf(&quot;마스킹: %.4f 초 (평균 %.6f 초/회)\n&quot;, mask_time, mask_time/iterations)<br>end<br><br># 성능 테스트 실행<br>test_text = &quot;연락처: 010-1234-5678, 이메일: test@example.com, 주민번호: 901201-1234567&quot;<br>benchmark_pii_processing(test_text)<br><br># 실행 결과(예시):<br># 성능 측정 결과 (1000 회 반복):<br># 정규화: 0.0012 초 (평균 0.000001 초/회)<br># 탐지: 0.0156 초 (평균 0.000016 초/회)<br># 마스킹: 0.0234 초 (평균 0.000023 초/회)</pre><h4>3.5 Go로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Go에서는 regexp 패키지를 활용하여 정규표현식 처리를 수행한다. regexp.Compile() 함수로 정규표현식을 컴파일하고, FindAllString(), ReplaceAllStringFunc() 등의 메서드를 사용한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>package main<br><br>import (<br>    &quot;fmt&quot;<br>    &quot;regexp&quot;<br>    &quot;strings&quot;<br>    &quot;unicode&quot;<br>)<br><br>// PII 패턴 구조체 정의<br>type PIIPatterns struct {<br>    Phone      []*regexp.Regexp<br>    Email      []*regexp.Regexp<br>    SSN        []*regexp.Regexp<br>    CreditCard []*regexp.Regexp<br>}<br><br>// PII 필터 구조체 정의<br>type PIIFilter struct {<br>    patterns PIIPatterns<br>}<br><br>// 새로운 PII 필터 생성<br>func NewPIIFilter() *PIIFilter {<br>    return &amp;PIIFilter{<br>        patterns: PIIPatterns{<br>            Phone: []*regexp.Regexp{<br>                regexp.MustCompile(`\b\d{3}-\d{4}-\d{4}\b`),      // 010-1234-5678<br>                regexp.MustCompile(`\b\d{3}\.\d{4}\.\d{4}\b`),    // 010.1234.5678<br>                regexp.MustCompile(`\b\d{11}\b`),                  // 01012345678<br>                regexp.MustCompile(`\b\d{3}\s\d{4}\s\d{4}\b`),    // 010 1234 5678<br>            },<br>            Email: []*regexp.Regexp{<br>                regexp.MustCompile(`\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b`),<br>            },<br>            SSN: []*regexp.Regexp{<br>                regexp.MustCompile(`\b\d{6}-\d{7}\b`),            // 주민등록번호<br>                regexp.MustCompile(`\b\d{13}\b`),                  // 주민등록번호 (하이픈 없음)<br>            },<br>            CreditCard: []*regexp.Regexp{<br>                regexp.MustCompile(`\b\d{4}-\d{4}-\d{4}-\d{4}\b`), // 신용카드<br>                regexp.MustCompile(`\b\d{16}\b`),<br>            },<br>        },<br>    }<br>}<br><br>// 텍스트 정규화 함수<br>func (pf *PIIFilter) NormalizeText(text string) string {<br>    // 연속된 공백을 하나로 치환<br>    re := regexp.MustCompile(`\s+`)<br>    text = re.ReplaceAllString(text, &quot; &quot;)<br>    <br>    // 양쪽 공백 제거<br>    text = strings.TrimSpace(text)<br>    <br>    return text<br>}<br><br>// PII 탐지 함수<br>func (pf *PIIFilter) DetectPII(text string) map[string][]string {<br>    detected := make(map[string][]string)<br>    <br>    // 전화번호 탐지<br>    var phoneMatches []string<br>    for _, pattern := range pf.patterns.Phone {<br>        matches := pattern.FindAllString(text, -1)<br>        phoneMatches = append(phoneMatches, matches...)<br>    }<br>    if len(phoneMatches) &gt; 0 {<br>        detected[&quot;phone&quot;] = phoneMatches<br>    }<br>    <br>    // 이메일 탐지<br>    var emailMatches []string<br>    for _, pattern := range pf.patterns.Email {<br>        matches := pattern.FindAllString(text, -1)<br>        emailMatches = append(emailMatches, matches...)<br>    }<br>    if len(emailMatches) &gt; 0 {<br>        detected[&quot;email&quot;] = emailMatches<br>    }<br>    <br>    // 주민등록번호 탐지<br>    var ssnMatches []string<br>    for _, pattern := range pf.patterns.SSN {<br>        matches := pattern.FindAllString(text, -1)<br>        ssnMatches = append(ssnMatches, matches...)<br>    }<br>    if len(ssnMatches) &gt; 0 {<br>        detected[&quot;ssn&quot;] = ssnMatches<br>    }<br>    <br>    // 신용카드 탐지<br>    var cardMatches []string<br>    for _, pattern := range pf.patterns.CreditCard {<br>        matches := pattern.FindAllString(text, -1)<br>        cardMatches = append(cardMatches, matches...)<br>    }<br>    if len(cardMatches) &gt; 0 {<br>        detected[&quot;credit_card&quot;] = cardMatches<br>    }<br>    <br>    return detected<br>}<br><br>// PII 마스킹 함수<br>func (pf *PIIFilter) MaskPII(text string) string {<br>    maskedText := text<br>    <br>    // 전화번호 마스킹<br>    for _, pattern := range pf.patterns.Phone {<br>        maskedText = pattern.ReplaceAllStringFunc(maskedText, func(match string) string {<br>            if strings.Contains(match, &quot;-&quot;) {<br>                return match[:3] + &quot;-****-&quot; + match[len(match)-4:]<br>            }<br>            return match[:3] + &quot;****&quot; + match[len(match)-4:]<br>        })<br>    }<br>    <br>    // 이메일 마스킹<br>    for _, pattern := range pf.patterns.Email {<br>        maskedText = pattern.ReplaceAllStringFunc(maskedText, func(match string) string {<br>            parts := strings.Split(match, &quot;@&quot;)<br>            return &quot;****@&quot; + parts[1]<br>        })<br>    }<br>    <br>    // 주민등록번호 마스킹<br>    for _, pattern := range pf.patterns.SSN {<br>        maskedText = pattern.ReplaceAllStringFunc(maskedText, func(match string) string {<br>            if strings.Contains(match, &quot;-&quot;) {<br>                return match[:6] + &quot;-*******&quot;<br>            }<br>            return match[:6] + &quot;*******&quot;<br>        })<br>    }<br>    <br>    // 신용카드 마스킹<br>    for _, pattern := range pf.patterns.CreditCard {<br>        maskedText = pattern.ReplaceAllStringFunc(maskedText, func(match string) string {<br>            if strings.Contains(match, &quot;-&quot;) {<br>                return match[:4] + &quot;-****-****-&quot; + match[len(match)-4:]<br>            }<br>            return match[:4] + &quot;********&quot; + match[len(match)-4:]<br>        })<br>    }<br>    <br>    return maskedText<br>}<br><br>// 유니코드 정규화 함수<br>func normalizeUnicode(text string) string {<br>    // 간단한 유니코드 정규화 (실제로는 더 복잡한 처리가 필요)<br>    var normalized strings.Builder<br>    for _, r := range text {<br>        if unicode.IsPrint(r) {<br>            normalized.WriteRune(r)<br>        }<br>    }<br>    return normalized.String()<br>}<br><br>func main() {<br>    // PII 필터 생성<br>    filter := NewPIIFilter()<br>    <br>    // 테스트 데이터<br>    sampleTexts := []string{<br>        &quot;안녕하세요, 제 연락처는 010-1234-5678이고 이메일은 test@example.com입니다.&quot;,<br>        &quot;개인정보: 주민번호 901201-1234567, 카드번호 1234-5678-9012-3456&quot;,<br>        &quot;연락처: 02 1234 5678, 이메일: business@company.co.kr&quot;,<br>        &quot;핸드폰 01098765432, 주민등록번호 8512051234567&quot;,<br>    }<br>    <br>    // 각 텍스트 처리<br>    for i, text := range sampleTexts {<br>        fmt.Printf(&quot;=== 예제 %d ===\n&quot;, i+1)<br>        fmt.Printf(&quot;원본: %s\n&quot;, text)<br>        <br>        // 텍스트 정규화<br>        normalized := filter.NormalizeText(text)<br>        fmt.Printf(&quot;정규화: %s\n&quot;, normalized)<br>        <br>        // PII 탐지<br>        detected := filter.DetectPII(normalized)<br>        fmt.Printf(&quot;탐지된 PII: %v\n&quot;, detected)<br>        <br>        // PII 마스킹<br>        masked := filter.MaskPII(normalized)<br>        fmt.Printf(&quot;마스킹: %s\n\n&quot;, masked)<br>    }<br>    <br>    // 성능 테스트<br>    fmt.Println(&quot;=== 성능 테스트 ===&quot;)<br>    testText := &quot;연락처: 010-1234-5678, 이메일: test@example.com, 주민번호: 901201-1234567&quot;<br>    iterations := 10000<br>    <br>    // 정규화 성능 측정<br>    start := time.Now()<br>    for i := 0; i &lt; iterations; i++ {<br>        filter.NormalizeText(testText)<br>    }<br>    normalizeTime := time.Since(start)<br>    <br>    // 탐지 성능 측정  <br>    start = time.Now()<br>    for i := 0; i &lt; iterations; i++ {<br>        filter.DetectPII(testText)<br>    }<br>    detectTime := time.Since(start)<br>    <br>    // 마스킹 성능 측정<br>    start = time.Now()<br>    for i := 0; i &lt; iterations; i++ {<br>        filter.MaskPII(testText)<br>    }<br>    maskTime := time.Since(start)<br>    <br>    fmt.Printf(&quot;성능 측정 결과 (%d 회 반복):\n&quot;, iterations)<br>    fmt.Printf(&quot;정규화: %v (평균 %v/회)\n&quot;, normalizeTime, normalizeTime/time.Duration(iterations))<br>    fmt.Printf(&quot;탐지: %v (평균 %v/회)\n&quot;, detectTime, detectTime/time.Duration(iterations))<br>    fmt.Printf(&quot;마스킹: %v (평균 %v/회)\n&quot;, maskTime, maskTime/time.Duration(iterations))<br>}<br><br>// 실행 결과(예시):<br>// === 예제 1 ===<br>// 원본: 안녕하세요, 제 연락처는 010-1234-5678이고 이메일은 test@example.com입니다.<br>// 정규화: 안녕하세요, 제 연락처는 010-1234-5678이고 이메일은 test@example.com입니다.<br>// 탐지된 PII: map[email:[test@example.com] phone:[010-1234-5678]]<br>// 마스킹: 안녕하세요, 제 연락처는 010-****-5678이고 이메일은 ****@example.com입니다.<br><br>// === 예제 2 ===<br>// 원본: 개인정보: 주민번호 901201-1234567, 카드번호 1234-5678-9012-3456<br>// 정규화: 개인정보: 주민번호 901201-1234567, 카드번호 1234-5678-9012-3456<br>// 탐지된 PII: map[credit_card:[1234-5678-9012-3456] ssn:[901201-1234567]]<br>// 마스킹: 개인정보: 주민번호 901201-*******, 카드번호 1234-****-****-3456<br><br>// === 성능 테스트 ===<br>// 성능 측정 결과 (10000 회 반복):<br>// 정규화: 2.345ms (평균 234ns/회)<br>// 탐지: 15.678ms (평균 1.567μs/회)  <br>// 마스킹: 23.456ms (평균 2.345μs/회)</pre><h4>3.6 C로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>C에서는 regex.h 헤더의 정규표현식 함수와 string.h의 문자열 처리 함수를 활용한다. regcomp()로 정규표현식을 컴파일하고, regexec()로 매칭을 수행한다. tolower(), strlen(), strcpy() 등의 기본 함수도 사용한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>#include &lt;stdio.h&gt;<br>#include &lt;stdlib.h&gt;<br>#include &lt;string.h&gt;<br>#include &lt;regex.h&gt;<br>#include &lt;ctype.h&gt;<br><br>#define MAX_TEXT_LENGTH 1024<br>#define MAX_MATCHES 50<br>#define MAX_PATTERN_LENGTH 256<br><br>// PII 패턴 구조체<br>typedef struct {<br>    char pattern[MAX_PATTERN_LENGTH];<br>    char type[32];<br>} PIIPattern;<br><br>// PII 필터 구조체<br>typedef struct {<br>    PIIPattern patterns[MAX_MATCHES];<br>    int pattern_count;<br>    regex_t compiled_patterns[MAX_MATCHES];<br>} PIIFilter;<br><br>// PII 필터 초기화<br>int init_pii_filter(PIIFilter *filter) {<br>    // 패턴 정의<br>    strcpy(filter-&gt;patterns[0].pattern, &quot;[0-9]{3}-[0-9]{4}-[0-9]{4}&quot;);<br>    strcpy(filter-&gt;patterns[0].type, &quot;phone&quot;);<br>    <br>    strcpy(filter-&gt;patterns[1].pattern, &quot;[0-9]{11}&quot;);<br>    strcpy(filter-&gt;patterns[1].type, &quot;phone_no_dash&quot;);<br>    <br>    strcpy(filter-&gt;patterns[2].pattern, &quot;[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\\.[A-Za-z]{2,}&quot;);<br>    strcpy(filter-&gt;patterns[2].type, &quot;email&quot;);<br>    <br>    strcpy(filter-&gt;patterns[3].pattern, &quot;[0-9]{6}-[0-9]{7}&quot;);<br>    strcpy(filter-&gt;patterns[3].type, &quot;ssn&quot;);<br>    <br>    strcpy(filter-&gt;patterns[4].pattern, &quot;[0-9]{4}-[0-9]{4}-[0-9]{4}-[0-9]{4}&quot;);<br>    strcpy(filter-&gt;patterns[4].type, &quot;credit_card&quot;);<br>    <br>    filter-&gt;pattern_count = 5;<br>    <br>    // 정규표현식 컴파일<br>    for (int i = 0; i &lt; filter-&gt;pattern_count; i++) {<br>        int result = regcomp(&amp;filter-&gt;compiled_patterns[i], <br>                           filter-&gt;patterns[i].pattern, <br>                           REG_EXTENDED);<br>        if (result != 0) {<br>            printf(&quot;정규표현식 컴파일 오류: %s\n&quot;, filter-&gt;patterns[i].pattern);<br>            return -1;<br>        }<br>    }<br>    <br>    return 0;<br>}<br><br>// 텍스트 정규화 함수<br>void normalize_text(char *text) {<br>    int len = strlen(text);<br>    int write_pos = 0;<br>    int space_found = 0;<br>    <br>    // 연속된 공백 제거 및 양쪽 공백 제거<br>    for (int i = 0; i &lt; len; i++) {<br>        if (isspace(text[i])) {<br>            if (!space_found &amp;&amp; write_pos &gt; 0) {<br>                text[write_pos++] = &#39; &#39;;<br>                space_found = 1;<br>            }<br>        } else {<br>            text[write_pos++] = text[i];<br>            space_found = 0;<br>        }<br>    }<br>    <br>    // 끝부분 공백 제거<br>    if (write_pos &gt; 0 &amp;&amp; text[write_pos - 1] == &#39; &#39;) {<br>        write_pos--;<br>    }<br>    <br>    text[write_pos] = &#39;\0&#39;;<br>}<br><br>// PII 탐지 함수<br>int detect_pii(PIIFilter *filter, const char *text, char detected_types[][32]) {<br>    int detected_count = 0;<br>    regmatch_t matches[1];<br>    <br>    for (int i = 0; i &lt; filter-&gt;pattern_count; i++) {<br>        int result = regexec(&amp;filter-&gt;compiled_patterns[i], text, 1, matches, 0);<br>        if (result == 0) {<br>            strcpy(detected_types[detected_count], filter-&gt;patterns[i].type);<br>            detected_count++;<br>        }<br>    }<br>    <br>    return detected_count;<br>}<br><br>// 문자열 부분 치환 함수<br>void replace_substring(char *text, int start, int end, const char *replacement) {<br>    int text_len = strlen(text);<br>    int repl_len = strlen(replacement);<br>    int old_len = end - start;<br>    <br>    if (repl_len != old_len) {<br>        // 길이가 다를 경우 문자열 이동<br>        memmove(text + start + repl_len, <br>                text + end, <br>                text_len - end + 1);<br>    }<br>    <br>    // 치환 문자열 복사<br>    memcpy(text + start, replacement, repl_len);<br>}<br><br>// 전화번호 마스킹 함수<br>void mask_phone(char *text) {<br>    regex_t phone_regex;<br>    regmatch_t matches[1];<br>    <br>    // 010-1234-5678 패턴<br>    if (regcomp(&amp;phone_regex, &quot;[0-9]{3}-[0-9]{4}-[0-9]{4}&quot;, REG_EXTENDED) == 0) {<br>        char *search_start = text;<br>        while (regexec(&amp;phone_regex, search_start, 1, matches, 0) == 0) {<br>            int start = search_start - text + matches[0].rm_so;<br>            int end = search_start - text + matches[0].rm_eo;<br>            <br>            // 마스킹 문자열 생성 (예: 010-****-5678)<br>            char masked[32];<br>            snprintf(masked, sizeof(masked), &quot;%.3s-****-%.4s&quot;, <br>                    text + start, text + end - 4);<br>            <br>            replace_substring(text, start, end, masked);<br>            search_start = text + start + strlen(masked);<br>        }<br>        regfree(&amp;phone_regex);<br>    }<br>    <br>    // 01012345678 패턴 (11자리)<br>    if (regcomp(&amp;phone_regex, &quot;[0-9]{11}&quot;, REG_EXTENDED) == 0) {<br>        char *search_start = text;<br>        while (regexec(&amp;phone_regex, search_start, 1, matches, 0) == 0) {<br>            int start = search_start - text + matches[0].rm_so;<br>            int end = search_start - text + matches[0].rm_eo;<br>            <br>            // 전화번호인지 확인 (첫 자리가 0인지)<br>            if (text[start] == &#39;0&#39;) {<br>                char masked[32];<br>                snprintf(masked, sizeof(masked), &quot;%.3s****%.4s&quot;, <br>                        text + start, text + end - 4);<br>                <br>                replace_substring(text, start, end, masked);<br>                search_start = text + start + strlen(masked);<br>            } else {<br>                search_start = text + end;<br>            }<br>        }<br>        regfree(&amp;phone_regex);<br>    }<br>}<br><br>// 이메일 마스킹 함수<br>void mask_email(char *text) {<br>    regex_t email_regex;<br>    regmatch_t matches[1];<br>    <br>    if (regcomp(&amp;email_regex, &quot;[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\\.[A-Za-z]{2,}&quot;, REG_EXTENDED) == 0) {<br>        char *search_start = text;<br>        while (regexec(&amp;email_regex, search_start, 1, matches, 0) == 0) {<br>            int start = search_start - text + matches[0].rm_so;<br>            int end = search_start - text + matches[0].rm_eo;<br>            <br>            // @ 위치 찾기<br>            char *at_pos = strchr(text + start, &#39;@&#39;);<br>            if (at_pos) {<br>                int domain_start = at_pos - text;<br>                int domain_len = end - domain_start;<br>                <br>                char masked[256];<br>                snprintf(masked, sizeof(masked), &quot;****%.*s&quot;, domain_len, text + domain_start);<br>                <br>                replace_substring(text, start, end, masked);<br>                search_start = text + start + strlen(masked);<br>            } else {<br>                search_start = text + end;<br>            }<br>        }<br>        regfree(&amp;email_regex);<br>    }<br>}<br><br>// PII 마스킹 함수<br>void mask_pii(char *text) {<br>    mask_phone(text);<br>    mask_email(text);<br>    <br>    // 주민등록번호 마스킹<br>    regex_t ssn_regex;<br>    regmatch_t matches[1];<br>    <br>    if (regcomp(&amp;ssn_regex, &quot;[0-9]{6}-[0-9]{7}&quot;, REG_EXTENDED) == 0) {<br>        char *search_start = text;<br>        while (regexec(&amp;ssn_regex, search_start, 1, matches, 0) == 0) {<br>            int start = search_start - text + matches[0].rm_so;<br>            int end = search_start - text + matches[0].rm_eo;<br>            <br>            char masked[32];<br>            snprintf(masked, sizeof(masked), &quot;%.6s-*******&quot;, text + start);<br>            <br>            replace_substring(text, start, end, masked);<br>            search_start = text + start + strlen(masked);<br>        }<br>        regfree(&amp;ssn_regex);<br>    }<br>    <br>    // 신용카드 마스킹<br>    regex_t card_regex;<br>    if (regcomp(&amp;card_regex, &quot;[0-9]{4}-[0-9]{4}-[0-9]{4}-[0-9]{4}&quot;, REG_EXTENDED) == 0) {<br>        char *search_start = text;<br>        while (regexec(&amp;card_regex, search_start, 1, matches, 0) == 0) {<br>            int start = search_start - text + matches[0].rm_so;<br>            int end = search_start - text + matches[0].rm_eo;<br>            <br>            char masked[32];<br>            snprintf(masked, sizeof(masked), &quot;%.4s-****-****-%.4s&quot;, <br>                    text + start, text + end - 4);<br>            <br>            replace_substring(text, start, end, masked);<br>            search_start = text + start + strlen(masked);<br>        }<br>        regfree(&amp;card_regex);<br>    }<br>}<br><br>// 메모리 정리 함수<br>void cleanup_pii_filter(PIIFilter *filter) {<br>    for (int i = 0; i &lt; filter-&gt;pattern_count; i++) {<br>        regfree(&amp;filter-&gt;compiled_patterns[i]);<br>    }<br>}<br><br>int main() {<br>    PIIFilter filter;<br>    char detected_types[MAX_MATCHES][32];<br>    <br>    // PII 필터 초기화<br>    if (init_pii_filter(&amp;filter) != 0) {<br>        printf(&quot;PII 필터 초기화 실패\n&quot;);<br>        return 1;<br>    }<br>    <br>    // 테스트 데이터<br>    char test_texts[][MAX_TEXT_LENGTH] = {<br>        &quot;연락처는 010-1234-5678이고 이메일은 test@example.com입니다.&quot;,<br>        &quot;주민번호 901201-1234567, 카드번호 1234-5678-9012-3456&quot;,<br>        &quot;핸드폰 01098765432, 이메일: business@company.co.kr&quot;,<br>        &quot;개인정보 테스트 데이터입니다.&quot;<br>    };<br>    <br>    int test_count = sizeof(test_texts) / sizeof(test_texts[0]);<br>    <br>    for (int i = 0; i &lt; test_count; i++) {<br>        printf(&quot;=== 예제 %d ===\n&quot;, i + 1);<br>        printf(&quot;원본: %s\n&quot;, test_texts[i]);<br>        <br>        // 복사본 생성 (원본 보존)<br>        char normalized[MAX_TEXT_LENGTH];<br>        strcpy(normalized, test_texts[i]);<br>        <br>        // 텍스트 정규화<br>        normalize_text(normalized);<br>        printf(&quot;정규화: %s\n&quot;, normalized);<br>        <br>        // PII 탐지<br>        int detected_count = detect_pii(&amp;filter, normalized, detected_types);<br>        printf(&quot;탐지된 PII: &quot;);<br>        for (int j = 0; j &lt; detected_count; j++) {<br>            printf(&quot;%s &quot;, detected_types[j]);<br>        }<br>        printf(&quot;(총 %d개)\n&quot;, detected_count);<br>        <br>        // PII 마스킹<br>        char masked[MAX_TEXT_LENGTH];<br>        strcpy(masked, normalized);<br>        mask_pii(masked);<br>        printf(&quot;마스킹: %s\n\n&quot;, masked);<br>    }<br>    <br>    // 메모리 정리<br>    cleanup_pii_filter(&amp;filter);<br>    <br>    return 0;<br>}<br><br>// 실행 결과(예시):<br>// === 예제 1 ===<br>// 원본: 연락처는 010-1234-5678이고 이메일은 test@example.com입니다.<br>// 정규화: 연락처는 010-1234-5678이고 이메일은 test@example.com입니다.<br>// 탐지된 PII: phone email (총 2개)<br>// 마스킹: 연락처는 010-****-5678이고 이메일은 ****@example.com입니다.<br><br>// === 예제 2 ===  <br>// 원본: 주민번호 901201-1234567, 카드번호 1234-5678-9012-3456<br>// 정규화: 주민번호 901201-1234567, 카드번호 1234-5678-9012-3456<br>// 탐지된 PII: ssn credit_card (총 2개)<br>// 마스킹: 주민번호 901201-*******, 카드번호 1234-****-****-3456<br><br>// === 예제 3 ===<br>// 원본: 핸드폰 01098765432, 이메일: business@company.co.kr  <br>// 정규화: 핸드폰 01098765432, 이메일: business@company.co.kr<br>// 탐지된 PII: phone_no_dash email (총 2개)<br>// 마스킹: 핸드폰 010****5432, 이메일: ****@company.co.kr<br><br>// === 예제 4 ===<br>// 원본: 개인정보 테스트 데이터입니다.<br>// 정규화: 개인정보 테스트 데이터입니다.<br>// 탐지된 PII: (총 0개)<br>// 마스킹: 개인정보 테스트 데이터입니다.</pre><h4>3.7 C++로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>C++에서는 regex 라이브러리를 활용하여 현대적인 정규표현식 처리를 수행한다. std::regex, std::regex_search(), std::regex_replace() 등의 함수를 사용한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>#include &lt;iostream&gt;<br>#include &lt;string&gt;<br>#include &lt;regex&gt;<br>#include &lt;vector&gt;<br>#include &lt;map&gt;<br>#include &lt;algorithm&gt;<br>#include &lt;chrono&gt;<br><br>class PIIFilter {<br>private:<br>    std::map&lt;std::string, std::vector&lt;std::regex&gt;&gt; patterns;<br>    <br>public:<br>    PIIFilter() {<br>        // 전화번호 패턴<br>        patterns[&quot;phone&quot;] = {<br>            std::regex(R&quot;(\b\d{3}-\d{4}-\d{4}\b)&quot;),      // 010-1234-5678<br>            std::regex(R&quot;(\b\d{3}\.\d{4}\.\d{4}\b)&quot;),    // 010.1234.5678<br>            std::regex(R&quot;(\b\d{11}\b)&quot;),                  // 01012345678<br>            std::regex(R&quot;(\b\d{3}\s\d{4}\s\d{4}\b)&quot;)     // 010 1234 5678<br>        };<br>        <br>        // 이메일 패턴<br>        patterns[&quot;email&quot;] = {<br>            std::regex(R&quot;(\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,}\b)&quot;)<br>        };<br>        <br>        // 주민등록번호 패턴<br>        patterns[&quot;ssn&quot;] = {<br>            std::regex(R&quot;(\b\d{6}-\d{7}\b)&quot;),            // 주민등록번호<br>            std::regex(R&quot;(\b\d{13}\b)&quot;)                   // 주민등록번호 (하이픈 없음)<br>        };<br>        <br>        // 신용카드 패턴<br>        patterns[&quot;credit_card&quot;] = {<br>            std::regex(R&quot;(\b\d{4}-\d{4}-\d{4}-\d{4}\b)&quot;), // 신용카드<br>            std::regex(R&quot;(\b\d{16}\b)&quot;)<br>        };<br>    }<br>    <br>    // 텍스트 정규화 함수<br>    std::string normalizeText(const std::string&amp; text) {<br>        std::string normalized = text;<br>        <br>        // 연속된 공백을 하나로 치환<br>        normalized = std::regex_replace(normalized, std::regex(R&quot;(\s+)&quot;), &quot; &quot;);<br>        <br>        // 양쪽 공백 제거<br>        normalized.erase(0, normalized.find_first_not_of(&#39; &#39;));<br>        normalized.erase(normalized.find_last_not_of(&#39; &#39;) + 1);<br>        <br>        return normalized;<br>    }<br>    <br>    // PII 탐지 함수<br>    std::map&lt;std::string, std::vector&lt;std::string&gt;&gt; detectPII(const std::string&amp; text) {<br>        std::map&lt;std::string, std::vector&lt;std::string&gt;&gt; detected;<br>        <br>        for (const auto&amp; [piiType, patternList] : patterns) {<br>            std::vector&lt;std::string&gt; matches;<br>            <br>            for (const auto&amp; pattern : patternList) {<br>                std::sregex_iterator iter(text.begin(), text.end(), pattern);<br>                std::sregex_iterator end;<br>                <br>                for (; iter != end; ++iter) {<br>                    matches.push_back(iter-&gt;str());<br>                }<br>            }<br>            <br>            if (!matches.empty()) {<br>                detected[piiType] = matches;<br>            }<br>        }<br>        <br>        return detected;<br>    }<br>    <br>    // PII 마스킹 함수<br>    std::string maskPII(const std::string&amp; text) {<br>        std::string maskedText = text;<br>        <br>        // 전화번호 마스킹<br>        for (const auto&amp; pattern : patterns[&quot;phone&quot;]) {<br>            maskedText = std::regex_replace(maskedText, pattern, <br>                [](const std::smatch&amp; match) -&gt; std::string {<br>                    std::string matched = match.str();<br>                    if (matched.find(&#39;-&#39;) != std::string::npos) {<br>                        return matched.substr(0, 3) + &quot;-****-&quot; + matched.substr(matched.length() - 4);<br>                    } else {<br>                        return matched.substr(0, 3) + &quot;****&quot; + matched.substr(matched.length() - 4);<br>                    }<br>                });<br>        }<br>        <br>        // 이메일 마스킹<br>        for (const auto&amp; pattern : patterns[&quot;email&quot;]) {<br>            maskedText = std::regex_replace(maskedText, pattern,<br>                [](const std::smatch&amp; match) -&gt; std::string {<br>                    std::string matched = match.str();<br>                    size_t atPos = matched.find(&#39;@&#39;);<br>                    return &quot;****&quot; + matched.substr(atPos);<br>                });<br>        }<br>        <br>        // 주민등록번호 마스킹<br>        for (const auto&amp; pattern : patterns[&quot;ssn&quot;]) {<br>            maskedText = std::regex_replace(maskedText, pattern,<br>                [](const std::smatch&amp; match) -&gt; std::string {<br>                    std::string matched = match.str();<br>                    if (matched.find(&#39;-&#39;) != std::string::npos) {<br>                        return matched.substr(0, 6) + &quot;-*******&quot;;<br>                    } else {<br>                        return matched.substr(0, 6) + &quot;*******&quot;;<br>                    }<br>                });<br>        }<br>        <br>        // 신용카드 마스킹<br>        for (const auto&amp; pattern : patterns[&quot;credit_card&quot;]) {<br>            maskedText = std::regex_replace(maskedText, pattern,<br>                [](const std::smatch&amp; match) -&gt; std::string {<br>                    std::string matched = match.str();<br>                    if (matched.find(&#39;-&#39;) != std::string::npos) {<br>                        return matched.substr(0, 4) + &quot;-****-****-&quot; + matched.substr(matched.length() - 4);<br>                    } else {<br>                        return matched.substr(0, 4) + &quot;********&quot; + matched.substr(matched.length() - 4);<br>                    }<br>                });<br>        }<br>        <br>        return maskedText;<br>    }<br>    <br>    // 성능 측정 함수<br>    void benchmarkPerformance(const std::string&amp; text, int iterations = 10000) {<br>        auto start = std::chrono::high_resolution_clock::now();<br>        <br>        // 정규화 성능 측정<br>        for (int i = 0; i &lt; iterations; ++i) {<br>            normalizeText(text);<br>        }<br>        auto normalizeTime = std::chrono::high_resolution_clock::now() - start;<br>        <br>        // 탐지 성능 측정<br>        start = std::chrono::high_resolution_clock::now();<br>        for (int i = 0; i &lt; iterations; ++i) {<br>            detectPII(text);<br>        }<br>        auto detectTime = std::chrono::high_resolution_clock::now() - start;<br>        <br>        // 마스킹 성능 측정<br>        start = std::chrono::high_resolution_clock::now();<br>        for (int i = 0; i &lt; iterations; ++i) {<br>            maskPII(text);<br>        }<br>        auto maskTime = std::chrono::high_resolution_clock::now() - start;<br>        <br>        std::cout &lt;&lt; &quot;성능 측정 결과 (&quot; &lt;&lt; iterations &lt;&lt; &quot; 회 반복):\n&quot;;<br>        std::cout &lt;&lt; &quot;정규화: &quot; &lt;&lt; std::chrono::duration_cast&lt;std::chrono::microseconds&gt;(normalizeTime).count() <br>                  &lt;&lt; &quot; μs (평균 &quot; &lt;&lt; std::chrono::duration_cast&lt;std::chrono::nanoseconds&gt;(normalizeTime).count() / iterations &lt;&lt; &quot; ns/회)\n&quot;;<br>        std::cout &lt;&lt; &quot;탐지: &quot; &lt;&lt; std::chrono::duration_cast&lt;std::chrono::microseconds&gt;(detectTime).count() <br>                  &lt;&lt; &quot; μs (평균 &quot; &lt;&lt; std::chrono::duration_cast&lt;std::chrono::nanoseconds&gt;(detectTime).count() / iterations &lt;&lt; &quot; ns/회)\n&quot;;<br>        std::cout &lt;&lt; &quot;마스킹: &quot; &lt;&lt; std::chrono::duration_cast&lt;std::chrono::microseconds&gt;(maskTime).count() <br>                  &lt;&lt; &quot; μs (평균 &quot; &lt;&lt; std::chrono::duration_cast&lt;std::chrono::nanoseconds&gt;(maskTime).count() / iterations &lt;&lt; &quot; ns/회)\n&quot;;<br>    }<br>};<br><br>// 유틸리티 함수: 탐지된 PII 출력<br>void printDetectedPII(const std::map&lt;std::string, std::vector&lt;std::string&gt;&gt;&amp; detected) {<br>    std::cout &lt;&lt; &quot;탐지된 PII: &quot;;<br>    for (const auto&amp; [type, matches] : detected) {<br>        std::cout &lt;&lt; type &lt;&lt; &quot;(&quot; &lt;&lt; matches.size() &lt;&lt; &quot;) &quot;;<br>    }<br>    std::cout &lt;&lt; &quot;\n&quot;;<br>}<br><br>int main() {<br>    PIIFilter filter;<br>    <br>    // 테스트 데이터<br>    std::vector&lt;std::string&gt; sampleTexts = {<br>        &quot;안녕하세요, 제 연락처는 010-1234-5678이고 이메일은 test@example.com입니다.&quot;,<br>        &quot;개인정보: 주민번호 901201-1234567, 카드번호 1234-5678-9012-3456&quot;,<br>        &quot;연락처: 02 1234 5678, 이메일: business@company.co.kr&quot;,<br>        &quot;핸드폰 01098765432, 주민등록번호 8512051234567&quot;,<br>        &quot;일반 텍스트로 개인정보가 없는 경우입니다.&quot;<br>    };<br>    <br>    // 각 텍스트 처리<br>    for (size_t i = 0; i &lt; sampleTexts.size(); ++i) {<br>        std::cout &lt;&lt; &quot;=== 예제 &quot; &lt;&lt; (i + 1) &lt;&lt; &quot; ===\n&quot;;<br>        std::cout &lt;&lt; &quot;원본: &quot; &lt;&lt; sampleTexts[i] &lt;&lt; &quot;\n&quot;;<br>        <br>        // 텍스트 정규화<br>        std::string normalized = filter.normalizeText(sampleTexts[i]);<br>        std::cout &lt;&lt; &quot;정규화: &quot; &lt;&lt; normalized &lt;&lt; &quot;\n&quot;;<br>        <br>        // PII 탐지<br>        auto detected = filter.detectPII(normalized);<br>        printDetectedPII(detected);<br>        <br>        // PII 마스킹<br>        std::string masked = filter.maskPII(normalized);<br>        std::cout &lt;&lt; &quot;마스킹: &quot; &lt;&lt; masked &lt;&lt; &quot;\n\n&quot;;<br>    }<br>    <br>    // 성능 테스트<br>    std::cout &lt;&lt; &quot;=== 성능 테스트 ===\n&quot;;<br>    std::string testText = &quot;연락처: 010-1234-5678, 이메일: test@example.com, 주민번호: 901201-1234567&quot;;<br>    filter.benchmarkPerformance(testText);<br>    <br>    // 복잡한 텍스트로 추가 테스트<br>    std::cout &lt;&lt; &quot;\n=== 복잡한 텍스트 테스트 ===\n&quot;;<br>    std::string complexText = R&quot;(<br>        고객 정보 관리 시스템에서 추출한 데이터입니다.<br>        이름: 김철수, 연락처: 010-1234-5678, 010.9876.5432<br>        이메일: chulsu.kim@example.com, work@company.co.kr  <br>        주민등록번호: 850101-1234567, 951225-2345678<br>        신용카드: 1234-5678-9012-3456, 9876543210123456<br>        추가 연락처: 02 1234 5678, 부산 051 123 4567<br>    )&quot;;<br>    <br>    std::cout &lt;&lt; &quot;원본:\n&quot; &lt;&lt; complexText &lt;&lt; &quot;\n&quot;;<br>    <br>    std::string normalizedComplex = filter.normalizeText(complexText);<br>    std::cout &lt;&lt; &quot;정규화:\n&quot; &lt;&lt; normalizedComplex &lt;&lt; &quot;\n&quot;;<br>    <br>    auto detectedComplex = filter.detectPII(normalizedComplex);<br>    printDetectedPII(detectedComplex);<br>    <br>    std::string maskedComplex = filter.maskPII(normalizedComplex);<br>    std::cout &lt;&lt; &quot;마스킹:\n&quot; &lt;&lt; maskedComplex &lt;&lt; &quot;\n&quot;;<br>    <br>    return 0;<br>}<br><br>// 실행 결과(예시):<br>// === 예제 1 ===<br>// 원본: 안녕하세요, 제 연락처는 010-1234-5678이고 이메일은 test@example.com입니다.<br>// 정규화: 안녕하세요, 제 연락처는 010-1234-5678이고 이메일은 test@example.com입니다.<br>// 탐지된 PII: email(1) phone(1) <br>// 마스킹: 안녕하세요, 제 연락처는 010-****-5678이고 이메일은 ****@example.com입니다.<br><br>// === 예제 2 ===<br>// 원본: 개인정보: 주민번호 901201-1234567, 카드번호 1234-5678-9012-3456<br>// 정규화: 개인정보: 주민번호 901201-1234567, 카드번호 1234-5678-9012-3456<br>// 탐지된 PII: credit_card(1) ssn(1) <br>// 마스킹: 개인정보: 주민번호 901201-*******, 카드번호 1234-****-****-3456<br><br>// === 성능 테스트 ===<br>// 성능 측정 결과 (10000 회 반복):<br>// 정규화: 1234 μs (평균 123 ns/회)<br>// 탐지: 15678 μs (평균 1567 ns/회)<br>// 마스킹: 23456 μs (평균 2345 ns/회)</pre><h4>3.8 Java로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Java에서는 Pattern과 Matcher 클래스를 활용하여 정규표현식을 처리한다. Pattern.compile()로 패턴을 컴파일하고, Matcher 객체를 통해 find(), replaceAll() 등의 메서드를 사용한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>import java.util.*;<br>import java.util.regex.*;<br>import java.util.concurrent.ConcurrentHashMap;<br><br>public class PIIFilter {<br>    private final Map&lt;String, List&lt;Pattern&gt;&gt; patterns;<br>    <br>    public PIIFilter() {<br>        patterns = new ConcurrentHashMap&lt;&gt;();<br>        initializePatterns();<br>    }<br>    <br>    private void initializePatterns() {<br>        // 전화번호 패턴<br>        patterns.put(&quot;phone&quot;, Arrays.asList(<br>            Pattern.compile(&quot;\\b\\d{3}-\\d{4}-\\d{4}\\b&quot;),      // 010-1234-5678<br>            Pattern.compile(&quot;\\b\\d{3}\\.\\d{4}\\.\\d{4}\\b&quot;),  // 010.1234.5678<br>            Pattern.compile(&quot;\\b\\d{11}\\b&quot;),                    // 01012345678<br>            Pattern.compile(&quot;\\b\\d{3}\\s\\d{4}\\s\\d{4}\\b&quot;)   // 010 1234 5678<br>        ));<br>        <br>        // 이메일 패턴<br>        patterns.put(&quot;email&quot;, Arrays.asList(<br>            Pattern.compile(&quot;\\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\\.[A-Za-z]{2,}\\b&quot;)<br>        ));<br>        <br>        // 주민등록번호 패턴<br>        patterns.put(&quot;ssn&quot;, Arrays.asList(<br>            Pattern.compile(&quot;\\b\\d{6}-\\d{7}\\b&quot;),              // 주민등록번호<br>            Pattern.compile(&quot;\\b\\d{13}\\b&quot;)                     // 주민등록번호 (하이픈 없음)<br>        ));<br>        <br>        // 신용카드 패턴<br>        patterns.put(&quot;credit_card&quot;, Arrays.asList(<br>            Pattern.compile(&quot;\\b\\d{4}-\\d{4}-\\d{4}-\\d{4}\\b&quot;), // 신용카드<br>            Pattern.compile(&quot;\\b\\d{16}\\b&quot;)<br>        ));<br>    }<br>    <br>    /**<br>     * 텍스트 정규화 함수<br>     */<br>    public String normalizeText(String text) {<br>        if (text == null) return &quot;&quot;;<br>        <br>        // 연속된 공백을 하나로 치환<br>        text = text.replaceAll(&quot;\\s+&quot;, &quot; &quot;);<br>        <br>        // 양쪽 공백 제거<br>        text = text.trim();<br>        <br>        return text;<br>    }<br>    <br>    /**<br>     * PII 탐지 함수<br>     */<br>    public Map&lt;String, List&lt;String&gt;&gt; detectPII(String text) {<br>        Map&lt;String, List&lt;String&gt;&gt; detected = new HashMap&lt;&gt;();<br>        <br>        for (Map.Entry&lt;String, List&lt;Pattern&gt;&gt; entry : patterns.entrySet()) {<br>            String piiType = entry.getKey();<br>            List&lt;Pattern&gt; patternList = entry.getValue();<br>            List&lt;String&gt; matches = new ArrayList&lt;&gt;();<br>            <br>            for (Pattern pattern : patternList) {<br>                Matcher matcher = pattern.matcher(text);<br>                while (matcher.find()) {<br>                    matches.add(matcher.group());<br>                }<br>            }<br>            <br>            if (!matches.isEmpty()) {<br>                detected.put(piiType, matches);<br>            }<br>        }<br>        <br>        return detected;<br>    }<br>    <br>    /**<br>     * PII 마스킹 함수<br>     */<br>    public String maskPII(String text) {<br>        String maskedText = text;<br>        <br>        // 전화번호 마스킹<br>        for (Pattern pattern : patterns.get(&quot;phone&quot;)) {<br>            maskedText = pattern.matcher(maskedText).replaceAll(matchResult -&gt; {<br>                String match = matchResult.group();<br>                if (match.contains(&quot;-&quot;)) {<br>                    return match.substring(0, 3) + &quot;-****-&quot; + match.substring(match.length() - 4);<br>                } else {<br>                    return match.substring(0, 3) + &quot;****&quot; + match.substring(match.length() - 4);<br>                }<br>            });<br>        }<br>        <br>        // 이메일 마스킹<br>        for (Pattern pattern : patterns.get(&quot;email&quot;)) {<br>            maskedText = pattern.matcher(maskedText).replaceAll(matchResult -&gt; {<br>                String match = matchResult.group();<br>                int atIndex = match.indexOf(&#39;@&#39;);<br>                return &quot;****&quot; + match.substring(atIndex);<br>            });<br>        }<br>        <br>        // 주민등록번호 마스킹<br>        for (Pattern pattern : patterns.get(&quot;ssn&quot;)) {<br>            maskedText = pattern.matcher(maskedText).replaceAll(matchResult -&gt; {<br>                String match = matchResult.group();<br>                if (match.contains(&quot;-&quot;)) {<br>                    return match.substring(0, 6) + &quot;-*******&quot;;<br>                } else {<br>                    return match.substring(0, 6) + &quot;*******&quot;;<br>                }<br>            });<br>        }<br>        <br>        // 신용카드 마스킹<br>        for (Pattern pattern : patterns.get(&quot;credit_card&quot;)) {<br>            maskedText = pattern.matcher(maskedText).replaceAll(matchResult -&gt; {<br>                String match = matchResult.group();<br>                if (match.contains(&quot;-&quot;)) {<br>                    return match.substring(0, 4) + &quot;-****-****-&quot; + match.substring(match.length() - 4);<br>                } else {<br>                    return match.substring(0, 4) + &quot;********&quot; + match.substring(match.length() - 4);<br>                }<br>            });<br>        }<br>        <br>        return maskedText;<br>    }<br>    <br>    /**<br>     * 성능 측정 함수<br>     */<br>    public void benchmarkPerformance(String text, int iterations) {<br>        System.out.println(&quot;성능 측정 시작 (&quot; + iterations + &quot; 회 반복)&quot;);<br>        <br>        // 정규화 성능 측정<br>        long startTime = System.nanoTime();<br>        for (int i = 0; i &lt; iterations; i++) {<br>            normalizeText(text);<br>        }<br>        long normalizeTime = System.nanoTime() - startTime;<br>        <br>        // 탐지 성능 측정<br>        startTime = System.nanoTime();<br>        for (int i = 0; i &lt; iterations; i++) {<br>            detectPII(text);<br>        }<br>        long detectTime = System.nanoTime() - startTime;<br>        <br>        // 마스킹 성능 측정<br>        startTime = System.nanoTime();<br>        for (int i = 0; i &lt; iterations; i++) {<br>            maskPII(text);<br>        }<br>        long maskTime = System.nanoTime() - startTime;<br>        <br>        System.out.printf(&quot;정규화: %.2f ms (평균 %.2f μs/회)%n&quot;, <br>                         normalizeTime / 1_000_000.0, normalizeTime / (double) iterations / 1000);<br>        System.out.printf(&quot;탐지: %.2f ms (평균 %.2f μs/회)%n&quot;, <br>                         detectTime / 1_000_000.0, detectTime / (double) iterations / 1000);<br>        System.out.printf(&quot;마스킹: %.2f ms (평균 %.2f μs/회)%n&quot;, <br>                         maskTime / 1_000_000.0, maskTime / (double) iterations / 1000);<br>    }<br>    <br>    /**<br>     * 통계 정보 계산<br>     */<br>    public Map&lt;String, Integer&gt; calculatePIIStatistics(List&lt;String&gt; texts) {<br>        Map&lt;String, Integer&gt; statistics = new HashMap&lt;&gt;();<br>        <br>        for (String text : texts) {<br>            String normalized = normalizeText(text);<br>            Map&lt;String, List&lt;String&gt;&gt; detected = detectPII(normalized);<br>            <br>            for (Map.Entry&lt;String, List&lt;String&gt;&gt; entry : detected.entrySet()) {<br>                String piiType = entry.getKey();<br>                int count = entry.getValue().size();<br>                statistics.put(piiType, statistics.getOrDefault(piiType, 0) + count);<br>            }<br>        }<br>        <br>        return statistics;<br>    }<br>    <br>    public static void main(String[] args) {<br>        PIIFilter filter = new PIIFilter();<br>        <br>        // 테스트 데이터<br>        List&lt;String&gt; sampleTexts = Arrays.asList(<br>            &quot;안녕하세요, 제 연락처는 010-1234-5678이고 이메일은 test@example.com입니다.&quot;,<br>            &quot;개인정보: 주민번호 901201-1234567, 카드번호 1234-5678-9012-3456&quot;,<br>            &quot;연락처: 02 1234 5678, 이메일: business@company.co.kr&quot;,<br>            &quot;핸드폰 01098765432, 주민등록번호 8512051234567&quot;,<br>            &quot;일반 텍스트로 개인정보가 없는 경우입니다.&quot;<br>        );<br>        <br>        // 각 텍스트 처리<br>        for (int i = 0; i &lt; sampleTexts.size(); i++) {<br>            System.out.println(&quot;=== 예제 &quot; + (i + 1) + &quot; ===&quot;);<br>            String text = sampleTexts.get(i);<br>            System.out.println(&quot;원본: &quot; + text);<br>            <br>            // 텍스트 정규화<br>            String normalized = filter.normalizeText(text);<br>            System.out.println(&quot;정규화: &quot; + normalized);<br>            <br>            // PII 탐지<br>            Map&lt;String, List&lt;String&gt;&gt; detected = filter.detectPII(normalized);<br>            System.out.print(&quot;탐지된 PII: &quot;);<br>            detected.forEach((type, matches) -&gt; <br>                System.out.print(type + &quot;(&quot; + matches.size() + &quot;) &quot;));<br>            System.out.println();<br>            <br>            // PII 마스킹<br>            String masked = filter.maskPII(normalized);<br>            System.out.println(&quot;마스킹: &quot; + masked);<br>            System.out.println();<br>        }<br>        <br>        // 통계 정보 출력<br>        System.out.println(&quot;=== PII 탐지 통계 ===&quot;);<br>        Map&lt;String, Integer&gt; statistics = filter.calculatePIIStatistics(sampleTexts);<br>        statistics.forEach((type, count) -&gt; <br>            System.out.println(type + &quot;: &quot; + count + &quot;개&quot;));<br>        <br>        // 성능 테스트<br>        System.out.println(&quot;\n=== 성능 테스트 ===&quot;);<br>        String testText = &quot;연락처: 010-1234-5678, 이메일: test@example.com, 주민번호: 901201-1234567&quot;;<br>        filter.benchmarkPerformance(testText, 10000);<br>        <br>        // 대용량 텍스트 테스트<br>        System.out.println(&quot;\n=== 대용량 텍스트 테스트 ===&quot;);<br>        StringBuilder largeText = new StringBuilder();<br>        for (int i = 0; i &lt; 100; i++) {<br>            largeText.append(&quot;고객 &quot;).append(i).append(&quot;: 연락처 010-&quot;).append(String.format(&quot;%04d&quot;, i))<br>                    .append(&quot;-5678, 이메일 user&quot;).append(i).append(&quot;@example.com, &quot;);<br>        }<br>        <br>        String largeTextStr = largeText.toString();<br>        System.out.println(&quot;대용량 텍스트 길이: &quot; + largeTextStr.length() + &quot; 문자&quot;);<br>        <br>        long startTime = System.currentTimeMillis();<br>        String normalizedLarge = filter.normalizeText(largeTextStr);<br>        Map&lt;String, List&lt;String&gt;&gt; detectedLarge = filter.detectPII(normalizedLarge);<br>        String maskedLarge = filter.maskPII(normalizedLarge);<br>        long endTime = System.currentTimeMillis();<br>        <br>        System.out.println(&quot;처리 시간: &quot; + (endTime - startTime) + &quot; ms&quot;);<br>        detectedLarge.forEach((type, matches) -&gt; <br>            System.out.println(&quot;탐지된 &quot; + type + &quot;: &quot; + matches.size() + &quot;개&quot;));<br>    }<br>}<br><br>// 실행 결과(예시):<br>// === 예제 1 ===<br>// 원본: 안녕하세요, 제 연락처는 010-1234-5678이고 이메일은 test@example.com입니다.<br>// 정규화: 안녕하세요, 제 연락처는 010-1234-5678이고 이메일은 test@example.com입니다.<br>// 탐지된 PII: email(1) phone(1) <br>// 마스킹: 안녕하세요, 제 연락처는 010-****-5678이고 이메일은 ****@example.com입니다.<br><br>// === 예제 2 ===<br>// 원본: 개인정보: 주민번호 901201-1234567, 카드번호 1234-5678-9012-3456<br>// 정규화: 개인정보: 주민번호 901201-1234567, 카드번호 1234-5678-9012-3456<br>// 탐지된 PII: credit_card(1) ssn(1) <br>// 마스킹: 개인정보: 주민번호 901201-*******, 카드번호 1234-****-****-3456<br><br>// === PII 탐지 통계 ===<br>// phone: 3개<br>// email: 2개<br>// ssn: 2개<br>// credit_card: 1개<br><br>// === 성능 테스트 ===<br>// 성능 측정 시작 (10000 회 반복)<br>// 정규화: 12.34 ms (평균 1.23 μs/회)<br>// 탐지: 156.78 ms (평균 15.67 μs/회)<br>// 마스킹: 234.56 ms (평균 23.45 μs/회)<br><br>// === 대용량 텍스트 테스트 ===<br>// 대용량 텍스트 길이: 5200 문자<br>// 처리 시간: 15 ms<br>// 탐지된 phone: 100개<br>// 탐지된 email: 100개</pre><h4>3.9 JavaScript로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Javascript에서는 RegExp 객체와 String의 정규표현식 메서드를 활용한다. match(), replace(), test() 등의 메서드와 normalize() 함수를 사용하여 유니코드 정규화도 수행할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>class PIIFilter {<br>    constructor() {<br>        // PII 패턴 정의<br>        this.patterns = {<br>            phone: [<br>                /\b\d{3}-\d{4}-\d{4}\b/g,      // 010-1234-5678<br>                /\b\d{3}\.\d{4}\.\d{4}\b/g,    // 010.1234.5678<br>                /\b\d{11}\b/g,                  // 01012345678<br>                /\b\d{3}\s\d{4}\s\d{4}\b/g     // 010 1234 5678<br>            ],<br>            email: [<br>                /\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,}\b/g<br>            ],<br>            ssn: [<br>                /\b\d{6}-\d{7}\b/g,            // 주민등록번호<br>                /\b\d{13}\b/g                   // 주민등록번호 (하이픈 없음)<br>            ],<br>            credit_card: [<br>                /\b\d{4}-\d{4}-\d{4}-\d{4}\b/g, // 신용카드<br>                /\b\d{16}\b/g<br>            ]<br>        };<br>    }<br>    <br>    /**<br>     * 텍스트 정규화 함수<br>     * @param {string} text - 정규화할 텍스트<br>     * @returns {string} 정규화된 텍스트<br>     */<br>    normalizeText(text) {<br>        if (!text) return &#39;&#39;;<br>        <br>        // 유니코드 정규화 (NFD 방식)<br>        text = text.normalize(&#39;NFD&#39;);<br>        <br>        // 연속된 공백을 하나로 치환<br>        text = text.replace(/\s+/g, &#39; &#39;);<br>        <br>        // 양쪽 공백 제거<br>        text = text.trim();<br>        <br>        return text;<br>    }<br>    <br>    /**<br>     * PII 탐지 함수<br>     * @param {string} text - 탐지할 텍스트<br>     * @returns {Object} 탐지된 PII 정보<br>     */<br>    detectPII(text) {<br>        const detected = {};<br>        <br>        for (const [piiType, patternList] of Object.entries(this.patterns)) {<br>            const matches = [];<br>            <br>            for (const pattern of patternList) {<br>                const found = text.match(pattern);<br>                if (found) {<br>                    matches.push(...found);<br>                }<br>            }<br>            <br>            if (matches.length &gt; 0) {<br>                detected[piiType] = [...new Set(matches)]; // 중복 제거<br>            }<br>        }<br>        <br>        return detected;<br>    }<br>    <br>    /**<br>     * PII 마스킹 함수<br>     * @param {string} text - 마스킹할 텍스트<br>     * @returns {string} 마스킹된 텍스트<br>     */<br>    maskPII(text) {<br>        let maskedText = text;<br>        <br>        // 전화번호 마스킹<br>        for (const pattern of this.patterns.phone) {<br>            maskedText = maskedText.replace(pattern, (match) =&gt; {<br>                if (match.includes(&#39;-&#39;)) {<br>                    return match.substring(0, 3) + &#39;-****-&#39; + match.substring(match.length - 4);<br>                } else if (match.includes(&#39;.&#39;)) {<br>                    return match.substring(0, 3) + &#39;.****.&#39; + match.substring(match.length - 4);<br>                } else if (match.includes(&#39; &#39;)) {<br>                    return match.substring(0, 3) + &#39; **** &#39; + match.substring(match.length - 4);<br>                } else {<br>                    return match.substring(0, 3) + &#39;****&#39; + match.substring(match.length - 4);<br>                }<br>            });<br>        }<br>        <br>        // 이메일 마스킹<br>        for (const pattern of this.patterns.email) {<br>            maskedText = maskedText.replace(pattern, (match) =&gt; {<br>                const atIndex = match.indexOf(&#39;@&#39;);<br>                return &#39;****&#39; + match.substring(atIndex);<br>            });<br>        }<br>        <br>        // 주민등록번호 마스킹<br>        for (const pattern of this.patterns.ssn) {<br>            maskedText = maskedText.replace(pattern, (match) =&gt; {<br>                if (match.includes(&#39;-&#39;)) {<br>                    return match.substring(0, 6) + &#39;-*******&#39;;<br>                } else {<br>                    return match.substring(0, 6) + &#39;*******&#39;;<br>                }<br>            });<br>        }<br>        <br>        // 신용카드 마스킹<br>        for (const pattern of this.patterns.credit_card) {<br>            maskedText = maskedText.replace(pattern, (match) =&gt; {<br>                if (match.includes(&#39;-&#39;)) {<br>                    return match.substring(0, 4) + &#39;-****-****-&#39; + match.substring(match.length - 4);<br>                } else {<br>                    return match.substring(0, 4) + &#39;********&#39; + match.substring(match.length - 4);<br>                }<br>            });<br>        }<br>        <br>        return maskedText;<br>    }<br>    <br>    /**<br>     * 성능 측정 함수<br>     * @param {string} text - 테스트할 텍스트<br>     * @param {number} iterations - 반복 횟수<br>     */<br>    benchmarkPerformance(text, iterations = 10000) {<br>        console.log(`성능 측정 시작 (${iterations} 회 반복)`);<br>        <br>        // 정규화 성능 측정<br>        const normalizeStart = performance.now();<br>        for (let i = 0; i &lt; iterations; i++) {<br>            this.normalizeText(text);<br>        }<br>        const normalizeTime = performance.now() - normalizeStart;<br>        <br>        // 탐지 성능 측정<br>        const detectStart = performance.now();<br>        for (let i = 0; i &lt; iterations; i++) {<br>            this.detectPII(text);<br>        }<br>        const detectTime = performance.now() - detectStart;<br>        <br>        // 마스킹 성능 측정<br>        const maskStart = performance.now();<br>        for (let i = 0; i &lt; iterations; i++) {<br>            this.maskPII(text);<br>        }<br>        const maskTime = performance.now() - maskStart;<br>        <br>        console.log(`정규화: ${normalizeTime.toFixed(2)} ms (평균 ${(normalizeTime * 1000 / iterations).toFixed(2)} μs/회)`);<br>        console.log(`탐지: ${detectTime.toFixed(2)} ms (평균 ${(detectTime * 1000 / iterations).toFixed(2)} μs/회)`);<br>        console.log(`마스킹: ${maskTime.toFixed(2)} ms (평균 ${(maskTime * 1000 / iterations).toFixed(2)} μs/회)`);<br>    }<br>    <br>    /**<br>     * 실시간 PII 필터링 (스트림 처리용)<br>     * @param {string} text - 입력 텍스트<br>     * @param {function} callback - 처리 결과 콜백<br>     */<br>    async processStreamText(text, callback) {<br>        try {<br>            const normalized = this.normalizeText(text);<br>            const detected = this.detectPII(normalized);<br>            const masked = this.maskPII(normalized);<br>            <br>            const result = {<br>                original: text,<br>                normalized,<br>                detected,<br>                masked,<br>                timestamp: new Date().toISOString(),<br>                hasPII: Object.keys(detected).length &gt; 0<br>            };<br>            <br>            await callback(result);<br>        } catch (error) {<br>            console.error(&#39;스트림 처리 중 오류 발생:&#39;, error);<br>        }<br>    }<br>    <br>    /**<br>     * 통계 정보 계산<br>     * @param {Array&lt;string&gt;} texts - 분석할 텍스트 배열<br>     * @returns {Object} 통계 정보<br>     */<br>    calculateStatistics(texts) {<br>        const statistics = {<br>            totalTexts: texts.length,<br>            textsWithPII: 0,<br>            piiCounts: {},<br>            averagePIIPerText: 0<br>        };<br>        <br>        let totalPIICount = 0;<br>        <br>        for (const text of texts) {<br>            const normalized = this.normalizeText(text);<br>            const detected = this.detectPII(normalized);<br>            <br>            if (Object.keys(detected).length &gt; 0) {<br>                statistics.textsWithPII++;<br>            }<br>            <br>            for (const [piiType, matches] of Object.entries(detected)) {<br>                statistics.piiCounts[piiType] = (statistics.piiCounts[piiType] || 0) + matches.length;<br>                totalPIICount += matches.length;<br>            }<br>        }<br>        <br>        statistics.averagePIIPerText = totalPIICount / texts.length;<br>        statistics.piiDetectionRate = (statistics.textsWithPII / texts.length * 100).toFixed(2) + &#39;%&#39;;<br>        <br>        return statistics;<br>    }<br>}<br><br>// 사용 예제<br>async function runPIIFilterExample() {<br>    const filter = new PIIFilter();<br>    <br>    // 테스트 데이터<br>    const sampleTexts = [<br>        &quot;안녕하세요, 제 연락처는 010-1234-5678이고 이메일은 test@example.com입니다.&quot;,<br>        &quot;개인정보: 주민번호 901201-1234567, 카드번호 1234-5678-9012-3456&quot;,<br>        &quot;연락처: 02 1234 5678, 이메일: business@company.co.kr&quot;,<br>        &quot;핸드폰 01098765432, 주민등록번호 8512051234567&quot;,<br>        &quot;일반 텍스트로 개인정보가 없는 경우입니다.&quot;<br>    ];<br>    <br>    // 각 텍스트 처리<br>    console.log(&#39;=== PII 필터링 테스트 ===&#39;);<br>    for (let i = 0; i &lt; sampleTexts.length; i++) {<br>        console.log(`=== 예제 ${i + 1} ===`);<br>        const text = sampleTexts[i];<br>        console.log(&#39;원본:&#39;, text);<br>        <br>        // 텍스트 정규화<br>        const normalized = filter.normalizeText(text);<br>        console.log(&#39;정규화:&#39;, normalized);<br>        <br>        // PII 탐지<br>        const detected = filter.detectPII(normalized);<br>        console.log(&#39;탐지된 PII:&#39;, detected);<br>        <br>        // PII 마스킹<br>        const masked = filter.maskPII(normalized);<br>        console.log(&#39;마스킹:&#39;, masked);<br>        console.log(&#39;&#39;);<br>    }<br>    <br>    // 통계 정보<br>    console.log(&#39;=== PII 탐지 통계 ===&#39;);<br>    const statistics = filter.calculateStatistics(sampleTexts);<br>    console.log(&#39;전체 텍스트 수:&#39;, statistics.totalTexts);<br>    console.log(&#39;PII 포함 텍스트 수:&#39;, statistics.textsWithPII);<br>    console.log(&#39;PII 탐지율:&#39;, statistics.piiDetectionRate);<br>    console.log(&#39;PII 유형별 개수:&#39;, statistics.piiCounts);<br>    console.log(&#39;평균 PII 개수/텍스트:&#39;, statistics.averagePIIPerText.toFixed(2));<br>    console.log(&#39;&#39;);<br>    <br>    // 성능 테스트<br>    console.log(&#39;=== 성능 테스트 ===&#39;);<br>    const testText = &quot;연락처: 010-1234-5678, 이메일: test@example.com, 주민번호: 901201-1234567&quot;;<br>    filter.benchmarkPerformance(testText, 10000);<br>    console.log(&#39;&#39;);<br>    <br>    // 실시간 스트림 처리 예제<br>    console.log(&#39;=== 실시간 스트림 처리 예제 ===&#39;);<br>    const streamTexts = [<br>        &quot;사용자 입력: 내 전화번호는 010-9999-8888이야&quot;,<br>        &quot;고객 문의: kim.user@test.com으로 답변 부탁드려요&quot;,<br>        &quot;회원가입: 주민번호 950215-1234567로 가입하고 싶어요&quot;<br>    ];<br>    <br>    for (const streamText of streamTexts) {<br>        await filter.processStreamText(streamText, (result) =&gt; {<br>            console.log(&#39;스트림 처리 결과:&#39;);<br>            console.log(&#39;- 원본:&#39;, result.original);<br>            console.log(&#39;- PII 포함 여부:&#39;, result.hasPII);<br>            console.log(&#39;- 마스킹된 텍스트:&#39;, result.masked);<br>            console.log(&#39;- 처리 시간:&#39;, result.timestamp);<br>            console.log(&#39;&#39;);<br>        });<br>    }<br>    <br>    // 브라우저 환경에서의 실시간 입력 처리 (예제)<br>    console.log(&#39;=== 브라우저 실시간 입력 처리 예제 ===&#39;);<br>    simulateBrowserInput(filter);<br>}<br><br>// 브라우저 환경에서의 실시간 입력 처리 시뮬레이션<br>function simulateBrowserInput(filter) {<br>    // 실제 브라우저에서는 input 이벤트를 사용<br>    const mockInputs = [<br>        &quot;내 번호는 010-&quot;,<br>        &quot;내 번호는 010-1234-&quot;,<br>        &quot;내 번호는 010-1234-5678이야&quot;,<br>        &quot;이메일: user@&quot;,<br>        &quot;이메일: user@domain.com&quot;<br>    ];<br>    <br>    mockInputs.forEach((input, index) =&gt; {<br>        setTimeout(() =&gt; {<br>            const detected = filter.detectPII(input);<br>            const hasPII = Object.keys(detected).length &gt; 0;<br>            <br>            console.log(`입력 ${index + 1}: &quot;${input}&quot;`);<br>            console.log(`PII 탐지: ${hasPII ? &#39;YES&#39; : &#39;NO&#39;}`);<br>            if (hasPII) {<br>                console.log(`탐지된 유형: ${Object.keys(detected).join(&#39;, &#39;)}`);<br>                console.log(`마스킹 결과: &quot;${filter.maskPII(input)}&quot;`);<br>            }<br>            console.log(&#39;---&#39;);<br>        }, index * 1000);<br>    });<br>}<br><br>// 웹 워커를 활용한 비동기 PII 처리 (브라우저 환경용)<br>class PIIWorkerManager {<br>    constructor() {<br>        this.worker = null;<br>        this.initWorker();<br>    }<br>    <br>    initWorker() {<br>        // 웹 워커 코드 (실제로는 별도 파일로 분리)<br>        const workerCode = `<br>            importScripts(&#39;pii-filter.js&#39;); // PII 필터 로드<br>            <br>            self.onmessage = function(e) {<br>                const { text, action, id } = e.data;<br>                const filter = new PIIFilter();<br>                <br>                let result;<br>                switch(action) {<br>                    case &#39;normalize&#39;:<br>                        result = filter.normalizeText(text);<br>                        break;<br>                    case &#39;detect&#39;:<br>                        result = filter.detectPII(text);<br>                        break;<br>                    case &#39;mask&#39;:<br>                        result = filter.maskPII(text);<br>                        break;<br>                    default:<br>                        result = { error: &#39;Unknown action&#39; };<br>                }<br>                <br>                self.postMessage({ id, result });<br>            };<br>        `;<br>        <br>        const blob = new Blob([workerCode], { type: &#39;application/javascript&#39; });<br>        this.worker = new Worker(URL.createObjectURL(blob));<br>    }<br>    <br>    async processText(text, action) {<br>        return new Promise((resolve, reject) =&gt; {<br>            const id = Math.random().toString(36).substr(2, 9);<br>            <br>            const timeout = setTimeout(() =&gt; {<br>                reject(new Error(&#39;워커 처리 시간 초과&#39;));<br>            }, 5000);<br>            <br>            this.worker.onmessage = (e) =&gt; {<br>                if (e.data.id === id) {<br>                    clearTimeout(timeout);<br>                    resolve(e.data.result);<br>                }<br>            };<br>            <br>            this.worker.postMessage({ text, action, id });<br>        });<br>    }<br>}<br><br>// 실행<br>if (typeof window === &#39;undefined&#39;) {<br>    // Node.js 환경<br>    runPIIFilterExample();<br>} else {<br>    // 브라우저 환경<br>    document.addEventListener(&#39;DOMContentLoaded&#39;, runPIIFilterExample);<br>}<br><br>// 실행 결과(예시):<br>// === 예제 1 ===<br>// 원본: 안녕하세요, 제 연락처는 010-1234-5678이고 이메일은 test@example.com입니다.<br>// 정규화: 안녕하세요, 제 연락처는 010-1234-5678이고 이메일은 test@example.com입니다.<br>// 탐지된 PII: { phone: [&#39;010-1234-5678&#39;], email: [&#39;test@example.com&#39;] }<br>// 마스킹: 안녕하세요, 제 연락처는 010-****-5678이고 이메일은 ****@example.com입니다.<br><br>// === 예제 2 ===<br>// 원본: 개인정보: 주민번호 901201-1234567, 카드번호 1234-5678-9012-3456<br>// 정규화: 개인정보: 주민번호 901201-1234567, 카드번호 1234-5678-9012-3456<br>// 탐지된 PII: { ssn: [&#39;901201-1234567&#39;], credit_card: [&#39;1234-5678-9012-3456&#39;] }<br>// 마스킹: 개인정보: 주민번호 901201-*******, 카드번호 1234-****-****-3456<br><br>// === PII 탐지 통계 ===<br>// 전체 텍스트 수: 5<br>// PII 포함 텍스트 수: 4<br>// PII 탐지율: 80.00%<br>// PII 유형별 개수: { phone: 3, email: 2, ssn: 2, credit_card: 1 }<br>// 평균 PII 개수/텍스트: 1.60<br><br>// === 성능 테스트 ===<br>// 성능 측정 시작 (10000 회 반복)<br>// 정규화: 12.34 ms (평균 1.23 μs/회)<br>// 탐지: 156.78 ms (평균 15.67 μs/회)<br>// 마스킹: 234.56 ms (평균 23.45 μs/회)</pre><h3>4. 문제 해결의 중요성</h3><p>PII 필터링을 통한 텍스트 정규화의 중요성은 여러 차원에서 분석할 수 있다.</p><p><strong>(1) 법적 컴플라이언스 측면에서 개인정보보호법, GDPR, CCPA 등의 규정을 준수하기 위해서는 반드시 필요</strong><br>개인정보 처리자는 개인정보의 안전성 확보를 위해 기술적, 관리적 보호조치를 취해야 하며, 이를 위반할 경우 최대 매출액의 4%에 해당하는 과징금이나 형사처벌을 받을 수 있다.</p><p><strong>(2) 비즈니스 연속성과 신뢰성 확보</strong><br>개인정보 유출 사고는 기업의 평판에 치명적인 손상을 입히며, 고객 이탈과 매출 감소로 직결된다. 실제로 많은 기업들이 개인정보 유출 사고 이후 주가 하락과 고객 신뢰도 저하를 경험했다. 따라서 사전 예방적 PII 필터링은 기업의 지속 가능한 성장을 위한 필수 투자라고 할 수 있다.</p><p><strong>(3) AI 모델의 공정성과 윤리성 확보</strong><br>학습 데이터에 개인정보가 포함될 경우 AI 모델이 편향된 결과를 산출하거나 개인정보를 무단으로 추론할 수 있다. 이는 AI 윤리 원칙에 위배되며, 사회적 차별과 불평등을 야기할 수 있다. 특히 퍼스널라이즈 오버슛 현상은 사용자의 동의 없이 개인정보를 추측하여 노출하는 심각한 문제다.</p><p><strong>(4) 글로벌 서비스 제공을 위한 기반 기술</strong><br>각국의 개인정보보호 규정이 상이하고 점점 강화되는 추세에서, 효과적인 PII 필터링 시스템은 글로벌 서비스 확장의 전제조건이 되었다. 특히 클라우드 서비스나 다국적 플랫폼의 경우 더욱 중요하다.</p><p><strong>(5) 기술적 성능 향상 효과</strong><br>PII 필터링을 통해 노이즈가 제거된 정제된 데이터는 머신러닝 모델의 성능을 향상시킨다. 개인정보는 대부분 패턴이 제한적이고 예측 가능하므로, 이를 제거하면 모델이 더 의미 있는 패턴에 집중할 수 있다.</p><p><strong>(6) 사용자 경험 개선 측면</strong><br>사용자는 자신의 개인정보가 안전하게 보호된다는 확신이 있을 때 더 적극적으로 서비스를 이용한다. 투명한 PII 처리 정책과 실효성 있는 보호 조치는 사용자 만족도와 충성도를 높이는 중요한 요소다.</p><p><strong>(7) 혁신과 발전의 기반</strong><br>개인정보 보호에 대한 우려 없이 데이터를 활용할 수 있는 환경이 조성되면, 더 혁신적인 서비스와 기술 개발이 가능해진다. PII 필터링은 개인정보 보호와 기술 발전 사이의 균형점을 찾는 핵심 기술이라고 할 수 있다.</p><h3>5. 한계점</h3><p>현재의 PII 필터링 기술은 여러 한계점을 가지고 있다.</p><p><strong>(1) 패턴 기반 탐지의 한계</strong><br>정규표현식이나 규칙 기반 필터링은 미리 정의된 패턴에만 의존하므로, 새로운 형태의 개인정보나 변형된 표현을 탐지하지 못할 수 있다. 예를 들어 “공일공-일이삼사-오육칠팔”과 같이 한글로 표현된 전화번호나 의도적으로 변형된 개인정보는 탐지가 어렵다.</p><p><strong>(2) 맥락 이해의 부족</strong><br>현재 기술로는 텍스트의 맥락을 완전히 이해하기 어려워, 가짜 정보나 예시용 데이터를 실제 개인정보로 오인하거나, 반대로 암묵적으로 표현된 개인정보를 놓칠 수 있다. “제가 사는 곳은 강남구 역삼동입니다”와 같은 간접적 표현은 탐지하기 어렵다.</p><p><strong>(3) 다국어와 다문화 환경에서의 한계</strong><br>언어별로 개인정보 표현 방식이 다르고, 문화적 배경에 따라 민감한 정보의 기준도 달라진다. 예를 들어 중국어, 일본어, 아랍어 등에서는 개인정보의 형태와 패턴이 한국어나 영어와 크게 다를 수 있다.</p><p><strong>(4) 성능과 정확도의 트레이드오프</strong><br>실시간 처리가 필요한 환경에서는 복잡한 알고리즘을 적용하기 어려우며, 단순한 패턴 매칭에 의존할 수밖에 없다. 이는 정확도 저하로 이어질 수 있다. 또한 과도한 필터링은 서비스 품질 저하를 야기할 수 있다.</p><p><strong>(5) 진화하는 위협에 대한 대응 한계</strong><br>악의적 사용자들이 PII 필터링을 우회하기 위해 새로운 방법을 지속적으로 개발하고 있어, 이에 대한 대응이 항상 후행적일 수밖에 없다. 특히 AI를 활용한 공격 기법이 등장하면서 기존 방어 체계의 한계가 드러나고 있다.</p><p><strong>(6) 개인정보의 정의와 범위의 모호함</strong><br>법적, 기술적, 사회적 관점에서 개인정보의 범위가 다르게 해석될 수 있으며, 이는 일관된 필터링 기준 수립을 어렵게 만든다. 또한 개인정보의 범위가 지속적으로 확대되고 있어 기존 시스템의 업데이트가 필요하다.</p><p><strong>(7) 거짓 양성(False Positive)과 거짓 음성(False Negative)의 문제</strong><br>과도한 필터링은 정상적인 서비스 이용을 방해하고, 미흡한 필터링은 개인정보 유출 위험을 높인다. 이 두 문제 사이의 균형점을 찾는 것은 여전히 어려운 과제다.</p><p><strong>(8) 표준화와 상호 운용성의 부족</strong><br>각 시스템마다 다른 PII 필터링 기준과 방법을 사용하고 있어, 시스템 간 연동이나 데이터 이전 시 일관성을 보장하기 어렵다. 이는 특히 멀티 클라우드 환경이나 복잡한 IT 생태계에서 문제가 된다.</p><h3>6. 결론</h3><p>개인정보 식별 정보(PII) 필터링을 위한 텍스트 정규화는 현대 디지털 사회에서 점점 더 중요해지고 있는 핵심 기술이다. 퍼스널라이즈 오버슛과 같은 AI 시스템의 문제점이 대두되면서, 효과적인 PII 필터링의 필요성은 더욱 절실해졌다.</p><p>정규표현식 기반의 패턴 매칭부터 고급 자연어 처리 기법까지, 다양한 접근 방법이 존재하지만 완벽한 해결책은 아직 없다. 기술적 한계, 성능상의 제약, 그리고 진화하는 위협 환경을 고려할 때, 지속적인 연구와 개발이 필요한 분야다. 특히 인공지능과 머신러닝 기술의 발전과 함께 더욱 정교하고 효율적인 PII 필터링 방법이 개발될 것으로 기대된다.</p><p>기업과 개발자들은 법적 컴플라이언스 준수를 넘어서, 사용자 신뢰 확보와 비즈니스 지속성을 위해 PII 필터링을 핵심 보안 요소로 인식해야 한다. 또한 기술적 구현뿐만 아니라 정책적, 절차적 보완책도 함께 마련하여 종합적인 개인정보 보호 체계를 구축하는 것이 중요하다.</p><p>앞으로는 다국어 지원, 실시간 처리 성능 향상, 맥락 이해 능력 강화, 그리고 새로운 형태의 개인정보 탐지 등의 분야에서 지속적인 발전이 이루어질 것으로 전망된다. 또한 표준화와 상호 운용성 개선을 통해 더욱 효과적이고 일관된 PII 보호 환경이 조성될 것으로 기대한다.</p><p>결국 PII 필터링은 개인의 프라이버시 보호와 기술 발전 사이의 균형을 맞추는 핵심 기술로서, 데이터 기반 사회의 지속 가능한 발전을 위한 필수 요소라고 할 수 있다. 모든 이해관계자가 협력하여 더 안전하고 신뢰할 수 있는 디지털 환경을 만들어 나가야 할 것이다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=fceefc92bba0" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[텍스트 정규화 #36 — 동형이의어]]></title>
            <link>https://medium.com/@praster1/%ED%85%8D%EC%8A%A4%ED%8A%B8-%EC%A0%95%EA%B7%9C%ED%99%94-36-%EB%8F%99%ED%98%95%EC%9D%B4%EC%9D%98%EC%96%B4-ffaf6607e3ea?source=rss-2267dcfdebd3------2</link>
            <guid isPermaLink="false">https://medium.com/p/ffaf6607e3ea</guid>
            <category><![CDATA[자연어처리]]></category>
            <category><![CDATA[텍스트분석]]></category>
            <category><![CDATA[word-sense-disambiguation]]></category>
            <category><![CDATA[문맥분석]]></category>
            <category><![CDATA[동형이의어]]></category>
            <dc:creator><![CDATA[Jaeseong Yoo]]></dc:creator>
            <pubDate>Fri, 06 Jun 2025 10:23:45 GMT</pubDate>
            <atom:updated>2025-06-06T10:24:36.738Z</atom:updated>
            <content:encoded><![CDATA[<h3>텍스트 정규화 #36 — 동형이의어</h3><h3>1. 문제 상황 소개</h3><p>동형이의어 문제는 자연어 처리 분야에서 가장 오래되고 복잡한 도전 과제 중 하나로 인식되고 있다. 이 문제는 형태가 동일한 단어가 문맥에 따라 완전히 다른 의미를 가질 수 있다는 언어의 근본적 특성에서 비롯된다. 예를 들어 “bank”라는 단어는 금융기관을 의미할 수도 있고, 강의 둑을 의미할 수도 있으며, “bat”는 포유동물인 박쥐를 지칭할 수도 있고 야구 방망이를 의미할 수도 있다.</p><p>이러한 동형이의어 현상은 다양한 언어에서 광범위하게 나타나는 보편적 특성이다. 한국어의 경우에도 “배”라는 단어가 과일, 교통수단, 신체 부위 등 여러 의미로 사용되며, “임금”이라는 단어는 근로의 대가로 받는 보수와 군주 국가의 통치자라는 두 가지 전혀 다른 의미를 갖는다. 현대 표준 한국어에서 동형이의어가 차지하는 비율은 약 30%에 달해 상당한 부분을 차지하고 있어, 한국어 자연어 처리에서도 이는 중요한 해결 과제로 여겨진다.</p><p>텍스트 분석 시스템에서 동형이의어 문제가 제대로 해결되지 않으면 분석 결과의 신뢰성이 크게 떨어진다. 검색 엔진에서 “bank”를 검색했을 때 사용자가 금융 서비스를 찾고 있는지 지형 정보를 찾고 있는지 구분하지 못하면 부적절한 결과를 제공하게 되고, 기계 번역에서는 완전히 잘못된 번역 결과를 생성할 수 있다. 감성 분석이나 텍스트 분류 작업에서도 단어의 잘못된 의미 해석은 전체 분석 결과를 왜곡시킬 수 있어 심각한 문제가 된다.</p><p>현실적으로 이 문제는 빅데이터 시대에 더욱 복잡해지고 있다. 소셜 미디어, 뉴스 기사, 학술 논문, 비즈니스 문서 등 다양한 도메인의 텍스트 데이터가 폭증하면서, 각 도메인에서 사용되는 동형이의어의 의미도 더욱 다양해지고 있다. 예를 들어 의료 분야에서 사용되는 “cell”은 세포를 의미하지만, 통신 분야에서는 통신망의 셀을 의미하고, 감옥에서는 독방을 의미한다. 이처럼 도메인별로 특화된 의미를 가진 동형이의어들이 증가하면서 단순한 사전 기반 접근법으로는 해결하기 어려운 상황이 되었다.</p><h3>2. 문제가 발생한 근본 원인 분석</h3><p>동형이의어 문제의 근본 원인을 이해하기 위해서는 먼저 전통적인 정적 단어 표현 방식의 한계를 살펴봐야 한다. Word2vec과 같은 기존의 정적 단어 표현 방법에서는 각 단어마다 고정된 임베딩 벡터를 사용한다. 이는 모든 문맥에서 동일한 단어 표현을 사용하기 때문에 동형이의어의 다양한 의미를 구분할 수 없다는 치명적인 한계를 가지고 있다.</p><p><strong>(1) 전통적인 NLP 시스템이 단어를 독립적인 토큰으로 처리하는 방식</strong><br>기존의 bag-of-words 모델이나 단순한 키워드 매칭 방법은 단어 간의 관계나 문맥 정보를 충분히 활용하지 못한다. 이로 인해 동일한 철자를 가진 서로 다른 개념들을 구분할 수 없게 된다.</p><p><strong>(2) 지식 베이스의 한계</strong><br>많은 시스템들이 WordNet이나 유사한 어휘 자원에 의존하지만, 이러한 자원들은 정적이며 새로운 의미나 도메인별 특성을 반영하기 어렵다. 특히 UMLS와 같은 생의학 분야의 지식 베이스에서는 동형이의어 비율이 53.61%에 달하는 등 심각한 수준을 보인다.<br>(참고문헌: <a href="https://academic.oup.com/bioinformatics/article/40/8/btae474/7721929">https://academic.oup.com/bioinformatics/article/40/8/btae474/7721929</a>)</p><p><strong>(3) 문맥 정보의 부적절한 활용</strong><br>기존 시스템들은 주로 지역적 문맥(local context)에만 의존하여 글로벌 문맥(global context) 정보를 충분히 활용하지 못한다. 이는 특히 긴 문서나 대화에서 단어의 의미가 전체적인 주제와 연관되어 결정되는 경우에 문제가 된다.</p><p><strong>(4) 도메인별 특성의 미반영</strong><br>동일한 단어라도 의료, 금융, 기술 등 서로 다른 도메인에서는 다른 의미로 사용될 수 있으나, 범용 시스템들은 이러한 도메인별 특성을 충분히 고려하지 못한다.</p><h3>3. 해결 방법</h3><p>동형이의어 문제를 해결하기 위한 핵심 접근법은 문맥 기반 중의성 해소(Word Sense Disambiguation)이다.</p><h4>3.1 SQL로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>SQL에서 동형이의어 문제를 해결하기 위해서는 주로 조건부 로직과 문자열 분석 함수를 활용한다. 기본적인 접근법은 CASE 문을 사용해 문맥 키워드에 따라 의미를 분류하거나, 정규 표현식을 활용해 패턴을 인식하는 것이다.</p><p><strong>(2) 구체적인 사례</strong></p><ul><li>뉴스 기사 데이터에서 “bank”와 “bat” 단어의 의미를 구분하는 SQL 구현 사례</li></ul><pre>-- 샘플 데이터 생성<br>CREATE TEMPORARY TABLE news_articles (<br>  id INT PRIMARY KEY,<br>  title VARCHAR(200),<br>  content TEXT,<br>  created_date DATE<br>);<br><br>INSERT INTO news_articles VALUES<br>(1, &#39;Central Bank Raises Interest Rates&#39;, &#39;The Federal Reserve announced today that it will raise interest rates to combat inflation. This decision affects all major financial institutions and their lending practices.&#39;, &#39;2024-01-15&#39;),<br>(2, &#39;Fisherman Spots Rare Bird by River Bank&#39;, &#39;A local fisherman discovered a rare species of heron along the muddy bank of the Mississippi River. The bird was feeding near the waters edge.&#39;, &#39;2024-01-16&#39;),<br>(3, &#39;Baseball Season Opens with New Bat Technology&#39;, &#39;Major League Baseball approved new composite bat materials for the upcoming season. Players are excited about the improved performance characteristics.&#39;, &#39;2024-02-01&#39;),<br>(4, &#39;Scientists Study Nocturnal Bat Migration Patterns&#39;, &#39;Researchers have been tracking the migration routes of fruit bats using GPS technology. The study reveals fascinating patterns of nocturnal behavior.&#39;, &#39;2024-02-02&#39;);<br><br>-- 동형이의어 분석 쿼리<br>WITH word_context_analysis AS (<br>  SELECT <br>    id,<br>    title,<br>    content,<br>    -- bank 의미 분석<br>    CASE <br>      WHEN LOWER(content) REGEXP &#39;(interest|rate|federal|reserve|lending|financial|institution|money|deposit|loan|credit)&#39; <br>      THEN &#39;bank_financial&#39;<br>      WHEN LOWER(content) REGEXP &#39;(river|water|shore|mud|edge|stream|fishing|bird)&#39; <br>      THEN &#39;bank_geographical&#39;<br>      ELSE &#39;bank_unknown&#39;<br>    END AS bank_meaning,<br>    <br>    -- bat 의미 분석<br>    CASE <br>      WHEN LOWER(content) REGEXP &#39;(baseball|sport|league|player|game|composite|material|hit)&#39; <br>      THEN &#39;bat_sports_equipment&#39;<br>      WHEN LOWER(content) REGEXP &#39;(animal|mammal|nocturnal|wing|cave|migration|fruit|vampire)&#39; <br>      THEN &#39;bat_animal&#39;<br>      ELSE &#39;bat_unknown&#39;<br>    END AS bat_meaning,<br>    <br>    -- 신뢰도 점수 계산<br>    (<br>      CASE WHEN LOWER(content) REGEXP &#39;(interest|rate|federal)&#39; THEN 3 ELSE 0 END +<br>      CASE WHEN LOWER(content) REGEXP &#39;(lending|financial|institution)&#39; THEN 2 ELSE 0 END +<br>      CASE WHEN LOWER(content) REGEXP &#39;(money|deposit|loan)&#39; THEN 1 ELSE 0 END<br>    ) AS bank_financial_confidence,<br>    <br>    (<br>      CASE WHEN LOWER(content) REGEXP &#39;(river|water|shore)&#39; THEN 3 ELSE 0 END +<br>      CASE WHEN LOWER(content) REGEXP &#39;(mud|edge|stream)&#39; THEN 2 ELSE 0 END +<br>      CASE WHEN LOWER(content) REGEXP &#39;(fishing|bird)&#39; THEN 1 ELSE 0 END<br>    ) AS bank_geographical_confidence<br>  FROM news_articles<br>  WHERE LOWER(content) LIKE &#39;%bank%&#39; OR LOWER(content) LIKE &#39;%bat%&#39;<br>)<br><br>SELECT <br>  id,<br>  title,<br>  bank_meaning,<br>  bat_meaning,<br>  bank_financial_confidence,<br>  bank_geographical_confidence,<br>  CASE <br>    WHEN bank_financial_confidence &gt; bank_geographical_confidence THEN &#39;High confidence: Financial&#39;<br>    WHEN bank_geographical_confidence &gt; bank_financial_confidence THEN &#39;High confidence: Geographical&#39;<br>    ELSE &#39;Low confidence: Ambiguous&#39;<br>  END AS bank_classification_result<br>FROM word_context_analysis<br>ORDER BY id;<br><br>-- 실행 결과(예시):<br>-- id | title | bank_meaning | bat_meaning | bank_financial_confidence | bank_geographical_confidence | bank_classification_result<br>-- 1  | Central Bank Raises Interest Rates | bank_financial | bat_unknown | 6 | 0 | High confidence: Financial<br>-- 2  | Fisherman Spots Rare Bird by River Bank | bank_geographical | bat_unknown | 0 | 4 | High confidence: Geographical  <br>-- 3  | Baseball Season Opens with New Bat Technology | bank_unknown | bat_sports_equipment | 0 | 0 | Low confidence: Ambiguous<br>-- 4  | Scientists Study Nocturnal Bat Migration Patterns | bank_unknown | bat_animal | 0 | 0 | Low confidence: Ambiguous<br><br>-- 통계 분석 쿼리<br>SELECT <br>  bank_meaning,<br>  COUNT(*) as frequency,<br>  AVG(bank_financial_confidence + bank_geographical_confidence) as avg_confidence<br>FROM word_context_analysis<br>WHERE bank_meaning != &#39;bank_unknown&#39;<br>GROUP BY bank_meaning;<br><br>-- 실행 결과(예시):<br>-- bank_meaning | frequency | avg_confidence<br>-- bank_financial | 1 | 6.0<br>-- bank_geographical | 1 | 4.0</pre><h4>3.2 Python으로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Python에서는 NLTK, spaCy, 그리고 최신 트랜스포머 모델을 활용한 다양한 접근법이 가능하다. 가장 기본적인 방법은 Lesk 알고리즘을 사용하는 것이고, 고급 기법으로는 BERT와 같은 문맥 인식 모델을 활용할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><ul><li>실제 텍스트 데이터에서 “bank”와 “bat” 동형이의어를 처리하는 Python 구현 사례</li></ul><pre>import nltk<br>from nltk.wsd import lesk<br>from nltk.corpus import wordnet as wn<br>from nltk.tokenize import word_tokenize<br>import re<br>from sklearn.feature_extraction.text import TfidfVectorizer<br>from sklearn.metrics.pairwise import cosine_similarity<br>import numpy as np<br><br># NLTK 데이터 다운로드 (최초 실행 시)<br># nltk.download(&#39;punkt&#39;)<br># nltk.download(&#39;wordnet&#39;)<br># nltk.download(&#39;averaged_perceptron_tagger&#39;)<br><br>class HomonymDisambiguator:<br>    def __init__(self):<br>        self.context_patterns = {<br>            &#39;bank&#39;: {<br>                &#39;financial&#39;: [<br>                    r&#39;\b(money|deposit|withdraw|account|loan|credit|interest|rate)\b&#39;,<br>                    r&#39;\b(federal|reserve|central|commercial|investment)\b&#39;,<br>                    r&#39;\b(financial|institution|branch|atm|teller)\b&#39;<br>                ],<br>                &#39;geographical&#39;: [<br>                    r&#39;\b(river|stream|water|shore|edge|muddy)\b&#39;,<br>                    r&#39;\b(fishing|boat|bridge|flood|erosion)\b&#39;,<br>                    r&#39;\b(left|right|opposite|sandy|rocky)\b&#39;<br>                ]<br>            },<br>            &#39;bat&#39;: {<br>                &#39;animal&#39;: [<br>                    r&#39;\b(mammal|wing|nocturnal|cave|hang|fly)\b&#39;,<br>                    r&#39;\b(vampire|fruit|insect|ultrasonic|colony)\b&#39;,<br>                    r&#39;\b(species|habitat|migration|roost)\b&#39;<br>                ],<br>                &#39;sports&#39;: [<br>                    r&#39;\b(baseball|cricket|hit|swing|home)\b&#39;,<br>                    r&#39;\b(wood|aluminum|composite|league|player)\b&#39;,<br>                    r&#39;\b(bat|batting|batter|pitch|ball)\b&#39;<br>                ]<br>            }<br>        }<br>    <br>    def pattern_based_classification(self, text, word):<br>        &quot;&quot;&quot;<br>        패턴 기반 분류 방법<br>        &quot;&quot;&quot;<br>        text_lower = text.lower()<br>        word_patterns = self.context_patterns.get(word, {})<br>        <br>        scores = {}<br>        for meaning, patterns in word_patterns.items():<br>            score = 0<br>            for pattern in patterns:<br>                matches = len(re.findall(pattern, text_lower))<br>                score += matches<br>            scores[meaning] = score<br>        <br>        if not scores or all(score == 0 for score in scores.values()):<br>            return {&#39;meaning&#39;: &#39;unknown&#39;, &#39;confidence&#39;: 0.0, &#39;scores&#39;: scores}<br>        <br>        best_meaning = max(scores, key=scores.get)<br>        total_score = sum(scores.values())<br>        confidence = scores[best_meaning] / total_score if total_score &gt; 0 else 0.0<br>        <br>        return {<br>            &#39;meaning&#39;: best_meaning,<br>            &#39;confidence&#39;: confidence,<br>            &#39;scores&#39;: scores<br>        }<br>    <br>    def lesk_based_classification(self, sentence, word):<br>        &quot;&quot;&quot;<br>        Lesk 알고리즘 기반 분류<br>        &quot;&quot;&quot;<br>        try:<br>            tokens = word_tokenize(sentence.lower())<br>            synset = lesk(tokens, word)<br>            <br>            if synset:<br>                definition = synset.definition()<br>                name = synset.name()<br>                <br>                # 의미 매핑<br>                if word == &#39;bank&#39;:<br>                    if any(term in definition.lower() for term in [&#39;financial&#39;, &#39;money&#39;, &#39;deposit&#39;, &#39;institution&#39;]):<br>                        return {&#39;meaning&#39;: &#39;financial&#39;, &#39;synset&#39;: name, &#39;definition&#39;: definition}<br>                    elif any(term in definition.lower() for term in [&#39;slope&#39;, &#39;land&#39;, &#39;river&#39;, &#39;water&#39;]):<br>                        return {&#39;meaning&#39;: &#39;geographical&#39;, &#39;synset&#39;: name, &#39;definition&#39;: definition}<br>                elif word == &#39;bat&#39;:<br>                    if any(term in definition.lower() for term in [&#39;mammal&#39;, &#39;animal&#39;, &#39;wing&#39;, &#39;nocturnal&#39;]):<br>                        return {&#39;meaning&#39;: &#39;animal&#39;, &#39;synset&#39;: name, &#39;definition&#39;: definition}<br>                    elif any(term in definition.lower() for term in [&#39;stick&#39;, &#39;club&#39;, &#39;baseball&#39;, &#39;cricket&#39;]):<br>                        return {&#39;meaning&#39;: &#39;sports&#39;, &#39;synset&#39;: name, &#39;definition&#39;: definition}<br>                <br>                return {&#39;meaning&#39;: &#39;unknown&#39;, &#39;synset&#39;: name, &#39;definition&#39;: definition}<br>            else:<br>                return {&#39;meaning&#39;: &#39;no_synset&#39;, &#39;synset&#39;: None, &#39;definition&#39;: None}<br>        except Exception as e:<br>            return {&#39;meaning&#39;: &#39;error&#39;, &#39;error&#39;: str(e)}<br><br># 실제 사용 예제<br>def main():<br>    disambiguator = HomonymDisambiguator()<br>    <br>    # 테스트 문장들<br>    test_sentences = [<br>        &quot;I went to the bank to deposit my paycheck and open a savings account.&quot;,<br>        &quot;The fisherman sat on the grassy bank of the river waiting for fish to bite.&quot;,<br>        &quot;The baseball player swung his wooden bat and hit a home run.&quot;,<br>        &quot;Scientists discovered a new species of fruit bat in the Amazon rainforest.&quot;,<br>        &quot;The central bank decided to raise interest rates to control inflation.&quot;,<br>        &quot;Erosion has damaged the eastern bank of the Mississippi River.&quot;,<br>        &quot;He grabbed his aluminum bat and headed to the baseball field.&quot;,<br>        &quot;The nocturnal bat colony emerged from the cave at sunset.&quot;<br>    ]<br>    <br>    print(&quot;=== 동형이의어 중의성 해소 결과 ===\n&quot;)<br>    <br>    for i, sentence in enumerate(test_sentences, 1):<br>        print(f&quot;문장 {i}: {sentence}&quot;)<br>        <br>        # bank 단어가 포함된 경우<br>        if &#39;bank&#39; in sentence.lower():<br>            # 패턴 기반 분류<br>            pattern_result = disambiguator.pattern_based_classification(sentence, &#39;bank&#39;)<br>            print(f&quot;  [패턴 기반] bank 의미: {pattern_result[&#39;meaning&#39;]} (신뢰도: {pattern_result[&#39;confidence&#39;]:.2f})&quot;)<br>            print(f&quot;  [점수 세부사항] {pattern_result[&#39;scores&#39;]}&quot;)<br>            <br>            # Lesk 알고리즘 기반 분류<br>            lesk_result = disambiguator.lesk_based_classification(sentence, &#39;bank&#39;)<br>            print(f&quot;  [Lesk 기반] bank 의미: {lesk_result[&#39;meaning&#39;]}&quot;)<br>            if &#39;definition&#39; in lesk_result and lesk_result[&#39;definition&#39;]:<br>                print(f&quot;  [정의] {lesk_result[&#39;definition&#39;]}&quot;)<br>        <br>        # bat 단어가 포함된 경우<br>        if &#39;bat&#39; in sentence.lower():<br>            # 패턴 기반 분류<br>            pattern_result = disambiguator.pattern_based_classification(sentence, &#39;bat&#39;)<br>            print(f&quot;  [패턴 기반] bat 의미: {pattern_result[&#39;meaning&#39;]} (신뢰도: {pattern_result[&#39;confidence&#39;]:.2f})&quot;)<br>            print(f&quot;  [점수 세부사항] {pattern_result[&#39;scores&#39;]}&quot;)<br>            <br>            # Lesk 알고리즘 기반 분류<br>            lesk_result = disambiguator.lesk_based_classification(sentence, &#39;bat&#39;)<br>            print(f&quot;  [Lesk 기반] bat 의미: {lesk_result[&#39;meaning&#39;]}&quot;)<br>            if &#39;definition&#39; in lesk_result and lesk_result[&#39;definition&#39;]:<br>                print(f&quot;  [정의] {lesk_result[&#39;definition&#39;]}&quot;)<br>        <br>        print(&quot;-&quot; * 80)<br><br># 실행 결과<br>if __name__ == &quot;__main__&quot;:<br>    main()<br><br><br># 실행 결과(예시):<br># === 동형이의어 중의성 해소 결과 ===<br><br># 문장 1: I went to the bank to deposit my paycheck and open a savings account.<br>#   [패턴 기반] bank 의미: financial (신뢰도: 1.00)<br>#   [점수 세부사항] {&#39;financial&#39;: 2, &#39;geographical&#39;: 0}<br>#   [Lesk 기반] bank 의미: financial<br>#   [정의] a financial institution that accepts deposits and channels the money into lending activities<br># --------------------------------------------------------------------------------<br># 문장 2: The fisherman sat on the grassy bank of the river waiting for fish to bite.<br>#   [패턴 기반] bank 의미: geographical (신뢰도: 1.00)<br>#   [점수 세부사항] {&#39;financial&#39;: 0, &#39;geographical&#39;: 2}<br>#   [Lesk 기반] bank 의미: geographical<br>#   [정의] sloping land (especially the slope beside a body of water)<br># --------------------------------------------------------------------------------<br># 문장 3: The baseball player swung his wooden bat and hit a home run.<br>#   [패턴 기반] bat 의미: sports (신뢰도: 1.00)<br>#   [점수 세부사항] {&#39;animal&#39;: 0, &#39;sports&#39;: 3}<br>#   [Lesk 기반] bat 의미: sports<br>#   [정의] (baseball) a turn trying to get a hit<br># --------------------------------------------------------------------------------<br># 문장 4: Scientists discovered a new species of fruit bat in the Amazon rainforest.<br>#   [패턴 기반] bat 의미: animal (신뢰도: 1.00)<br>#   [점수 세부사항] {&#39;animal&#39;: 2, &#39;sports&#39;: 0}<br>#   [Lesk 기반] bat 의미: animal<br>#   [정의] nocturnal mouselike mammal with forelimbs modified to form membranous wings<br>--------------------------------------------------------------------------------<br><br><br># 고급 벡터 기반 분류기<br>class AdvancedDisambiguator:<br>    def __init__(self):<br>        self.vectorizer = TfidfVectorizer(<br>            stop_words=&#39;english&#39;,<br>            max_features=1000,<br>            ngram_range=(1, 2)<br>        )<br>        self.trained_models = {}<br>    <br>    def train_from_examples(self, word, training_data):<br>        &quot;&quot;&quot;<br>        예제 데이터로부터 분류 모델 학습<br>        &quot;&quot;&quot;<br>        contexts = []<br>        labels = []<br>        <br>        for meaning, examples in training_data.items():<br>            contexts.extend(examples)<br>            labels.extend([meaning] * len(examples))<br>        <br>        # TF-IDF 벡터화<br>        tfidf_matrix = self.vectorizer.fit_transform(contexts)<br>        <br>        self.trained_models[word] = {<br>            &#39;tfidf_matrix&#39;: tfidf_matrix,<br>            &#39;labels&#39;: labels,<br>            &#39;vectorizer&#39;: self.vectorizer<br>        }<br>        <br>        return True<br>    <br>    def predict(self, word, sentence):<br>        &quot;&quot;&quot;<br>        학습된 모델로 의미 예측<br>        &quot;&quot;&quot;<br>        if word not in self.trained_models:<br>            return {&#39;error&#39;: &#39;No trained model for this word&#39;}<br>        <br>        model = self.trained_models[word]<br>        <br>        # 입력 문장 벡터화<br>        sentence_vector = model[&#39;vectorizer&#39;].transform([sentence])<br>        <br>        # 코사인 유사도 계산<br>        similarities = cosine_similarity(sentence_vector, model[&#39;tfidf_matrix&#39;])[0]<br>        <br>        # 의미별 평균 유사도 계산<br>        meaning_scores = {}<br>        for i, label in enumerate(model[&#39;labels&#39;]):<br>            if label not in meaning_scores:<br>                meaning_scores[label] = []<br>            meaning_scores[label].append(similarities[i])<br>        <br>        avg_scores = {meaning: np.mean(scores) for meaning, scores in meaning_scores.items()}<br>        best_meaning = max(avg_scores, key=avg_scores.get)<br>        <br>        return {<br>            &#39;predicted_meaning&#39;: best_meaning,<br>            &#39;confidence&#39;: avg_scores[best_meaning],<br>            &#39;all_scores&#39;: avg_scores<br>        }<br><br># 고급 분류기 사용 예제<br>def advanced_example():<br>    advanced_disambiguator = AdvancedDisambiguator()<br>    <br>    # 학습 데이터 준비<br>    bank_training_data = {<br>        &#39;financial&#39;: [<br>            &quot;I deposited money at the local bank branch&quot;,<br>            &quot;The bank approved my mortgage application&quot;,<br>            &quot;Interest rates are rising according to central bank policy&quot;,<br>            &quot;She works as a teller at the commercial bank&quot;,<br>            &quot;Online banking has revolutionized financial services&quot;<br>        ],<br>        &#39;geographical&#39;: [<br>            &quot;We had a picnic on the river bank&quot;,<br>            &quot;The boat was moored near the muddy bank&quot;,<br>            &quot;Erosion is threatening the eastern bank of the lake&quot;,<br>            &quot;Children were playing on the sandy bank&quot;,<br>            &quot;The bridge connects both banks of the river&quot;<br>        ]<br>    }<br>    <br>    bat_training_data = {<br>        &#39;animal&#39;: [<br>            &quot;The vampire bat feeds on blood&quot;,<br>            &quot;Fruit bats are important for seed dispersal&quot;,<br>            &quot;A colony of bats emerged from the cave&quot;,<br>            &quot;Nocturnal bats use echolocation to navigate&quot;,<br>            &quot;Scientists study bat migration patterns&quot;<br>        ],<br>        &#39;sports&#39;: [<br>            &quot;He swung the baseball bat with great force&quot;,<br>            &quot;The wooden bat cracked on impact&quot;,<br>            &quot;Professional players prefer aluminum bats&quot;,<br>            &quot;She chose a lighter bat for better swing speed&quot;,<br>            &quot;The cricket bat is made of willow wood&quot;<br>        ]<br>    }<br>    <br>    # 모델 학습<br>    advanced_disambiguator.train_from_examples(&#39;bank&#39;, bank_training_data)<br>    advanced_disambiguator.train_from_examples(&#39;bat&#39;, bat_training_data)<br>    <br>    # 테스트 문장들<br>    test_cases = [<br>        (&quot;bank&quot;, &quot;The Federal Reserve bank announced new lending policies&quot;),<br>        (&quot;bank&quot;, &quot;Fishermen gathered along the rocky bank of the stream&quot;),<br>        (&quot;bat&quot;, &quot;The baseball bat broke during the championship game&quot;),<br>        (&quot;bat&quot;, &quot;Researchers tagged fruit bats to track their movement&quot;)<br>    ]<br>    <br>    print(&quot;\n=== 고급 벡터 기반 분류 결과 ===\n&quot;)<br>    <br>    for word, sentence in test_cases:<br>        result = advanced_disambiguator.predict(word, sentence)<br>        print(f&quot;문장: {sentence}&quot;)<br>        print(f&quot;예측된 {word} 의미: {result[&#39;predicted_meaning&#39;]}&quot;)<br>        print(f&quot;신뢰도: {result[&#39;confidence&#39;]:.4f}&quot;)<br>        print(f&quot;모든 점수: {result[&#39;all_scores&#39;]}&quot;)<br>        print(&quot;-&quot; * 60)<br><br># advanced_example()<br><br># 실행 결과(예시):<br># 고급 분류기 실행 결과:<br># === 고급 벡터 기반 분류 결과 ===<br><br># 문장: The Federal Reserve bank announced new lending policies<br># 예측된 bank 의미: financial<br># 신뢰도: 0.3247<br># 모든 점수: {&#39;financial&#39;: 0.3247, &#39;geographical&#39;: 0.0891}<br># ------------------------------------------------------------<br># 문장: Fishermen gathered along the rocky bank of the stream<br># 예측된 bank 의미: geographical<br># 신뢰도: 0.2156<br># 모든 점수: {&#39;financial&#39;: 0.0423, &#39;geographical&#39;: 0.2156}<br># ------------------------------------------------------------<br># 문장: The baseball bat broke during the championship game<br># 예측된 bat 의미: sports<br># 신뢰도: 0.4521<br># 모든 점수: {&#39;animal&#39;: 0.0234, &#39;sports&#39;: 0.4521}<br># ------------------------------------------------------------<br># 문장: Researchers tagged fruit bats to track their movement<br># 예측된 bat 의미: animal<br># 신뢰도: 0.3891<br># 모든 점수: {&#39;animal&#39;: 0.3891, &#39;sports&#39;: 0.0156}<br># ------------------------------------------------------------</pre><h4>3.3 R로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>R에서는 텍스트 마이닝 패키지들과 머신러닝 라이브러리를 조합해 동형이의어 문제를 해결할 수 있다. 주요 패키지로는 tm, tidytext, quanteda 등이 있으며, 분류 알고리즘으로는 randomForest, e1071, caret 등을 활용한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre># 패턴 정의<br>homonym_patterns &lt;- list(<br>  &quot;bank&quot; = list(<br>    &quot;financial&quot; = c(<br>      &quot;money&quot;, &quot;deposit&quot;, &quot;withdraw&quot;, &quot;account&quot;, &quot;loan&quot;, &quot;credit&quot;,<br>      &quot;interest&quot;, &quot;rate&quot;, &quot;federal&quot;, &quot;reserve&quot;, &quot;central&quot;, &quot;commercial&quot;,<br>      &quot;financial&quot;, &quot;institution&quot;, &quot;branch&quot;, &quot;atm&quot;, &quot;teller&quot;<br>    ),<br>    &quot;geographical&quot; = c(<br>      &quot;river&quot;, &quot;stream&quot;, &quot;water&quot;, &quot;shore&quot;, &quot;edge&quot;, &quot;muddy&quot;,<br>      &quot;fishing&quot;, &quot;boat&quot;, &quot;bridge&quot;, &quot;flood&quot;, &quot;erosion&quot;,<br>      &quot;left&quot;, &quot;right&quot;, &quot;opposite&quot;, &quot;sandy&quot;, &quot;rocky&quot;<br>    )<br>  ),<br>  &quot;bat&quot; = list(<br>    &quot;animal&quot; = c(<br>      &quot;mammal&quot;, &quot;wing&quot;, &quot;nocturnal&quot;, &quot;cave&quot;, &quot;hang&quot;, &quot;fly&quot;,<br>      &quot;vampire&quot;, &quot;fruit&quot;, &quot;insect&quot;, &quot;ultrasonic&quot;, &quot;colony&quot;,<br>      &quot;species&quot;, &quot;habitat&quot;, &quot;migration&quot;, &quot;roost&quot;<br>    ),<br>    &quot;sports&quot; = c(<br>      &quot;baseball&quot;, &quot;cricket&quot;, &quot;hit&quot;, &quot;swing&quot;, &quot;home&quot;,<br>      &quot;wood&quot;, &quot;aluminum&quot;, &quot;composite&quot;, &quot;league&quot;, &quot;player&quot;,<br>      &quot;batting&quot;, &quot;batter&quot;, &quot;pitch&quot;, &quot;ball&quot;<br>    )<br>  )<br>)<br><br># 테스트 데이터 생성<br>test_sentences &lt;- c(<br>  &quot;I need to go to the bank to deposit my paycheck&quot;,<br>  &quot;The fisherman sat on the river bank watching for fish&quot;,<br>  &quot;The baseball player grabbed his bat and stepped up to the plate&quot;, <br>  &quot;A colony of fruit bats emerged from the cave at dusk&quot;,<br>  &quot;The central bank announced new monetary policy changes&quot;,<br>  &quot;Erosion is threatening the muddy bank of the old river&quot;,<br>  &quot;He swung the aluminum bat with tremendous force&quot;,<br>  &quot;Scientists study nocturnal bat migration patterns&quot;<br>)<br><br># 패턴 기반 분류 테스트<br>cat(&quot;=== R 패턴 기반 동형이의어 분류 결과 ===\n\n&quot;)<br><br>for (i in 1:length(test_sentences)) {<br>  sentence &lt;- test_sentences[i]<br>  cat(&quot;문장&quot;, i, &quot;:&quot;, sentence, &quot;\n&quot;)<br>  <br>  if (grepl(&quot;bank&quot;, tolower(sentence))) {<br>    result &lt;- pattern_based_wsd(sentence, &quot;bank&quot;, homonym_patterns)<br>    cat(&quot;  [bank 분류 결과]&quot;, result$meaning, <br>        &quot;(신뢰도:&quot;, round(result$confidence, 3), &quot;)\n&quot;)<br>    cat(&quot;  [점수]&quot;, paste(names(result$scores), &quot;:&quot;, result$scores, collapse = &quot;, &quot;), &quot;\n&quot;)<br>  }<br>  <br>  if (grepl(&quot;bat&quot;, tolower(sentence))) {<br>    result &lt;- pattern_based_wsd(sentence, &quot;bat&quot;, homonym_patterns)<br>    cat(&quot;  [bat 분류 결과]&quot;, result$meaning, <br>        &quot;(신뢰도:&quot;, round(result$confidence, 3), &quot;)\n&quot;)<br>    cat(&quot;  [점수]&quot;, paste(names(result$scores), &quot;:&quot;, result$scores, collapse = &quot;, &quot;), &quot;\n&quot;)<br>  }<br>  <br>  cat(&quot;\n&quot;)<br>}<br><br># 머신러닝 기반 분류기 생성 및 학습<br>classifier &lt;- HomonymClassifier()<br><br># bank 학습 데이터 추가<br>classifier$add_training_data(&quot;bank&quot;, &quot;financial&quot;, c(<br>  &quot;I deposited money at the local bank branch&quot;,<br>  &quot;The bank approved my mortgage application&quot;, <br>  &quot;Interest rates are rising according to central bank policy&quot;,<br>  &quot;She works as a teller at the commercial bank&quot;,<br>  &quot;Online banking has revolutionized financial services&quot;,<br>  &quot;The federal reserve bank controls monetary policy&quot;,<br>  &quot;He withdrew cash from the ATM at the bank&quot;,<br>  &quot;Credit unions compete with traditional banks&quot;,<br>  &quot;The investment bank handled the merger deal&quot;,<br>  &quot;Banking regulations have become more strict&quot;<br>))<br><br>classifier$add_training_data(&quot;bank&quot;, &quot;geographical&quot;, c(<br>  &quot;We had a picnic on the river bank&quot;,<br>  &quot;The boat was moored near the muddy bank&quot;,<br>  &quot;Erosion is threatening the eastern bank of the lake&quot;, <br>  &quot;Children were playing on the sandy bank&quot;,<br>  &quot;The bridge connects both banks of the river&quot;,<br>  &quot;Fishing is prohibited along this bank of the stream&quot;,<br>  &quot;The opposite bank is covered with dense forest&quot;,<br>  &quot;Flooding damaged the left bank of the channel&quot;,<br>  &quot;Rocky banks make it difficult to access the water&quot;,<br>  &quot;The grassy bank provides a perfect picnic spot&quot;<br>))<br><br># bat 학습 데이터 추가  <br>classifier$add_training_data(&quot;bat&quot;, &quot;animal&quot;, c(<br>  &quot;The vampire bat feeds on blood&quot;,<br>  &quot;Fruit bats are important for seed dispersal&quot;,<br>  &quot;A colony of bats emerged from the cave&quot;,<br>  &quot;Nocturnal bats use echolocation to navigate&quot;, <br>  &quot;Scientists study bat migration patterns&quot;,<br>  &quot;The bat hangs upside down from the ceiling&quot;,<br>  &quot;Insect-eating bats help control pest populations&quot;,<br>  &quot;The bat&#39;s wing membrane is called a patagium&quot;,<br>  &quot;Ultrasonic calls help bats locate their prey&quot;,<br>  &quot;Many bat species are endangered due to habitat loss&quot;<br>))<br><br>classifier$add_training_data(&quot;bat&quot;, &quot;sports&quot;, c(<br>  &quot;He swung the baseball bat with great force&quot;,<br>  &quot;The wooden bat cracked on impact&quot;,<br>  &quot;Professional players prefer aluminum bats&quot;,<br>  &quot;She chose a lighter bat for better swing speed&quot;,<br>  &quot;The cricket bat is made of willow wood&quot;,<br>  &quot;His batting average improved with the new bat&quot;,<br>  &quot;The home run bat will be displayed in the museum&quot;,<br>  &quot;Composite bats are banned in some leagues&quot;,<br>  &quot;The batter gripped the bat firmly&quot;,<br>  &quot;A broken bat can be dangerous to fielders&quot;<br>))<br><br># 모델 학습<br>cat(&quot;=== 머신러닝 모델 학습 중 ===\n&quot;)<br>bank_model &lt;- classifier$train_model(&quot;bank&quot;)<br>bat_model &lt;- classifier$train_model(&quot;bat&quot;)<br><br>cat(&quot;Bank 모델 정확도:&quot;, round(mean(bank_model$predicted == bank_model$y), 3), &quot;\n&quot;)<br>cat(&quot;Bat 모델 정확도:&quot;, round(mean(bat_model$predicted == bat_model$y), 3), &quot;\n\n&quot;)<br><br># 테스트 문장으로 예측<br>test_cases &lt;- list(<br>  list(word = &quot;bank&quot;, sentence = &quot;The Federal Reserve bank announced new lending policies&quot;),<br>  list(word = &quot;bank&quot;, sentence = &quot;Fishermen gathered along the rocky bank of the stream&quot;),<br>  list(word = &quot;bat&quot;, sentence = &quot;The baseball bat broke during the championship game&quot;),<br>  list(word = &quot;bat&quot;, sentence = &quot;Researchers tagged fruit bats to track their movement&quot;)<br>)<br><br>cat(&quot;=== 머신러닝 기반 예측 결과 ===\n\n&quot;)<br><br>for (i in 1:length(test_cases)) {<br>  test_case &lt;- test_cases[[i]]<br>  result &lt;- classifier$predict(test_case$word, test_case$sentence)<br>  <br>  cat(&quot;테스트&quot;, i, &quot;:&quot;, test_case$sentence, &quot;\n&quot;)<br>  cat(&quot;  예측된&quot;, test_case$word, &quot;의미:&quot;, result$predicted_meaning, &quot;\n&quot;)<br>  cat(&quot;  신뢰도:&quot;, round(result$confidence, 4), &quot;\n&quot;)<br>  cat(&quot;  확률 분포:&quot;, paste(names(result$probabilities), &quot;=&quot;, <br>                      round(unlist(result$probabilities), 3), collapse = &quot;, &quot;), &quot;\n\n&quot;)<br>}<br><br># 시각화 (ggplot2 사용)<br># 패턴 매칭 결과 시각화<br>pattern_results &lt;- data.frame(<br>  sentence_id = 1:length(test_sentences),<br>  sentence = test_sentences,<br>  word = NA,<br>  predicted_meaning = NA,<br>  confidence = NA<br>)<br><br>for (i in 1:length(test_sentences)) {<br>  sentence &lt;- test_sentences[i]<br>  if (grepl(&quot;bank&quot;, tolower(sentence))) {<br>    result &lt;- pattern_based_wsd(sentence, &quot;bank&quot;, homonym_patterns)<br>    pattern_results[i, &quot;word&quot;] &lt;- &quot;bank&quot;<br>    pattern_results[i, &quot;predicted_meaning&quot;] &lt;- result$meaning<br>    pattern_results[i, &quot;confidence&quot;] &lt;- result$confidence<br>  } else if (grepl(&quot;bat&quot;, tolower(sentence))) {<br>    result &lt;- pattern_based_wsd(sentence, &quot;bat&quot;, homonym_patterns)<br>    pattern_results[i, &quot;word&quot;] &lt;- &quot;bat&quot;<br>    pattern_results[i, &quot;predicted_meaning&quot;] &lt;- result$meaning<br>    pattern_results[i, &quot;confidence&quot;] &lt;- result$confidence<br>  }<br>}<br><br># 결과를 필터링하여 NA 제거<br>pattern_results_clean &lt;- pattern_results[!is.na(pattern_results$word),]<br><br># 신뢰도별 분포 시각화<br>confidence_plot &lt;- ggplot(pattern_results_clean, aes(x = confidence, fill = predicted_meaning)) +<br>  geom_histogram(bins = 10, alpha = 0.7, position = &quot;dodge&quot;) +<br>  facet_wrap(~word) +<br>  labs(title = &quot;동형이의어 분류 신뢰도 분포&quot;,<br>       x = &quot;신뢰도&quot;, y = &quot;빈도&quot;, fill = &quot;예측된 의미&quot;) +<br>  theme_minimal()<br><br>print(confidence_plot)<br><br># 실행 결과 출력<br>cat(&quot;\n=== 최종 분석 결과 요약 ===\n&quot;)<br>cat(&quot;총 처리된 문장 수:&quot;, length(test_sentences), &quot;\n&quot;)<br>cat(&quot;Bank 관련 문장:&quot;, sum(grepl(&quot;bank&quot;, tolower(test_sentences))), &quot;\n&quot;)<br>cat(&quot;Bat 관련 문장:&quot;, sum(grepl(&quot;bat&quot;, tolower(test_sentences))), &quot;\n&quot;)<br>cat(&quot;평균 신뢰도:&quot;, round(mean(pattern_results_clean$confidence, na.rm = TRUE), 3), &quot;\n&quot;)<br><br># 의미별 정확도 분석<br>accuracy_analysis &lt;- pattern_results_clean %&gt;%<br>  group_by(word, predicted_meaning) %&gt;%<br>  summarise(<br>    count = n(),<br>    avg_confidence = round(mean(confidence), 3),<br>    .groups = &#39;drop&#39;<br>  )<br><br>print(accuracy_analysis)<br><br><br># 실행 결과(예시):<br># === R 패턴 기반 동형이의어 분류 결과 ===<br><br># 문장 1 : I need to go to the bank to deposit my paycheck<br>#   [bank 분류 결과] financial (신뢰도: 1 )<br>#   [점수] financial : 2 , geographical : 0 <br><br># 문장 2 : The fisherman sat on the river bank watching for fish<br>#   [bank 분류 결과] geographical (신뢰도: 1 )<br>#   [점수] financial : 0 , geographical : 2 <br><br># 문장 3 : The baseball player grabbed his bat and stepped up to the plate<br>#   [bat 분류 결과] sports (신뢰도: 1 )<br>#   [점수] animal : 0 , sports : 2 <br><br># 문장 4 : A colony of fruit bats emerged from the cave at dusk<br>#   [bat 분류 결과] animal (신뢰도: 1 )<br>#   [점수] animal : 3 , sports : 0 <br><br># === 머신러닝 모델 학습 중 ===<br># Bank 모델 정확도: 1.0<br># Bat 모델 정확도: 1.0<br><br># === 머신러닝 기반 예측 결과 ===<br><br># 테스트 1 : The Federal Reserve bank announced new lending policies<br>#   예측된 bank 의미: financial<br>#   신뢰도: 0.95<br>#   확률 분포: financial = 0.95, geographical = 0.05<br><br># 테스트 2 : Fishermen gathered along the rocky bank of the stream<br>#   예측된 bank 의미: geographical  <br>#   신뢰도: 0.9<br>#   확률 분포: financial = 0.1, geographical = 0.9<br><br># 테스트 3 : The baseball bat broke during the championship game<br>#   예측된 bat 의미: sports<br>#   신뢰도: 0.98<br>#   확률 분포: animal = 0.02, sports = 0.98<br><br># 테스트 4 : Researchers tagged fruit bats to track their movement<br>#   예측된 bat 의미: animal<br>#   신뢰도: 0.92<br>#   확률 분포: animal = 0.92, sports = 0.08</pre><h4>3.4 Julia로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Julia에서는 TextAnalysis.jl 패키지를 기반으로 한 자연어 처리와 MLJ.jl을 활용한 머신러닝 접근법을 사용할 수 있다. Julia의 강력한 선형 대수 연산 능력을 활용해 효율적인 벡터 기반 분류기를 구현할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre># 패턴 정의<br>homonym_patterns = Dict(<br>    &quot;bank&quot; =&gt; Dict(<br>        &quot;financial&quot; =&gt; [&quot;money&quot;, &quot;deposit&quot;, &quot;withdraw&quot;, &quot;account&quot;, &quot;loan&quot;, <br>                       &quot;credit&quot;, &quot;interest&quot;, &quot;rate&quot;, &quot;federal&quot;, &quot;reserve&quot;],<br>        &quot;geographical&quot; =&gt; [&quot;river&quot;, &quot;stream&quot;, &quot;water&quot;, &quot;shore&quot;, &quot;edge&quot;, <br>                          &quot;fishing&quot;, &quot;boat&quot;, &quot;bridge&quot;, &quot;muddy&quot;, &quot;rocky&quot;]<br>    ),<br>    &quot;bat&quot; =&gt; Dict(<br>        &quot;animal&quot; =&gt; [&quot;mammal&quot;, &quot;wing&quot;, &quot;nocturnal&quot;, &quot;cave&quot;, &quot;hang&quot;, <br>                    &quot;vampire&quot;, &quot;fruit&quot;, &quot;colony&quot;, &quot;species&quot;, &quot;migration&quot;],<br>        &quot;sports&quot; =&gt; [&quot;baseball&quot;, &quot;cricket&quot;, &quot;hit&quot;, &quot;swing&quot;, &quot;wood&quot;, <br>                    &quot;aluminum&quot;, &quot;player&quot;, &quot;batting&quot;, &quot;league&quot;, &quot;pitch&quot;]<br>    )<br>)<br><br># 패턴 분류기 생성<br>pattern_classifier = PatternClassifier(homonym_patterns)<br><br># 테스트 문장들<br>test_sentences = [<br>    &quot;I need to visit the bank to deposit my salary&quot;,<br>    &quot;The fisherman sat quietly on the river bank&quot;,<br>    &quot;She swung the baseball bat with perfect form&quot;,<br>    &quot;A vampire bat flew out of the dark cave&quot;,<br>    &quot;The central bank raised interest rates again&quot;,<br>    &quot;Erosion damaged the eastern bank of the lake&quot;,<br>    &quot;He chose a wooden bat for the cricket match&quot;, <br>    &quot;Scientists study fruit bat behavior patterns&quot;<br>]<br><br>println(&quot;=== Julia 패턴 기반 분류 결과 ===\n&quot;)<br><br>for (i, sentence) in enumerate(test_sentences)<br>    println(&quot;문장 $i: $sentence&quot;)<br>    <br>    if occursin(&quot;bank&quot;, lowercase(sentence))<br>        result = classify_by_patterns(pattern_classifier, sentence, &quot;bank&quot;)<br>        println(&quot;  [bank 분류] $(result.meaning) (신뢰도: $(round(result.confidence, digits=3)))&quot;)<br>        println(&quot;  [점수] $(result.scores)&quot;)<br>    end<br>    <br>    if occursin(&quot;bat&quot;, lowercase(sentence))<br>        result = classify_by_patterns(pattern_classifier, sentence, &quot;bat&quot;)<br>        println(&quot;  [bat 분류] $(result.meaning) (신뢰도: $(round(result.confidence, digits=3)))&quot;)<br>        println(&quot;  [점수] $(result.scores)&quot;)<br>    end<br>    <br>    println()<br>end<br><br># 벡터 기반 분류기 예제<br>println(&quot;=== 벡터 기반 분류기 학습 및 테스트 ===\n&quot;)<br><br># 학습 데이터 준비<br>bank_training_data = Dict(<br>    &quot;financial&quot; =&gt; [<br>        &quot;I deposited money at the local bank branch&quot;,<br>        &quot;The bank approved my mortgage application&quot;,<br>        &quot;Interest rates are controlled by the central bank&quot;,<br>        &quot;She works as a teller at the commercial bank&quot;,<br>        &quot;Online banking services are very convenient&quot;,<br>        &quot;The federal reserve bank sets monetary policy&quot;,<br>        &quot;He withdrew cash from the bank ATM&quot;,<br>        &quot;Investment banks handle corporate mergers&quot;,<br>        &quot;Credit unions compete with traditional banks&quot;,<br>        &quot;Banking regulations have become stricter&quot;<br>    ],<br>    &quot;geographical&quot; =&gt; [<br>        &quot;We had a picnic on the grassy river bank&quot;,<br>        &quot;The boat was tied to the muddy bank&quot;,<br>        &quot;Erosion threatens the eastern bank of the stream&quot;,<br>        &quot;Children played on the sandy bank&quot;,<br>        &quot;The bridge connects both banks of the river&quot;,<br>        &quot;Fishing is allowed along this bank&quot;,<br>        &quot;The opposite bank has dense forest&quot;,<br>        &quot;Flooding damaged the left bank severely&quot;,<br>        &quot;Rocky banks make water access difficult&quot;,<br>        &quot;The steep bank requires careful climbing&quot;<br>    ]<br>)<br><br>bat_training_data = Dict(<br>    &quot;animal&quot; =&gt; [<br>        &quot;The vampire bat feeds on blood at night&quot;,<br>        &quot;Fruit bats help disperse seeds effectively&quot;,<br>        &quot;A large colony of bats lives in the cave&quot;,<br>        &quot;Nocturnal bats use echolocation for navigation&quot;,<br>        &quot;Scientists track bat migration routes carefully&quot;,<br>        &quot;The bat hangs upside down when resting&quot;,<br>        &quot;Insectivorous bats control pest populations&quot;,<br>        &quot;Bat wings have a unique membrane structure&quot;,<br>        &quot;Many bat species are endangered today&quot;,<br>        &quot;Ultrasonic calls help bats hunt prey&quot;<br>    ],<br>    &quot;sports&quot; =&gt; [<br>        &quot;He swung the baseball bat powerfully&quot;,<br>        &quot;The wooden bat cracked during impact&quot;,<br>        &quot;Professional players prefer aluminum bats&quot;,<br>        &quot;She selected a lighter bat for speed&quot;,<br>        &quot;Cricket bats are made from willow wood&quot;,<br>        &quot;His batting average improved significantly&quot;,<br>        &quot;The legendary bat is displayed proudly&quot;,<br>        &quot;Composite bats are banned in some leagues&quot;,<br>        &quot;The batter gripped the bat tightly&quot;,<br>        &quot;A broken bat can injure players&quot;<br>    ]<br>)<br><br># 분류기 학습<br>bank_classifier = VectorClassifier()<br>train_vector_classifier!(bank_classifier, &quot;bank&quot;, bank_training_data)<br><br>bat_classifier = VectorClassifier()<br>train_vector_classifier!(bat_classifier, &quot;bat&quot;, bat_training_data)<br><br>println(&quot;모델 학습 완료!\n&quot;)<br><br># 테스트 케이스<br>test_cases = [<br>    (&quot;bank&quot;, &quot;The Federal Reserve bank announced new lending policies&quot;),<br>    (&quot;bank&quot;, &quot;Fishermen gathered along the rocky bank of the stream&quot;),<br>    (&quot;bat&quot;, &quot;The baseball bat broke during the championship game&quot;),<br>    (&quot;bat&quot;, &quot;Researchers tagged fruit bats to study their movement&quot;)<br>]<br><br>println(&quot;=== 벡터 기반 예측 결과 ===\n&quot;)<br><br>for (i, (word, sentence)) in enumerate(test_cases)<br>    if word == &quot;bank&quot;<br>        result = predict_meaning(bank_classifier, sentence)<br>    else<br>        result = predict_meaning(bat_classifier, sentence)<br>    end<br>    <br>    println(&quot;테스트 $i: $sentence&quot;)<br>    println(&quot;  예측된 $word 의미: $(result.predicted_meaning)&quot;)<br>    println(&quot;  신뢰도: $(round(result.confidence, digits=4))&quot;)<br>    println(&quot;  점수 분포: $(result.all_scores)&quot;)<br>    println()<br>end<br><br># 성능 분석 함수<br>function analyze_performance(sentences::Vector{String}, classifier::PatternClassifier)<br>    results = []<br>    <br>    for sentence in sentences<br>        for word in [&quot;bank&quot;, &quot;bat&quot;]<br>            if occursin(word, lowercase(sentence))<br>                result = classify_by_patterns(classifier, sentence, word)<br>                push!(results, (<br>                    word = word,<br>                    sentence = sentence,<br>                    meaning = result.meaning,<br>                    confidence = result.confidence<br>                ))<br>            end<br>        end<br>    end<br>    <br>    return results<br>end<br><br># 성능 분석 실행<br>performance_results = analyze_performance(test_sentences, pattern_classifier)<br><br>println(&quot;=== 성능 분석 결과 ===\n&quot;)<br>println(&quot;총 분석된 사례: $(length(performance_results))&quot;)<br><br># 신뢰도별 통계<br>confidences = [r.confidence for r in performance_results]<br>println(&quot;평균 신뢰도: $(round(mean(confidences), digits=3))&quot;)<br>println(&quot;신뢰도 표준편차: $(round(std(confidences), digits=3))&quot;)<br>println(&quot;최고 신뢰도: $(round(maximum(confidences), digits=3))&quot;)<br>println(&quot;최저 신뢰도: $(round(minimum(confidences), digits=3))&quot;)<br><br># 단어별/의미별 분포<br>word_stats = Dict()<br>for result in performance_results<br>    key = &quot;$(result.word)_$(result.meaning)&quot;<br>    if !haskey(word_stats, key)<br>        word_stats[key] = 0<br>    end<br>    word_stats[key] += 1<br>end<br><br>println(&quot;\n의미별 분포:&quot;)<br>for (key, count) in sort(collect(word_stats))<br>    println(&quot;  $key: $count&quot;)<br>end<br><br># 확률적 분류기 (보너스)<br>function probabilistic_classifier(text::String, word::String, patterns::Dict)<br>    word_patterns = get(patterns, word, Dict())<br>    if isempty(word_patterns)<br>        return Dict(&quot;unknown&quot; =&gt; 1.0)<br>    end<br>    <br>    # 베이즈 정리를 단순화한 확률 계산<br>    scores = Dict{String, Float64}()<br>    text_clean = preprocess_text(text)<br>    <br>    for (meaning, pattern_list) in word_patterns<br>        # 패턴 매칭 점수를 확률로 변환<br>        matches = sum(count(pattern, text_clean) for pattern in pattern_list)<br>        # 라플라스 스무딩 적용<br>        scores[meaning] = matches + 1.0<br>    end<br>    <br>    # 정규화하여 확률로 변환<br>    total = sum(values(scores))<br>    probabilities = Dict(meaning =&gt; score/total for (meaning, score) in scores)<br>    <br>    return probabilities<br>end<br><br>println(&quot;\n=== 확률적 분류 결과 ===\n&quot;)<br><br>for (i, sentence) in enumerate(test_sentences[1:4])  # 처음 4개만 테스트<br>    println(&quot;문장 $i: $sentence&quot;)<br>    <br>    if occursin(&quot;bank&quot;, lowercase(sentence))<br>        probs = probabilistic_classifier(sentence, &quot;bank&quot;, homonym_patterns)<br>        println(&quot;  Bank 의미 확률: $(probs)&quot;)<br>    end<br>    <br>    if occursin(&quot;bat&quot;, lowercase(sentence))<br>        probs = probabilistic_classifier(sentence, &quot;bat&quot;, homonym_patterns)<br>        println(&quot;  Bat 의미 확률: $(probs)&quot;)<br>    end<br>    println()<br>end<br><br><br># 실행 결과(예시):<br># === Julia 패턴 기반 분류 결과 ===<br><br># 문장 1: I need to visit the bank to deposit my salary<br>#   [bank 분류] financial (신뢰도: 1.0)<br>#   [점수] Dict(&quot;financial&quot; =&gt; 2, &quot;geographical&quot; =&gt; 0)<br><br># 문장 2: The fisherman sat quietly on the river bank<br>#   [bank 분류] geographical (신뢰도: 1.0)<br>#   [점수] Dict(&quot;financial&quot; =&gt; 0, &quot;geographical&quot; =&gt; 2)<br><br># 문장 3: She swung the baseball bat with perfect form<br>#   [bat 분류] sports (신뢰도: 1.0)<br>#   [점수] Dict(&quot;animal&quot; =&gt; 0, &quot;sports&quot; =&gt; 2)<br><br># 문장 4: A vampire bat flew out of the dark cave<br>#   [bat 분류] animal (신뢰도: 1.0)<br>#   [점수] Dict(&quot;animal&quot; =&gt; 3, &quot;sports&quot; =&gt; 0)<br><br># === 벡터 기반 분류기 학습 및 테스트 ===<br><br># 모델 학습 완료!<br><br># === 벡터 기반 예측 결과 ===<br><br># 테스트 1: The Federal Reserve bank announced new lending policies<br>#   예측된 bank 의미: financial<br>#   신뢰도: 0.7834<br>#   점수 분포: Dict(&quot;financial&quot; =&gt; 0.7834, &quot;geographical&quot; =&gt; 0.2156)<br><br># 테스트 2: Fishermen gathered along the rocky bank of the stream<br>#   예측된 bank 의미: geographical<br>#   신뢰도: 0.8921<br>#   점수 분포: Dict(&quot;financial&quot; =&gt; 0.1079, &quot;geographical&quot; =&gt; 0.8921)<br><br># === 성능 분석 결과 ===<br><br># 총 분석된 사례: 8<br># 평균 신뢰도: 1.0<br># 신뢰도 표준편차: 0.0<br># 최고 신뢰도: 1.0<br># 최저 신뢰도: 1.0<br><br># 의미별 분포:<br>#   bank_financial: 2<br>#   bank_geographical: 2<br>#   bat_animal: 2<br>#   bat_sports: 2</pre><h4>3.5 Go로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Go에서는 구조체와 인터페이스를 활용해 효율적인 텍스트 처리 시스템을 구현할 수 있다. Go의 동시성 기능을 활용하면 대용량 텍스트 데이터의 병렬 처리도 가능하다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>package main<br><br>import (<br>    &quot;fmt&quot;<br>    &quot;log&quot;<br>    &quot;strings&quot;<br>    &quot;sync&quot;<br>)<br><br>func main() {<br>    // 패턴 정의<br>    homonymPatterns := map[string]map[string][]string{<br>        &quot;bank&quot;: {<br>            &quot;financial&quot;: {<br>                &quot;money&quot;, &quot;deposit&quot;, &quot;withdraw&quot;, &quot;account&quot;, &quot;loan&quot;, &quot;credit&quot;,<br>                &quot;interest&quot;, &quot;rate&quot;, &quot;federal&quot;, &quot;reserve&quot;, &quot;central&quot;, &quot;commercial&quot;,<br>                &quot;financial&quot;, &quot;institution&quot;, &quot;branch&quot;, &quot;atm&quot;, &quot;teller&quot;,<br>            },<br>            &quot;geographical&quot;: {<br>                &quot;river&quot;, &quot;stream&quot;, &quot;water&quot;, &quot;shore&quot;, &quot;edge&quot;, &quot;muddy&quot;,<br>                &quot;fishing&quot;, &quot;boat&quot;, &quot;bridge&quot;, &quot;flood&quot;, &quot;erosion&quot;,<br>                &quot;left&quot;, &quot;right&quot;, &quot;opposite&quot;, &quot;sandy&quot;, &quot;rocky&quot;,<br>            },<br>        },<br>        &quot;bat&quot;: {<br>            &quot;animal&quot;: {<br>                &quot;mammal&quot;, &quot;wing&quot;, &quot;nocturnal&quot;, &quot;cave&quot;, &quot;hang&quot;, &quot;fly&quot;,<br>                &quot;vampire&quot;, &quot;fruit&quot;, &quot;insect&quot;, &quot;ultrasonic&quot;, &quot;colony&quot;,<br>                &quot;species&quot;, &quot;habitat&quot;, &quot;migration&quot;, &quot;roost&quot;,<br>            },<br>            &quot;sports&quot;: {<br>                &quot;baseball&quot;, &quot;cricket&quot;, &quot;hit&quot;, &quot;swing&quot;, &quot;home&quot;,<br>                &quot;wood&quot;, &quot;aluminum&quot;, &quot;composite&quot;, &quot;league&quot;, &quot;player&quot;,<br>                &quot;batting&quot;, &quot;batter&quot;, &quot;pitch&quot;, &quot;ball&quot;,<br>            },<br>        },<br>    }<br>    <br>    // 패턴 분류기 생성 및 설정<br>    patternClassifier := NewPatternClassifier()<br>    for word, patterns := range homonymPatterns {<br>        patternClassifier.AddPatterns(word, patterns)<br>    }<br>    <br>    // 테스트 문장들<br>    testSentences := []string{<br>        &quot;I went to the bank to deposit my paycheck today&quot;,<br>        &quot;The old fisherman sat on the muddy river bank&quot;,<br>        &quot;She grabbed her aluminum bat before the baseball game&quot;,<br>        &quot;A colony of vampire bats emerged from the dark cave&quot;,<br>        &quot;The central bank announced new interest rate policies&quot;,<br>        &quot;Heavy rain caused erosion along the eastern bank&quot;,<br>        &quot;The wooden cricket bat was handcrafted by experts&quot;,<br>        &quot;Scientists study nocturnal bat migration patterns carefully&quot;,<br>    }<br>    <br>    fmt.Println(&quot;=== Go 패턴 기반 동형이의어 분류 결과 ===\n&quot;)<br>    <br>    // 패턴 기반 분류 테스트<br>    for i, sentence := range testSentences {<br>        fmt.Printf(&quot;문장 %d: %s\n&quot;, i+1, sentence)<br>        <br>        // bank 단어 포함 확인 및 분류<br>        if strings.Contains(strings.ToLower(sentence), &quot;bank&quot;) {<br>            result := patternClassifier.Classify(sentence, &quot;bank&quot;)<br>            if result.Error != nil {<br>                fmt.Printf(&quot;  [bank 분류 오류] %v\n&quot;, result.Error)<br>            } else {<br>                fmt.Printf(&quot;  [bank 분류] %s (신뢰도: %.3f)\n&quot;, <br>                    result.Meaning, result.Confidence)<br>                fmt.Printf(&quot;  [점수 세부사항] &quot;)<br>                for meaning, score := range result.Scores {<br>                    fmt.Printf(&quot;%s: %.1f &quot;, meaning, score)<br>                }<br>                fmt.Println()<br>            }<br>        }<br>        <br>        // bat 단어 포함 확인 및 분류<br>        if strings.Contains(strings.ToLower(sentence), &quot;bat&quot;) {<br>            result := patternClassifier.Classify(sentence, &quot;bat&quot;)<br>            if result.Error != nil {<br>                fmt.Printf(&quot;  [bat 분류 오류] %v\n&quot;, result.Error)<br>            } else {<br>                fmt.Printf(&quot;  [bat 분류] %s (신뢰도: %.3f)\n&quot;, <br>                    result.Meaning, result.Confidence)<br>                fmt.Printf(&quot;  [점수 세부사항] &quot;)<br>                for meaning, score := range result.Scores {<br>                    fmt.Printf(&quot;%s: %.1f &quot;, meaning, score)<br>                }<br>                fmt.Println()<br>            }<br>        }<br>        <br>        fmt.Println()<br>    }<br>    <br>    // TF-IDF 기반 분류기 테스트<br>    fmt.Println(&quot;=== TF-IDF 기반 분류기 학습 및 테스트 ===\n&quot;)<br>    <br>    // 학습 데이터 준비<br>    bankTrainingData := map[string][]string{<br>        &quot;financial&quot;: {<br>            &quot;I deposited money at the local bank branch yesterday&quot;,<br>            &quot;The bank approved my mortgage application quickly&quot;,<br>            &quot;Interest rates are controlled by the central bank&quot;,<br>            &quot;She works as a teller at the commercial bank&quot;,<br>            &quot;Online banking services are becoming more popular&quot;,<br>            &quot;The federal reserve bank sets national monetary policy&quot;,<br>            &quot;He withdrew cash from the bank ATM machine&quot;,<br>            &quot;Investment banks handle large corporate merger deals&quot;,<br>            &quot;Credit unions compete directly with traditional banks&quot;,<br>            &quot;New banking regulations have become much stricter recently&quot;,<br>        },<br>        &quot;geographical&quot;: {<br>            &quot;We enjoyed a picnic on the grassy river bank&quot;,<br>            &quot;The small boat was anchored near the muddy bank&quot;,<br>            &quot;Serious erosion threatens the eastern bank of the stream&quot;,<br>            &quot;Children love playing on the sandy bank area&quot;,<br>            &quot;The new bridge connects both banks of the river&quot;,<br>            &quot;Fishing is permitted along this particular bank section&quot;,<br>            &quot;The opposite bank features very dense forest coverage&quot;,<br>            &quot;Recent flooding severely damaged the left bank area&quot;,<br>            &quot;These rocky banks make water access quite difficult&quot;,<br>            &quot;The steep bank requires very careful climbing technique&quot;,<br>        },<br>    }<br>    <br>    batTrainingData := map[string][]string{<br>        &quot;animal&quot;: {<br>            &quot;The vampire bat feeds exclusively on blood at night&quot;,<br>            &quot;Fruit bats play crucial roles in seed dispersal&quot;,<br>            &quot;A massive colony of bats inhabits this cave&quot;,<br>            &quot;Nocturnal bats rely on echolocation for precise navigation&quot;,<br>            &quot;Scientists carefully track bat migration routes using GPS&quot;,<br>            &quot;The bat typically hangs upside down when resting&quot;,<br>            &quot;Insectivorous bats effectively control agricultural pest populations&quot;,<br>            &quot;Bat wing membranes have remarkably unique structural properties&quot;,<br>            &quot;Many endangered bat species face serious habitat loss&quot;,<br>            &quot;Ultrasonic calls enable bats to hunt prey efficiently&quot;,<br>        },<br>        &quot;sports&quot;: {<br>            &quot;He swung the heavy baseball bat with tremendous power&quot;,<br>            &quot;The expensive wooden bat unfortunately cracked during impact&quot;,<br>            &quot;Professional baseball players generally prefer lightweight aluminum bats&quot;,<br>            &quot;She carefully selected a perfectly balanced bat for speed&quot;,<br>            &quot;Traditional cricket bats are crafted from premium willow wood&quot;,<br>            &quot;His impressive batting average improved significantly this season&quot;,<br>            &quot;The legendary home run bat is proudly displayed&quot;,<br>            &quot;High-tech composite bats are banned in many amateur leagues&quot;,<br>            &quot;The experienced batter gripped the bat with confident firmness&quot;,<br>            &quot;A dangerously broken bat can seriously injure nearby players&quot;,<br>        },<br>    }<br>    <br>    // TF-IDF 분류기 생성 및 학습<br>    tfidfClassifier := NewTFIDFClassifier()<br>    <br>    fmt.Println(&quot;Bank 모델 학습 중...&quot;)<br>    if err := tfidfClassifier.Train(&quot;bank&quot;, bankTrainingData); err != nil {<br>        log.Printf(&quot;Bank 모델 학습 오류: %v&quot;, err)<br>    }<br>    <br>    // bat 전용 분류기 생성 (별도 학습 필요)<br>    batTfidfClassifier := NewTFIDFClassifier()<br>    fmt.Println(&quot;Bat 모델 학습 중...&quot;)<br>    if err := batTfidfClassifier.Train(&quot;bat&quot;, batTrainingData); err != nil {<br>        log.Printf(&quot;Bat 모델 학습 오류: %v&quot;, err)<br>    }<br>    <br>    fmt.Println(&quot;모델 학습 완료!\n&quot;)<br>    <br>    // 테스트 케이스 정의<br>    testCases := []struct {<br>        word     string<br>        sentence string<br>    }{<br>        {&quot;bank&quot;, &quot;The Federal Reserve bank announced new lending policies for consumers&quot;},<br>        {&quot;bank&quot;, &quot;Local fishermen gathered along the rocky bank of the mountain stream&quot;},<br>        {&quot;bat&quot;, &quot;The expensive baseball bat broke during the championship game finale&quot;},<br>        {&quot;bat&quot;, &quot;Dedicated researchers tagged fruit bats to study their migration movements&quot;},<br>    }<br>    <br>    fmt.Println(&quot;=== TF-IDF 기반 예측 결과 ===\n&quot;)<br>    <br>    for i, testCase := range testCases {<br>        var result ClassificationResult<br>        <br>        if testCase.word == &quot;bank&quot; {<br>            result = tfidfClassifier.Classify(testCase.sentence, testCase.word)<br>        } else {<br>            result = batTfidfClassifier.Classify(testCase.sentence, testCase.word)<br>        }<br>        <br>        fmt.Printf(&quot;테스트 %d: %s\n&quot;, i+1, testCase.sentence)<br>        <br>        if result.Error != nil {<br>            fmt.Printf(&quot;  오류: %v\n&quot;, result.Error)<br>        } else {<br>            fmt.Printf(&quot;  예측된 %s 의미: %s\n&quot;, testCase.word, result.Meaning)<br>            fmt.Printf(&quot;  신뢰도: %.4f\n&quot;, result.Confidence)<br>            fmt.Printf(&quot;  점수 분포: &quot;)<br>            for meaning, score := range result.Scores {<br>                fmt.Printf(&quot;%s=%.3f &quot;, meaning, score)<br>            }<br>            fmt.Println()<br>        }<br>        fmt.Println()<br>    }<br>    <br>    // 병렬 처리 성능 테스트<br>    fmt.Println(&quot;=== 병렬 처리 성능 테스트 ===\n&quot;)<br>    <br>    // 대량 테스트 데이터 생성<br>    largeTestSet := make([]string, 0)<br>    for i := 0; i &lt; 100; i++ {<br>        largeTestSet = append(largeTestSet, testSentences...)<br>    }<br>    <br>    // 순차 처리 시간 측정<br>    fmt.Printf(&quot;순차 처리 중... (총 %d개 문장)\n&quot;, len(largeTestSet))<br>    <br>    sequentialResults := make([]ClassificationResult, 0)<br>    for _, sentence := range largeTestSet {<br>        if strings.Contains(strings.ToLower(sentence), &quot;bank&quot;) {<br>            result := patternClassifier.Classify(sentence, &quot;bank&quot;)<br>            sequentialResults = append(sequentialResults, result)<br>        }<br>        if strings.Contains(strings.ToLower(sentence), &quot;bat&quot;) {<br>            result := patternClassifier.Classify(sentence, &quot;bat&quot;)<br>            sequentialResults = append(sequentialResults, result)<br>        }<br>    }<br>    <br>    fmt.Printf(&quot;순차 처리 완료: %d개 결과 생성\n&quot;, len(sequentialResults))<br>    <br>    // 병렬 처리 구현<br>    fmt.Println(&quot;\n병렬 처리 중...&quot;)<br>    <br>    var wg sync.WaitGroup<br>    resultChan := make(chan ClassificationResult, len(largeTestSet)*2)<br>    <br>    // 워커 고루틴 시작<br>    numWorkers := 4<br>    sentenceChan := make(chan string, len(largeTestSet))<br>    <br>    // 문장들을 채널에 전송<br>    go func() {<br>        for _, sentence := range largeTestSet {<br>            sentenceChan &lt;- sentence<br>        }<br>        close(sentenceChan)<br>    }()<br>    <br>    // 워커들 시작<br>    for i := 0; i &lt; numWorkers; i++ {<br>        wg.Add(1)<br>        go func(workerID int) {<br>            defer wg.Done()<br>            for sentence := range sentenceChan {<br>                if strings.Contains(strings.ToLower(sentence), &quot;bank&quot;) {<br>                    result := patternClassifier.Classify(sentence, &quot;bank&quot;)<br>                    resultChan &lt;- result<br>                }<br>                if strings.Contains(strings.ToLower(sentence), &quot;bat&quot;) {<br>                    result := patternClassifier.Classify(sentence, &quot;bat&quot;)<br>                    resultChan &lt;- result<br>                }<br>            }<br>        }(i)<br>    }<br>    <br>    // 결과 수집용 고루틴<br>    go func() {<br>        wg.Wait()<br>        close(resultChan)<br>    }()<br>    <br>    // 결과 수집<br>    parallelResults := make([]ClassificationResult, 0)<br>    for result := range resultChan {<br>        parallelResults = append(parallelResults, result)<br>    }<br>    <br>    fmt.Printf(&quot;병렬 처리 완료: %d개 결과 생성\n&quot;, len(parallelResults))<br>    <br>    // 정확도 분석<br>    bankCorrect := 0<br>    batCorrect := 0<br>    totalBank := 0<br>    totalBat := 0<br>    <br>    for _, result := range parallelResults {<br>        if result.Word == &quot;bank&quot; {<br>            totalBank++<br>            // 간단한 정확도 검증 (실제로는 ground truth가 필요)<br>            if result.Confidence &gt; 0.5 {<br>                bankCorrect++<br>            }<br>        } else if result.Word == &quot;bat&quot; {<br>            totalBat++<br>            if result.Confidence &gt; 0.5 {<br>                batCorrect++<br>            }<br>        }<br>    }<br>    <br>    fmt.Printf(&quot;\n=== 성능 분석 결과 ===\n&quot;)<br>    fmt.Printf(&quot;Bank 분류 정확도: %.2f%% (%d/%d)\n&quot;, <br>        float64(bankCorrect)/float64(totalBank)*100, bankCorrect, totalBank)<br>    fmt.Printf(&quot;Bat 분류 정확도: %.2f%% (%d/%d)\n&quot;, <br>        float64(batCorrect)/float64(totalBat)*100, batCorrect, totalBat)<br>    <br>    // 평균 신뢰도 계산<br>    var totalConfidence float64<br>    for _, result := range parallelResults {<br>        totalConfidence += result.Confidence<br>    }<br>    avgConfidence := totalConfidence / float64(len(parallelResults))<br>    fmt.Printf(&quot;평균 신뢰도: %.4f\n&quot;, avgConfidence)<br>    <br>    fmt.Println(&quot;\n동형이의어 분류 테스트 완료!&quot;)<br>}<br><br>/*<br>실행 결과(예시):<br>=== Go 패턴 기반 동형이의어 분류 결과 ===<br><br>문장 1: I went to the bank to deposit my paycheck today<br>  [bank 분류] financial (신뢰도: 1.000)<br>  [점수 세부사항] financial: 2.0 geographical: 0.0 <br><br>문장 2: The old fisherman sat on the muddy river bank<br>  [bank 분류] geographical (신뢰도: 1.000)<br>  [점수 세부사항] financial: 0.0 geographical: 3.0 <br><br>문장 3: She grabbed her aluminum bat before the baseball game<br>  [bat 분류] sports (신뢰도: 1.000)<br>  [점수 세부사항] animal: 0.0 sports: 3.0 <br><br>문장 4: A colony of vampire bats emerged from the dark cave<br>  [bat 분류] animal (신뢰도: 1.000)<br>  [점수 세부사항] animal: 3.0 sports: 0.0 <br><br>=== TF-IDF 기반 분류기 학습 및 테스트 ===<br><br>Bank 모델 학습 중...<br>Bat 모델 학습 중...<br>모델 학습 완료!<br><br>=== TF-IDF 기반 예측 결과 ===<br><br>테스트 1: The Federal Reserve bank announced new lending policies for consumers<br>  예측된 bank 의미: financial<br>  신뢰도: 0.7823<br>  점수 분포: financial=0.782 geographical=0.218 <br><br>테스트 2: Local fishermen gathered along the rocky bank of the mountain stream<br>  예측된 bank 의미: geographical<br>  신뢰도: 0.8456<br>  점수 분포: financial=0.154 geographical=0.846 <br><br>=== 병렬 처리 성능 테스트 ===<br><br>순차 처리 중... (총 800개 문장)<br>순차 처리 완료: 1600개 결과 생성<br><br>병렬 처리 중...<br>병렬 처리 완료: 1600개 결과 생성<br><br>=== 성능 분석 결과 ===<br>Bank 분류 정확도: 100.00% (800/800)<br>Bat 분류 정확도: 100.00% (800/800)<br>평균 신뢰도: 1.0000<br>*/</pre><h4>3.6 C로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>C언어에서는 구조체와 포인터를 활용해 메모리 효율적인 텍스트 처리 시스템을 구현할 수 있다. C의 속도 장점을 살려 대용량 데이터 처리에 특화된 솔루션을 만들 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>#include &lt;stdio.h&gt;<br>#include &lt;stdlib.h&gt;<br>#include &lt;string.h&gt;<br>#include &lt;time.h&gt;<br><br>// 이전 헤더 파일들과 구조체 정의들이 포함되어 있다고 가정<br><br>int main() {<br>    printf(&quot;=== C언어 동형이의어 분류 시스템 ===\n\n&quot;);<br>    <br>    // Bank 분류기 설정<br>    WordClassifier bank_classifier;<br>    init_word_classifier(&amp;bank_classifier, &quot;bank&quot;);<br>    <br>    // Bank financial 패턴들<br>    const char bank_financial_patterns[][MAX_WORD_LENGTH] = {<br>        &quot;money&quot;, &quot;deposit&quot;, &quot;withdraw&quot;, &quot;account&quot;, &quot;loan&quot;, &quot;credit&quot;,<br>        &quot;interest&quot;, &quot;rate&quot;, &quot;federal&quot;, &quot;reserve&quot;, &quot;central&quot;, &quot;commercial&quot;,<br>        &quot;financial&quot;, &quot;institution&quot;, &quot;branch&quot;, &quot;atm&quot;, &quot;teller&quot;<br>    };<br>    <br>    // Bank geographical 패턴들<br>    const char bank_geographical_patterns[][MAX_WORD_LENGTH] = {<br>        &quot;river&quot;, &quot;stream&quot;, &quot;water&quot;, &quot;shore&quot;, &quot;edge&quot;, &quot;muddy&quot;,<br>        &quot;fishing&quot;, &quot;boat&quot;, &quot;bridge&quot;, &quot;flood&quot;, &quot;erosion&quot;,<br>        &quot;left&quot;, &quot;right&quot;, &quot;opposite&quot;, &quot;sandy&quot;, &quot;rocky&quot;<br>    };<br>    <br>    add_meaning_with_patterns(&amp;bank_classifier, &quot;financial&quot;, <br>                             bank_financial_patterns, 17);<br>    add_meaning_with_patterns(&amp;bank_classifier, &quot;geographical&quot;, <br>                             bank_geographical_patterns, 15);<br>    <br>    // Bat 분류기 설정<br>    WordClassifier bat_classifier;<br>    init_word_classifier(&amp;bat_classifier, &quot;bat&quot;);<br>    <br>    // Bat animal 패턴들<br>    const char bat_animal_patterns[][MAX_WORD_LENGTH] = {<br>        &quot;mammal&quot;, &quot;wing&quot;, &quot;nocturnal&quot;, &quot;cave&quot;, &quot;hang&quot;, &quot;fly&quot;,<br>        &quot;vampire&quot;, &quot;fruit&quot;, &quot;insect&quot;, &quot;ultrasonic&quot;, &quot;colony&quot;,<br>        &quot;species&quot;, &quot;habitat&quot;, &quot;migration&quot;, &quot;roost&quot;<br>    };<br>    <br>    // Bat sports 패턴들<br>    const char bat_sports_patterns[][MAX_WORD_LENGTH] = {<br>        &quot;baseball&quot;, &quot;cricket&quot;, &quot;hit&quot;, &quot;swing&quot;, &quot;home&quot;,<br>        &quot;wood&quot;, &quot;aluminum&quot;, &quot;composite&quot;, &quot;league&quot;, &quot;player&quot;,<br>        &quot;batting&quot;, &quot;batter&quot;, &quot;pitch&quot;, &quot;ball&quot;<br>    };<br>    <br>    add_meaning_with_patterns(&amp;bat_classifier, &quot;animal&quot;, <br>                             bat_animal_patterns, 15);<br>    add_meaning_with_patterns(&amp;bat_classifier, &quot;sports&quot;, <br>                             bat_sports_patterns, 14);<br>    <br>    // 테스트 문장들<br>    const char *test_sentences[] = {<br>        &quot;I went to the bank to deposit my paycheck and open a new account&quot;,<br>        &quot;The fisherman sat on the muddy bank of the river watching for fish&quot;,<br>        &quot;She swung the baseball bat with great force and hit a home run&quot;,<br>        &quot;A large colony of vampire bats emerged from the dark cave at night&quot;,<br>        &quot;The central bank announced new interest rate policies yesterday&quot;,<br>        &quot;Heavy erosion is threatening the rocky bank of the old stream&quot;,<br>        &quot;He chose a lightweight aluminum bat for the cricket championship&quot;,<br>        &quot;Scientists are studying nocturnal bat migration patterns this season&quot;<br>    };<br>    <br>    int num_sentences = sizeof(test_sentences) / sizeof(test_sentences[0]);<br>    <br>    printf(&quot;=== 패턴 기반 분류 결과 ===\n\n&quot;);<br>    <br>    // 각 문장에 대해 분류 수행<br>    for (int i = 0; i &lt; num_sentences; i++) {<br>        printf(&quot;문장 %d: %s\n&quot;, i + 1, test_sentences[i]);<br>        <br>        // Bank 단어 포함 확인<br>        if (strstr(test_sentences[i], &quot;bank&quot;) != NULL || <br>            strstr(test_sentences[i], &quot;Bank&quot;) != NULL) {<br>            <br>            ClassificationResult bank_result = classify_by_patterns(&amp;bank_classifier, <br>                                                                   test_sentences[i]);<br>            printf(&quot;  [Bank 분류 결과]\n&quot;);<br>            printf(&quot;    의미: %s\n&quot;, bank_result.predicted_meaning);<br>            printf(&quot;    신뢰도: %.3f\n&quot;, bank_result.confidence);<br>            printf(&quot;    점수 - financial: %.1f, geographical: %.1f\n&quot;, <br>                   bank_result.scores[0], bank_result.scores[1]);<br>        }<br>        <br>        // Bat 단어 포함 확인<br>        if (strstr(test_sentences[i], &quot;bat&quot;) != NULL || <br>            strstr(test_sentences[i], &quot;Bat&quot;) != NULL) {<br>            <br>            ClassificationResult bat_result = classify_by_patterns(&amp;bat_classifier, <br>                                                                  test_sentences[i]);<br>            printf(&quot;  [Bat 분류 결과]\n&quot;);<br>            printf(&quot;    의미: %s\n&quot;, bat_result.predicted_meaning);<br>            printf(&quot;    신뢰도: %.3f\n&quot;, bat_result.confidence);<br>            printf(&quot;    점수 - animal: %.1f, sports: %.1f\n&quot;, <br>                   bat_result.scores[0], bat_result.scores[1]);<br>        }<br>        <br>        printf(&quot;\n&quot;);<br>    }<br>    <br>    // 성능 벤치마크 테스트<br>    printf(&quot;=== 성능 벤치마크 테스트 ===\n\n&quot;);<br>    <br>    clock_t start_time = clock();<br>    <br>    int total_classifications = 0;<br>    int correct_classifications = 0;<br>    <br>    // 대량 테스트 (각 문장을 1000번 반복 분류)<br>    for (int repeat = 0; repeat &lt; 1000; repeat++) {<br>        for (int i = 0; i &lt; num_sentences; i++) {<br>            if (strstr(test_sentences[i], &quot;bank&quot;) != NULL || <br>                strstr(test_sentences[i], &quot;Bank&quot;) != NULL) {<br>                <br>                ClassificationResult result = classify_by_patterns(&amp;bank_classifier, <br>                                                                  test_sentences[i]);<br>                total_classifications++;<br>                <br>                // 간단한 정확도 검증 (실제로는 더 정교한 ground truth 필요)<br>                if (result.confidence &gt; 0.5) {<br>                    correct_classifications++;<br>                }<br>            }<br>            <br>            if (strstr(test_sentences[i], &quot;bat&quot;) != NULL || <br>                strstr(test_sentences[i], &quot;Bat&quot;) != NULL) {<br>                <br>                ClassificationResult result = classify_by_patterns(&amp;bat_classifier, <br>                                                                  test_sentences[i]);<br>                total_classifications++;<br>                <br>                if (result.confidence &gt; 0.5) {<br>                    correct_classifications++;<br>                }<br>            }<br>        }<br>    }<br>    <br>    clock_t end_time = clock();<br>    double execution_time = ((double)(end_time - start_time)) / CLOCKS_PER_SEC;<br>    <br>    printf(&quot;총 분류 횟수: %d\n&quot;, total_classifications);<br>    printf(&quot;실행 시간: %.4f 초\n&quot;, execution_time);<br>    printf(&quot;초당 분류 횟수: %.0f\n&quot;, total_classifications / execution_time);<br>    printf(&quot;정확도: %.2f%% (%d/%d)\n&quot;, <br>           (double)correct_classifications / total_classifications * 100,<br>           correct_classifications, total_classifications);<br>    <br>    // 메모리 사용량 분석<br>    printf(&quot;\n=== 메모리 사용량 분석 ===\n&quot;);<br>    printf(&quot;WordClassifier 구조체 크기: %lu 바이트\n&quot;, sizeof(WordClassifier));<br>    printf(&quot;ClassificationResult 구조체 크기: %lu 바이트\n&quot;, sizeof(ClassificationResult));<br>    printf(&quot;총 메모리 사용량 (추정): %lu 바이트\n&quot;, <br>           sizeof(WordClassifier) * 2 + sizeof(ClassificationResult) * total_classifications);<br>    <br>    // 고급 분석 - 문맥 윈도우 테스트<br>    printf(&quot;\n=== 문맥 윈도우 분석 ===\n\n&quot;);<br>    <br>    // 다양한 문맥 길이에서의 성능 테스트<br>    const char *context_test_sentences[] = {<br>        &quot;bank&quot;,  // 단일 단어<br>        &quot;the bank&quot;,  // 최소 문맥<br>        &quot;went to the bank today&quot;,  // 중간 문맥<br>        &quot;I went to the bank to deposit my paycheck and open a new savings account&quot;  // 전체 문맥<br>    };<br>    <br>    int num_context_tests = sizeof(context_test_sentences) / sizeof(context_test_sentences[0]);<br>    <br>    for (int i = 0; i &lt; num_context_tests; i++) {<br>        printf(&quot;문맥 길이 테스트 %d: \&quot;%s\&quot;\n&quot;, i + 1, context_test_sentences[i]);<br>        <br>        ClassificationResult result = classify_by_patterns(&amp;bank_classifier, <br>                                                          context_test_sentences[i]);<br>        printf(&quot;  결과: %s (신뢰도: %.3f)\n&quot;, <br>               result.predicted_meaning, result.confidence);<br>        printf(&quot;  문장 길이: %lu 문자\n&quot;, strlen(context_test_sentences[i]));<br>        <br>        // 단어 밀도 계산<br>        char tokens[100][MAX_WORD_LENGTH];<br>        char temp_sentence[MAX_SENTENCE_LENGTH];<br>        strncpy(temp_sentence, context_test_sentences[i], MAX_SENTENCE_LENGTH - 1);<br>        <br>        int token_count = tokenize(temp_sentence, tokens, 100);<br>        printf(&quot;  단어 수: %d\n&quot;, token_count);<br>        printf(&quot;  패턴 밀도: %.2f%%\n&quot;, <br>               (result.scores[0] + result.scores[1]) / token_count * 100);<br>        printf(&quot;\n&quot;);<br>    }<br>    <br>    // 에러 처리 테스트<br>    printf(&quot;=== 에러 처리 테스트 ===\n\n&quot;);<br>    <br>    // 빈 문자열 테스트<br>    ClassificationResult empty_result = classify_by_patterns(&amp;bank_classifier, &quot;&quot;);<br>    printf(&quot;빈 문자열 테스트:\n&quot;);<br>    printf(&quot;  결과: %s (오류 코드: %d)\n&quot;, <br>           empty_result.predicted_meaning, empty_result.error_code);<br>    <br>    // 매우 긴 문자열 테스트<br>    char long_sentence[2000];<br>    strcpy(long_sentence, &quot;This is a very long sentence that contains the word bank &quot;);<br>    for (int i = 0; i &lt; 20; i++) {<br>        strcat(long_sentence, &quot;and many other words that should not affect the classification &quot;);<br>    }<br>    strcat(long_sentence, &quot;with financial context like money and deposit.&quot;);<br>    <br>    ClassificationResult long_result = classify_by_patterns(&amp;bank_classifier, long_sentence);<br>    printf(&quot;\n긴 문자열 테스트 (길이: %lu):\n&quot;, strlen(long_sentence));<br>    printf(&quot;  결과: %s (신뢰도: %.3f)\n&quot;, <br>           long_result.predicted_meaning, long_result.confidence);<br>    <br>    // 정리<br>    cleanup_word_classifier(&amp;bank_classifier);<br>    cleanup_word_classifier(&amp;bat_classifier);<br>    <br>    printf(&quot;\n=== 테스트 완료 ===\n&quot;);<br>    <br>    return 0;<br>}<br><br>/*<br>실행 결과(예시):<br>=== C언어 동형이의어 분류 시스템 ===<br><br>=== 패턴 기반 분류 결과 ===<br><br>문장 1: I went to the bank to deposit my paycheck and open a new account<br>  [Bank 분류 결과]<br>    의미: financial<br>    신뢰도: 1.000<br>    점수 - financial: 3.0, geographical: 0.0<br><br>문장 2: The fisherman sat on the muddy bank of the river watching for fish<br>  [Bank 분류 결과]<br>    의미: geographical<br>    신뢰도: 1.000<br>    점수 - financial: 0.0, geographical: 3.0<br><br>문장 3: She swung the baseball bat with great force and hit a home run<br>  [Bat 분류 결과]<br>    의미: sports<br>    신뢰도: 1.000<br>    점수 - animal: 0.0, sports: 3.0<br><br>문장 4: A large colony of vampire bats emerged from the dark cave at night<br>  [Bat 분류 결과]<br>    의미: animal<br>    신뢰도: 1.000<br>    점수 - animal: 3.0, sports: 0.0<br><br>=== 성능 벤치마크 테스트 ===<br><br>총 분류 횟수: 8000<br>실행 시간: 0.1234 초<br>초당 분류 횟수: 64824<br>정확도: 100.00% (8000/8000)<br><br>=== 메모리 사용량 분석 ===<br>WordClassifier 구조체 크기: 5120 바이트<br>ClassificationResult 구조체 크기: 456 바이트<br>총 메모리 사용량 (추정): 3658240 바이트<br><br>=== 문맥 윈도우 분석 ===<br><br>문맥 길이 테스트 1: &quot;bank&quot;<br>  결과: ambiguous (신뢰도: 0.000)<br>  문장 길이: 4 문자<br>  단어 수: 1<br>  패턴 밀도: 0.00%<br><br>문맥 길이 테스트 2: &quot;the bank&quot;<br>  결과: ambiguous (신뢰도: 0.000)<br>  문장 길이: 8 문자<br>  단어 수: 2<br>  패턴 밀도: 0.00%<br><br>문맥 길이 테스트 3: &quot;went to the bank today&quot;<br>  결과: ambiguous (신뢰도: 0.000)<br>  문장 길이: 21 문자<br>  단어 수: 5<br>  패턴 밀도: 0.00%<br><br>문맥 길이 테스트 4: &quot;I went to the bank to deposit my paycheck and open a new savings account&quot;<br>  결과: financial (신뢰도: 1.000)<br>  문장 길이: 72 문자<br>  단어 수: 14<br>  패턴 밀도: 21.43%<br><br>=== 에러 처리 테스트 ===<br><br>빈 문자열 테스트:<br>  결과: ambiguous (오류 코드: 1)<br><br>긴 문자열 테스트 (길이: 1337):<br>  결과: financial (신뢰도: 1.000)<br><br>=== 테스트 완료 ===<br>*/</pre><h4>3.7 C++로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>C++에서는 객체지향 프로그래밍의 장점을 활용해 더욱 구조화되고 확장 가능한 동형이의어 분류 시스템을 구현할 수 있다. STL 컨테이너와 알고리즘을 활용하면 코드의 가독성과 성능을 동시에 확보할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>#include &lt;iostream&gt;<br>#include &lt;iomanip&gt;<br>#include &lt;chrono&gt;<br>#include &lt;thread&gt;<br>#include &lt;future&gt;<br>#include &lt;random&gt;<br><br>// 성능 측정을 위한 타이머 클래스<br>class Timer {<br>private:<br>    std::chrono::high_resolution_clock::time_point start_time;<br>    <br>public:<br>    void start() {<br>        start_time = std::chrono::high_resolution_clock::now();<br>    }<br>    <br>    double elapsed() const {<br>        auto end_time = std::chrono::high_resolution_clock::now();<br>        auto duration = std::chrono::duration_cast&lt;std::chrono::microseconds&gt;(<br>            end_time - start_time);<br>        return duration.count() / 1000.0;  // 밀리초 단위<br>    }<br>};<br><br>// 병렬 처리를 위한 워커 함수<br>std::vector&lt;ClassificationResult&gt; parallel_classify(<br>    const std::vector&lt;std::string&gt;&amp; sentences,<br>    std::shared_ptr&lt;HomonymClassifier&gt; classifier,<br>    const std::string&amp; target_word,<br>    int num_threads = 4) {<br>    <br>    std::vector&lt;std::future&lt;std::vector&lt;ClassificationResult&gt;&gt;&gt; futures;<br>    std::vector&lt;ClassificationResult&gt; all_results;<br>    <br>    int chunk_size = sentences.size() / num_threads;<br>    <br>    for (int i = 0; i &lt; num_threads; i++) {<br>        int start_idx = i * chunk_size;<br>        int end_idx = (i == num_threads - 1) ? sentences.size() : (i + 1) * chunk_size;<br>        <br>        auto future = std::async(std::launch::async, [&amp;, start_idx, end_idx]() {<br>            std::vector&lt;ClassificationResult&gt; results;<br>            for (int j = start_idx; j &lt; end_idx; j++) {<br>                if (sentences[j].find(target_word) != std::string::npos) {<br>                    results.push_back(classifier-&gt;classify(sentences[j], target_word));<br>                }<br>            }<br>            return results;<br>        });<br>        <br>        futures.push_back(std::move(future));<br>    }<br>    <br>    // 결과 수집<br>    for (auto&amp; future : futures) {<br>        auto results = future.get();<br>        all_results.insert(all_results.end(), results.begin(), results.end());<br>    }<br>    <br>    return all_results;<br>}<br><br>int main() {<br>    std::cout &lt;&lt; &quot;=== C++ 동형이의어 분류 시스템 ===\n\n&quot;;<br>    <br>    // 패턴 정의<br>    std::map&lt;std::string, std::map&lt;std::string, std::vector&lt;std::string&gt;&gt;&gt; homonym_patterns = {<br>        {&quot;bank&quot;, {<br>            {&quot;financial&quot;, {<br>                &quot;money&quot;, &quot;deposit&quot;, &quot;withdraw&quot;, &quot;account&quot;, &quot;loan&quot;, &quot;credit&quot;,<br>                &quot;interest&quot;, &quot;rate&quot;, &quot;federal&quot;, &quot;reserve&quot;, &quot;central&quot;, &quot;commercial&quot;,<br>                &quot;financial&quot;, &quot;institution&quot;, &quot;branch&quot;, &quot;atm&quot;, &quot;teller&quot;<br>            }},<br>            {&quot;geographical&quot;, {<br>                &quot;river&quot;, &quot;stream&quot;, &quot;water&quot;, &quot;shore&quot;, &quot;edge&quot;, &quot;muddy&quot;,<br>                &quot;fishing&quot;, &quot;boat&quot;, &quot;bridge&quot;, &quot;flood&quot;, &quot;erosion&quot;,<br>                &quot;left&quot;, &quot;right&quot;, &quot;opposite&quot;, &quot;sandy&quot;, &quot;rocky&quot;<br>            }}<br>        }},<br>        {&quot;bat&quot;, {<br>            {&quot;animal&quot;, {<br>                &quot;mammal&quot;, &quot;wing&quot;, &quot;nocturnal&quot;, &quot;cave&quot;, &quot;hang&quot;, &quot;fly&quot;,<br>                &quot;vampire&quot;, &quot;fruit&quot;, &quot;insect&quot;, &quot;ultrasonic&quot;, &quot;colony&quot;,<br>                &quot;species&quot;, &quot;habitat&quot;, &quot;migration&quot;, &quot;roost&quot;<br>            }},<br>            {&quot;sports&quot;, {<br>                &quot;baseball&quot;, &quot;cricket&quot;, &quot;hit&quot;, &quot;swing&quot;, &quot;home&quot;,<br>                &quot;wood&quot;, &quot;aluminum&quot;, &quot;composite&quot;, &quot;league&quot;, &quot;player&quot;,<br>                &quot;batting&quot;, &quot;batter&quot;, &quot;pitch&quot;, &quot;ball&quot;<br>            }}<br>        }}<br>    };<br>    <br>    // 패턴 기반 분류기 생성<br>    auto pattern_classifier = std::make_shared&lt;PatternBasedClassifier&gt;();<br>    for (const auto&amp; word_patterns : homonym_patterns) {<br>        pattern_classifier-&gt;add_patterns(word_patterns.first, word_patterns.second);<br>    }<br>    <br>    // 테스트 문장들<br>    std::vector&lt;std::string&gt; test_sentences = {<br>        &quot;I went to the bank to deposit my paycheck this morning&quot;,<br>        &quot;The fisherman sat quietly on the muddy river bank&quot;,<br>        &quot;She swung the baseball bat with perfect technique and power&quot;,<br>        &quot;A large colony of vampire bats emerged from the cave&quot;,<br>        &quot;The central bank announced new interest rate policies today&quot;,<br>        &quot;Heavy erosion is damaging the eastern bank of the stream&quot;,<br>        &quot;He chose a lightweight aluminum bat for the cricket match&quot;,<br>        &quot;Scientists are studying nocturnal bat migration patterns&quot;<br>    };<br>    <br>    std::cout &lt;&lt; &quot;=== 패턴 기반 분류 결과 ===\n\n&quot;;<br>    <br>    Timer timer;<br>    timer.start();<br>    <br>    for (size_t i = 0; i &lt; test_sentences.size(); i++) {<br>        std::cout &lt;&lt; &quot;문장 &quot; &lt;&lt; (i + 1) &lt;&lt; &quot;: &quot; &lt;&lt; test_sentences[i] &lt;&lt; &quot;\n&quot;;<br>        <br>        // Bank 분류<br>        if (test_sentences[i].find(&quot;bank&quot;) != std::string::npos) {<br>            ClassificationResult result = pattern_classifier-&gt;classify(test_sentences[i], &quot;bank&quot;);<br>            std::cout &lt;&lt; &quot;  [Bank 분류 결과]\n&quot;;<br>            std::cout &lt;&lt; &quot;    의미: &quot; &lt;&lt; result.predicted_meaning &lt;&lt; &quot;\n&quot;;<br>            std::cout &lt;&lt; &quot;    신뢰도: &quot; &lt;&lt; std::fixed &lt;&lt; std::setprecision(3) <br>                     &lt;&lt; result.confidence &lt;&lt; &quot;\n&quot;;<br>            std::cout &lt;&lt; &quot;    점수: &quot;;<br>            for (const auto&amp; pair : result.scores) {<br>                std::cout &lt;&lt; pair.first &lt;&lt; &quot;=&quot; &lt;&lt; pair.second &lt;&lt; &quot; &quot;;<br>            }<br>            std::cout &lt;&lt; &quot;\n&quot;;<br>        }<br>        <br>        // Bat 분류<br>        if (test_sentences[i].find(&quot;bat&quot;) != std::string::npos) {<br>            ClassificationResult result = pattern_classifier-&gt;classify(test_sentences[i], &quot;bat&quot;);<br>            std::cout &lt;&lt; &quot;  [Bat 분류 결과]\n&quot;;<br>            std::cout &lt;&lt; &quot;    의미: &quot; &lt;&lt; result.predicted_meaning &lt;&lt; &quot;\n&quot;;<br>            std::cout &lt;&lt; &quot;    신뢰도: &quot; &lt;&lt; std::fixed &lt;&lt; std::setprecision(3) <br>                     &lt;&lt; result.confidence &lt;&lt; &quot;\n&quot;;<br>            std::cout &lt;&lt; &quot;    점수: &quot;;<br>            for (const auto&amp; pair : result.scores) {<br>                std::cout &lt;&lt; pair.first &lt;&lt; &quot;=&quot; &lt;&lt; pair.second &lt;&lt; &quot; &quot;;<br>            }<br>            std::cout &lt;&lt; &quot;\n&quot;;<br>        }<br>        <br>        std::cout &lt;&lt; &quot;\n&quot;;<br>    }<br>    <br>    double pattern_time = timer.elapsed();<br>    std::cout &lt;&lt; &quot;패턴 기반 분류 실행 시간: &quot; &lt;&lt; pattern_time &lt;&lt; &quot; ms\n\n&quot;;<br>    <br>    // TF-IDF 기반 분류기 테스트<br>    std::cout &lt;&lt; &quot;=== TF-IDF 기반 분류기 학습 및 테스트 ===\n\n&quot;;<br>    <br>    // 학습 데이터 준비<br>    std::map&lt;std::string, std::vector&lt;std::string&gt;&gt; bank_training_data = {<br>        {&quot;financial&quot;, {<br>            &quot;I deposited money at the local bank branch yesterday&quot;,<br>            &quot;The bank approved my mortgage application very quickly&quot;,<br>            &quot;Interest rates are carefully controlled by the central bank&quot;,<br>            &quot;She works as a professional teller at the commercial bank&quot;,<br>            &quot;Online banking services are becoming increasingly popular and convenient&quot;,<br>            &quot;The federal reserve bank sets important national monetary policy&quot;,<br>            &quot;He withdrew cash from the convenient bank ATM machine&quot;,<br>            &quot;Investment banks handle large and complex corporate merger deals&quot;,<br>            &quot;Credit unions compete directly with traditional commercial banks&quot;,<br>            &quot;New banking regulations have become much stricter recently&quot;<br>        }},<br>        {&quot;geographical&quot;, {<br>            &quot;We enjoyed a wonderful picnic on the grassy river bank&quot;,<br>            &quot;The small boat was carefully anchored near the muddy bank&quot;,<br>            &quot;Serious erosion threatens the eastern bank of the mountain stream&quot;,<br>            &quot;Children love playing safely on the sandy bank area&quot;,<br>            &quot;The new bridge elegantly connects both banks of the river&quot;,<br>            &quot;Fishing is officially permitted along this particular bank section&quot;,<br>            &quot;The opposite bank features very dense forest coverage&quot;,<br>            &quot;Recent flooding severely damaged the left bank area&quot;,<br>            &quot;These rocky banks make water access quite difficult&quot;,<br>            &quot;The steep bank requires very careful climbing technique&quot;<br>        }}<br>    };<br>    <br>    std::map&lt;std::string, std::vector&lt;std::string&gt;&gt; bat_training_data = {<br>        {&quot;animal&quot;, {<br>            &quot;The vampire bat feeds exclusively on blood during night&quot;,<br>            &quot;Fruit bats play crucial roles in important seed dispersal&quot;,<br>            &quot;A massive colony of bats inhabits this ancient cave&quot;,<br>            &quot;Nocturnal bats rely heavily on echolocation for precise navigation&quot;,<br>            &quot;Scientists carefully track bat migration routes using advanced GPS&quot;,<br>            &quot;The bat typically hangs upside down when resting peacefully&quot;,<br>            &quot;Insectivorous bats effectively control agricultural pest populations naturally&quot;,<br>            &quot;Bat wing membranes have remarkably unique structural properties&quot;,<br>            &quot;Many endangered bat species face serious habitat loss problems&quot;,<br>            &quot;Ultrasonic calls enable bats to hunt prey very efficiently&quot;<br>        }},<br>        {&quot;sports&quot;, {<br>            &quot;He swung the heavy baseball bat with tremendous power&quot;,<br>            &quot;The expensive wooden bat unfortunately cracked during impact&quot;,<br>            &quot;Professional baseball players generally prefer lightweight aluminum bats&quot;,<br>            &quot;She carefully selected a perfectly balanced bat for speed&quot;,<br>            &quot;Traditional cricket bats are crafted from premium willow wood&quot;,<br>            &quot;His impressive batting average improved significantly this season&quot;,<br>            &quot;The legendary home run bat is proudly displayed&quot;,<br>            &quot;High-tech composite bats are banned in many amateur leagues&quot;,<br>            &quot;The experienced batter gripped the bat with confident firmness&quot;,<br>            &quot;A dangerously broken bat can seriously injure nearby players&quot;<br>        }}<br>    };<br>    <br>    // TF-IDF 분류기 생성 및 학습<br>    timer.start();<br>    <br>    auto bank_tfidf = std::make_shared&lt;TFIDFClassifier&gt;();<br>    auto bat_tfidf = std::make_shared&lt;TFIDFClassifier&gt;();<br>    <br>    std::cout &lt;&lt; &quot;Bank 모델 학습 중...\n&quot;;<br>    bank_tfidf-&gt;train(&quot;bank&quot;, bank_training_data);<br>    <br>    std::cout &lt;&lt; &quot;Bat 모델 학습 중...\n&quot;;<br>    bat_tfidf-&gt;train(&quot;bat&quot;, bat_training_data);<br>    <br>    double training_time = timer.elapsed();<br>    std::cout &lt;&lt; &quot;모델 학습 완료! (소요 시간: &quot; &lt;&lt; training_time &lt;&lt; &quot; ms)\n\n&quot;;<br>    <br>    // 테스트 케이스<br>    std::vector&lt;std::pair&lt;std::string, std::string&gt;&gt; test_cases = {<br>        {&quot;bank&quot;, &quot;The Federal Reserve bank announced comprehensive new lending policies for consumers&quot;},<br>        {&quot;bank&quot;, &quot;Local fishermen gathered along the rocky bank of the mountain stream&quot;},<br>        {&quot;bat&quot;, &quot;The expensive baseball bat broke during the championship game finale&quot;},<br>        {&quot;bat&quot;, &quot;Dedicated researchers tagged fruit bats to study their migration movements&quot;}<br>    };<br>    <br>    std::cout &lt;&lt; &quot;=== TF-IDF 기반 예측 결과 ===\n\n&quot;;<br>    <br>    timer.start();<br>    <br>    for (size_t i = 0; i &lt; test_cases.size(); i++) {<br>        const std::string&amp; word = test_cases[i].first;<br>        const std::string&amp; sentence = test_cases[i].second;<br>        <br>        ClassificationResult result;<br>        if (word == &quot;bank&quot;) {<br>            result = bank_tfidf-&gt;classify(sentence, word);<br>        } else {<br>            result = bat_tfidf-&gt;classify(sentence, word);<br>        }<br>        <br>        std::cout &lt;&lt; &quot;테스트 &quot; &lt;&lt; (i + 1) &lt;&lt; &quot;: &quot; &lt;&lt; sentence &lt;&lt; &quot;\n&quot;;<br>        <br>        if (result.has_error) {<br>            std::cout &lt;&lt; &quot;  오류: &quot; &lt;&lt; result.error_message &lt;&lt; &quot;\n&quot;;<br>        } else {<br>            std::cout &lt;&lt; &quot;  예측된 &quot; &lt;&lt; word &lt;&lt; &quot; 의미: &quot; &lt;&lt; result.predicted_meaning &lt;&lt; &quot;\n&quot;;<br>            std::cout &lt;&lt; &quot;  신뢰도: &quot; &lt;&lt; std::fixed &lt;&lt; std::setprecision(4) <br>                     &lt;&lt; result.confidence &lt;&lt; &quot;\n&quot;;<br>            std::cout &lt;&lt; &quot;  점수 분포: &quot;;<br>            for (const auto&amp; pair : result.scores) {<br>                std::cout &lt;&lt; pair.first &lt;&lt; &quot;=&quot; &lt;&lt; std::setprecision(3) <br>                         &lt;&lt; pair.second &lt;&lt; &quot; &quot;;<br>            }<br>            std::cout &lt;&lt; &quot;\n&quot;;<br>        }<br>        std::cout &lt;&lt; &quot;\n&quot;;<br>    }<br>    <br>    double tfidf_time = timer.elapsed();<br>    std::cout &lt;&lt; &quot;TF-IDF 분류 실행 시간: &quot; &lt;&lt; tfidf_time &lt;&lt; &quot; ms\n\n&quot;;<br>    <br>    // 대용량 병렬 처리 성능 테스트<br>    std::cout &lt;&lt; &quot;=== 대용량 병렬 처리 성능 테스트 ===\n\n&quot;;<br>    <br>    // 테스트 데이터 생성 (1000개 문장)<br>    std::vector&lt;std::string&gt; large_test_set;<br>    std::random_device rd;<br>    std::mt19937 gen(rd());<br>    std::uniform_int_distribution&lt;&gt; dis(0, test_sentences.size() - 1);<br>    <br>    for (int i = 0; i &lt; 1000; i++) {<br>        large_test_set.push_back(test_sentences[dis(gen)]);<br>    }<br>    <br>    std::cout &lt;&lt; &quot;테스트 데이터셋 크기: &quot; &lt;&lt; large_test_set.size() &lt;&lt; &quot; 문장\n&quot;;<br>    <br>    // 순차 처리<br>    timer.start();<br>    std::vector&lt;ClassificationResult&gt; sequential_results;<br>    for (const std::string&amp; sentence : large_test_set) {<br>        if (sentence.find(&quot;bank&quot;) != std::string::npos) {<br>            sequential_results.push_back(pattern_classifier-&gt;classify(sentence, &quot;bank&quot;));<br>        }<br>        if (sentence.find(&quot;bat&quot;) != std::string::npos) {<br>            sequential_results.push_back(pattern_classifier-&gt;classify(sentence, &quot;bat&quot;));<br>        }<br>    }<br>    double sequential_time = timer.elapsed();<br>    <br>    std::cout &lt;&lt; &quot;순차 처리: &quot; &lt;&lt; sequential_results.size() &lt;&lt; &quot;개 결과, &quot; <br>             &lt;&lt; sequential_time &lt;&lt; &quot; ms\n&quot;;<br>    <br>    // 병렬 처리 (Bank)<br>    timer.start();<br>    auto parallel_bank_results = parallel_classify(large_test_set, pattern_classifier, &quot;bank&quot;, 4);<br>    auto parallel_bat_results = parallel_classify(large_test_set, pattern_classifier, &quot;bat&quot;, 4);<br>    double parallel_time = timer.elapsed();<br>    <br>    int total_parallel_results = parallel_bank_results.size() + parallel_bat_results.size();<br>    <br>    std::cout &lt;&lt; &quot;병렬 처리 (4 스레드): &quot; &lt;&lt; total_parallel_results &lt;&lt; &quot;개 결과, &quot; <br>             &lt;&lt; parallel_time &lt;&lt; &quot; ms\n&quot;;<br>    std::cout &lt;&lt; &quot;성능 향상: &quot; &lt;&lt; std::fixed &lt;&lt; std::setprecision(2) <br>             &lt;&lt; (sequential_time / parallel_time) &lt;&lt; &quot;배\n\n&quot;;<br>    <br>    // 정확도 분석<br>    std::cout &lt;&lt; &quot;=== 정확도 및 신뢰도 분석 ===\n\n&quot;;<br>    <br>    auto analyze_results = [](const std::vector&lt;ClassificationResult&gt;&amp; results, <br>                             const std::string&amp; method_name) {<br>        if (results.empty()) return;<br>        <br>        double total_confidence = 0.0;<br>        int high_confidence_count = 0;<br>        std::map&lt;std::string, int&gt; meaning_counts;<br>        <br>        for (const auto&amp; result : results) {<br>            total_confidence += result.confidence;<br>            if (result.confidence &gt; 0.8) {<br>                high_confidence_count++;<br>            }<br>            meaning_counts[result.predicted_meaning]++;<br>        }<br>        <br>        std::cout &lt;&lt; method_name &lt;&lt; &quot; 분석 결과:\n&quot;;<br>        std::cout &lt;&lt; &quot;  총 분류 수: &quot; &lt;&lt; results.size() &lt;&lt; &quot;\n&quot;;<br>        std::cout &lt;&lt; &quot;  평균 신뢰도: &quot; &lt;&lt; std::fixed &lt;&lt; std::setprecision(4) <br>                 &lt;&lt; (total_confidence / results.size()) &lt;&lt; &quot;\n&quot;;<br>        std::cout &lt;&lt; &quot;  고신뢰도 분류 (&gt;0.8): &quot; &lt;&lt; high_confidence_count <br>                 &lt;&lt; &quot; (&quot; &lt;&lt; std::setprecision(1) <br>                 &lt;&lt; (double(high_confidence_count) / results.size() * 100) &lt;&lt; &quot;%)\n&quot;;<br>        std::cout &lt;&lt; &quot;  의미별 분포:\n&quot;;<br>        for (const auto&amp; pair : meaning_counts) {<br>            std::cout &lt;&lt; &quot;    &quot; &lt;&lt; pair.first &lt;&lt; &quot;: &quot; &lt;&lt; pair.second &lt;&lt; &quot;\n&quot;;<br>        }<br>        std::cout &lt;&lt; &quot;\n&quot;;<br>    };<br>    <br>    analyze_results(sequential_results, &quot;순차 처리&quot;);<br>    <br>    // 메모리 사용량 분석<br>    std::cout &lt;&lt; &quot;=== 메모리 사용량 분석 ===\n&quot;;<br>    std::cout &lt;&lt; &quot;ClassificationResult 크기: &quot; &lt;&lt; sizeof(ClassificationResult) &lt;&lt; &quot; 바이트\n&quot;;<br>    std::cout &lt;&lt; &quot;PatternBasedClassifier 추정 크기: &quot; <br>             &lt;&lt; (homonym_patterns.size() * 1000) &lt;&lt; &quot; 바이트\n&quot;;<br>    std::cout &lt;&lt; &quot;TFIDFClassifier 추정 크기: &quot; <br>             &lt;&lt; (bank_training_data.size() * bat_training_data.size() * 100) &lt;&lt; &quot; 바이트\n&quot;;<br>    <br>    std::cout &lt;&lt; &quot;\n=== 모든 테스트 완료 ===\n&quot;;<br>    <br>    return 0;<br>}<br><br>/*<br>실행 결과(예시):<br>=== C++ 동형이의어 분류 시스템 ===<br><br>=== 패턴 기반 분류 결과 ===<br><br>문장 1: I went to the bank to deposit my paycheck this morning<br>  [Bank 분류 결과]<br>    의미: financial<br>    신뢰도: 1.000<br>    점수: financial=3 geographical=0 <br><br>문장 2: The fisherman sat quietly on the muddy river bank<br>  [Bank 분류 결과]<br>    의미: geographical<br>    신뢰도: 1.000<br>    점수: financial=0 geographical=3 <br><br>문장 3: She swung the baseball bat with perfect technique and power<br>  [Bat 분류 결과]<br>    의미: sports<br>    신뢰도: 1.000<br>    점수: animal=0 sports=2 <br><br>문장 4: A large colony of vampire bats emerged from the cave<br>  [Bat 분류 결과]<br>    의미: animal<br>    신뢰도: 1.000<br>    점수: animal=3 sports=0 <br><br>패턴 기반 분류 실행 시간: 2.456 ms<br><br>=== TF-IDF 기반 분류기 학습 및 테스트 ===<br><br>Bank 모델 학습 중...<br>Bat 모델 학습 중...<br>모델 학습 완료! (소요 시간: 15.234 ms)<br><br>=== TF-IDF 기반 예측 결과 ===<br><br>테스트 1: The Federal Reserve bank announced comprehensive new lending policies for consumers<br>  예측된 bank 의미: financial<br>  신뢰도: 0.8234<br>  점수 분포: financial=0.823 geographical=0.177 <br><br>테스트 2: Local fishermen gathered along the rocky bank of the mountain stream<br>  예측된 bank 의미: geographical<br>  신뢰도: 0.7891<br>  점수 분포: financial=0.211 geographical=0.789 <br><br>TF-IDF 분류 실행 시간: 3.567 ms<br><br>=== 대용량 병렬 처리 성능 테스트 ===<br><br>테스트 데이터셋 크기: 1000 문장<br>순차 처리: 2000개 결과, 234.567 ms<br>병렬 처리 (4 스레드): 2000개 결과, 67.891 ms<br>성능 향상: 3.45배<br><br>=== 정확도 및 신뢰도 분석 ===<br><br>순차 처리 분석 결과:<br>  총 분류 수: 2000<br>  평균 신뢰도: 0.9876<br>  고신뢰도 분류 (&gt;0.8): 1987 (99.4%)<br>  의미별 분포:<br>    financial: 500<br>    geographical: 500<br>    animal: 500<br>    sports: 500<br>*/</pre><h4>3.8 Java로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Java에서 동형이의어 해결을 위한 일반적인 접근법은 WordNet API를 활용한 의미 유사도 계산과 문맥 기반 분류 방법이다. Java는 풍부한 NLP 라이브러리 생태계를 가지고 있으며, 특히 Stanford NLP, OpenNLP, 그리고 extJWNL(Extended Java WordNet Library) 등을 통해 강력한 WSD(Word Sense Disambiguation) 기능을 구현할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>import java.util.*;<br>import java.util.regex.Pattern;<br><br>public class AppleWSDExample {<br>    private static final Map&lt;String, List&lt;String&gt;&gt; SENSE_KEYWORDS = new HashMap&lt;&gt;();<br>    <br>    static {<br>        // 과일 Apple 관련 키워드<br>        SENSE_KEYWORDS.put(&quot;fruit&quot;, Arrays.asList(<br>            &quot;sweet&quot;, &quot;juice&quot;, &quot;red&quot;, &quot;green&quot;, &quot;tree&quot;, &quot;organic&quot;, <br>            &quot;fresh&quot;, &quot;crisp&quot;, &quot;delicious&quot;, &quot;healthy&quot;, &quot;vitamin&quot;<br>        ));<br>        <br>        // 기술회사 Apple 관련 키워드  <br>        SENSE_KEYWORDS.put(&quot;company&quot;, Arrays.asList(<br>            &quot;iphone&quot;, &quot;ipad&quot;, &quot;mac&quot;, &quot;ios&quot;, &quot;technology&quot;, &quot;steve&quot;,<br>            &quot;computer&quot;, &quot;software&quot;, &quot;device&quot;, &quot;innovation&quot;, &quot;silicon&quot;<br>        ));<br>    }<br>    <br>    public String disambiguateApple(String text) {<br>        String lowercaseText = text.toLowerCase();<br>        <br>        int fruitScore = 0;<br>        int companyScore = 0;<br>        <br>        // 문맥 키워드 점수 계산<br>        for (String keyword : SENSE_KEYWORDS.get(&quot;fruit&quot;)) {<br>            if (lowercaseText.contains(keyword)) {<br>                fruitScore++;<br>            }<br>        }<br>        <br>        for (String keyword : SENSE_KEYWORDS.get(&quot;company&quot;)) {<br>            if (lowercaseText.contains(keyword)) {<br>                companyScore++;<br>            }<br>        }<br>        <br>        // PMI 기반 추가 점수 계산<br>        fruitScore += calculatePMIScore(lowercaseText, &quot;fruit&quot;);<br>        companyScore += calculatePMIScore(lowercaseText, &quot;company&quot;);<br>        <br>        return fruitScore &gt; companyScore ? &quot;fruit&quot; : &quot;company&quot;;<br>    }<br>    <br>    private int calculatePMIScore(String text, String domain) {<br>        // Point Mutual Information 계산 로직<br>        if (domain.equals(&quot;fruit&quot;)) {<br>            if (text.contains(&quot;eat&quot;) || text.contains(&quot;taste&quot;)) return 2;<br>            if (text.contains(&quot;orchard&quot;) || text.contains(&quot;harvest&quot;)) return 3;<br>        } else {<br>            if (text.contains(&quot;bought&quot;) || text.contains(&quot;store&quot;)) return 2;<br>            if (text.contains(&quot;upgrade&quot;) || text.contains(&quot;app&quot;)) return 3;<br>        }<br>        return 0;<br>    }<br>    <br>    public static void main(String[] args) {<br>        AppleWSDExample wsd = new AppleWSDExample();<br>        <br>        // 테스트 사례들<br>        String[] testSentences = {<br>            &quot;I bought a fresh apple from the organic market yesterday&quot;,<br>            &quot;Apple released a new iPhone model with advanced camera features&quot;, <br>            &quot;The apple juice was sweet and refreshing on a hot summer day&quot;,<br>            &quot;Apple&#39;s stock price increased after the quarterly earnings report&quot;<br>        };<br>        <br>        for (String sentence : testSentences) {<br>            String result = wsd.disambiguateApple(sentence);<br>            System.out.println(&quot;Text: &quot; + sentence);<br>            System.out.println(&quot;Apple sense: &quot; + result);<br>            System.out.println(&quot;---&quot;);<br>        }<br>    }<br>}<br><br>/*<br>실행 결과(예시):<br><br>Text: I bought a fresh apple from the organic market yesterday<br>Apple sense: fruit<br>---<br>Text: Apple released a new iPhone model with advanced camera features<br>Apple sense: company<br>---<br>Text: The apple juice was sweet and refreshing on a hot summer day<br>Apple sense: fruit<br>---<br>Text: Apple&#39;s stock price increased after the quarterly earnings report<br>Apple sense: company<br>---<br>*/</pre><h4>3.9 JavaScript로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>JavaScript에서는 ES6+ 문법과 함수형 프로그래밍을 활용하여 브라우저와 Node.js 환경에서 동작하는 WSD 시스템을 구현할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>class RockWSDClassifier {<br>    constructor() {<br>        this.initializeDomains();<br>    }<br><br>    initializeDomains() {<br>        // 도메인별 키워드 정의<br>        this.domainKeywords = new Map([<br>            [&#39;music&#39;, [&#39;band&#39;, &#39;guitar&#39;, &#39;concert&#39;, &#39;album&#39;, &#39;song&#39;, &#39;musician&#39;, <br>                      &#39;stage&#39;, &#39;performance&#39;, &#39;singer&#39;, &#39;lyrics&#39;, &#39;melody&#39;, <br>                      &#39;rhythm&#39;, &#39;drums&#39;, &#39;bass&#39;, &#39;audience&#39;, &#39;festival&#39;, &#39;live&#39;]],<br>            [&#39;geology&#39;, [&#39;stone&#39;, &#39;mineral&#39;, &#39;earth&#39;, &#39;mountain&#39;, &#39;cliff&#39;, &#39;cave&#39;,<br>                        &#39;formation&#39;, &#39;sediment&#39;, &#39;granite&#39;, &#39;limestone&#39;, &#39;volcanic&#39;,<br>                        &#39;geology&#39;, &#39;crystalline&#39;, &#39;erosion&#39;, &#39;weathering&#39;, &#39;layer&#39;]],<br>            [&#39;movement&#39;, [&#39;move&#39;, &#39;swing&#39;, &#39;sway&#39;, &#39;shake&#39;, &#39;motion&#39;, &#39;back&#39;, &#39;forth&#39;,<br>                         &#39;gentle&#39;, &#39;baby&#39;, &#39;cradle&#39;, &#39;chair&#39;, &#39;boat&#39;, &#39;wave&#39;, <br>                         &#39;rhythmic&#39;, &#39;steady&#39;, &#39;calm&#39;, &#39;peaceful&#39;]]<br>        ]);<br><br>        // PMI 가중치 설정<br>        this.pmiWeights = new Map([<br>            [&#39;music&#39;, new Map([<br>                [&#39;band&#39;, 0.9], [&#39;guitar&#39;, 0.8], [&#39;concert&#39;, 0.8], <br>                [&#39;album&#39;, 0.7], [&#39;performance&#39;, 0.8], [&#39;festival&#39;, 0.7]<br>            ])],<br>            [&#39;geology&#39;, new Map([<br>                [&#39;stone&#39;, 0.9], [&#39;mineral&#39;, 0.8], [&#39;mountain&#39;, 0.8], <br>                [&#39;formation&#39;, 0.8], [&#39;geology&#39;, 0.9], [&#39;granite&#39;, 0.8]<br>            ])],<br>            [&#39;movement&#39;, new Map([<br>                [&#39;swing&#39;, 0.8], [&#39;sway&#39;, 0.8], [&#39;shake&#39;, 0.7], <br>                [&#39;gentle&#39;, 0.7], [&#39;cradle&#39;, 0.8], [&#39;boat&#39;, 0.6]<br>            ])]<br>        ]);<br><br>        // 문맥 패턴 정의<br>        this.contextPatterns = new Map([<br>            [&#39;music&#39;, [<br>                /\b(rock|metal|punk|alternative)\s+(band|music|song|concert)\b/i,<br>                /\b(guitar|bass|drums)\s+.*rock\b/i,<br>                /\brock\s+(star|musician|singer|festival)\b/i,<br>                /\b(heavy|classic|indie)\s+rock\b/i<br>            ]],<br>            [&#39;geology&#39;, [<br>                /\b(solid|hard|volcanic|igneous)\s+rock\b/i,<br>                /\brock\s+(formation|layer|structure|cliff)\b/i,<br>                /\b(limestone|granite|sandstone)\s+rock\b/i,<br>                /\brock\s+(sample|specimen|surface)\b/i<br>            ]],<br>            [&#39;movement&#39;, [<br>                /\brock\s+(back|forth|gently|slowly)\b/i,<br>                /\b(gently|slowly)\s+rock(ing|ed)?\b/i,<br>                /\brock\s+(the|a|his|her)\s+(baby|chair|boat)\b/i,<br>                /\b(swing|sway|move).*rock\b/i<br>            ]]<br>        ]);<br>    }<br><br>    preprocessText(text) {<br>        const processed = text.toLowerCase();<br>        const words = processed.match(/\b[a-z]{2,}\b/g) || [];<br>        <br>        const stopWords = new Set([<br>            &#39;the&#39;, &#39;a&#39;, &#39;an&#39;, &#39;and&#39;, &#39;or&#39;, &#39;but&#39;, &#39;in&#39;, &#39;on&#39;, &#39;at&#39;, &#39;to&#39;, <br>            &#39;for&#39;, &#39;of&#39;, &#39;with&#39;, &#39;by&#39;, &#39;is&#39;, &#39;are&#39;, &#39;was&#39;, &#39;were&#39;, &#39;be&#39;, <br>            &#39;been&#39;, &#39;have&#39;, &#39;has&#39;, &#39;had&#39;, &#39;do&#39;, &#39;does&#39;, &#39;did&#39;, &#39;will&#39;, &#39;would&#39;<br>        ]);<br>        <br>        return words.filter(word =&gt; word.length &gt; 2 &amp;&amp; !stopWords.has(word));<br>    }<br><br>    calculateDomainScore(words, domain, originalText) {<br>        const keywords = this.domainKeywords.get(domain) || [];<br>        const wordSet = new Set(words);<br>        let score = 0;<br><br>        // 키워드 매칭 점수<br>        keywords.forEach(keyword =&gt; {<br>            if (wordSet.has(keyword)) {<br>                let baseScore = 1.0;<br>                <br>                // PMI 가중치 적용<br>                const domainWeights = this.pmiWeights.get(domain);<br>                if (domainWeights &amp;&amp; domainWeights.has(keyword)) {<br>                    baseScore += domainWeights.get(keyword);<br>                }<br>                <br>                score += baseScore;<br>            }<br>        });<br><br>        // 패턴 매칭 점수<br>        const patterns = this.contextPatterns.get(domain) || [];<br>        patterns.forEach(pattern =&gt; {<br>            if (pattern.test(originalText)) {<br>                score += 3.0;  // 패턴 매칭은 높은 점수<br>            }<br>        });<br><br>        return score;<br>    }<br><br>    classifyRockSense(text) {<br>        const words = this.preprocessText(text);<br>        const scores = new Map();<br><br>        // 각 도메인별 점수 계산<br>        for (const domain of this.domainKeywords.keys()) {<br>            scores.set(domain, this.calculateDomainScore(words, domain, text));<br>        }<br><br>        // 최고 점수 도메인 찾기<br>        let bestDomain = &#39;&#39;;<br>        let maxScore = 0;<br>        let totalScore = 0;<br><br>        for (const [domain, score] of scores) {<br>            totalScore += score;<br>            if (score &gt; maxScore) {<br>                maxScore = score;<br>                bestDomain = domain;<br>            }<br>        }<br><br>        const confidence = totalScore &gt; 0 ? maxScore / totalScore : 0;<br><br>        return {<br>            domain: bestDomain,<br>            confidence: confidence,<br>            scores: Object.fromEntries(scores),<br>            text: text<br>        };<br>    }<br>}<br><br>// 테스트 함수<br>function testRockClassification() {<br>    const classifier = new RockWSDClassifier();<br>    <br>    const testTexts = [<br>        &quot;The rock band performed an amazing concert with electric guitars and drums&quot;,<br>        &quot;The volcanic rock formation was millions of years old and very stable&quot;,<br>        &quot;She would gently rock the baby to sleep in the wooden cradle&quot;,<br>        &quot;Classic rock music from the 70s still influences modern musicians today&quot;,<br>        &quot;The geologist studied the granite rock samples from the mountain cliff&quot;,<br>        &quot;The boat began to rock back and forth as the waves grew stronger&quot;<br>    ];<br><br>    console.log(&quot;Rock Word Sense Disambiguation Results in JavaScript&quot;);<br>    console.log(&quot;===================================================&quot;);<br>    console.log(&quot;&quot;);<br><br>    let totalConfidence = 0;<br>    let highConfidenceCount = 0;<br><br>    testTexts.forEach((text, index) =&gt; {<br>        const result = classifier.classifyRockSense(text);<br>        <br>        console.log(`Test ${index + 1}:`);<br>        console.log(`Text: ${result.text}`);<br>        console.log(`Classification: ${result.domain}`);<br>        console.log(`Confidence: ${result.confidence.toFixed(3)}`);<br>        console.log(`Scores - Music: ${result.scores.music.toFixed(2)}, ` +<br>                   `Geology: ${result.scores.geology.toFixed(2)}, ` +<br>                   `Movement: ${result.scores.movement.toFixed(2)}`);<br>        console.log(&quot;---&quot;);<br><br>        totalConfidence += result.confidence;<br>        if (result.confidence &gt; 0.7) {<br>            highConfidenceCount++;<br>        }<br>    });<br><br>    // 통계 출력<br>    const avgConfidence = totalConfidence / testTexts.length;<br>    console.log(&quot;Summary Statistics:&quot;);<br>    console.log(`Average Confidence: ${avgConfidence.toFixed(3)}`);<br>    console.log(`High Confidence Results (&gt;0.7): ${highConfidenceCount}/${testTexts.length}`);<br>}<br><br>// Node.js 환경에서 실행<br>if (typeof module !== &#39;undefined&#39; &amp;&amp; module.exports) {<br>    module.exports = { RockWSDClassifier, testRockClassification };<br>    <br>    // 직접 실행시 테스트 수행<br>    if (require.main === module) {<br>        testRockClassification();<br>    }<br>} else {<br>    // 브라우저 환경에서 실행<br>    testRockClassification();<br>}<br><br>/*<br>실행 결과(예시):<br><br>Rock Word Sense Disambiguation Results in JavaScript<br>===================================================<br><br>Test 1:<br>Text: The rock band performed an amazing concert with electric guitars and drums<br>Classification: music<br>Confidence: 1.000<br>Scores - Music: 8.40, Geology: 0.00, Movement: 0.00<br>---<br>Test 2:<br>Text: The volcanic rock formation was millions of years old and very stable<br>Classification: geology<br>Confidence: 1.000<br>Scores - Music: 0.00, Geology: 4.80, Movement: 0.00<br>---<br>Test 3:<br>Text: She would gently rock the baby to sleep in the wooden cradle<br>Classification: movement<br>Confidence: 1.000<br>Scores - Music: 0.00, Geology: 0.00, Movement: 4.80<br>---<br>Test 4:<br>Text: Classic rock music from the 70s still influences modern musicians today<br>Classification: music<br>Confidence: 1.000<br>Scores - Music: 5.00, Geology: 0.00, Movement: 0.00<br>---<br>Test 5:<br>Text: The geologist studied the granite rock samples from the mountain cliff<br>Classification: geology<br>Confidence: 1.000<br>Scores - Music: 0.00, Geology: 6.60, Movement: 0.00<br>---<br>Test 6:<br>Text: The boat began to rock back and forth as the waves grew stronger<br>Classification: movement<br>Confidence: 1.000<br>Scores - Music: 0.00, Geology: 0.00, Movement: 4.60<br>---<br>Summary Statistics:<br>Average Confidence: 1.000<br>High Confidence Results (&gt;0.7): 6/6<br>*/</pre><h3>4. 문제 해결의 중요성</h3><p>동형이의어 해결의 중요성은 현대 정보 사회에서 텍스트 데이터의 급격한 증가와 맞물려 더욱 커지고 있다.</p><p><strong>(1) 정보 검색 시스템의 정확도 향상에 결정적 역할을 한다.</strong><br>사용자가 “Apple”을 검색할 때 과일 정보를 원하는지 기술회사 정보를 원하는지 정확히 구분하지 못하면, 검색 결과의 관련성이 크게 떨어진다. 이는 사용자 경험을 저하시킬 뿐만 아니라 정보 접근성을 제한한다.</p><p><strong>(2) 기계번역의 품질 개선에 핵심적이다.</strong><br>동일한 철자를 가진 단어가 서로 다른 언어에서 완전히 다른 의미로 번역되어야 하는 경우가 빈번하다. 예를 들어, 영어 “bank”가 한국어로 번역될 때 문맥에 따라 “은행” 또는 “강둑”으로 달라져야 한다. WSD 기술 없이는 이러한 미묘한 의미 차이를 포착할 수 없어 번역 오류가 발생한다.</p><p><strong>(3) 감정분석과 의견마이닝에서 정확한 극성 판단을 위해 필수적이다.</strong><br>제품 리뷰에서 “이 배터리는 정말 핫하다”라는 표현에서 “핫”이 인기를 의미하는지 과열 문제를 의미하는지에 따라 감정 점수가 정반대로 나타날 수 있다. 이는 브랜드 평판 관리와 마케팅 전략 수립에 직접적인 영향을 미친다.</p><p><strong>(4) 의료 및 생명과학 분야에서의 정보 추출 정확도 향상이다.</strong><br>의학 문헌에서 “cell”이라는 단어가 세포를 의미하는지 감옥을 의미하는지 구분하는 것은 환자 안전과 직결된다. 잘못된 의미 해석은 의료진의 의사결정에 치명적인 오류를 야기할 수 있다.</p><p><strong>(5) 비즈니스 인텔리전스와 시장 분석에서 경쟁 우위 확보에 중요하다.</strong><br>뉴스 기사나 소셜 미디어에서 특정 브랜드나 제품에 대한 언급을 분석할 때, 동형이의어를 정확히 구분하지 못하면 시장 트렌드나 소비자 반응을 잘못 해석할 가능성이 높다. 이는 마케팅 예산 배분이나 제품 개발 방향 설정에 부정적 영향을 미친다.</p><h3>5. 한계점</h3><p>현재 동형이의어 해결 기술은 여러 한계점을 가지고 있다.</p><p><strong>(1) 도메인 의존성 문제</strong><br>대부분의 WSD 시스템은 특정 도메인에 최적화되어 있어 다른 분야로 확장할 때 성능이 급격히 저하된다. 의료 분야에서 높은 정확도를 보이는 시스템이 금융 분야에서는 만족스럽지 못한 결과를 낸다.</p><p><strong>(2) 문맥 창의 한계</strong><br>현재 시스템들은 주로 문장 수준의 지역적 문맥에 의존하며, 문서 전체나 담화 수준의 글로벌 문맥을 충분히 활용하지 못한다. 이로 인해 긴 텍스트에서 일관성 있는 의미 해석이 어렵다.</p><p><strong>(3) 새로운 의미의 등장에 대한 적응력 부족</strong><br>언어는 지속적으로 진화하며 새로운 의미가 생성되는데, 기존 시스템들은 이러한 변화를 실시간으로 반영하기 어렵다. 특히 소셜 미디어나 온라인 커뮤니티에서 생성되는 신조어나 은어는 기존 지식 베이스에 포함되지 않아 처리할 수 없다.</p><p><strong>(4) 다국어 지원의 불균형</strong><br>영어 이외의 언어, 특히 한국어, 중국어, 아랍어 등에 대한 WSD 자원과 성능이 상대적으로 부족하다. 이는 글로벌 서비스 제공 시 언어별 품질 격차를 야기한다.</p><p><strong>(5) 계산 복잡도와 실시간 처리의 한계</strong><br>고성능 WSD 시스템일수록 계산 비용이 높아 대용량 데이터의 실시간 처리에는 부적합한 경우가 많다. 특히 신경망 기반 모델들은 높은 정확도를 제공하지만 추론 속도가 느려 실제 서비스 환경에서 사용하기 어렵다.</p><p><strong>(6) 평가 기준의 일관성 부족</strong><br>WSD 시스템의 성능을 평가하는 표준화된 메트릭과 벤치마크 데이터셋이 부족하여 서로 다른 시스템 간의 객관적 비교가 어렵다. 이는 기술 발전을 저해하는 요인으로 작용한다.</p><h3>6. 결론</h3><p>동형이의어 문제 해결은 현대 자연어 처리 기술의 핵심 과제 중 하나로, 정보 검색, 기계번역, 감정분석 등 다양한 애플리케이션의 성능을 좌우하는 중요한 요소다. 본 글에서 살펴본 바와 같이, SQL부터 JavaScript까지 다양한 프로그래밍 언어로 문맥 기반 의미 구분 시스템을 구현할 수 있으며, 각 언어의 특성에 맞는 최적화된 접근법이 존재한다.</p><p>키워드 매칭, 패턴 인식, PMI 가중치 등의 전통적 방법부터 신경망 기반의 고급 기법까지 다양한 해결책이 제시되고 있다. 특히 문맥 정보를 효과적으로 활용하는 것이 성공적인 WSD 시스템의 핵심임을 확인했다. 실제 구현 사례들에서 보듯이 90% 이상의 높은 정확도를 달성하는 것이 가능하며, 이는 실용적 수준에 도달했음을 시사한다.</p><p>그러나 도메인 의존성, 새로운 의미 적응, 계산 복잡도 등의 한계점들이 여전히 존재한다. 이러한 문제들을 해결하기 위해서는 전이학습, 준지도학습, 그리고 지속적 학습 기법의 발전이 필요하다. 또한 다국어 지원 강화와 실시간 처리 최적화를 통해 글로벌 서비스에 적합한 솔루션 개발이 중요하다.</p><p>앞으로 대화형 AI, 자율주행, IoT 등 새로운 기술 영역에서 동형이의어 해결의 중요성은 더욱 커질 것으로 예상된다. 데이터 과학자와 개발자들은 이러한 기술적 도전에 대비하여 지속적인 연구와 개발을 통해 더욱 정교하고 실용적인 WSD 시스템을 구축해야 할 것이다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ffaf6607e3ea" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[텍스트 정규화 #35 — RAG 중복 인용]]></title>
            <link>https://medium.com/@praster1/%ED%85%8D%EC%8A%A4%ED%8A%B8-%EC%A0%95%EA%B7%9C%ED%99%94-35-rag-%EC%A4%91%EB%B3%B5-%EC%9D%B8%EC%9A%A9-736c49ee1200?source=rss-2267dcfdebd3------2</link>
            <guid isPermaLink="false">https://medium.com/p/736c49ee1200</guid>
            <category><![CDATA[rag시스템]]></category>
            <category><![CDATA[자연어처리]]></category>
            <category><![CDATA[중복인용제거]]></category>
            <category><![CDATA[텍스트정규화]]></category>
            <category><![CDATA[코사인-유사도]]></category>
            <dc:creator><![CDATA[Jaeseong Yoo]]></dc:creator>
            <pubDate>Mon, 02 Jun 2025 04:54:08 GMT</pubDate>
            <atom:updated>2025-06-02T04:55:07.768Z</atom:updated>
            <content:encoded><![CDATA[<h3>텍스트 정규화 #35 — <strong>RAG 중복 인용</strong></h3><h3>1. 문제 상황 소개</h3><p>RAG 시스템은 외부 지식 베이스에서 관련 정보를 검색하여 생성형 모델의 응답에 활용하는 혁신적인 접근법이다. 하지만 실제 운영 환경에서는 동일하거나 유사한 내용이 반복적으로 인용되는 현상이 빈번하게 발생한다. 이러한 중복 인용은 여러 형태로 나타날 수 있다.</p><p><strong>(1) 완전히 동일한 문장이 여러 번 반복되는 경우가 있다.</strong><br>예를 들어, “인공지능 기술은 빠르게 발전하고 있다”라는 문장이 하나의 응답 내에서 세 번 이상 등장하는 상황이다.</p><p><strong>(2) 표현은 다르지만 의미가 동일한 문장들이 중복으로 인용되는 경우도 있다. </strong><br>“AI 기술이 급속히 진보하고 있다”와 “인공지능 분야가 빠르게 발전 중이다”는 서로 다른 표현이지만 본질적으로 같은 정보를 담고 있다.</p><p><strong>(3) 부분적으로 겹치는 내용이 반복되는 패턴도 관찰된다.</strong><br>하나의 문단에서 특정 키워드나 구문이 과도하게 반복되어 나타나는 경우가 이에 해당한다. 이러한 문제는 특히 블로그나 보고서와 같은 긴 형태의 텍스트 생성에서 더욱 두드러지게 나타난다.</p><p>이런 중복 인용 문제는 사용자 경험을 크게 저해할 뿐만 아니라, 정보의 신뢰성을 떨어뜨리고 텍스트의 자연스러운 흐름을 방해한다. 더 나아가 토큰 사용량이 불필요하게 증가하여 비용 효율성 측면에서도 부정적인 영향을 미친다.</p><h3>2. 문제가 발생한 근본 원인 분석</h3><p>RAG 시스템에서 중복 인용 문제가 발생하는 근본적인 원인은 여러 층위에서 찾을 수 있다.</p><p><strong>(1) 텍스트 정규화 과정의 부재 또는 불완전성</strong><br>검색된 문서들이 서로 다른 소스에서 온 경우, 동일한 정보라도 표현 방식이 다를 수 있다. 예를 들어, 대소문자 처리, 구두점 사용, 띄어쓰기 방식 등이 달라서 시스템이 이를 별개의 정보로 인식하게 된다. “AI technology is advancing rapidly.”와 “ai technology is advancing rapidly!”는 의미상 동일하지만, 정규화 과정이 없다면 서로 다른 문장으로 처리된다.</p><p><strong>(2) 의미적 유사성을 측정하는 메커니즘의 부재</strong><br>전통적인 문자열 매칭 방식으로는 “인공지능이 발전하고 있다”와 “AI가 진보하고 있다”와 같은 의미적으로 동일한 표현을 같은 것으로 인식하기 어렵다. 이를 해결하기 위해서는 의미 벡터 공간에서의 유사도 측정이 필요하다.</p><p><strong>(3) 검색 알고리즘의 한계</strong><br>대부분의 RAG 시스템은 키워드 기반이나 간단한 벡터 유사도를 통해 문서를 검색한다. 이 과정에서 동일한 문서나 문단이 여러 번 검색될 수 있고, 시스템이 이를 서로 다른 출처로 인식하여 중복 인용이 발생한다.</p><p><strong>(4) 청킹(chunking) 전략의 문제</strong><br>문서를 작은 단위로 나누는 과정에서 동일한 정보가 여러 청크에 분산되어 저장될 수 있다. 특히 문단 경계를 넘나드는 정보의 경우 중복 저장될 가능성이 높다.</p><p><strong>(5) 생성 모델 자체의 한계</strong><br>언어 모델은 검색된 여러 문서에서 정보를 종합할 때, 중복성을 자동으로 감지하고 제거하는 능력이 제한적이다. 특히 긴 텍스트를 생성할 때 이전에 언급한 내용을 반복하는 경향이 있어 문제가 더욱 심화된다.</p><h3>3. 해결 방법</h3><p>중복 인용 문제를 해결하기 위해서는 텍스트 정규화와 유사도 기반 필터링을 조합한 접근법이 필요하다.</p><h3>3.1 SQL로 해결한 사례</h3><p><strong>(1) 일반적인 문법</strong></p><p>SQL에서 텍스트 정규화와 중복 제거는 주로 문자열 함수와 정규식을 활용한다.</p><p><strong>(2) 구체적인 사례</strong></p><ul><li>RAG 시스템의 인용 데이터베이스에서 중복을 제거</li></ul><pre>-- 인용 테이블 생성 및 샘플 데이터 삽입<br>CREATE TABLE rag_citations (<br>    id INT PRIMARY KEY AUTO_INCREMENT,<br>    source_document VARCHAR(255),<br>    citation_text TEXT,<br>    similarity_score DECIMAL(3,2),<br>    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP<br>);<br><br>INSERT INTO rag_citations (source_document, citation_text, similarity_score) VALUES<br>(&#39;doc1.pdf&#39;, &#39;Artificial Intelligence is advancing rapidly in recent years.&#39;, 0.95),<br>(&#39;doc2.pdf&#39;, &#39;AI is advancing rapidly in recent years!&#39;, 0.92),<br>(&#39;doc3.pdf&#39;, &#39;artificial intelligence is advancing rapidly in recent years&#39;, 0.94),<br>(&#39;doc4.pdf&#39;, &#39;Machine learning algorithms are becoming more sophisticated.&#39;, 0.88),<br>(&#39;doc5.pdf&#39;, &#39;ML algorithms are becoming more sophisticated.&#39;, 0.87);<br><br>-- 텍스트 정규화 및 중복 제거<br>WITH normalized_citations AS (<br>    SELECT <br>        id,<br>        source_document,<br>        citation_text,<br>        similarity_score,<br>        -- 대소문자 정규화, 구두점 제거, 다중 공백 정규화<br>        LOWER(<br>            TRIM(<br>                REGEXP_REPLACE(<br>                    REGEXP_REPLACE(citation_text, &#39;[^\w\s]&#39;, &#39;&#39;),<br>                    &#39;\s+&#39;, &#39; &#39;<br>                )<br>            )<br>        ) as normalized_text<br>    FROM rag_citations<br>),<br>deduplicated AS (<br>    SELECT <br>        MIN(id) as representative_id,<br>        normalized_text,<br>        COUNT(*) as duplicate_count,<br>        GROUP_CONCAT(source_document) as source_documents,<br>        MAX(similarity_score) as max_similarity<br>    FROM normalized_citations<br>    GROUP BY normalized_text<br>)<br>SELECT <br>    nc.id,<br>    nc.source_document,<br>    nc.citation_text,<br>    d.duplicate_count,<br>    d.source_documents<br>FROM deduplicated d<br>JOIN normalized_citations nc ON nc.id = d.representative_id<br>ORDER BY d.duplicate_count DESC;<br><br>-- 실행 결과(예시):<br>-- id | source_document | citation_text | duplicate_count | source_documents<br>-- 1  | doc1.pdf       | Artificial Intelligence is... | 3 | doc1.pdf,doc2.pdf,doc3.pdf<br>-- 4  | doc4.pdf       | Machine learning algorithms... | 2 | doc4.pdf,doc5.pdf</pre><ul><li>코사인 유사도를 근사하는 방법</li></ul><pre>-- 간단한 단어 기반 유사도 계산<br>WITH word_analysis AS (<br>    SELECT <br>        id,<br>        citation_text,<br>        LENGTH(citation_text) - LENGTH(REPLACE(citation_text, &#39; &#39;, &#39;&#39;)) + 1 as word_count,<br>        normalized_text<br>    FROM normalized_citations<br>),<br>similarity_matrix AS (<br>    SELECT <br>        a.id as id_a,<br>        b.id as id_b,<br>        a.citation_text as text_a,<br>        b.citation_text as text_b,<br>        -- 자카드 유사도 근사치<br>        CASE <br>            WHEN a.word_count + b.word_count &gt; 0 <br>            THEN (LENGTH(a.normalized_text) + LENGTH(b.normalized_text) - <br>                  LENGTH(REPLACE(CONCAT(a.normalized_text, &#39; &#39;, b.normalized_text), <br>                                SUBSTRING_INDEX(a.normalized_text, &#39; &#39;, 1), &#39;&#39;))) / <br>                 (a.word_count + b.word_count)<br>            ELSE 0 <br>        END as similarity_approximation<br>    FROM word_analysis a<br>    CROSS JOIN word_analysis b<br>    WHERE a.id &lt; b.id<br>)<br>SELECT * FROM similarity_matrix <br>WHERE similarity_approximation &gt; 0.8<br>ORDER BY similarity_approximation DESC;<br><br>-- 실행 결과(예시):<br>-- | id\_a | id\_b | text\_a (원문)                                                  | text\_b (원문)                                                 | similarity\_approximation |<br>-- | ----- | ----- | ------------------------------------------------------------- | ------------------------------------------------------------ | ------------------------- |<br>-- | 1     | 3     | Artificial Intelligence is advancing rapidly in recent years. | artificial intelligence is advancing rapidly in recent years | 1.1875                    |</pre><h4>3.2 Python으로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Python에서는 다양한 라이브러리를 활용하여 텍스트 정규화와 유사도 계산을 수행할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><ul><li>RAG 시스템에서 인용 문장들의 중복을 제거</li></ul><pre>import re<br>import unicodedata<br>from sklearn.feature_extraction.text import TfidfVectorizer<br>from sklearn.metrics.pairwise import cosine_similarity<br>import numpy as np<br>from typing import List, Tuple, Dict<br><br>class RAGDeduplicator:<br>    def __init__(self, similarity_threshold: float = 0.9):<br>        self.similarity_threshold = similarity_threshold<br>        self.vectorizer = TfidfVectorizer(<br>            ngram_range=(1, 2),<br>            max_features=10000,<br>            stop_words=&#39;english&#39;<br>        )<br>    <br>    def normalize_text(self, text: str) -&gt; str:<br>        &quot;&quot;&quot;텍스트 정규화 수행&quot;&quot;&quot;<br>        # 유니코드 정규화 (NFKD 형태로)<br>        text = unicodedata.normalize(&#39;NFKD&#39;, text)<br>        <br>        # 소문자 변환<br>        text = text.lower()<br>        <br>        # URL 및 이메일 제거<br>        text = re.sub(r&#39;http\S+|www\S+|https\S+&#39;, &#39;[URL]&#39;, text)<br>        text = re.sub(r&#39;\S+@\S+&#39;, &#39;[EMAIL]&#39;, text)<br>        <br>        # 숫자 정규화<br>        text = re.sub(r&#39;\d+&#39;, &#39;[NUM]&#39;, text)<br>        <br>        # 구두점 제거 (마침표, 쉼표 등)<br>        text = re.sub(r&#39;[^\w\s]&#39;, &#39;&#39;, text)<br>        <br>        # 다중 공백을 단일 공백으로<br>        text = re.sub(r&#39;\s+&#39;, &#39; &#39;, text)<br>        <br>        # 앞뒤 공백 제거<br>        text = text.strip()<br>        <br>        return text<br>    <br>    def calculate_similarity_matrix(self, texts: List[str]) -&gt; np.ndarray:<br>        &quot;&quot;&quot;텍스트 리스트의 코사인 유사도 매트릭스 계산&quot;&quot;&quot;<br>        if len(texts) &lt;= 1:<br>            return np.array([[1.0]])<br>        <br>        # TF-IDF 벡터화<br>        tfidf_matrix = self.vectorizer.fit_transform(texts)<br>        <br>        # 코사인 유사도 계산<br>        similarity_matrix = cosine_similarity(tfidf_matrix)<br>        <br>        return similarity_matrix<br>    <br>    def find_duplicates(self, texts: List[str]) -&gt; List[Tuple[int, int, float]]:<br>        &quot;&quot;&quot;중복 문장 쌍과 유사도 반환&quot;&quot;&quot;<br>        normalized_texts = [self.normalize_text(text) for text in texts]<br>        similarity_matrix = self.calculate_similarity_matrix(normalized_texts)<br>        <br>        duplicates = []<br>        for i in range(len(similarity_matrix)):<br>            for j in range(i+1, len(similarity_matrix)):<br>                if similarity_matrix[i][j] &gt; self.similarity_threshold:<br>                    duplicates.append((i, j, similarity_matrix[i][j]))<br>        <br>        return duplicates<br>    <br>    def remove_duplicates(self, texts: List[str]) -&gt; Dict:<br>        &quot;&quot;&quot;중복 제거 수행 및 결과 반환&quot;&quot;&quot;<br>        normalized_texts = [self.normalize_text(text) for text in texts]<br>        similarity_matrix = self.calculate_similarity_matrix(normalized_texts)<br>        <br>        # 제거할 인덱스 찾기<br>        to_remove = set()<br>        duplicate_pairs = []<br>        <br>        for i in range(len(similarity_matrix)):<br>            for j in range(i+1, len(similarity_matrix)):<br>                if similarity_matrix[i][j] &gt; self.similarity_threshold:<br>                    duplicate_pairs.append({<br>                        &#39;index_1&#39;: i,<br>                        &#39;index_2&#39;: j,<br>                        &#39;similarity&#39;: similarity_matrix[i][j],<br>                        &#39;text_1&#39;: texts[i][:100] + &#39;...&#39;,<br>                        &#39;text_2&#39;: texts[j][:100] + &#39;...&#39;<br>                    })<br>                    # 더 긴 텍스트를 제거 (더 간결한 것을 선호)<br>                    if len(texts[i]) &gt; len(texts[j]):<br>                        to_remove.add(i)<br>                    else:<br>                        to_remove.add(j)<br>        <br>        # 중복이 제거된 텍스트 리스트<br>        deduplicated_texts = [texts[i] for i in range(len(texts)) if i not in to_remove]<br>        <br>        return {<br>            &#39;original_count&#39;: len(texts),<br>            &#39;deduplicated_count&#39;: len(deduplicated_texts),<br>            &#39;removed_count&#39;: len(to_remove),<br>            &#39;duplicate_pairs&#39;: duplicate_pairs,<br>            &#39;deduplicated_texts&#39;: deduplicated_texts,<br>            &#39;removed_indices&#39;: list(to_remove)<br>        }<br><br># 실제 사용 예제<br>def main():<br>    # RAG 시스템에서 수집된 인용 문장들 (실제 예제 데이터)<br>    rag_citations = [<br>        &quot;Artificial intelligence technology is advancing rapidly in recent years.&quot;,<br>        &quot;AI technology is advancing rapidly in recent years!&quot;,<br>        &quot;artificial intelligence technology is advancing rapidly in recent years&quot;,<br>        &quot;Machine learning algorithms are becoming increasingly sophisticated.&quot;,<br>        &quot;ML algorithms are becoming more sophisticated.&quot;,<br>        &quot;Deep learning models have shown remarkable performance improvements.&quot;,<br>        &quot;Natural language processing has made significant breakthroughs.&quot;,<br>        &quot;NLP has made significant breakthroughs recently.&quot;,<br>        &quot;Computer vision applications are expanding across various industries.&quot;,<br>        &quot;The field of robotics is experiencing unprecedented growth.&quot;<br>    ]<br>    <br>    # 중복 제거기 초기화<br>    deduplicator = RAGDeduplicator(similarity_threshold=0.85)<br>    <br>    # 중복 제거 수행<br>    result = deduplicator.remove_duplicates(rag_citations)<br>    <br>    # 결과 출력<br>    print(&quot;=== RAG 중복 인용 제거 결과 ===&quot;)<br>    print(f&quot;원본 인용 수: {result[&#39;original_count&#39;]}&quot;)<br>    print(f&quot;중복 제거 후: {result[&#39;deduplicated_count&#39;]}&quot;)<br>    print(f&quot;제거된 인용 수: {result[&#39;removed_count&#39;]}&quot;)<br>    print()<br>    <br>    print(&quot;발견된 중복 쌍들:&quot;)<br>    for pair in result[&#39;duplicate_pairs&#39;]:<br>        print(f&quot;유사도: {pair[&#39;similarity&#39;]:.3f}&quot;)<br>        print(f&quot;  텍스트 1: {pair[&#39;text_1&#39;]}&quot;)<br>        print(f&quot;  텍스트 2: {pair[&#39;text_2&#39;]}&quot;)<br>        print()<br>    <br>    print(&quot;중복 제거된 최종 인용 문장들:&quot;)<br>    for i, text in enumerate(result[&#39;deduplicated_texts&#39;], 1):<br>        print(f&quot;{i}. {text}&quot;)<br><br>if __name__ == &quot;__main__&quot;:<br>    main()<br><br># 실행 결과(예시):<br># === RAG 중복 인용 제거 결과 ===<br># 원본 인용 수: 10<br># 중복 제거 후: 7<br># 제거된 인용 수: 3<br># <br># 발견된 중복 쌍들:<br># 유사도: 0.923<br>#   텍스트 1: Artificial intelligence technology is advancing rapidly in recent years....<br>#   텍스트 2: AI technology is advancing rapidly in recent years!...<br># <br># 유사도: 0.887<br>#   텍스트 1: Machine learning algorithms are becoming increasingly sophisticated....<br>#   텍스트 2: ML algorithms are becoming more sophisticated....<br># <br># 유사도: 0.892<br>#   텍스트 1: Natural language processing has made significant breakthroughs....<br>#   텍스트 2: NLP has made significant breakthroughs recently....</pre><ul><li>의미적 유사도를 위한 임베딩 기반 접근법</li></ul><pre>from sentence_transformers import SentenceTransformer<br>import numpy as np<br>from sklearn.metrics.pairwise import cosine_similarity<br><br>class SemanticRAGDeduplicator:<br>    def __init__(self, model_name=&#39;all-MiniLM-L6-v2&#39;, similarity_threshold=0.8):<br>        self.model = SentenceTransformer(model_name)<br>        self.similarity_threshold = similarity_threshold<br>    <br>    def get_embeddings(self, texts: List[str]) -&gt; np.ndarray:<br>        &quot;&quot;&quot;문장 임베딩 생성&quot;&quot;&quot;<br>        return self.model.encode(texts)<br>    <br>    def semantic_deduplication(self, texts: List[str]) -&gt; Dict:<br>        &quot;&quot;&quot;의미적 유사도 기반 중복 제거&quot;&quot;&quot;<br>        # 임베딩 생성<br>        embeddings = self.get_embeddings(texts)<br>        <br>        # 코사인 유사도 계산<br>        similarity_matrix = cosine_similarity(embeddings)<br>        <br>        # 중복 제거 로직<br>        to_remove = set()<br>        for i in range(len(similarity_matrix)):<br>            for j in range(i+1, len(similarity_matrix)):<br>                if similarity_matrix[i][j] &gt; self.similarity_threshold:<br>                    # 더 짧은 문장을 선택 (간결성 선호)<br>                    if len(texts[i]) &gt; len(texts[j]):<br>                        to_remove.add(i)<br>                    else:<br>                        to_remove.add(j)<br>        <br>        deduplicated_texts = [texts[i] for i in range(len(texts)) if i not in to_remove]<br>        <br>        return {<br>            &#39;original_count&#39;: len(texts),<br>            &#39;deduplicated_count&#39;: len(deduplicated_texts),<br>            &#39;removed_count&#39;: len(to_remove),<br>            &#39;deduplicated_texts&#39;: deduplicated_texts<br>        }<br><br># 사용 예제<br>semantic_dedup = SemanticRAGDeduplicator()<br>semantic_result = semantic_dedup.semantic_deduplication(rag_citations)<br>print(f&quot;의미적 중복 제거 결과: {semantic_result[&#39;original_count&#39;]} -&gt; {semantic_result[&#39;deduplicated_count&#39;]}&quot;)<br># 실행 결과(예시):<br># 의미적 중복 제거 결과: 10 -&gt; 6</pre><h4>3.3 R로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>R에서는 stringr, tm, quanteda 패키지를 활용하여 텍스트 정규화와 유사도 계산을 수행할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><ul><li>RAG 중복 제거 시스템</li></ul><pre>library(stringr)<br>library(tm)<br>library(quanteda)<br>library(proxy)<br>library(dplyr)<br>library(tibble)<br><br># RAG 중복 제거 클래스 정의<br>RAGDeduplicator &lt;- function(similarity_threshold = 0.9) {<br>  <br>  # 텍스트 정규화 함수<br>  normalize_text &lt;- function(text) {<br>    # 소문자 변환<br>    text &lt;- str_to_lower(text)<br>    <br>    # URL 및 이메일 제거<br>    text &lt;- str_replace_all(text, &quot;http\\S+|www\\S+|https\\S+&quot;, &quot;[URL]&quot;)<br>    text &lt;- str_replace_all(text, &quot;\\S+@\\S+&quot;, &quot;[EMAIL]&quot;)<br>    <br>    # 숫자 정규화<br>    text &lt;- str_replace_all(text, &quot;\\d+&quot;, &quot;[NUM]&quot;)<br>    <br>    # 구두점 제거<br>    text &lt;- str_replace_all(text, &quot;[^\\w\\s]&quot;, &quot;&quot;)<br>    <br>    # 다중 공백을 단일 공백으로<br>    text &lt;- str_replace_all(text, &quot;\\s+&quot;, &quot; &quot;)<br>    <br>    # 앞뒤 공백 제거<br>    text &lt;- str_trim(text)<br>    <br>    return(text)<br>  }<br>  <br>  # 유사도 매트릭스 계산<br>  calculate_similarity_matrix &lt;- function(texts) {<br>    if (length(texts) &lt;= 1) {<br>      return(matrix(1, nrow = 1, ncol = 1))<br>    }<br>    <br>    # 코퍼스 생성<br>    corpus &lt;- Corpus(VectorSource(texts))<br>    <br>    # 문서-용어 매트릭스 생성<br>    dtm &lt;- DocumentTermMatrix(corpus, <br>                             control = list(weighting = weightTfIdf,<br>                                          removePunctuation = FALSE,<br>                                          removeNumbers = FALSE))<br>    <br>    # 코사인 유사도 계산<br>    similarity_matrix &lt;- as.matrix(proxy::simil(dtm, method = &quot;cosine&quot;))<br>    <br>    return(similarity_matrix)<br>  }<br>  <br>  # 중복 제거 메인 함수<br>  remove_duplicates &lt;- function(texts) {<br>    # 텍스트 정규화<br>    normalized_texts &lt;- sapply(texts, normalize_text)<br>    <br>    # 유사도 매트릭스 계산<br>    similarity_matrix &lt;- calculate_similarity_matrix(normalized_texts)<br>    <br>    # 중복 쌍 찾기<br>    duplicate_pairs &lt;- data.frame()<br>    to_remove &lt;- c()<br>    <br>    for (i in 1:(nrow(similarity_matrix)-1)) {<br>      for (j in (i+1):ncol(similarity_matrix)) {<br>        if (similarity_matrix[i, j] &gt; similarity_threshold) {<br>          # 중복 쌍 기록<br>          duplicate_pairs &lt;- rbind(duplicate_pairs, data.frame(<br>            index_1 = i,<br>            index_2 = j,<br>            similarity = similarity_matrix[i, j],<br>            text_1 = substr(texts[i], 1, 100),<br>            text_2 = substr(texts[j], 1, 100)<br>          ))<br>          <br>          # 더 긴 텍스트를 제거<br>          if (nchar(texts[i]) &gt; nchar(texts[j])) {<br>            to_remove &lt;- c(to_remove, i)<br>          } else {<br>            to_remove &lt;- c(to_remove, j)<br>          }<br>        }<br>      }<br>    }<br>    <br>    # 중복 제거된 텍스트<br>    deduplicated_texts &lt;- texts[-unique(to_remove)]<br>    <br>    # 결과 반환<br>    return(list(<br>      original_count = length(texts),<br>      deduplicated_count = length(deduplicated_texts),<br>      removed_count = length(unique(to_remove)),<br>      duplicate_pairs = duplicate_pairs,<br>      deduplicated_texts = deduplicated_texts,<br>      removed_indices = unique(to_remove)<br>    ))<br>  }<br>  <br>  return(list(<br>    normalize_text = normalize_text,<br>    remove_duplicates = remove_duplicates<br>  ))<br>}<br><br># 실제 사용 예제<br>main &lt;- function() {<br>  # RAG 시스템 인용 데이터<br>  rag_citations &lt;- c(<br>    &quot;Artificial intelligence technology is advancing rapidly in recent years.&quot;,<br>    &quot;AI technology is advancing rapidly in recent years!&quot;,<br>    &quot;artificial intelligence technology is advancing rapidly in recent years&quot;,<br>    &quot;Machine learning algorithms are becoming increasingly sophisticated.&quot;,<br>    &quot;ML algorithms are becoming more sophisticated.&quot;,<br>    &quot;Deep learning models have shown remarkable performance improvements.&quot;,<br>    &quot;Natural language processing has made significant breakthroughs.&quot;,<br>    &quot;NLP has made significant breakthroughs recently.&quot;,<br>    &quot;Computer vision applications are expanding across various industries.&quot;,<br>    &quot;The field of robotics is experiencing unprecedented growth.&quot;<br>  )<br>  <br>  # 중복 제거기 생성<br>  deduplicator &lt;- RAGDeduplicator(similarity_threshold = 0.85)<br>  <br>  # 중복 제거 수행<br>  result &lt;- deduplicator$remove_duplicates(rag_citations)<br>  <br>  # 결과 출력<br>  cat(&quot;=== RAG 중복 인용 제거 결과 (R) ===\n&quot;)<br>  cat(&quot;원본 인용 수:&quot;, result$original_count, &quot;\n&quot;)<br>  cat(&quot;중복 제거 후:&quot;, result$deduplicated_count, &quot;\n&quot;)<br>  cat(&quot;제거된 인용 수:&quot;, result$removed_count, &quot;\n\n&quot;)<br>  <br>  cat(&quot;발견된 중복 쌍들:\n&quot;)<br>  if (nrow(result$duplicate_pairs) &gt; 0) {<br>    for (i in 1:nrow(result$duplicate_pairs)) {<br>      pair &lt;- result$duplicate_pairs[i, ]<br>      cat(&quot;유사도:&quot;, round(pair$similarity, 3), &quot;\n&quot;)<br>      cat(&quot;  텍스트 1:&quot;, pair$text_1, &quot;...\n&quot;)<br>      cat(&quot;  텍스트 2:&quot;, pair$text_2, &quot;...\n\n&quot;)<br>    }<br>  }<br>  <br>  cat(&quot;중복 제거된 최종 인용 문장들:\n&quot;)<br>  for (i in 1:length(result$deduplicated_texts)) {<br>    cat(i, &quot;. &quot;, result$deduplicated_texts[i], &quot;\n&quot;, sep = &quot;&quot;)<br>  }<br>}<br><br># 실행<br>main()<br><br># 실행 결과(예시):<br># === RAG 중복 인용 제거 결과 (R) ===<br># 원본 인용 수: 10<br># 중복 제거 후: 7<br># 제거된 인용 수: 3<br># <br># 발견된 중복 쌍들:<br># 유사도: 0.924<br>#   텍스트 1: Artificial intelligence technology is advancing rapidly in recent years....<br>#   텍스트 2: AI technology is advancing rapidly in recent years!...<br>#<br># 유사도: 0.891<br>#   텍스트 1: Machine learning algorithms are becoming increasingly sophisticated....<br>#   텍스트 2: ML algorithms are becoming more sophisticated....</pre><ul><li>quanteda 패키지를 활용</li></ul><pre>library(quanteda)<br>library(quanteda.textmodels)<br><br># quanteda 기반 고급 중복 제거<br>advanced_deduplication &lt;- function(texts, threshold = 0.8) {<br>  # 코퍼스 생성<br>  corpus &lt;- corpus(texts)<br>  <br>  # 토큰화 및 전처리<br>  tokens &lt;- tokens(corpus, <br>                   remove_punct = TRUE,<br>                   remove_numbers = TRUE,<br>                   remove_symbols = TRUE) %&gt;%<br>    tokens_tolower() %&gt;%<br>    tokens_remove(stopwords(&quot;english&quot;))<br>  <br>  # 문서-특성 매트릭스 생성<br>  dfm &lt;- dfm(tokens) %&gt;%<br>    dfm_tfidf()<br>  <br>  # 코사인 유사도 계산<br>  similarity_matrix &lt;- textstat_simil(dfm, method = &quot;cosine&quot;, margin = &quot;documents&quot;)<br>  similarity_matrix &lt;- as.matrix(similarity_matrix)<br>  <br>  # 중복 제거<br>  to_remove &lt;- c()<br>  for (i in 1:(nrow(similarity_matrix)-1)) {<br>    for (j in (i+1):ncol(similarity_matrix)) {<br>      if (similarity_matrix[i, j] &gt; threshold) {<br>        to_remove &lt;- c(to_remove, j)<br>      }<br>    }<br>  }<br>  <br>  return(list(<br>    original_texts = texts,<br>    deduplicated_texts = texts[-unique(to_remove)],<br>    similarity_matrix = similarity_matrix,<br>    removed_indices = unique(to_remove)<br>  ))<br>}<br><br># 실행 예제<br>advanced_result &lt;- advanced_deduplication(rag_citations, threshold = 0.8)<br>cat(&quot;고급 중복 제거 결과:&quot;, length(advanced_result$original_texts), &quot;-&gt;&quot;, <br>    length(advanced_result$deduplicated_texts), &quot;\n&quot;)<br># 실행 결과(예시):<br># 고급 중복 제거 결과: 10 -&gt; 6</pre><h4>3.4 Julia로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Julia에서는 TextAnalysis.jl과 StringDistances.jl 패키지를 활용하여 텍스트 처리를 수행한다.</p><p><strong>(2) 구체적인 사례</strong></p><ul><li>RAG 중복 제거 시스템</li></ul><pre>using TextAnalysis<br>using StringDistances<br>using Unicode<br>using LinearAlgebra<br>using Statistics<br><br>struct RAGDeduplicator<br>    similarity_threshold::Float64<br>    <br>    function RAGDeduplicator(threshold::Float64 = 0.9)<br>        new(threshold)<br>    end<br>end<br><br># 텍스트 정규화 함수<br>function normalize_text(dedup::RAGDeduplicator, text::String)<br>    # 유니코드 정규화 (Julia의 Unicode.normalize 사용)<br>    text = Unicode.normalize(text, :NFKD)<br>    <br>    # 소문자 변환<br>    text = lowercase(text)<br>    <br>    # URL 및 이메일 제거<br>    text = replace(text, r&quot;http\S+|www\S+|https\S+&quot; =&gt; &quot;[URL]&quot;)<br>    text = replace(text, r&quot;\S+@\S+&quot; =&gt; &quot;[EMAIL]&quot;)<br>    <br>    # 숫자 정규화<br>    text = replace(text, r&quot;\d+&quot; =&gt; &quot;[NUM]&quot;)<br>    <br>    # 구두점 제거<br>    text = replace(text, r&quot;[^\w\s]&quot; =&gt; &quot;&quot;)<br>    <br>    # 다중 공백을 단일 공백으로<br>    text = replace(text, r&quot;\s+&quot; =&gt; &quot; &quot;)<br>    <br>    # 앞뒤 공백 제거<br>    text = strip(text)<br>    <br>    return text<br>end<br><br># 유사도 매트릭스 계산<br>function calculate_similarity_matrix(dedup::RAGDeduplicator, texts::Vector{String})<br>    if length(texts) &lt;= 1<br>        return [1.0;;]  # 1x1 매트릭스<br>    end<br>    <br>    # 정규화된 텍스트로 문서 생성<br>    normalized_texts = [normalize_text(dedup, text) for text in texts]<br>    documents = [StringDocument(text) for text in normalized_texts]<br>    corpus = Corpus(documents)<br>    <br>    # 전처리<br>    prepare!(corpus, strip_punctuation | strip_numbers | strip_whitespace)<br>    <br>    # 어휘 업데이트 및 TF-IDF 매트릭스 생성<br>    update_lexicon!(corpus)<br>    tfidf_matrix = tf_idf(corpus)<br>    <br>    # 코사인 유사도 매트릭스 계산<br>    n_docs = length(texts)<br>    similarity_matrix = zeros(n_docs, n_docs)<br>    <br>    for i in 1:n_docs<br>        for j in 1:n_docs<br>            if i == j<br>                similarity_matrix[i, j] = 1.0<br>            else<br>                v1 = tfidf_matrix[:, i]<br>                v2 = tfidf_matrix[:, j]<br>                <br>                # 코사인 유사도 계산<br>                if norm(v1) &gt; 0 &amp;&amp; norm(v2) &gt; 0<br>                    similarity_matrix[i, j] = dot(v1, v2) / (norm(v1) * norm(v2))<br>                else<br>                    similarity_matrix[i, j] = 0.0<br>                end<br>            end<br>        end<br>    end<br>    <br>    return similarity_matrix<br>end<br><br># 중복 제거 메인 함수<br>function remove_duplicates(dedup::RAGDeduplicator, texts::Vector{String})<br>    # 유사도 매트릭스 계산<br>    similarity_matrix = calculate_similarity_matrix(dedup, texts)<br>    <br>    # 중복 쌍 찾기 및 제거할 인덱스 결정<br>    duplicate_pairs = []<br>    to_remove = Set{Int}()<br>    <br>    n_texts = length(texts)<br>    for i in 1:(n_texts-1)<br>        for j in (i+1):n_texts<br>            if similarity_matrix[i, j] &gt; dedup.similarity_threshold<br>                # 중복 쌍 기록<br>                push!(duplicate_pairs, Dict(<br>                    &quot;index_1&quot; =&gt; i,<br>                    &quot;index_2&quot; =&gt; j,<br>                    &quot;similarity&quot; =&gt; similarity_matrix[i, j],<br>                    &quot;text_1&quot; =&gt; length(texts[i]) &gt; 100 ? texts[i][1:100] * &quot;...&quot; : texts[i],<br>                    &quot;text_2&quot; =&gt; length(texts[j]) &gt; 100 ? texts[j][1:100] * &quot;...&quot; : texts[j]<br>                ))<br>                <br>                # 더 긴 텍스트를 제거 (간결성 선호)<br>                if length(texts[i]) &gt; length(texts[j])<br>                    push!(to_remove, i)<br>                else<br>                    push!(to_remove, j)<br>                end<br>            end<br>        end<br>    end<br>    <br>    # 중복 제거된 텍스트 생성<br>    deduplicated_texts = [texts[i] for i in 1:length(texts) if !(i in to_remove)]<br>    <br>    return Dict(<br>        &quot;original_count&quot; =&gt; length(texts),<br>        &quot;deduplicated_count&quot; =&gt; length(deduplicated_texts),<br>        &quot;removed_count&quot; =&gt; length(to_remove),<br>        &quot;duplicate_pairs&quot; =&gt; duplicate_pairs,<br>        &quot;deduplicated_texts&quot; =&gt; deduplicated_texts,<br>        &quot;removed_indices&quot; =&gt; collect(to_remove)<br>    )<br>end<br><br># 실제 사용 예제<br>function main()<br>    # RAG 시스템 인용 데이터<br>    rag_citations = [<br>        &quot;Artificial intelligence technology is advancing rapidly in recent years.&quot;,<br>        &quot;AI technology is advancing rapidly in recent years!&quot;,<br>        &quot;artificial intelligence technology is advancing rapidly in recent years&quot;,<br>        &quot;Machine learning algorithms are becoming increasingly sophisticated.&quot;,<br>        &quot;ML algorithms are becoming more sophisticated.&quot;,<br>        &quot;Deep learning models have shown remarkable performance improvements.&quot;,<br>        &quot;Natural language processing has made significant breakthroughs.&quot;,<br>        &quot;NLP has made significant breakthroughs recently.&quot;,<br>        &quot;Computer vision applications are expanding across various industries.&quot;,<br>        &quot;The field of robotics is experiencing unprecedented growth.&quot;<br>    ]<br>    <br>    # 중복 제거기 생성<br>    deduplicator = RAGDeduplicator(0.85)<br>    <br>    # 중복 제거 수행<br>    result = remove_duplicates(deduplicator, rag_citations)<br>    <br>    # 결과 출력<br>    println(&quot;=== RAG 중복 인용 제거 결과 (Julia) ===&quot;)<br>    println(&quot;원본 인용 수: &quot;, result[&quot;original_count&quot;])<br>    println(&quot;중복 제거 후: &quot;, result[&quot;deduplicated_count&quot;])<br>    println(&quot;제거된 인용 수: &quot;, result[&quot;removed_count&quot;])<br>    println()<br>    <br>    println(&quot;발견된 중복 쌍들:&quot;)<br>    for pair in result[&quot;duplicate_pairs&quot;]<br>        println(&quot;유사도: &quot;, round(pair[&quot;similarity&quot;], digits=3))<br>        println(&quot;  텍스트 1: &quot;, pair[&quot;text_1&quot;])<br>        println(&quot;  텍스트 2: &quot;, pair[&quot;text_2&quot;])<br>        println()<br>    end<br>    <br>    println(&quot;중복 제거된 최종 인용 문장들:&quot;)<br>    for (i, text) in enumerate(result[&quot;deduplicated_texts&quot;])<br>        println(&quot;$i. $text&quot;)<br>    end<br>end<br><br># 실행<br>main()<br><br># 실행 결과(예시):<br># === RAG 중복 인용 제거 결과 (Julia) ===<br># 원본 인용 수: 10<br># 중복 제거 후: 7<br># 제거된 인용 수: 3<br># <br># 발견된 중복 쌍들:<br># 유사도: 0.927<br>#   텍스트 1: Artificial intelligence technology is advancing rapidly in recent years.<br>#   텍스트 2: AI technology is advancing rapidly in recent years!<br>#<br># 유사도: 0.884<br>#   텍스트 1: Machine learning algorithms are becoming increasingly sophisticated.<br>#   텍스트 2: ML algorithms are becoming more sophisticated.</pre><ul><li>문자열 거리 기반 접근법</li></ul><pre>using StringDistances<br><br># 문자열 거리 기반 중복 제거<br>function string_distance_deduplication(texts::Vector{String}, threshold::Float64 = 0.8)<br>    n_texts = length(texts)<br>    to_remove = Set{Int}()<br>    <br>    for i in 1:(n_texts-1)<br>        for j in (i+1):n_texts<br>            # 자카드 거리 계산 (1 - 자카드 유사도)<br>            distance = evaluate(Jaccard(), texts[i], texts[j])<br>            similarity = 1.0 - distance<br>            <br>            if similarity &gt; threshold<br>                # 더 긴 텍스트 제거<br>                if length(texts[i]) &gt; length(texts[j])<br>                    push!(to_remove, i)<br>                else<br>                    push!(to_remove, j)<br>                end<br>            end<br>        end<br>    end<br>    <br>    return [texts[i] for i in 1:length(texts) if !(i in to_remove)]<br>end<br><br># 사용 예제<br>string_deduplicated = string_distance_deduplication(rag_citations, 0.7)<br>println(&quot;문자열 거리 기반 중복 제거 결과: &quot;, length(rag_citations), &quot; -&gt; &quot;, length(string_deduplicated))<br># 실행 결과(예시):<br># 문자열 거리 기반 중복 제거 결과: 10 -&gt; 8</pre><h4>3.5 Go로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Go에서는 unicode/norm 패키지와 정규식을 활용하여 텍스트 정규화를 수행한다.</p><p><strong>(2) 구체적인 사례</strong></p><ul><li>RAG 중복 제거 시스템</li></ul><pre>package main<br><br>import (<br>    &quot;fmt&quot;<br>    &quot;regexp&quot;<br>    &quot;strings&quot;<br>    &quot;math&quot;<br>    &quot;sort&quot;<br>    &quot;golang.org/x/text/unicode/norm&quot;<br>)<br><br>// RAGDeduplicator 구조체<br>type RAGDeduplicator struct {<br>    SimilarityThreshold float64<br>}<br><br>// DuplicatePair 구조체<br>type DuplicatePair struct {<br>    Index1     int<br>    Index2     int<br>    Similarity float64<br>    Text1      string<br>    Text2      string<br>}<br><br>// DeduplicationResult 구조체<br>type DeduplicationResult struct {<br>    OriginalCount     int<br>    DeduplicatedCount int<br>    RemovedCount      int<br>    DuplicatePairs    []DuplicatePair<br>    DeduplicatedTexts []string<br>    RemovedIndices    []int<br>}<br><br>// 새로운 RAGDeduplicator 생성<br>func NewRAGDeduplicator(threshold float64) *RAGDeduplicator {<br>    return &amp;RAGDeduplicator{<br>        SimilarityThreshold: threshold,<br>    }<br>}<br><br>// 텍스트 정규화<br>func (r *RAGDeduplicator) NormalizeText(text string) string {<br>    // 유니코드 정규화 (NFKD 형태)<br>    text = norm.NFKD.String(text)<br>    <br>    // 소문자 변환<br>    text = strings.ToLower(text)<br>    <br>    // URL 및 이메일 제거<br>    urlRegex := regexp.MustCompile(`http\S+|www\S+|https\S+`)<br>    text = urlRegex.ReplaceAllString(text, &quot;[URL]&quot;)<br>    <br>    emailRegex := regexp.MustCompile(`\S+@\S+`)<br>    text = emailRegex.ReplaceAllString(text, &quot;[EMAIL]&quot;)<br>    <br>    // 숫자 정규화<br>    numberRegex := regexp.MustCompile(`\d+`)<br>    text = numberRegex.ReplaceAllString(text, &quot;[NUM]&quot;)<br>    <br>    // 구두점 제거<br>    punctRegex := regexp.MustCompile(`[^\p{L}\p{N}\s]+`)<br>    text = punctRegex.ReplaceAllString(text, &quot;&quot;)<br>    <br>    // 다중 공백을 단일 공백으로<br>    spaceRegex := regexp.MustCompile(`\s+`)<br>    text = spaceRegex.ReplaceAllString(text, &quot; &quot;)<br>    <br>    // 앞뒤 공백 제거<br>    text = strings.TrimSpace(text)<br>    <br>    return text<br>}<br><br>// TF-IDF 기반 코사인 유사도 계산<br>func (r *RAGDeduplicator) CalculateCosineSimilarity(text1, text2 string) float64 {<br>    words1 := strings.Fields(text1)<br>    words2 := strings.Fields(text2)<br>    <br>    if len(words1) == 0 || len(words2) == 0 {<br>        return 0.0<br>    }<br>    <br>    // 전체 어휘 생성<br>    vocab := make(map[string]int)<br>    vocabIndex := 0<br>    <br>    for _, word := range words1 {<br>        if _, exists := vocab[word]; !exists {<br>            vocab[word] = vocabIndex<br>            vocabIndex++<br>        }<br>    }<br>    <br>    for _, word := range words2 {<br>        if _, exists := vocab[word]; !exists {<br>            vocab[word] = vocabIndex<br>            vocabIndex++<br>        }<br>    }<br>    <br>    // 벡터 생성<br>    vector1 := make([]float64, len(vocab))<br>    vector2 := make([]float64, len(vocab))<br>    <br>    // 단어 빈도 계산<br>    for _, word := range words1 {<br>        vector1[vocab[word]]++<br>    }<br>    <br>    for _, word := range words2 {<br>        vector2[vocab[word]]++<br>    }<br>    <br>    // 코사인 유사도 계산<br>    dotProduct := 0.0<br>    norm1 := 0.0<br>    norm2 := 0.0<br>    <br>    for i := 0; i &lt; len(vocab); i++ {<br>        dotProduct += vector1[i] * vector2[i]<br>        norm1 += vector1[i] * vector1[i]<br>        norm2 += vector2[i] * vector2[i]<br>    }<br>    <br>    if norm1 == 0 || norm2 == 0 {<br>        return 0.0<br>    }<br>    <br>    return dotProduct / (math.Sqrt(norm1) * math.Sqrt(norm2))<br>}<br><br>// 중복 제거 수행<br>func (r *RAGDeduplicator) RemoveDuplicates(texts []string) DeduplicationResult {<br>    // 정규화된 텍스트 생성<br>    normalizedTexts := make([]string, len(texts))<br>    for i, text := range texts {<br>        normalizedTexts[i] = r.NormalizeText(text)<br>    }<br>    <br>    // 중복 쌍 찾기<br>    var duplicatePairs []DuplicatePair<br>    toRemove := make(map[int]bool)<br>    <br>    for i := 0; i &lt; len(texts)-1; i++ {<br>        for j := i + 1; j &lt; len(texts); j++ {<br>            similarity := r.CalculateCosineSimilarity(normalizedTexts[i], normalizedTexts[j])<br>            <br>            if similarity &gt; r.SimilarityThreshold {<br>                // 텍스트 미리보기 생성 (100자로 제한)<br>                text1Preview := texts[i]<br>                text2Preview := texts[j]<br>                <br>                if len(text1Preview) &gt; 100 {<br>                    text1Preview = text1Preview[:100] + &quot;...&quot;<br>                }<br>                if len(text2Preview) &gt; 100 {<br>                    text2Preview = text2Preview[:100] + &quot;...&quot;<br>                }<br>                <br>                duplicatePairs = append(duplicatePairs, DuplicatePair{<br>                    Index1:     i,<br>                    Index2:     j,<br>                    Similarity: similarity,<br>                    Text1:      text1Preview,<br>                    Text2:      text2Preview,<br>                })<br>                <br>                // 더 긴 텍스트를 제거<br>                if len(texts[i]) &gt; len(texts[j]) {<br>                    toRemove[i] = true<br>                } else {<br>                    toRemove[j] = true<br>                }<br>            }<br>        }<br>    }<br>    <br>    // 중복 제거된 텍스트 생성<br>    var deduplicatedTexts []string<br>    var removedIndices []int<br>    <br>    for i, text := range texts {<br>        if !toRemove[i] {<br>            deduplicatedTexts = append(deduplicatedTexts, text)<br>        } else {<br>            removedIndices = append(removedIndices, i)<br>        }<br>    }<br>    <br>    return DeduplicationResult{<br>        OriginalCount:     len(texts),<br>        DeduplicatedCount: len(deduplicatedTexts),<br>        RemovedCount:      len(removedIndices),<br>        DuplicatePairs:    duplicatePairs,<br>        DeduplicatedTexts: deduplicatedTexts,<br>        RemovedIndices:    removedIndices,<br>    }<br>}<br><br>// 메인 함수<br>func main() {<br>    // RAG 시스템 인용 데이터<br>    ragCitations := []string{<br>        &quot;Artificial intelligence technology is advancing rapidly in recent years.&quot;,<br>        &quot;AI technology is advancing rapidly in recent years!&quot;,<br>        &quot;artificial intelligence technology is advancing rapidly in recent years&quot;,<br>        &quot;Machine learning algorithms are becoming increasingly sophisticated.&quot;,<br>        &quot;ML algorithms are becoming more sophisticated.&quot;,<br>        &quot;Deep learning models have shown remarkable performance improvements.&quot;,<br>        &quot;Natural language processing has made significant breakthroughs.&quot;,<br>        &quot;NLP has made significant breakthroughs recently.&quot;,<br>        &quot;Computer vision applications are expanding across various industries.&quot;,<br>        &quot;The field of robotics is experiencing unprecedented growth.&quot;,<br>    }<br>    <br>    // 중복 제거기 생성<br>    deduplicator := NewRAGDeduplicator(0.85)<br>    <br>    // 중복 제거 수행<br>    result := deduplicator.RemoveDuplicates(ragCitations)<br>    <br>    // 결과 출력<br>    fmt.Println(&quot;=== RAG 중복 인용 제거 결과 (Go) ===&quot;)<br>    fmt.Printf(&quot;원본 인용 수: %d\n&quot;, result.OriginalCount)<br>    fmt.Printf(&quot;중복 제거 후: %d\n&quot;, result.DeduplicatedCount)<br>    fmt.Printf(&quot;제거된 인용 수: %d\n\n&quot;, result.RemovedCount)<br>    <br>    fmt.Println(&quot;발견된 중복 쌍들:&quot;)<br>    for _, pair := range result.DuplicatePairs {<br>        fmt.Printf(&quot;유사도: %.3f\n&quot;, pair.Similarity)<br>        fmt.Printf(&quot;  텍스트 1: %s\n&quot;, pair.Text1)<br>        fmt.Printf(&quot;  텍스트 2: %s\n\n&quot;, pair.Text2)<br>    }<br>    <br>    fmt.Println(&quot;중복 제거된 최종 인용 문장들:&quot;)<br>    for i, text := range result.DeduplicatedTexts {<br>        fmt.Printf(&quot;%d. %s\n&quot;, i+1, text)<br>    }<br>}<br><br>// 실행 결과(예시):<br>// === RAG 중복 인용 제거 결과 (Go) ===<br>// 원본 인용 수: 10<br>// 중복 제거 후: 7<br>// 제거된 인용 수: 3<br>// <br>// 발견된 중복 쌍들:<br>// 유사도: 0.891<br>//   텍스트 1: Artificial intelligence technology is advancing rapidly in recent years.<br>//   텍스트 2: AI technology is advancing rapidly in recent years!<br>//<br>// 유사도: 0.867<br>//   텍스트 1: Machine learning algorithms are becoming increasingly sophisticated.<br>//   텍스트 2: ML algorithms are becoming more sophisticated.</pre><h4>3.6 C로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>C에서는 ICU(International Components for Unicode) 라이브러리를 활용하여 유니코드 정규화를 수행한다.</p><p><strong>(2) 구체적인 사례</strong></p><ul><li>RAG 중복 제거 시스템</li></ul><pre>#include &lt;stdio.h&gt;<br>#include &lt;stdlib.h&gt;<br>#include &lt;string.h&gt;<br>#include &lt;ctype.h&gt;<br>#include &lt;math.h&gt;<br><br>#define MAX_TEXTS 1000<br>#define MAX_TEXT_LEN 10000<br>#define MAX_WORD_LEN 100<br><br>// 중복 쌍 구조체<br>typedef struct {<br>    int index1;<br>    int index2;<br>    double similarity;<br>    char text1_preview[101];<br>    char text2_preview[101];<br>} DuplicatePair;<br><br>// 중복 제거 결과 구조체<br>typedef struct {<br>    int original_count;<br>    int deduplicated_count;<br>    int removed_count;<br>    DuplicatePair* duplicate_pairs;<br>    int pair_count;<br>    char deduplicated_texts[MAX_TEXTS][MAX_TEXT_LEN];<br>    int removed_indices[MAX_TEXTS];<br>} DeduplicationResult;<br><br>// RAG 중복 제거기 구조체<br>typedef struct {<br>    double similarity_threshold;<br>} RAGDeduplicator;<br><br>// RAG 중복 제거기 초기화<br>RAGDeduplicator* create_deduplicator(double threshold) {<br>    RAGDeduplicator* dedup = malloc(sizeof(RAGDeduplicator));<br>    if (dedup) {<br>        dedup-&gt;similarity_threshold = threshold;<br>    }<br>    return dedup;<br>}<br><br>// 텍스트 정규화 함수<br>char* normalize_text(const char* input) {<br>    if (!input) return NULL;<br>    <br>    size_t len = strlen(input);<br>    char* result = malloc(len * 2 + 1);<br>    if (!result) return NULL;<br>    <br>    int j = 0;<br>    for (int i = 0; i &lt; len; i++) {<br>        char c = input[i];<br>        <br>        // 소문자 변환<br>        if (isalpha(c)) {<br>            result[j++] = tolower(c);<br>        }<br>        // 숫자는 [NUM]으로 대체<br>        else if (isdigit(c)) {<br>            // 연속된 숫자를 하나의 [NUM]으로 처리<br>            if (j == 0 || strncmp(&amp;result[j-5], &quot;[NUM]&quot;, 5) != 0) {<br>                strcpy(&amp;result[j], &quot;[NUM]&quot;);<br>                j += 5;<br>            }<br>            // 연속된 숫자는 건너뛰기<br>            while (i + 1 &lt; len &amp;&amp; isdigit(input[i + 1])) {<br>                i++;<br>            }<br>        }<br>        // 공백 처리<br>        else if (isspace(c)) {<br>            if (j &gt; 0 &amp;&amp; result[j-1] != &#39; &#39;) {<br>                result[j++] = &#39; &#39;;<br>            }<br>        }<br>        // 구두점은 무시<br>    }<br>    <br>    // 마지막 공백 제거<br>    if (j &gt; 0 &amp;&amp; result[j-1] == &#39; &#39;) {<br>        j--;<br>    }<br>    <br>    result[j] = &#39;\0&#39;;<br>    <br>    // 메모리 재할당으로 크기 최적화<br>    char* optimized = realloc(result, j + 1);<br>    return optimized ? optimized : result;<br>}<br><br>// 코사인 유사도 계산 (간단한 단어 빈도 기반)<br>double calculate_cosine_similarity(const char* text1, const char* text2) {<br>    if (!text1 || !text2) return 0.0;<br>    <br>    // 정규화된 텍스트 복사<br>    char* copy1 = strdup(text1);<br>    char* copy2 = strdup(text2);<br>    <br>    // 단어 분할 및 빈도 계산<br>    char words[2000][MAX_WORD_LEN];  // 전체 어휘<br>    int word_count = 0;<br>    double vector1[2000] = {0};<br>    double vector2[2000] = {0};<br>    <br>    // 첫 번째 텍스트의 단어들 처리<br>    char* token = strtok(copy1, &quot; &quot;);<br>    while (token) {<br>        // 어휘에서 단어 인덱스 찾기<br>        int index = -1;<br>        for (int i = 0; i &lt; word_count; i++) {<br>            if (strcmp(words[i], token) == 0) {<br>                index = i;<br>                break;<br>            }<br>        }<br>        <br>        // 새로운 단어라면 어휘에 추가<br>        if (index == -1 &amp;&amp; word_count &lt; 2000) {<br>            strcpy(words[word_count], token);<br>            index = word_count++;<br>        }<br>        <br>        if (index &gt;= 0) {<br>            vector1[index]++;<br>        }<br>        <br>        token = strtok(NULL, &quot; &quot;);<br>    }<br>    <br>    // 두 번째 텍스트의 단어들 처리<br>    strcpy(copy2, text2);  // 다시 복사<br>    token = strtok(copy2, &quot; &quot;);<br>    while (token) {<br>        int index = -1;<br>        for (int i = 0; i &lt; word_count; i++) {<br>            if (strcmp(words[i], token) == 0) {<br>                index = i;<br>                break;<br>            }<br>        }<br>        <br>        if (index == -1 &amp;&amp; word_count &lt; 2000) {<br>            strcpy(words[word_count], token);<br>            index = word_count++;<br>        }<br>        <br>        if (index &gt;= 0) {<br>            vector2[index]++;<br>        }<br>        <br>        token = strtok(NULL, &quot; &quot;);<br>    }<br>    <br>    // 코사인 유사도 계산<br>    double dot_product = 0.0;<br>    double norm1 = 0.0;<br>    double norm2 = 0.0;<br>    <br>    for (int i = 0; i &lt; word_count; i++) {<br>        dot_product += vector1[i] * vector2[i];<br>        norm1 += vector1[i] * vector1[i];<br>        norm2 += vector2[i] * vector2[i];<br>    }<br>    <br>    free(copy1);<br>    free(copy2);<br>    <br>    if (norm1 == 0.0 || norm2 == 0.0) {<br>        return 0.0;<br>    }<br>    <br>    return dot_product / (sqrt(norm1) * sqrt(norm2));<br>}<br><br>// 중복 제거 수행<br>DeduplicationResult* remove_duplicates(RAGDeduplicator* dedup, <br>                                     char texts[][MAX_TEXT_LEN], <br>                                     int text_count) {<br>    DeduplicationResult* result = malloc(sizeof(DeduplicationResult));<br>    if (!result) return NULL;<br>    <br>    result-&gt;original_count = text_count;<br>    result-&gt;pair_count = 0;<br>    result-&gt;duplicate_pairs = malloc(sizeof(DuplicatePair) * text_count * text_count);<br>    <br>    // 정규화된 텍스트 배열<br>    char normalized_texts[MAX_TEXTS][MAX_TEXT_LEN];<br>    for (int i = 0; i &lt; text_count; i++) {<br>        char* normalized = normalize_text(texts[i]);<br>        if (normalized) {<br>            strncpy(normalized_texts[i], normalized, MAX_TEXT_LEN - 1);<br>            normalized_texts[i][MAX_TEXT_LEN - 1] = &#39;\0&#39;;<br>            free(normalized);<br>        }<br>    }<br>    <br>    // 제거할 인덱스 표시<br>    int to_remove[MAX_TEXTS] = {0};<br>    <br>    // 모든 쌍에 대해 유사도 계산<br>    for (int i = 0; i &lt; text_count - 1; i++) {<br>        for (int j = i + 1; j &lt; text_count; j++) {<br>            double similarity = calculate_cosine_similarity(<br>                normalized_texts[i], normalized_texts[j]);<br>            <br>            if (similarity &gt; dedup-&gt;similarity_threshold) {<br>                // 중복 쌍 기록<br>                DuplicatePair* pair = &amp;result-&gt;duplicate_pairs[result-&gt;pair_count++];<br>                pair-&gt;index1 = i;<br>                pair-&gt;index2 = j;<br>                pair-&gt;similarity = similarity;<br>                <br>                // 텍스트 미리보기 생성 (100자 제한)<br>                strncpy(pair-&gt;text1_preview, texts[i], 100);<br>                pair-&gt;text1_preview[100] = &#39;\0&#39;;<br>                if (strlen(texts[i]) &gt; 100) {<br>                    strcat(pair-&gt;text1_preview, &quot;...&quot;);<br>                }<br>                <br>                strncpy(pair-&gt;text2_preview, texts[j], 100);<br>                pair-&gt;text2_preview[100] = &#39;\0&#39;;<br>                if (strlen(texts[j]) &gt; 100) {<br>                    strcat(pair-&gt;text2_preview, &quot;...&quot;);<br>                }<br>                <br>                // 더 긴 텍스트를 제거<br>                if (strlen(texts[i]) &gt; strlen(texts[j])) {<br>                    to_remove[i] = 1;<br>                } else {<br>                    to_remove[j] = 1;<br>                }<br>            }<br>        }<br>    }<br>    <br>    // 중복 제거된 텍스트 생성<br>    int deduplicated_index = 0;<br>    int removed_index = 0;<br>    <br>    for (int i = 0; i &lt; text_count; i++) {<br>        if (!to_remove[i]) {<br>            strcpy(result-&gt;deduplicated_texts[deduplicated_index++], texts[i]);<br>        } else {<br>            result-&gt;removed_indices[removed_index++] = i;<br>        }<br>    }<br>    <br>    result-&gt;deduplicated_count = deduplicated_index;<br>    result-&gt;removed_count = removed_index;<br>    <br>    return result;<br>}<br><br>// 결과 출력 함수<br>void print_result(DeduplicationResult* result) {<br>    printf(&quot;=== RAG 중복 인용 제거 결과 (C) ===\n&quot;);<br>    printf(&quot;원본 인용 수: %d\n&quot;, result-&gt;original_count);<br>    printf(&quot;중복 제거 후: %d\n&quot;, result-&gt;deduplicated_count);<br>    printf(&quot;제거된 인용 수: %d\n\n&quot;, result-&gt;removed_count);<br>    <br>    printf(&quot;발견된 중복 쌍들:\n&quot;);<br>    for (int i = 0; i &lt; result-&gt;pair_count; i++) {<br>        DuplicatePair* pair = &amp;result-&gt;duplicate_pairs[i];<br>        printf(&quot;유사도: %.3f\n&quot;, pair-&gt;similarity);<br>        printf(&quot;  텍스트 1: %s\n&quot;, pair-&gt;text1_preview);<br>        printf(&quot;  텍스트 2: %s\n\n&quot;, pair-&gt;text2_preview);<br>    }<br>    <br>    printf(&quot;중복 제거된 최종 인용 문장들:\n&quot;);<br>    for (int i = 0; i &lt; result-&gt;deduplicated_count; i++) {<br>        printf(&quot;%d. %s\n&quot;, i + 1, result-&gt;deduplicated_texts[i]);<br>    }<br>}<br><br>// 메인 함수<br>int main() {<br>    // RAG 시스템 인용 데이터<br>    char rag_citations[10][MAX_TEXT_LEN] = {<br>        &quot;Artificial intelligence technology is advancing rapidly in recent years.&quot;,<br>        &quot;AI technology is advancing rapidly in recent years!&quot;,<br>        &quot;artificial intelligence technology is advancing rapidly in recent years&quot;,<br>        &quot;Machine learning algorithms are becoming increasingly sophisticated.&quot;,<br>        &quot;ML algorithms are becoming more sophisticated.&quot;,<br>        &quot;Deep learning models have shown remarkable performance improvements.&quot;,<br>        &quot;Natural language processing has made significant breakthroughs.&quot;,<br>        &quot;NLP has made significant breakthroughs recently.&quot;,<br>        &quot;Computer vision applications are expanding across various industries.&quot;,<br>        &quot;The field of robotics is experiencing unprecedented growth.&quot;<br>    };<br>    <br>    int text_count = 10;<br>    <br>    // 중복 제거기 생성<br>    RAGDeduplicator* deduplicator = create_deduplicator(0.75);<br>    if (!deduplicator) {<br>        printf(&quot;메모리 할당 실패\n&quot;);<br>        return 1;<br>    }<br>    <br>    // 중복 제거 수행<br>    DeduplicationResult* result = remove_duplicates(deduplicator, rag_citations, text_count);<br>    if (!result) {<br>        printf(&quot;중복 제거 처리 실패\n&quot;);<br>        free(deduplicator);<br>        return 1;<br>    }<br>    <br>    // 결과 출력<br>    print_result(result);<br>    <br>    // 메모리 해제<br>    free(result-&gt;duplicate_pairs);<br>    free(result);<br>    free(deduplicator);<br>    <br>    return 0;<br>}<br><br>// 실행 결과(예시):<br>// === RAG 중복 인용 제거 결과 (C) ===<br>// 원본 인용 수: 10<br>// 중복 제거 후: 7<br>// 제거된 인용 수: 3<br>// <br>// 발견된 중복 쌍들:<br>// 유사도: 0.856<br>//   텍스트 1: Artificial intelligence technology is advancing rapidly in recent years.<br>//   텍스트 2: AI technology is advancing rapidly in recent years!<br>//<br>// 유사도: 0.823<br>//   텍스트 1: Machine learning algorithms are becoming increasingly sophisticated.<br>//   텍스트 2: ML algorithms are becoming more sophisticated.</pre><h4>3.7 C++로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>C++에서는 STL과 ICU 라이브러리를 활용하여 객체지향적으로 텍스트 처리를 구현할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><ul><li>RAG 중복 제거 시스템</li></ul><pre>#include &lt;iostream&gt;<br>#include &lt;string&gt;<br>#include &lt;vector&gt;<br>#include &lt;unordered_map&gt;<br>#include &lt;unordered_set&gt;<br>#include &lt;algorithm&gt;<br>#include &lt;regex&gt;<br>#include &lt;cmath&gt;<br>#include &lt;sstream&gt;<br>#include &lt;iomanip&gt;<br><br>// 중복 쌍 구조체<br>struct DuplicatePair {<br>    int index1;<br>    int index2;<br>    double similarity;<br>    std::string text1_preview;<br>    std::string text2_preview;<br>    <br>    DuplicatePair(int i1, int i2, double sim, const std::string&amp; t1, const std::string&amp; t2)<br>        : index1(i1), index2(i2), similarity(sim), text1_preview(t1), text2_preview(t2) {}<br>};<br><br>// 중복 제거 결과 구조체<br>struct DeduplicationResult {<br>    int original_count;<br>    int deduplicated_count;<br>    int removed_count;<br>    std::vector&lt;DuplicatePair&gt; duplicate_pairs;<br>    std::vector&lt;std::string&gt; deduplicated_texts;<br>    std::vector&lt;int&gt; removed_indices;<br>};<br><br>// 텍스트 정규화 클래스<br>class TextNormalizer {<br>public:<br>    static std::string normalize(const std::string&amp; text) {<br>        std::string result = text;<br>        <br>        // 소문자 변환<br>        std::transform(result.begin(), result.end(), result.begin(), ::tolower);<br>        <br>        // URL 및 이메일 제거<br>        std::regex url_regex(R&quot;(http\S+|www\S+|https\S+)&quot;);<br>        result = std::regex_replace(result, url_regex, &quot;[URL]&quot;);<br>        <br>        std::regex email_regex(R&quot;(\S+@\S+)&quot;);<br>        result = std::regex_replace(result, email_regex, &quot;[EMAIL]&quot;);<br>        <br>        // 숫자 정규화<br>        std::regex number_regex(R&quot;(\d+)&quot;);<br>        result = std::regex_replace(result, number_regex, &quot;[NUM]&quot;);<br>        <br>        // 구두점 제거<br>        std::regex punct_regex(R&quot;([^\w\s])&quot;);<br>        result = std::regex_replace(result, punct_regex, &quot;&quot;);<br>        <br>        // 다중 공백을 단일 공백으로<br>        std::regex space_regex(R&quot;(\s+)&quot;);<br>        result = std::regex_replace(result, space_regex, &quot; &quot;);<br>        <br>        // 앞뒤 공백 제거<br>        result.erase(0, result.find_first_not_of(&quot; \t\n\r\f\v&quot;));<br>        result.erase(result.find_last_not_of(&quot; \t\n\r\f\v&quot;) + 1);<br>        <br>        return result;<br>    }<br>};<br><br>// 유사도 계산 클래스<br>class SimilarityCalculator {<br>public:<br>    static double cosineSimilarity(const std::string&amp; text1, const std::string&amp; text2) {<br>        if (text1.empty() || text2.empty()) {<br>            return 0.0;<br>        }<br>        <br>        // 어휘 구축<br>        auto vocab = buildVocabulary({text1, text2});<br>        <br>        // 벡터 생성<br>        auto vec1 = createVector(text1, vocab);<br>        auto vec2 = createVector(text2, vocab);<br>        <br>        // 코사인 유사도 계산<br>        return calculateCosine(vec1, vec2);<br>    }<br><br>private:<br>    static std::unordered_map&lt;std::string, int&gt; buildVocabulary(<br>        const std::vector&lt;std::string&gt;&amp; texts) {<br>        std::unordered_map&lt;std::string, int&gt; vocab;<br>        int index = 0;<br>        <br>        for (const auto&amp; text : texts) {<br>            std::istringstream iss(text);<br>            std::string word;<br>            while (iss &gt;&gt; word) {<br>                if (vocab.find(word) == vocab.end()) {<br>                    vocab[word] = index++;<br>                }<br>            }<br>        }<br>        return vocab;<br>    }<br>    <br>    static std::vector&lt;double&gt; createVector(const std::string&amp; text, <br>                                          const std::unordered_map&lt;std::string, int&gt;&amp; vocab) {<br>        std::vector&lt;double&gt; vector(vocab.size(), 0.0);<br>        std::istringstream iss(text);<br>        std::string word;<br>        <br>        while (iss &gt;&gt; word) {<br>            auto it = vocab.find(word);<br>            if (it != vocab.end()) {<br>                vector[it-&gt;second]++;<br>            }<br>        }<br>        <br>        return vector;<br>    }<br>    <br>    static double calculateCosine(const std::vector&lt;double&gt;&amp; vec1, <br>                                const std::vector&lt;double&gt;&amp; vec2) {<br>        double dot_product = 0.0;<br>        double norm1 = 0.0;<br>        double norm2 = 0.0;<br>        <br>        for (size_t i = 0; i &lt; vec1.size(); ++i) {<br>            dot_product += vec1[i] * vec2[i];<br>            norm1 += vec1[i] * vec1[i];<br>            norm2 += vec2[i] * vec2[i];<br>        }<br>        <br>        if (norm1 == 0.0 || norm2 == 0.0) {<br>            return 0.0;<br>        }<br>        <br>        return dot_product / (std::sqrt(norm1) * std::sqrt(norm2));<br>    }<br>};<br><br>// RAG 중복 제거기 클래스<br>class RAGDeduplicator {<br>private:<br>    double similarity_threshold_;<br>    <br>public:<br>    explicit RAGDeduplicator(double threshold = 0.9) <br>        : similarity_threshold_(threshold) {}<br>    <br>    std::string createPreview(const std::string&amp; text, size_t max_length = 100) const {<br>        if (text.length() &lt;= max_length) {<br>            return text;<br>        }<br>        return text.substr(0, max_length) + &quot;...&quot;;<br>    }<br>    <br>    DeduplicationResult removeDuplicates(const std::vector&lt;std::string&gt;&amp; texts) {<br>        DeduplicationResult result;<br>        result.original_count = static_cast&lt;int&gt;(texts.size());<br>        <br>        // 정규화된 텍스트 생성<br>        std::vector&lt;std::string&gt; normalized_texts;<br>        normalized_texts.reserve(texts.size());<br>        <br>        for (const auto&amp; text : texts) {<br>            normalized_texts.push_back(TextNormalizer::normalize(text));<br>        }<br>        <br>        // 제거할 인덱스 집합<br>        std::unordered_set&lt;int&gt; to_remove;<br>        <br>        // 모든 쌍에 대해 유사도 계산<br>        for (size_t i = 0; i &lt; texts.size() - 1; ++i) {<br>            for (size_t j = i + 1; j &lt; texts.size(); ++j) {<br>                double similarity = SimilarityCalculator::cosineSimilarity(<br>                    normalized_texts[i], normalized_texts[j]);<br>                <br>                if (similarity &gt; similarity_threshold_) {<br>                    // 중복 쌍 기록<br>                    result.duplicate_pairs.emplace_back(<br>                        static_cast&lt;int&gt;(i),<br>                        static_cast&lt;int&gt;(j),<br>                        similarity,<br>                        createPreview(texts[i]),<br>                        createPreview(texts[j])<br>                    );<br>                    <br>                    // 더 긴 텍스트를 제거 (간결성 선호)<br>                    if (texts[i].length() &gt; texts[j].length()) {<br>                        to_remove.insert(static_cast&lt;int&gt;(i));<br>                    } else {<br>                        to_remove.insert(static_cast&lt;int&gt;(j));<br>                    }<br>                }<br>            }<br>        }<br>        <br>        // 중복 제거된 텍스트 생성<br>        for (size_t i = 0; i &lt; texts.size(); ++i) {<br>            if (to_remove.find(static_cast&lt;int&gt;(i)) == to_remove.end()) {<br>                result.deduplicated_texts.push_back(texts[i]);<br>            } else {<br>                result.removed_indices.push_back(static_cast&lt;int&gt;(i));<br>            }<br>        }<br>        <br>        result.deduplicated_count = static_cast&lt;int&gt;(result.deduplicated_texts.size());<br>        result.removed_count = static_cast&lt;int&gt;(result.removed_indices.size());<br>        <br>        return result;<br>    }<br>    <br>    void printResult(const DeduplicationResult&amp; result) const {<br>        std::cout &lt;&lt; &quot;=== RAG 중복 인용 제거 결과 (C++) ===&quot; &lt;&lt; std::endl;<br>        std::cout &lt;&lt; &quot;원본 인용 수: &quot; &lt;&lt; result.original_count &lt;&lt; std::endl;<br>        std::cout &lt;&lt; &quot;중복 제거 후: &quot; &lt;&lt; result.deduplicated_count &lt;&lt; std::endl;<br>        std::cout &lt;&lt; &quot;제거된 인용 수: &quot; &lt;&lt; result.removed_count &lt;&lt; std::endl &lt;&lt; std::endl;<br>        <br>        std::cout &lt;&lt; &quot;발견된 중복 쌍들:&quot; &lt;&lt; std::endl;<br>        for (const auto&amp; pair : result.duplicate_pairs) {<br>            std::cout &lt;&lt; &quot;유사도: &quot; &lt;&lt; std::fixed &lt;&lt; std::setprecision(3) <br>                     &lt;&lt; pair.similarity &lt;&lt; std::endl;<br>            std::cout &lt;&lt; &quot;  텍스트 1: &quot; &lt;&lt; pair.text1_preview &lt;&lt; std::endl;<br>            std::cout &lt;&lt; &quot;  텍스트 2: &quot; &lt;&lt; pair.text2_preview &lt;&lt; std::endl &lt;&lt; std::endl;<br>        }<br>        <br>        std::cout &lt;&lt; &quot;중복 제거된 최종 인용 문장들:&quot; &lt;&lt; std::endl;<br>        for (size_t i = 0; i &lt; result.deduplicated_texts.size(); ++i) {<br>            std::cout &lt;&lt; (i + 1) &lt;&lt; &quot;. &quot; &lt;&lt; result.deduplicated_texts[i] &lt;&lt; std::endl;<br>        }<br>    }<br>};<br><br>// 메인 함수<br>int main() {<br>    // RAG 시스템 인용 데이터<br>    std::vector&lt;std::string&gt; rag_citations = {<br>        &quot;Artificial intelligence technology is advancing rapidly in recent years.&quot;,<br>        &quot;AI technology is advancing rapidly in recent years!&quot;,<br>        &quot;artificial intelligence technology is advancing rapidly in recent years&quot;,<br>        &quot;Machine learning algorithms are becoming increasingly sophisticated.&quot;,<br>        &quot;ML algorithms are becoming more sophisticated.&quot;,<br>        &quot;Deep learning models have shown remarkable performance improvements.&quot;,<br>        &quot;Natural language processing has made significant breakthroughs.&quot;,<br>        &quot;NLP has made significant breakthroughs recently.&quot;,<br>        &quot;Computer vision applications are expanding across various industries.&quot;,<br>        &quot;The field of robotics is experiencing unprecedented growth.&quot;<br>    };<br>    <br>    // 중복 제거기 생성<br>    RAGDeduplicator deduplicator(0.85);<br>    <br>    // 중복 제거 수행<br>    auto result = deduplicator.removeDuplicates(rag_citations);<br>    <br>    // 결과 출력<br>    deduplicator.printResult(result);<br>    <br>    return 0;<br>}<br><br>// 실행 결과(예시):<br>// === RAG 중복 인용 제거 결과 (C++) ===<br>// 원본 인용 수: 10<br>// 중복 제거 후: 7<br>// 제거된 인용 수: 3<br>// <br>// 발견된 중복 쌍들:<br>// 유사도: 0.893<br>//   텍스트 1: Artificial intelligence technology is advancing rapidly in recent years.<br>//   텍스트 2: AI technology is advancing rapidly in recent years!<br>//<br>// 유사도: 0.867<br>//   텍스트 1: Machine learning algorithms are becoming increasingly sophisticated.<br>//   텍스트 2: ML algorithms are becoming more sophisticated.</pre><h4>3.8 Java로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Java에서는 Apache Commons Text, Lucene, Stanford NLP 등의 라이브러리를 활용할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><ul><li>RAG 중복 제거 시스템</li></ul><pre>import java.util.*;<br>import java.util.stream.Collectors;<br>import java.text.Normalizer;<br>import java.util.regex.Pattern;<br><br>// 중복 쌍 클래스<br>class DuplicatePair {<br>    private int index1;<br>    private int index2;<br>    private double similarity;<br>    private String text1Preview;<br>    private String text2Preview;<br>    <br>    public DuplicatePair(int index1, int index2, double similarity, <br>                        String text1Preview, String text2Preview) {<br>        this.index1 = index1;<br>        this.index2 = index2;<br>        this.similarity = similarity;<br>        this.text1Preview = text1Preview;<br>        this.text2Preview = text2Preview;<br>    }<br>    <br>    // Getters<br>    public int getIndex1() { return index1; }<br>    public int getIndex2() { return index2; }<br>    public double getSimilarity() { return similarity; }<br>    public String getText1Preview() { return text1Preview; }<br>    public String getText2Preview() { return text2Preview; }<br>}<br><br>// 중복 제거 결과 클래스<br>class DeduplicationResult {<br>    private int originalCount;<br>    private int deduplicatedCount;<br>    private int removedCount;<br>    private List&lt;DuplicatePair&gt; duplicatePairs;<br>    private List&lt;String&gt; deduplicatedTexts;<br>    private List&lt;Integer&gt; removedIndices;<br>    <br>    public DeduplicationResult() {<br>        this.duplicatePairs = new ArrayList&lt;&gt;();<br>        this.deduplicatedTexts = new ArrayList&lt;&gt;();<br>        this.removedIndices = new ArrayList&lt;&gt;();<br>    }<br>    <br>    // Getters and setters<br>    public int getOriginalCount() { return originalCount; }<br>    public void setOriginalCount(int originalCount) { this.originalCount = originalCount; }<br>    <br>    public int getDeduplicatedCount() { return deduplicatedCount; }<br>    public void setDeduplicatedCount(int deduplicatedCount) { this.deduplicatedCount = deduplicatedCount; }<br>    <br>    public int getRemovedCount() { return removedCount; }<br>    public void setRemovedCount(int removedCount) { this.removedCount = removedCount; }<br>    <br>    public List&lt;DuplicatePair&gt; getDuplicatePairs() { return duplicatePairs; }<br>    public List&lt;String&gt; getDeduplicatedTexts() { return deduplicatedTexts; }<br>    public List&lt;Integer&gt; getRemovedIndices() { return removedIndices; }<br>}<br><br>// 텍스트 정규화 클래스<br>class TextNormalizer {<br>    <br>    public static String normalize(String text) {<br>        if (text == null || text.isEmpty()) {<br>            return &quot;&quot;;<br>        }<br>        <br>        // 유니코드 정규화 (NFKD 형태)<br>        text = Normalizer.normalize(text, Normalizer.Form.NFKD);<br>        <br>        // 소문자 변환<br>        text = text.toLowerCase();<br>        <br>        // URL 및 이메일 제거<br>        text = text.replaceAll(&quot;http\\S+|www\\S+|https\\S+&quot;, &quot;[URL]&quot;);<br>        text = text.replaceAll(&quot;\\S+@\\S+&quot;, &quot;[EMAIL]&quot;);<br>        <br>        // 숫자 정규화<br>        text = text.replaceAll(&quot;\\d+&quot;, &quot;[NUM]&quot;);<br>        <br>        // 구두점 제거<br>        text = text.replaceAll(&quot;[^\\w\\s]&quot;, &quot;&quot;);<br>        <br>        // 다중 공백을 단일 공백으로<br>        text = text.replaceAll(&quot;\\s+&quot;, &quot; &quot;);<br>        <br>        // 앞뒤 공백 제거<br>        text = text.trim();<br>        <br>        return text;<br>    }<br>}<br><br>// 유사도 계산 클래스<br>class SimilarityCalculator {<br>    <br>    public static double cosineSimilarity(String text1, String text2) {<br>        if (text1 == null || text2 == null || text1.isEmpty() || text2.isEmpty()) {<br>            return 0.0;<br>        }<br>        <br>        // 어휘 구축<br>        Map&lt;String, Integer&gt; vocab = buildVocabulary(Arrays.asList(text1, text2));<br>        <br>        // 벡터 생성<br>        double[] vector1 = createVector(text1, vocab);<br>        double[] vector2 = createVector(text2, vocab);<br>        <br>        // 코사인 유사도 계산<br>        return calculateCosine(vector1, vector2);<br>    }<br>    <br>    private static Map&lt;String, Integer&gt; buildVocabulary(List&lt;String&gt; texts) {<br>        Map&lt;String, Integer&gt; vocab = new HashMap&lt;&gt;();<br>        int index = 0;<br>        <br>        for (String text : texts) {<br>            String[] words = text.split(&quot;\\s+&quot;);<br>            for (String word : words) {<br>                if (!vocab.containsKey(word) &amp;&amp; !word.isEmpty()) {<br>                    vocab.put(word, index++);<br>                }<br>            }<br>        }<br>        <br>        return vocab;<br>    }<br>    <br>    private static double[] createVector(String text, Map&lt;String, Integer&gt; vocab) {<br>        double[] vector = new double[vocab.size()];<br>        String[] words = text.split(&quot;\\s+&quot;);<br>        <br>        for (String word : words) {<br>            Integer index = vocab.get(word);<br>            if (index != null) {<br>                vector[index]++;<br>            }<br>        }<br>        <br>        return vector;<br>    }<br>    <br>    private static double calculateCosine(double[] vector1, double[] vector2) {<br>        double dotProduct = 0.0;<br>        double norm1 = 0.0;<br>        double norm2 = 0.0;<br>        <br>        for (int i = 0; i &lt; vector1.length; i++) {<br>            dotProduct += vector1[i] * vector2[i];<br>            norm1 += vector1[i] * vector1[i];<br>            norm2 += vector2[i] * vector2[i];<br>        }<br>        <br>        if (norm1 == 0.0 || norm2 == 0.0) {<br>            return 0.0;<br>        }<br>        <br>        return dotProduct / (Math.sqrt(norm1) * Math.sqrt(norm2));<br>    }<br>}<br><br>// RAG 중복 제거기 메인 클래스<br>public class RAGDeduplicator {<br>    private double similarityThreshold;<br>    <br>    public RAGDeduplicator(double similarityThreshold) {<br>        this.similarityThreshold = similarityThreshold;<br>    }<br>    <br>    private String createPreview(String text, int maxLength) {<br>        if (text.length() &lt;= maxLength) {<br>            return text;<br>        }<br>        return text.substring(0, maxLength) + &quot;...&quot;;<br>    }<br>    <br>    public DeduplicationResult removeDuplicates(List&lt;String&gt; texts) {<br>        DeduplicationResult result = new DeduplicationResult();<br>        result.setOriginalCount(texts.size());<br>        <br>        // 정규화된 텍스트 생성<br>        List&lt;String&gt; normalizedTexts = texts.stream()<br>            .map(TextNormalizer::normalize)<br>            .collect(Collectors.toList());<br>        <br>        // 제거할 인덱스 집합<br>        Set&lt;Integer&gt; toRemove = new HashSet&lt;&gt;();<br>        <br>        // 모든 쌍에 대해 유사도 계산<br>        for (int i = 0; i &lt; texts.size() - 1; i++) {<br>            for (int j = i + 1; j &lt; texts.size(); j++) {<br>                double similarity = SimilarityCalculator.cosineSimilarity(<br>                    normalizedTexts.get(i), normalizedTexts.get(j));<br>                <br>                if (similarity &gt; similarityThreshold) {<br>                    // 중복 쌍 기록<br>                    result.getDuplicatePairs().add(new DuplicatePair(<br>                        i, j, similarity,<br>                        createPreview(texts.get(i), 100),<br>                        createPreview(texts.get(j), 100)<br>                    ));<br>                    <br>                    // 더 긴 텍스트를 제거 (간결성 선호)<br>                    if (texts.get(i).length() &gt; texts.get(j).length()) {<br>                        toRemove.add(i);<br>                    } else {<br>                        toRemove.add(j);<br>                    }<br>                }<br>            }<br>        }<br>        <br>        // 중복 제거된 텍스트 생성<br>        for (int i = 0; i &lt; texts.size(); i++) {<br>            if (!toRemove.contains(i)) {<br>                result.getDeduplicatedTexts().add(texts.get(i));<br>            } else {<br>                result.getRemovedIndices().add(i);<br>            }<br>        }<br>        <br>        result.setDeduplicatedCount(result.getDeduplicatedTexts().size());<br>        result.setRemovedCount(result.getRemovedIndices().size());<br>        <br>        return result;<br>    }<br>    <br>    public void printResult(DeduplicationResult result) {<br>        System.out.println(&quot;=== RAG 중복 인용 제거 결과 (Java) ===&quot;);<br>        System.out.println(&quot;원본 인용 수: &quot; + result.getOriginalCount());<br>        System.out.println(&quot;중복 제거 후: &quot; + result.getDeduplicatedCount());<br>        System.out.println(&quot;제거된 인용 수: &quot; + result.getRemovedCount());<br>        System.out.println();<br>        <br>        System.out.println(&quot;발견된 중복 쌍들:&quot;);<br>        for (DuplicatePair pair : result.getDuplicatePairs()) {<br>            System.out.printf(&quot;유사도: %.3f%n&quot;, pair.getSimilarity());<br>            System.out.println(&quot;  텍스트 1: &quot; + pair.getText1Preview());<br>            System.out.println(&quot;  텍스트 2: &quot; + pair.getText2Preview());<br>            System.out.println();<br>        }<br>        <br>        System.out.println(&quot;중복 제거된 최종 인용 문장들:&quot;);<br>        for (int i = 0; i &lt; result.getDeduplicatedTexts().size(); i++) {<br>            System.out.println((i + 1) + &quot;. &quot; + result.getDeduplicatedTexts().get(i));<br>        }<br>    }<br>    <br>    // 메인 메서드<br>    public static void main(String[] args) {<br>        // RAG 시스템 인용 데이터<br>        List&lt;String&gt; ragCitations = Arrays.asList(<br>            &quot;Artificial intelligence technology is advancing rapidly in recent years.&quot;,<br>            &quot;AI technology is advancing rapidly in recent years!&quot;,<br>            &quot;artificial intelligence technology is advancing rapidly in recent years&quot;,<br>            &quot;Machine learning algorithms are becoming increasingly sophisticated.&quot;,<br>            &quot;ML algorithms are becoming more sophisticated.&quot;,<br>            &quot;Deep learning models have shown remarkable performance improvements.&quot;,<br>            &quot;Natural language processing has made significant breakthroughs.&quot;,<br>            &quot;NLP has made significant breakthroughs recently.&quot;,<br>            &quot;Computer vision applications are expanding across various industries.&quot;,<br>            &quot;The field of robotics is experiencing unprecedented growth.&quot;<br>        );<br>        <br>        // 중복 제거기 생성<br>        RAGDeduplicator deduplicator = new RAGDeduplicator(0.85);<br>        <br>        // 중복 제거 수행<br>        DeduplicationResult result = deduplicator.removeDuplicates(ragCitations);<br>        <br>        // 결과 출력<br>        deduplicator.printResult(result);<br>    }<br>}<br><br>// 실행 결과(예시):<br>// === RAG 중복 인용 제거 결과 (Java) ===<br>// 원본 인용 수: 10<br>// 중복 제거 후: 7<br>// 제거된 인용 수: 3<br>// <br>// 발견된 중복 쌍들:<br>// 유사도: 0.896<br>//   텍스트 1: Artificial intelligence technology is advancing rapidly in recent years.<br>//   텍스트 2: AI technology is advancing rapidly in recent years!<br>//<br>// 유사도: 0.871<br>//   텍스트 1: Machine learning algorithms are becoming increasingly sophisticated.<br>//   텍스트 2: ML algorithms are becoming more sophisticated.</pre><h4>3.9 JavaScript로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Javascript에서는 브라우저 내장 함수와 라이브러리를 활용하여 텍스트 정규화를 수행한다.</p><p><strong>(2) 구체적인 사례</strong></p><ul><li>RAG 중복 제거 시스템</li></ul><pre>// 중복 쌍 클래스<br>class DuplicatePair {<br>    constructor(index1, index2, similarity, text1Preview, text2Preview) {<br>        this.index1 = index1;<br>        this.index2 = index2;<br>        this.similarity = similarity;<br>        this.text1Preview = text1Preview;<br>        this.text2Preview = text2Preview;<br>    }<br>}<br><br>// 중복 제거 결과 클래스<br>class DeduplicationResult {<br>    constructor() {<br>        this.originalCount = 0;<br>        this.deduplicatedCount = 0;<br>        this.removedCount = 0;<br>        this.duplicatePairs = [];<br>        this.deduplicatedTexts = [];<br>        this.removedIndices = [];<br>    }<br>}<br><br>// 텍스트 정규화 클래스<br>class TextNormalizer {<br>    static normalize(text) {<br>        if (!text || typeof text !== &#39;string&#39;) {<br>            return &#39;&#39;;<br>        }<br>        <br>        // 유니코드 정규화 (NFKD 형태)<br>        text = text.normalize(&#39;NFKD&#39;);<br>        <br>        // 소문자 변환<br>        text = text.toLowerCase();<br>        <br>        // URL 및 이메일 제거<br>        text = text.replace(/http\S+|www\S+|https\S+/g, &#39;[URL]&#39;);<br>        text = text.replace(/\S+@\S+/g, &#39;[EMAIL]&#39;);<br>        <br>        // 숫자 정규화<br>        text = text.replace(/\d+/g, &#39;[NUM]&#39;);<br>        <br>        // 구두점 제거<br>        text = text.replace(/[^\w\s]/g, &#39;&#39;);<br>        <br>        // 다중 공백을 단일 공백으로<br>        text = text.replace(/\s+/g, &#39; &#39;);<br>        <br>        // 앞뒤 공백 제거<br>        text = text.trim();<br>        <br>        return text;<br>    }<br>}<br><br>// 유사도 계산 클래스<br>class SimilarityCalculator {<br>    static cosineSimilarity(text1, text2) {<br>        if (!text1 || !text2) {<br>            return 0.0;<br>        }<br>        <br>        // 어휘 구축<br>        const vocab = this.buildVocabulary([text1, text2]);<br>        <br>        // 벡터 생성<br>        const vector1 = this.createVector(text1, vocab);<br>        const vector2 = this.createVector(text2, vocab);<br>        <br>        // 코사인 유사도 계산<br>        return this.calculateCosine(vector1, vector2);<br>    }<br>    <br>    static buildVocabulary(texts) {<br>        const vocab = new Map();<br>        let index = 0;<br>        <br>        texts.forEach(text =&gt; {<br>            const words = text.split(/\s+/).filter(word =&gt; word.length &gt; 0);<br>            words.forEach(word =&gt; {<br>                if (!vocab.has(word)) {<br>                    vocab.set(word, index++);<br>                }<br>            });<br>        });<br>        <br>        return vocab;<br>    }<br>    <br>    static createVector(text, vocab) {<br>        const vector = new Array(vocab.size).fill(0);<br>        const words = text.split(/\s+/).filter(word =&gt; word.length &gt; 0);<br>        <br>        words.forEach(word =&gt; {<br>            const index = vocab.get(word);<br>            if (index !== undefined) {<br>                vector[index]++;<br>            }<br>        });<br>        <br>        return vector;<br>    }<br>    <br>    static calculateCosine(vector1, vector2) {<br>        let dotProduct = 0.0;<br>        let norm1 = 0.0;<br>        let norm2 = 0.0;<br>        <br>        for (let i = 0; i &lt; vector1.length; i++) {<br>            dotProduct += vector1[i] * vector2[i];<br>            norm1 += vector1[i] * vector1[i];<br>            norm2 += vector2[i] * vector2[i];<br>        }<br>        <br>        if (norm1 === 0.0 || norm2 === 0.0) {<br>            return 0.0;<br>        }<br>        <br>        return dotProduct / (Math.sqrt(norm1) * Math.sqrt(norm2));<br>    }<br>}<br><br>// RAG 중복 제거기 메인 클래스<br>class RAGDeduplicator {<br>    constructor(similarityThreshold = 0.9) {<br>        this.similarityThreshold = similarityThreshold;<br>    }<br>    <br>    createPreview(text, maxLength = 100) {<br>        if (text.length &lt;= maxLength) {<br>            return text;<br>        }<br>        return text.substring(0, maxLength) + &#39;...&#39;;<br>    }<br>    <br>    removeDuplicates(texts) {<br>        const result = new DeduplicationResult();<br>        result.originalCount = texts.length;<br>        <br>        // 정규화된 텍스트 생성<br>        const normalizedTexts = texts.map(text =&gt; TextNormalizer.normalize(text));<br>        <br>        // 제거할 인덱스 집합<br>        const toRemove = new Set();<br>        <br>        // 모든 쌍에 대해 유사도 계산<br>        for (let i = 0; i &lt; texts.length - 1; i++) {<br>            for (let j = i + 1; j &lt; texts.length; j++) {<br>                const similarity = SimilarityCalculator.cosineSimilarity(<br>                    normalizedTexts[i], normalizedTexts[j]);<br>                <br>                if (similarity &gt; this.similarityThreshold) {<br>                    // 중복 쌍 기록<br>                    result.duplicatePairs.push(new DuplicatePair(<br>                        i, j, similarity,<br>                        this.createPreview(texts[i]),<br>                        this.createPreview(texts[j])<br>                    ));<br>                    <br>                    // 더 긴 텍스트를 제거 (간결성 선호)<br>                    if (texts[i].length &gt; texts[j].length) {<br>                        toRemove.add(i);<br>                    } else {<br>                        toRemove.add(j);<br>                    }<br>                }<br>            }<br>        }<br>        <br>        // 중복 제거된 텍스트 생성<br>        for (let i = 0; i &lt; texts.length; i++) {<br>            if (!toRemove.has(i)) {<br>                result.deduplicatedTexts.push(texts[i]);<br>            } else {<br>                result.removedIndices.push(i);<br>            }<br>        }<br>        <br>        result.deduplicatedCount = result.deduplicatedTexts.length;<br>        result.removedCount = result.removedIndices.length;<br>        <br>        return result;<br>    }<br>    <br>    printResult(result) {<br>        console.log(&#39;=== RAG 중복 인용 제거 결과 (JavaScript) ===&#39;);<br>        console.log(`원본 인용 수: ${result.originalCount}`);<br>        console.log(`중복 제거 후: ${result.deduplicatedCount}`);<br>        console.log(`제거된 인용 수: ${result.removedCount}`);<br>        console.log(&#39;&#39;);<br>        <br>        console.log(&#39;발견된 중복 쌍들:&#39;);<br>        result.duplicatePairs.forEach(pair =&gt; {<br>            console.log(`유사도: ${pair.similarity.toFixed(3)}`);<br>            console.log(`  텍스트 1: ${pair.text1Preview}`);<br>            console.log(`  텍스트 2: ${pair.text2Preview}`);<br>            console.log(&#39;&#39;);<br>        });<br>        <br>        console.log(&#39;중복 제거된 최종 인용 문장들:&#39;);<br>        result.deduplicatedTexts.forEach((text, index) =&gt; {<br>            console.log(`${index + 1}. ${text}`);<br>        });<br>    }<br>}<br><br>// 비동기 처리를 위한 Promise 기반 버전<br>class AsyncRAGDeduplicator extends RAGDeduplicator {<br>    async removeDuplicatesAsync(texts) {<br>        return new Promise((resolve) =&gt; {<br>            // 대용량 데이터 처리를 위한 청크 단위 처리<br>            const chunkSize = 100;<br>            const result = new DeduplicationResult();<br>            result.originalCount = texts.length;<br>            <br>            const processChunk = (startIndex) =&gt; {<br>                const endIndex = Math.min(startIndex + chunkSize, texts.length);<br>                <br>                // 현재 청크 처리<br>                for (let i = startIndex; i &lt; endIndex - 1; i++) {<br>                    for (let j = i + 1; j &lt; texts.length; j++) {<br>                        const normalizedText1 = TextNormalizer.normalize(texts[i]);<br>                        const normalizedText2 = TextNormalizer.normalize(texts[j]);<br>                        const similarity = SimilarityCalculator.cosineSimilarity(<br>                            normalizedText1, normalizedText2);<br>                        <br>                        if (similarity &gt; this.similarityThreshold) {<br>                            result.duplicatePairs.push(new DuplicatePair(<br>                                i, j, similarity,<br>                                this.createPreview(texts[i]),<br>                                this.createPreview(texts[j])<br>                            ));<br>                        }<br>                    }<br>                }<br>                <br>                // 다음 청크 처리 또는 완료<br>                if (endIndex &lt; texts.length) {<br>                    setTimeout(() =&gt; processChunk(endIndex), 0);<br>                } else {<br>                    // 최종 결과 생성<br>                    const toRemove = new Set();<br>                    result.duplicatePairs.forEach(pair =&gt; {<br>                        if (texts[pair.index1].length &gt; texts[pair.index2].length) {<br>                            toRemove.add(pair.index1);<br>                        } else {<br>                            toRemove.add(pair.index2);<br>                        }<br>                    });<br>                    <br>                    for (let i = 0; i &lt; texts.length; i++) {<br>                        if (!toRemove.has(i)) {<br>                            result.deduplicatedTexts.push(texts[i]);<br>                        } else {<br>                            result.removedIndices.push(i);<br>                        }<br>                    }<br>                    <br>                    result.deduplicatedCount = result.deduplicatedTexts.length;<br>                    result.removedCount = result.removedIndices.length;<br>                    <br>                    resolve(result);<br>                }<br>            };<br>            <br>            processChunk(0);<br>        });<br>    }<br>}<br><br>// 메인 실행 함수<br>async function main() {<br>    // RAG 시스템 인용 데이터<br>    const ragCitations = [<br>        &quot;Artificial intelligence technology is advancing rapidly in recent years.&quot;,<br>        &quot;AI technology is advancing rapidly in recent years!&quot;,<br>        &quot;artificial intelligence technology is advancing rapidly in recent years&quot;,<br>        &quot;Machine learning algorithms are becoming increasingly sophisticated.&quot;,<br>        &quot;ML algorithms are becoming more sophisticated.&quot;,<br>        &quot;Deep learning models have shown remarkable performance improvements.&quot;,<br>        &quot;Natural language processing has made significant breakthroughs.&quot;,<br>        &quot;NLP has made significant breakthroughs recently.&quot;,<br>        &quot;Computer vision applications are expanding across various industries.&quot;,<br>        &quot;The field of robotics is experiencing unprecedented growth.&quot;<br>    ];<br>    <br>    // 중복 제거기 생성<br>    const deduplicator = new RAGDeduplicator(0.85);<br>    <br>    // 중복 제거 수행<br>    const result = deduplicator.removeDuplicates(ragCitations);<br>    <br>    // 결과 출력<br>    deduplicator.printResult(result);<br>    <br>    // 비동기 버전 테스트<br>    const asyncDeduplicator = new AsyncRAGDeduplicator(0.85);<br>    const asyncResult = await asyncDeduplicator.removeDuplicatesAsync(ragCitations);<br>    <br>    console.log(&#39;\n=== 비동기 처리 결과 ===&#39;);<br>    console.log(`비동기 처리: ${asyncResult.originalCount} -&gt; ${asyncResult.deduplicatedCount}`);<br>}<br><br>// 브라우저 환경에서 실행<br>if (typeof window !== &#39;undefined&#39;) {<br>    // 브라우저 환경<br>    window.RAGDeduplicator = RAGDeduplicator;<br>    window.main = main;<br>} else if (typeof module !== &#39;undefined&#39;) {<br>    // Node.js 환경<br>    module.exports = { RAGDeduplicator, TextNormalizer, SimilarityCalculator };<br>}<br><br>// 실행<br>main().catch(console.error);<br><br>// 실행 결과(예시):<br>// === RAG 중복 인용 제거 결과 (JavaScript) ===<br>// 원본 인용 수: 10<br>// 중복 제거 후: 7<br>// 제거된 인용 수: 3<br>// <br>// 발견된 중복 쌍들:<br>// 유사도: 0.891<br>//   텍스트 1: Artificial intelligence technology is advancing rapidly in recent years.<br>//   텍스트 2: AI technology is advancing rapidly in recent years!<br>//<br>// 유사도: 0.864<br>//   텍스트 1: Machine learning algorithms are becoming increasingly sophisticated.<br>//   텍스트 2: ML algorithms are becoming more sophisticated.</pre><h3>4. 문제 해결의 중요성</h3><p>RAG 시스템에서 중복 인용 문제를 해결하는 것은 여러 측면에서 매우 중요하다.</p><p><strong>(1) 사용자 경험의 질적 향상</strong><br>중복된 정보가 반복적으로 제시되면 사용자는 시스템의 신뢰성에 의문을 가지게 되고, 정보의 가치를 제대로 평가하기 어려워진다. 특히 전문적인 보고서나 학술 문서를 작성하는 경우, 중복 인용은 문서의 전문성을 크게 떨어뜨리는 요인이 된다.</p><p><strong>(2) 비용 효율성</strong><br>현대의 대규모 언어 모델들은 토큰 기반으로 비용이 책정되는 경우가 많다. 불필요한 중복 내용이 포함되면 토큰 사용량이 증가하여 운영 비용이 상승한다. 더 나아가 응답 생성 시간도 길어져 전체적인 시스템 성능이 저하된다.</p><p><strong>(3) 정보의 신뢰성과 정확성 보장</strong><br>중복된 정보가 여러 번 인용되면 마치 여러 독립적인 출처에서 검증된 것처럼 보일 수 있다. 이는 정보의 신뢰성을 왜곡하고, 사용자가 잘못된 판단을 내릴 가능성을 높인다. 특히 의료, 법률, 금융 등 정확성이 중요한 분야에서는 이러한 문제가 심각한 결과를 초래할 수 있다.</p><p><strong>(4) 검색 품질의 개선</strong><br>효과적인 중복 제거는 검색 결과의 다양성을 높이고, 사용자에게 더 폭넓은 정보를 제공할 수 있게 한다. 동일한 정보만 반복해서 제시하는 대신, 다양한 관점과 접근법을 포함한 균형 잡힌 정보를 제공할 수 있다.</p><p><strong>(5) 시스템의 확장성 확보</strong><br>중복 제거 메커니즘이 없다면 데이터베이스 크기가 증가할수록 중복 문제는 기하급수적으로 심화된다. 효과적인 중복 제거 시스템을 구축하면 대규모 데이터셋에서도 일관된 성능을 유지할 수 있다.</p><p><strong>(6) 지적 재산권 보호</strong><br>동일한 출처의 내용을 과도하게 인용하면 저작권 침해 위험이 증가할 수 있다. 적절한 중복 제거를 통해 다양한 출처의 정보를 균형 있게 활용하면 이러한 법적 리스크를 줄일 수 있다.</p><h3>5. 한계점</h3><p>제시된 중복 제거 방법들에는 몇 가지 한계점이 존재한다.</p><p><strong>(1) 의미적 유사성 판단의 어려움</strong><br>현재의 접근법들은 주로 어휘적 유사성이나 벡터 공간에서의 거리를 기반으로 한다. 하지만 문맥에 따라 같은 단어가 다른 의미를 가질 수 있고, 반대로 다른 표현이 같은 의미를 가질 수도 있다. 예를 들어, “은행”이라는 단어가 금융기관을 의미하는지 강가를 의미하는지는 문맥에 따라 달라진다.</p><p><strong>(2) 임계값 설정의 주관성</strong><br>코사인 유사도나 자카드 유사도의 임계값을 설정하는 것은 상당 부분 주관적이고 도메인에 의존적이다. 너무 낮은 임계값을 설정하면 의미 있는 차이가 있는 내용까지 중복으로 판단할 수 있고, 너무 높은 임계값은 실제 중복을 놓칠 수 있다. 이러한 임계값은 데이터의 특성과 사용 목적에 따라 지속적으로 조정되어야 한다.</p><p><strong>(3) 계산 복잡도 문제</strong><br>모든 텍스트 쌍에 대해 유사도를 계산하는 것은 O(n²)의 시간 복잡도를 가진다. 텍스트 수가 증가하면 계산 시간이 기하급수적으로 늘어나서 실시간 처리가 어려워질 수 있다. 대용량 데이터셋에서는 근사 알고리즘이나 해싱 기법 등의 최적화가 필요하다.</p><p><strong>(4) 다국어 처리의 복잡성</strong><br>여러 언어가 혼재된 환경에서는 언어별로 다른 정규화 규칙이 필요하고, 번역된 내용 간의 유사성 판단도 복잡해진다. 특히 언어 구조가 크게 다른 경우 직접적인 비교가 어려울 수 있다.</p><p><strong>(5) 부분적 중복의 처리의 어려움</strong><br>현재 방법들은 주로 문서나 문장 단위의 전체적인 유사성을 평가한다. 하지만 일부 문단이나 구문만 중복되는 경우를 정확히 감지하고 처리하는 것은 더 복잡한 문제다.</p><p><strong>(6) 정보의 중요도 고려 부족</strong><br>단순히 길이나 유사도만으로 어떤 버전을 유지할지 결정하는 것은 정보의 질적 가치를 충분히 반영하지 못할 수 있다. 더 신뢰할 만한 출처나 더 최신의 정보를 우선적으로 고려하는 메커니즘이 필요하다.</p><p><strong>(7) 동적 환경에서의 성능 유지 어려움</strong><br>실시간으로 새로운 문서가 추가되는 환경에서는 기존의 중복 제거 결과를 지속적으로 업데이트해야 한다. 이는 추가적인 계산 부담과 시스템 복잡성을 증가시킨다.</p><h3>6. 결론</h3><p>실제 적용에서는 단일 언어보다는 하이브리드 접근법이 더 효과적일 수 있다. 예를 들어, 대용량 데이터의 초기 처리는 SQL로, 복잡한 텍스트 분석은 Python으로, 실시간 서비스는 Go나 Javascript로 구현하는 방식이다. 또한 도메인 특성에 따라 임계값과 가중치를 조정하고, 지속적인 모니터링과 피드백을 통해 시스템을 개선해야 한다.</p><p>RAG 기술이 더욱 발전하고 보편화됨에 따라 중복 인용 문제의 중요성도 계속 증가할 것이다. 미래에는 더 정교한 의미 분석, 실시간 처리 최적화, 다국어 지원 강화 등이 주요 발전 방향이 될 것으로 예상된다. 특히 대규모 언어 모델의 발전과 함께 문맥 인식 능력이 향상되면, 단순한 어휘적 유사성을 넘어선 더 깊이 있는 의미적 중복 탐지가 가능해질 것이다.</p><p>결국 효과적인 중복 제거 시스템은 기술적 구현뿐만 아니라 사용자의 요구사항, 도메인 특성, 비즈니스 목표 등을 종합적으로 고려한 설계가 필요하다. 본 글에서 제시한 다양한 구현 방법들이 실제 RAG 시스템 개발에 도움이 되기를 기대하며, 지속적인 연구와 개발을 통해 더욱 정교하고 효율적인 해결책들이 등장하기를 바란다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=736c49ee1200" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[텍스트 정규화 #34 — 워터마크 토큰 시그니처]]></title>
            <link>https://medium.com/@praster1/%ED%85%8D%EC%8A%A4%ED%8A%B8-%EC%A0%95%EA%B7%9C%ED%99%94-34-%EC%9B%8C%ED%84%B0%EB%A7%88%ED%81%AC-%ED%86%A0%ED%81%B0-%EC%8B%9C%EA%B7%B8%EB%8B%88%EC%B2%98-9634c8ff3a76?source=rss-2267dcfdebd3------2</link>
            <guid isPermaLink="false">https://medium.com/p/9634c8ff3a76</guid>
            <category><![CDATA[생성-ai]]></category>
            <category><![CDATA[인공지능]]></category>
            <category><![CDATA[ai검출]]></category>
            <category><![CDATA[llm]]></category>
            <category><![CDATA[워터마크]]></category>
            <dc:creator><![CDATA[Jaeseong Yoo]]></dc:creator>
            <pubDate>Sat, 31 May 2025 16:01:03 GMT</pubDate>
            <atom:updated>2025-06-01T01:24:31.811Z</atom:updated>
            <content:encoded><![CDATA[<h3>텍스트 정규화 #34 — <strong>워터마크 토큰 시그니처</strong></h3><h3>1. 문제 상황 소개</h3><p>최근 대규모 언어 모델(LLM)의 발전으로 AI 생성 텍스트가 일상화되고 있다. 그러나 ChatGPT, Gemini, Claude 등의 모델이 생성한 콘텐츠가 실제 사람의 글과 구별이 어려워지면서 “이 글이 AI가 쓴 것인가?”라는 의문이 중요해졌다. 교육 현장에서는 학생 과제의 AI 생성 여부를 검증해야 하고, 언론계에서는 가짜 뉴스의 원천을 추적해야 하며, 법·정책 분야에서는 AI 생성물의 책임 소재를 따져야 한다. AI 안전 분야에서도 모델이 스스로 출력물을 표시하거나 감시할 필요가 제기되고 있다.</p><p>이러한 문제를 해결하기 위해 최근 연구자들은 <strong>수면 아래에 숨겨진 통계적 워터마크</strong>를 텍스트에 삽입하는 기법을 제안하였다. 워터마크 기법은 사람이 읽기엔 텍스트 변화가 거의 없으면서도, 알고리즘으로는 AI 생성 여부를 판별할 수 있도록 통계적 신호를 포함시킨다.<br>(참고문헌: <a href="https://arxiv.org/abs/2301.10226">https://arxiv.org/abs/2301.10226</a>)</p><p>예를 들어, OpenAI 연구팀은 ‘green list’와 ‘red list’라는 방식을 도입했다. 이 기법에서 모델은 매 토큰 생성 시 어휘(vocabulary)를 랜덤하게 녹색(green)과 적색(red) 토큰으로 나누고, 녹색 토큰에 소규모 편향(δ)을 더한다. 그 결과 모델은 상대적으로 녹색 리스트의 토큰을 더 자주 선택하게 되며, 생성된 텍스트에는 녹색 토큰 비율이 인간 텍스트보다 <strong>통계적으로 유의미하게 높아지는 패턴</strong>이 나타난다. 이처럼 워터마크 기법으로 생성된 텍스트는 외견상 달라 보이지 않지만, 검출 도구로는 녹색 토큰의 빈도분포를 분석해 <strong>AI 작성 가능성을 추정</strong>할 수 있다.</p><h3>2. 문제가 발생한 근본 원인 분석</h3><p>LLM 워터마크링 기법의 근본 원인은 <strong>토큰 샘플링 과정에 외부 난수를 도입하고 확률을 편향시킨다는 점</strong>에 있다. 워터마킹 기법은 언어 모델이 다음 토큰을 선택할 때, 암호화(hash) 함수를 사용해 이전 토큰을 시드로 난수 생성기를 초기화한다. 그리고 이 난수로 어휘를 임의로 절반씩 <strong>녹색 리스트</strong>와 <strong>적색 리스트</strong>로 나눈 뒤, 녹색 리스트에 속한 토큰의 로그 확률에 상수 δ를 더한다. 이처럼 로그 확률을 조정하면 모델은 한층 더 녹색 리스트 토큰을 선택하려 한다. 따라서 결과 텍스트는 사람이 썼을 때보다 <strong>녹색 토큰의 비율</strong>이 높아지며, 이는 통계적으로 검출 가능한 패턴이 된다.</p><p>근본적으로 이 방법이 문제가 되는 이유는 이러한 확률 편향이 텍스트 품질과 탐지 민감도 간의 트레이드오프(trade-off)를 생성하기 때문이다. IBM 연구팀은 녹색/적색 리스트 기반 워터마크가 텍스트 품질을 저하시킬 수 있으며, 파라미터(δ나 리스트 크기 γ)의 선택에 따라 원문 의미가 일부 왜곡되거나 오탐(false positive)이 증가할 수 있다고 지적했다. 또한, 근본적인 확률 모델의 특성 때문에 텍스트의 <strong>엔트로피(entropy)</strong> 수준에 따라 워터마크가 잘 보이지 않을 수도 있다. 예를 들어 Luyijian et al.(2024)는 워터마크 알고리즘이 고엔트로피 토큰에서는 녹색 토큰 발생 확률을 크게 높이지만, 저엔트로피(예: 간단한 코드 조각)에서는 녹색 토큰 비율이 크게 늘지 않는다는 점을 밝혔다. 이로 인해 문장이나 자연어가 아니라 주로 정형화된 데이터나 코드에서는 워터마크 검출의 민감도가 떨어진다.<br>(참고문헌: <a href="https://arxiv.org/abs/2403.13485">https://arxiv.org/abs/2403.13485</a>)</p><p>또 다른 근본 원인은 <strong>워터마크 해시 키(hash key)의 불안정성</strong>이다. 워터마크 검출은 보통 모델 생성과 똑같은 해시 함수와 시드 값을 사용해 녹색 리스트를 재생성한 뒤 통계 검정을 진행하는데, 검출 시 사용된 쿼리나 키 값이 달라지면 유의성에 영향을 준다. 실제로 Zhao et al.(2025)은 물리적 모델 IP 검증 맥락에서, 질의(query)의 차이가 감지율에 큰 영향을 미치고, 해시 키가 달라지면 검출 성능이 불안정해진다고 분석했다. 이처럼 워터마크링의 핵심은 <strong>우연성을 가진 통계적 신호</strong>이므로, 텍스트 길이, 편집(paraphrase) 공격, 키 동기화 문제 등 기본 알고리즘의 성격에서 다양한 이슈가 발생한다.<br>(참고문헌: <a href="https://iclr.cc/virtual/2025/poster/30061">https://iclr.cc/virtual/2025/poster/30061</a>)</p><h3>3. 해결 방법</h3><p>통계적 워터마크의 문제를 해결하거나 완화하기 위해, 생성된 텍스트에서 녹색 토큰 비율과 관련된 지표를 계산하고 분석하는 접근이 필요하다. 구체적으로, 텍스트를 토큰화한 뒤 각 언어 도구를 사용하여 녹색 리스트에 속하는 토큰의 개수를 세고 전체 토큰 수 대비 비율을 구하거나, z-점수(z-score) 같은 통계적 테스트를 수행한다.</p><h4>3.1 SQL로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>SQL에서는 분석할 텍스트를 토큰 단위로 테이블에 저장한 후, SUM()과 COUNT() 집계 함수를 사용해 녹색 토큰 개수를 세고 전체 토큰 수로 나누어 비율을 계산할 수 있다. 예를 들어, WITH ... AS 구문으로 토큰과 녹색 여부를 가진 임시 테이블을 생성한 뒤, SUM(is_green)/COUNT(*) 식으로 녹색 토큰 비율을 구할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><ul><li>예시로 단어 8개로 이루어진 문장을 사용하자. 여기서 “This”, “example”, “watermarking”, “detection”, “test” 5개 단어를 녹색 토큰으로 표시한다.</li></ul><pre>WITH tokens(word, is_green) AS (<br>  VALUES<br>    (&#39;This&#39;, 1), (&#39;is&#39;, 0), (&#39;an&#39;, 0), (&#39;example&#39;, 1),<br>    (&#39;of&#39;, 0), (&#39;watermarking&#39;, 1), (&#39;detection&#39;, 1), (&#39;test&#39;, 1)<br>)<br>SELECT SUM(is_green) * 1.0 / COUNT(*) AS green_ratio<br>FROM tokens;<br>-- 실행 결과(예시):<br>-- green_ratio = 0.625  (5개의 녹색 토큰 / 총 8개 토큰)</pre><p>실행 결과 green_ratio = 0.625로 나타났는데, 이는 녹색 토큰 비율이 62.5%임을 의미한다. 이를 기준으로 임계값(예: 0.5)과 비교하여 워터마크 유무를 판단할 수 있다.</p><h4>3.2 Python으로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Python에서는 문자열을 split() 등의 함수로 토큰화한 뒤 리스트나 컬렉션으로 저장한다. 그리고 sum() 함수나 collections.Counter 등을 이용해 녹색 토큰 개수를 세고 전체 토큰 수로 나누어 비율을 계산한다. 또한 numpy나 pandas를 사용해 벡터화된 연산으로 처리할 수도 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>text = &quot;This is an example of watermarking detection test&quot;<br>words = text.split()<br>green_set = {&quot;this&quot;, &quot;example&quot;, &quot;watermarking&quot;, &quot;detection&quot;, &quot;test&quot;}<br>count_green = sum(1 for w in words if w.strip(&quot;.&quot;).lower() in green_set)<br>ratio = count_green / len(words)<br>print(f&quot;Green tokens: {count_green}/{len(words)}&quot;)<br>print(&quot;Ratio:&quot;, ratio)<br># 실행 결과(예시):<br># Green tokens: 5/8<br># Ratio: 0.625</pre><h4>3.3 R로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>R에서는 strsplit() 등을 사용해 문자열을 토큰 벡터로 분할하고, %in% 연산자와 sum() 함수를 사용해 녹색 토큰 개수를 센다. 벡터 연산을 통해 간단하게 처리할 수 있으며, length()로 전체 토큰 수를 구해 비율을 계산한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>words &lt;- c(&quot;This&quot;, &quot;is&quot;, &quot;an&quot;, &quot;example&quot;, &quot;of&quot;, &quot;watermarking&quot;, &quot;detection&quot;, &quot;test&quot;)<br>green_list &lt;- c(&quot;this&quot;, &quot;example&quot;, &quot;watermarking&quot;, &quot;detection&quot;, &quot;test&quot;)<br>count_green &lt;- sum(tolower(words) %in% green_list)<br>ratio &lt;- count_green / length(words)<br>print(ratio)<br># 실행 결과(예시):<br># [1] 0.625</pre><h4>3.4 Julia로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Julia는 배열과 반복문으로 유사하게 처리할 수 있다. lowercase() 함수를 사용해 토큰을 소문자로 변환하고, in 함수를 사용해 집합(Set)에서 검색한다. 또는 count() 함수와 조건식을 활용해 카운트를 구할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>words = [&quot;This&quot;, &quot;is&quot;, &quot;an&quot;, &quot;example&quot;, &quot;of&quot;, &quot;watermarking&quot;, &quot;detection&quot;, &quot;test&quot;]<br>green_set = Set([&quot;this&quot;, &quot;example&quot;, &quot;watermarking&quot;, &quot;detection&quot;, &quot;test&quot;])<br>count_green = 0<br>for w in words<br>    if lowercase(w) in green_set<br>        count_green += 1<br>    end<br>end<br>ratio = count_green / length(words)<br>println(&quot;Green tokens: &quot;, count_green, &quot;/&quot;, length(words))<br>println(&quot;Ratio: &quot;, ratio)<br># 실행 결과(예시):<br># Green tokens: 5/8<br># Ratio: 0.625</pre><h4>3.5 Go로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Go 언어는 슬라이스(slice)와 map을 활용하여 처리가 가능하다. 토큰을 슬라이스로 저장하고, map[string]bool로 녹색 토큰 집합을 만든 후, 반복문과 strings.ToLower()로 비교한다. 최종적으로 float64 타입으로 나누어 비율을 계산한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>package main<br>import (<br>    &quot;fmt&quot;<br>    &quot;strings&quot;<br>)<br>func main() {<br>    words := []string{&quot;This&quot;, &quot;is&quot;, &quot;an&quot;, &quot;example&quot;, &quot;of&quot;, &quot;watermarking&quot;, &quot;detection&quot;, &quot;test&quot;}<br>    greenMap := map[string]bool{&quot;this&quot;:true, &quot;example&quot;:true, &quot;watermarking&quot;:true, &quot;detection&quot;:true, &quot;test&quot;:true}<br>    countGreen := 0<br>    for _, w := range words {<br>        if greenMap[strings.ToLower(w)] {<br>            countGreen++<br>        }<br>    }<br>    ratio := float64(countGreen) / float64(len(words))<br>    fmt.Printf(&quot;Green tokens: %d/%d\n&quot;, countGreen, len(words))<br>    fmt.Printf(&quot;Ratio: %.3f\n&quot;, ratio)<br>    // 실행 결과(예시):<br>    // Green tokens: 5/8<br>    // Ratio: 0.625<br>}</pre><h4>3.6 C로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>C 언어는 문자열 비교를 수동으로 해야 하지만, 루프를 통해 토큰 배열을 순회하며 strcasecmp() 등을 이용해 대소문자 무시 비교를 수행할 수 있다. 녹색 토큰 목록은 문자열 배열로 정의한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>#include &lt;stdio.h&gt;<br>#include &lt;string.h&gt;<br>#include &lt;ctype.h&gt;<br>int main() {<br>    char *words[] = {&quot;This&quot;,&quot;is&quot;,&quot;an&quot;,&quot;example&quot;,&quot;of&quot;,&quot;watermarking&quot;,&quot;detection&quot;,&quot;test&quot;};<br>    char *green[] = {&quot;this&quot;,&quot;example&quot;,&quot;watermarking&quot;,&quot;detection&quot;,&quot;test&quot;};<br>    int n = 8, m = 5, count = 0;<br>    for (int i = 0; i &lt; n; i++) {<br>        char buf[100];<br>        strcpy(buf, words[i]);<br>        for (int j = 0; buf[j]; j++) buf[j] = tolower(buf[j]);<br>        for (int j = 0; j &lt; m; j++) {<br>            if (strcmp(buf, green[j]) == 0) {<br>                count++;<br>                break;<br>            }<br>        }<br>    }<br>    double ratio = (double)count / n;<br>    printf(&quot;Green tokens: %d/%d\n&quot;, count, n);<br>    printf(&quot;Ratio: %.3f\n&quot;, ratio);<br>    return 0;<br>}<br>// 실행 결과(예시):<br>// Green tokens: 5/8<br>// Ratio: 0.625</pre><h4>3.7 C++로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>C++에서는 &lt;algorithm&gt;, &lt;vector&gt;, &lt;string&gt; 헤더를 사용해 간편하게 반복문과 transform()을 활용할 수 있다. std::vector&lt;std::string&gt;에 토큰과 녹색 리스트를 저장하고, 반복문에서 tolower를 적용한 후 비교한다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>#include &lt;iostream&gt;<br>#include &lt;vector&gt;<br>#include &lt;algorithm&gt;<br>using namespace std;<br>int main(){<br>    vector&lt;string&gt; words = {&quot;This&quot;,&quot;is&quot;,&quot;an&quot;,&quot;example&quot;,&quot;of&quot;,&quot;watermarking&quot;,&quot;detection&quot;,&quot;test&quot;};<br>    vector&lt;string&gt; greens = {&quot;this&quot;,&quot;example&quot;,&quot;watermarking&quot;,&quot;detection&quot;,&quot;test&quot;};<br>    int count = 0;<br>    for (auto w : words) {<br>        string lw = w;<br>        transform(lw.begin(), lw.end(), lw.begin(), ::tolower);<br>        for (auto g : greens) {<br>            if (lw == g) { count++; break; }<br>        }<br>    }<br>    double ratio = double(count) / words.size();<br>    cout &lt;&lt; &quot;Green tokens: &quot; &lt;&lt; count &lt;&lt; &quot;/&quot; &lt;&lt; words.size() &lt;&lt; endl;<br>    cout &lt;&lt; &quot;Ratio: &quot; &lt;&lt; ratio &lt;&lt; endl;<br>    return 0;<br>}<br>// 실행 결과(예시):<br>// Green tokens: 5/8<br>// Ratio: 0.625</pre><h4>3.8 Java로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>Java에서는 String[]과 HashSet&lt;String&gt;을 사용해 토큰과 녹색 리스트를 처리한다. 반복문과 toLowerCase()를 사용하여 비교한다. System.out.println()으로 결과를 출력할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>import java.util.*;<br>public class WatermarkDetection {<br>    public static void main(String[] args) {<br>        String[] words = {&quot;This&quot;,&quot;is&quot;,&quot;an&quot;,&quot;example&quot;,&quot;of&quot;,&quot;watermarking&quot;,&quot;detection&quot;,&quot;test&quot;};<br>        Set&lt;String&gt; greenSet = new HashSet&lt;&gt;(Arrays.asList(&quot;this&quot;,&quot;example&quot;,&quot;watermarking&quot;,&quot;detection&quot;,&quot;test&quot;));<br>        int count = 0;<br>        for (String w : words) {<br>            if (greenSet.contains(w.toLowerCase())) {<br>                count++;<br>            }<br>        }<br>        double ratio = (double) count / words.length;<br>        System.out.println(&quot;Green tokens: &quot; + count + &quot;/&quot; + words.length);<br>        System.out.println(&quot;Ratio: &quot; + ratio);<br>    }<br>}<br>// 실행 결과(예시):<br>// Green tokens: 5/8<br>// Ratio: 0.625</pre><h4>3.9 JavaScript로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>JavaScript에서는 Array와 Set을 사용하여 토큰을 배열로 저장하고, toLowerCase()와 has() 메서드로 녹색 토큰 여부를 검사한다. console.log()로 결과를 출력할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><pre>const words = [&quot;This&quot;,&quot;is&quot;,&quot;an&quot;,&quot;example&quot;,&quot;of&quot;,&quot;watermarking&quot;,&quot;detection&quot;,&quot;test&quot;];<br>const greenSet = new Set([&quot;this&quot;,&quot;example&quot;,&quot;watermarking&quot;,&quot;detection&quot;,&quot;test&quot;]);<br>let count = 0;<br>for (let w of words) {<br>    if (greenSet.has(w.toLowerCase())) {<br>        count++;<br>    }<br>}<br>let ratio = count / words.length;<br>console.log(`Green tokens: ${count}/${words.length}`);<br>console.log(`Ratio: ${ratio.toFixed(3)}`);<br>// 실행 결과(예시):<br>// Green tokens: 5/8<br>// Ratio: 0.625</pre><h3>4. 문제 해결의 중요성</h3><p>통계적 워터마크 검출은 AI 생성 콘텐츠의 출처와 신뢰도를 확인하는 데 중요한 역할을 한다. IBM 연구팀은 워터마크를 통해 AI가 생성한 데이터에 <strong>소유권 정보를 삽입</strong>할 수 있다고 강조하였다. 이는 기업이나 연구자가 생성한 인공 데이터가 악의적으로 사용되었을 때 책임 소재를 명확히 하는 데 도움이 된다. 예를 들어, IBM은 기업 플랫폼에서 생성된 표(table) 데이터가 투자자를 기만하는 데 사용되면 해당 기업이 법적 책임을 질 수 있으나, 자동 워터마킹이 적용되어 있으면 악의적 이용자가 함부로 재사용하기 전에 한 번 더 생각하게 된다고 지적했다.<br>(참고문헌: <a href="https://research.ibm.com/blog/tabular-data-watermark">https://research.ibm.com/blog/tabular-data-watermark</a>)</p><p>또한, 워터마크를 활용하면 <strong>교육</strong>과 <strong>언론</strong> 분야에서도 AI 사용을 명확히 구분할 수 있다. 교사는 학생 과제가 AI가 작성되었는지 검증할 수 있고, 언론인은 온라인상의 허위 정보를 AI로부터 빠르게 감지할 수 있다. 나아가 윤리적·정책적 측면에서도, 법률가와 정책입안자가 AI 생성 콘텐츠에 대한 책임과 출처를 추적할 때 워터마크는 유용한 도구가 된다.</p><p>학계에서도 LLM 워터마크는 저작권과 IP(지적 재산) 보호에 활용된다. 예를 들어 앞서 소개한 ICLR 2025 논문에서는 LLM 워터마크를 이용해 다른 모델이 해당 LLM의 출력을 부적절하게 학습했는지 검출하는 연구가 발표되었다. 이 연구는 고품질 LLM 출력을 사용한 훈련이 비용 효율적이나, 워터마크를 통해 이런 불법적 데이터 사용을 감지할 수 있음을 보여준다.</p><p>종합하면, 워터마크 검출은 AI 생태계의 <strong>신뢰성 확보</strong>에 필수적이다. 데이터 과학자와 개발자는 이번에 살펴본 방법을 통해 LLM 출력물의 숨겨진 통계 패턴을 분석하고, 콘텐츠 출처를 판별함으로써 시스템의 투명성과 책임성을 높일 수 있다.</p><h3>5. 한계점</h3><p>통계적 워터마크 기법은 여러 장점을 지니지만, 몇 가지 한계와 취약점도 존재한다.</p><p><strong>(1) 텍스트 품질 저하 문제</strong><br>녹색 리스트를 증가시킬수록 AI 모델은 비자연스러운 토큰 선택을 할 수 있어 텍스트 품질이 떨어질 수 있다. 앞서 소개한 Kirchenbauer 등은 워터마크 편향을 도입해도 품질 저하를 최소화할 수 있다고 주장했지만, 실제 복잡한 문장에서는 δ 값을 높게 설정하면 의미가 일부 변형되거나 어색한 표현이 늘어날 수 있다.</p><p><strong>(2) 민감도 문제<br></strong>워터마크 검출의 통계적 신호는 텍스트 길이나 엔트로피에 크게 의존한다. 짧은 문장이나 엔트로피가 낮은 데이터(예: 코드, 표 형식 데이터)에서는 녹색 토큰 비율 변화가 적어 z-점수가 낮아진다. 예를 들어, 워터마크가 삽입된 저엔트로피 코드일 경우 녹색 토큰 비율이 낮아져 사람이 쓴 것으로 잘못 분류될 수 있다. 또한 긴 문서에 워터마크 텍스트를 숨겨두면 전체 텍스트 대비 신호가 묻혀 z-점수가 작아지는 문제가 있다. 이를 보완하기 위해 sliding window 방식(윈도우별로 최대 z-점수 계산) 등이 제안되었으나 추가 연산이 필요하다.<br>(참고문헌: <a href="https://www.mdpi.com/3286084">https://www.mdpi.com/3286084</a>)</p><p><strong>(3) 공격과 위조의 위험<br></strong>누군가 텍스트를 편집하여 워터마크를 제거하거나 약화할 수 있다. 예를 들어 패러프레이징(paraphrase)은 어휘 분할을 바꿔 워터마크 신호를 약화할 수 있다. 고정 해시 키를 사용해 리스트 분할을 일관되게 만들 경우에는 편집에 강해지지만, 자연어 분포에서 벗어나 결국 탐지에 더 취약해질 수 있는 한계가 있다. 즉, 공격자가 의도적으로 텍스트를 변경하면 워터마크 식별이 어려워질 수 있다.</p><p><strong>(4) 비밀키 의존성 문제</strong><br>워터마크 검출에는 원래 생성 때 사용된 해시 키와 알고리즘 정보를 알아야 한다. 만약 키 정보가 불확실하거나 다르면 검출 결과가 무의미해진다. 또한 확률 편향 기법 특성상 절대적인 “문이 AI가 쓴 문장”이라고 단정할 수 없고, 통계적 신뢰구간 내에서만 판별할 수 있다. 이로 인해 기준 설정, 오탐/미탐 균형 등의 추가 고려사항이 필요하다.</p><p>요약하자면, 통계적 워터마크링은 강력한 도구이나 <strong>품질-정확도 트레이드오프</strong>, <strong>데이터 특성 의존성</strong>, <strong>악의적 공격</strong>과 같은 한계를 지닌다. 실제 응용 시에는 이러한 한계를 인식하고, 환경에 맞게 전략을 보완해야 한다.</p><h3>6. 결론</h3><p>LLM 출력물의 숨겨진 통계적 워터마크는 AI 콘텐츠의 출처를 증명하고 부정사용을 방지하는 중요한 기술이다. 이번 포스트에서는 워터마크 기법의 개념과 근본 원인을 살펴보고, 다양한 프로그래밍 언어 예제를 통해 텍스트에서 녹색 토큰 비율을 분석하는 방법을 제시했다.</p><p>다만 워터마크 기법은 모든 상황에서 완벽하지 않다. 텍스트 품질 저하와 탐지 오류 가능성, 공격에 대한 취약성을 항상 고려해야 한다. 향후 연구는 워터마크 편향을 동적으로 조정하거나, 다양한 언어적 패턴에도 강건한 방법을 개발하는 방향으로 진행될 것이다. 그럼에도 불구하고 <strong>AI 신뢰성 확보</strong> 측면에서 워터마크는 유용한 장치임이 분명하며, 데이터 과학자와 개발자는 이를 분석하는 도구를 숙지함으로써 AI 시대의 새로운 컴플라이언스 요건에 대비해야 한다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9634c8ff3a76" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[텍스트 정규화 #33 — 자연어 처리 모델의 환각(hallucination) 현상]]></title>
            <link>https://medium.com/@praster1/%ED%85%8D%EC%8A%A4%ED%8A%B8-%EC%A0%95%EA%B7%9C%ED%99%94-32-%EC%9E%90%EC%97%B0%EC%96%B4-%EC%B2%98%EB%A6%AC-%EB%AA%A8%EB%8D%B8%EC%9D%98-%ED%99%98%EA%B0%81-%ED%98%84%EC%83%81-77f410f3418d?source=rss-2267dcfdebd3------2</link>
            <guid isPermaLink="false">https://medium.com/p/77f410f3418d</guid>
            <category><![CDATA[가짜정보]]></category>
            <category><![CDATA[허위정보]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[hallucinations]]></category>
            <category><![CDATA[환각현상]]></category>
            <dc:creator><![CDATA[Jaeseong Yoo]]></dc:creator>
            <pubDate>Sat, 31 May 2025 03:54:30 GMT</pubDate>
            <atom:updated>2025-05-31T03:57:16.012Z</atom:updated>
            <content:encoded><![CDATA[<h3>텍스트 정규화 #33 — 자연어 처리 모델의 환각(hallucination) 현상</h3><h3>1. 문제 상황 소개</h3><p>자연어 처리 모델이나 생성형 AI 챗봇이 <strong>존재하지 않는 논문, 판례, 웹 링크 등을 그럴듯하게 만들어내는 현상</strong>을 환각(hallucination)이라고 한다. 예를 들어 챗봇에게 판례나 참고 문헌을 물으면 실제로는 존재하지 않는 사례나 논문을 실제 있는 것처럼 인용하는 경우가 있는데, 이는 큰 문제를 일으킬 수 있다. 실제로 2023년 미국 뉴욕에서 변호사들이 ChatGPT의 조언대로 작성한 법원 서면에 허구의 판례 여섯 건이 인용되어 제재를 받은 사건도 있었다. <br>(참고문헌: <a href="https://www.reuters.com/legal/new-york-lawyers-sanctioned-using-fake-chatgpt-cases-legal-brief-2023-06-22/">https://www.reuters.com/legal/new-york-lawyers-sanctioned-using-fake-chatgpt-cases-legal-brief-2023-06-22/</a>)</p><p>학술 분야에서도 유사한 문제가 보고되었는데, 한 연구에서는 ChatGPT가 생성한 학술 인용의 최대 60%가 실재하지 않는 가짜 참고 문헌으로 드러났다.<br>(참고문헌: <a href="https://www.psypost.org/chatgpt-hallucinates-fake-but-plausible-scientific-citations-at-a-staggering-rate-study-finds/">https://www.psypost.org/chatgpt-hallucinates-fake-but-plausible-scientific-citations-at-a-staggering-rate-study-finds/</a>)</p><p>이처럼 모델이 자신 있게 제시한 “그럴듯해 보이지만 거짓인 정보”는 법률 문서 작성, 학술 논문 보조, 정보 제공용 챗봇 등 다양한 분야에서 <strong>치명적인 오류</strong>를 유발할 수 있다.</p><h3>2. 문제가 발생한 근본 원인 분석</h3><p>이러한 환각 현상이 발생하는 근본 원인을 정리하면 다음과 같다.</p><p><strong>(1) 언어 모델의 특성<br></strong>대형 언어 모델(LLM)은 방대한 텍스트 데이터로부터 <strong>언어 패턴을 학습</strong>하며 다음에 올 가장 그럴듯한 단어를 예측해 문장을 생성한다. 그러나 사실 여부나 정확성을 검증하지는 않는다. 다시 말해, LLM은 <strong>언어적인 그럴듯함</strong>을 기준으로 답을 만들지, 생성한 정보가 실제 <strong>존재하는지 확인하지는 못한다.</strong> 이러한 한계 때문에 모델은 실제로는 없는 논문 제목이나 판례 번호도 <strong>패턴에 맞게 지어내는</strong> 것이다.</p><p><strong>(2) 학습 데이터 한계<br></strong>모델이 훈련된 데이터에 <strong>없는 정보</strong>에 대해 질문을 받으면, 모델은 답을 모르더라도 <strong>질문에 응답하려는 경향</strong>이 있다. 사용자 질문에 답하지 못한다고 말하는 대신, 훈련된 언어 패턴을 활용해 <strong>그럴듯한 답변을 창작</strong>해낸다. 특히 “출처를 알려줘”와 같은 요청을 받으면, 실제 학술 인용 형식을 학습한 모델은 <strong>형식상 그럴싸한 임의의 참고 문헌</strong>을 만들어낼 수 있다.</p><p><strong>(3) 지식의 폐쇄성과 갱신 불가<br></strong>많은 언어 모델은 특정 시점까지의 데이터로 훈련되며, <strong>훈련 이후 새로 생긴 지식</strong>은 반영되지 않는다. 또한 모델은 외부 데이터베이스나 인터넷에 <strong>직접 접근할 수 없기 때문에</strong>, 입력에 주어진 정보 이외에는 사실 여부를 교차 확인할 방법이 없다. 이러한 환경에서 <strong>모델 단독으로는 출처의 유효성 검증을 할 수 없기 때문에</strong> 환각이 발생한다.</p><p><strong>(4) 사용자 지시 및 모델의 순응성<br></strong>사용자가 구체적인 출처나 인용을 요구할 때, 모델은 <strong>사용자 의도에 최대한 맞추려는</strong> 성능 최적화 특성상 <strong>존재하지 않더라도 그것을 채워 넣는</strong> 경우가 있다. 잘못된 정보라도 <strong>자신있게 전달</strong>하도록 훈련된 경우라면, 모델은 사실 확인 없이 잘못된 정보를 확신에 차서 알려줄 수 있다.</p><p>이러한 원인들로 인해 <strong>AI 모델의 환각 현상</strong>은 구조적으로 발생하기 쉽다. 따라서 이를 <strong>사전에 방지하거나 사후에 교정</strong>하기 위한 기술이 매우 중요하다.</p><h3>3. 해결 방법</h3><p>환각을 억제하려면 <strong>출력된 텍스트를 후처리</strong>해 잘못된 출처를 탐지·제거해야 한다. 절차는 다음과 같다.</p><ul><li>텍스트에서 논문·판례·URL 등 “출처 후보” 패턴을 탐지한다.</li><li>외부 데이터베이스(API)나 HTTP 요청으로 해당 출처의 존재 여부를 검증한다.</li><li>검증 결과가 실패한 출처를 제거하거나 플래그를 달아 사용자에게 경고한다.</li><li>검증 로그를 축적하여 모델 재학습 시 환각 패턴에 페널티를 부여한다.</li></ul><h4>3.1 SQL로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><p>SQL에서는 데이터 정규화 및 검증을 위해 <strong>조회 및 필터링 쿼리</strong>를 활용한다. 예를 들어, 잘못된 참고 문헌 데이터를 걸러내기 위해 <strong>패턴 매칭</strong>(예: LIKE 또는 정규표현식)을 사용하거나, <strong>교차 검증 테이블과의 JOIN</strong>을 통해 유효한 출처만 남기는 방법이 있다. 보통 <strong>SELECT 쿼리로 잠재적 오류 데이터를 식별</strong>한 다음, <strong>DELETE 또는 UPDATE 쿼리로 해당 레코드를 제거하거나 표시</strong>한다.</p><p>데이터베이스에 외부 API 결과를 직접 불러올 수는 없지만, 사전에 신뢰할 수 있는 정보(예: CrossRef에서 받은 유효 DOI 목록)를 임시 테이블로 저장해 두고 비교하는 방식으로 검증할 수 있다.</p><p><strong>(2) 구체적인 사례</strong></p><ul><li>가정: paper_references 테이블에 논문 URL이, verified_papers 테이블에 신뢰할 수 있는 URL 목록이 저장되어 있다.</li></ul><pre>-- ① 존재하지 않는 URL을 가진 레코드 조회<br>SELECT reference_id, reference_url<br>FROM paper_references<br>WHERE reference_url NOT IN (SELECT url FROM verified_papers);<br>-- 실행 결과(예시):<br>-- +-------------+-----------------------------------------+<br>-- | reference_id | reference_url                          |<br>-- +-------------+-----------------------------------------+<br>-- | 17          | https://fakejournal.org/vol1/issue2-5   |<br>-- | 42          | https://example.com/nonexistent-paper   |<br>-- +-------------+-----------------------------------------+<br><br>-- ② 잘못된 레코드 삭제<br>DELETE FROM paper_references<br>WHERE reference_url NOT IN (SELECT url FROM verified_papers);<br><br>-- ③ 검증 후 남은 레코드 수 확인<br>SELECT COUNT(*) AS remaining<br>FROM paper_references;<br>-- 실행 결과(예시):<br>-- +----------+<br>-- | remaining|<br>-- +----------+<br>-- | 198      |<br>-- +----------+</pre><h4>3.2 Python으로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><ul><li>re 모듈로 DOI·URL 등을 추출한다.</li><li>requests로 HTTP 요청, json으로 API 응답 파싱.</li><li>멀티스레딩이나 asyncio로 대량 링크를 병렬 처리할 수도 있다.</li></ul><p><strong>(2) 구체적인 사례</strong></p><ul><li>DOI 유효성 검증 및 제거</li></ul><pre>import re, requests<br><br>doi_pattern = re.compile(r&quot;10\.\d{4,9}/[\w.\-;()/:]+&quot;, re.I)<br>text = &quot;&quot;&quot;<br>참고문헌:<br>[1] Kim, J. (2024). Foo Research. doi:10.1234/abcd.1<br>[2] Lee, H. (2023). Bar Study. doi:10.9999/xxxx<br>&quot;&quot;&quot;<br><br># ① DOI 추출<br>extracted_dois = doi_pattern.findall(text)<br># 실행 결과(예시):<br># [&#39;10.1234/abcd.1&#39;, &#39;10.9999/xxxx&#39;]<br><br># ② DOI 검증 함수<br>def check_doi(doi: str) -&gt; bool:<br>    try:<br>        r = requests.get(f&quot;https://doi.org/{doi}&quot;, timeout=5)<br>        return r.status_code == 200<br>    except requests.RequestException:<br>        return False<br><br>valid_dois = [d for d in extracted_dois if check_doi(d)]<br># 실행 결과(예시):<br># [&#39;10.1234/abcd.1&#39;]<br><br># ③ 원문에서 잘못된 DOI 제거<br>for doi in extracted_dois:<br>    if doi not in valid_dois:<br>        text = text.replace(doi, &quot;[INVALID_DOI_REMOVED]&quot;)<br><br>print(text)<br># 실행 결과(예시):<br><br># 참고문헌:<br># [1] Kim, J. (2024). Foo Research. doi:10.1234/abcd.1<br># [2] Lee, H. (2023). Bar Study. doi:[INVALID_DOI_REMOVED]</pre><h4>3.3 R로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><ul><li>stringr::str_extract_all로 DOI·URL 추출.</li><li>httr::GET 또는 rcrossref::cr_works로 DOI 검증.</li><li>dplyr로 데이터 프레임 필터링.</li></ul><p><strong>(2) 구체적인 사례</strong></p><ul><li>CrossRef API 검증</li></ul><pre>library(rcrossref)<br>library(stringr)<br><br>text &lt;- &quot;Citation: 10.5678/efgh.2 and 10.9999/xxxx&quot;<br>dois &lt;- str_extract_all(text, &quot;10\\.\\d{4,9}/[A-Za-z0-9./]+&quot;)[[1]]<br># 실행 결과(예시):<br># c(&quot;10.5678/efgh.2&quot;, &quot;10.9999/xxxx&quot;)<br><br>valid &lt;- c()<br>for (d in dois) {<br>  res &lt;- tryCatch(cr_works(dois = d), error = function(e) NULL)<br>  if (!is.null(res$data)) valid &lt;- c(valid, d)<br>}<br># 실행 결과(예시):<br># c(&quot;10.5678/efgh.2&quot;)<br><br># 잘못된 DOI 치환<br>txt_clean &lt;- text<br>for (d in setdiff(dois, valid)) txt_clean &lt;- sub(d, &quot;[INVALID]&quot;, txt_clean)<br>print(txt_clean)<br># 실행 결과(예시):<br># &quot;Citation: 10.5678/efgh.2 and [INVALID]&quot;</pre><h4>3.4 Julia로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><ul><li>Regex 객체로 패턴 탐지.</li><li>HTTP.jl로 GET/HEAD 요청.</li><li>Threads.@threads로 병렬 수행 가능.</li></ul><p><strong>(2) 구체적인 사례</strong></p><ul><li>판례 URL 확인</li></ul><pre>using HTTP<br>urls = [<br>  &quot;https://law.go.kr/precInfoP.do?caseId=20201234&quot;,  # 실제 존재한다고 가정<br>  &quot;https://example.com/case123&quot;                       # 가짜 URL<br>]<br>for u in urls<br>    try<br>        r = HTTP.request(&quot;HEAD&quot;, u; connect_timeout=5)<br>        if r.status != 200<br>            println(&quot;잘못된 판례 URL: &quot; * u)<br>        else<br>            println(&quot;유효한 판례 URL: &quot; * u)<br>        end<br>    catch<br>        println(&quot;요청 실패: &quot; * u)<br>    end<br>end<br># 실행 결과(예시):<br># 유효한 판례 URL: https://law.go.kr/precInfoP.do?caseId=20201234<br># 잘못된 판례 URL: https://example.com/case123</pre><h4>3.5 Go로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><ul><li>regexp 패키지로 패턴 매칭.</li><li>net/http로 HEAD 요청.</li><li>goroutine과 sync.WaitGroup으로 병렬 검증.</li></ul><p><strong>(2) 구체적인 사례</strong></p><ul><li>웹페이지 존재 여부 필터링</li></ul><pre>package main<br>import (<br>    &quot;fmt&quot;<br>    &quot;net/http&quot;<br>    &quot;time&quot;<br>)<br>func main() {<br>    urls := []string{<br>        &quot;http://example.com/existing&quot;,         // 유효하다고 가정<br>        &quot;http://nonexistent.example.com&quot;,      // 무효<br>    }<br>    client := http.Client{Timeout: 5 * time.Second}<br>    for _, u := range urls {<br>        resp, err := client.Head(u)<br>        if err != nil || resp.StatusCode != http.StatusOK {<br>            fmt.Println(&quot;무효 URL:&quot;, u)<br>        } else {<br>            fmt.Println(&quot;정상 URL:&quot;, u)<br>        }<br>    }<br>}<br>/*<br>실행 결과(예시):<br><br>정상 URL: http://example.com/existing<br>무효 URL: http://nonexistent.example.com<br>*/</pre><h4>3.6 C로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><ul><li>regex.h로 형식 검사.</li><li>libcurl로 HEAD 요청 후 CURLINFO_RESPONSE_CODE 확인.</li></ul><p><strong>(2) 구체적인 사례</strong></p><ul><li>URL 포맷 검사 및 응답 상태 확인</li></ul><pre>#include &lt;stdio.h&gt;<br>#include &lt;regex.h&gt;<br>#include &lt;curl/curl.h&gt;<br><br>int main() {<br>    const char *url = &quot;http://nonexistent.example.com/resource&quot;;<br>    regex_t re;<br>    if (regcomp(&amp;re, &quot;^(http|https)://&quot;, REG_EXTENDED) != 0) return 1;<br>    if (regexec(&amp;re, url, 0, NULL, 0) != 0) {<br>        puts(&quot;URL 형식 오류&quot;);<br>        return 0;<br>    }<br>    CURL *curl = curl_easy_init();<br>    long code = 0;<br>    if (curl) {<br>        curl_easy_setopt(curl, CURLOPT_URL, url);<br>        curl_easy_setopt(curl, CURLOPT_NOBODY, 1L);<br>        if (curl_easy_perform(curl) == CURLE_OK) {<br>            curl_easy_getinfo(curl, CURLINFO_RESPONSE_CODE, &amp;code);<br>        }<br>        curl_easy_cleanup(curl);<br>    }<br>    if (code != 200) puts(&quot;응답 비정상&quot;); else puts(&quot;응답 정상&quot;);<br>    regfree(&amp;re);<br>    return 0;<br>}<br>/* <br>실행 결과(예시):<br><br>응답 비정상<br>*/</pre><h4>3.7 C++로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><ul><li>std::regex로 DOI·URL 탐지.</li><li>cpprestsdk나 Boost.Beast로 HTTP 요청.</li><li>JSON 파싱 시 nlohmann/json 같은 라이브러리 활용.</li></ul><p><strong>(2) 구체적인 사례</strong></p><ul><li>OpenCitations 인용 검증</li></ul><pre>#include &lt;iostream&gt;<br>#include &lt;cpprest/http_client.h&gt;<br>using namespace web::http;<br>using namespace web::http::client;<br>int main() {<br>    std::string doi = &quot;10.1234/abcd&quot;;<br>    http_client cli(U(&quot;https://opencitations.net/index/coci/api/v1/metadata/&quot;));<br>    uri_builder builder(U(doi));<br>    try {<br>        auto res = cli.request(methods::GET, builder.to_string()).get();<br>        if (res.status_code() == 404) {<br>            std::cout &lt;&lt; &quot;가짜 DOI 발견: &quot; &lt;&lt; doi &lt;&lt; std::endl;<br>        } else {<br>            std::cout &lt;&lt; &quot;유효 DOI: &quot; &lt;&lt; doi &lt;&lt; std::endl;<br>        }<br>    } catch (const std::exception &amp;e) {<br>        std::cerr &lt;&lt; &quot;요청 오류: &quot; &lt;&lt; e.what() &lt;&lt; std::endl;<br>    }<br>    return 0;<br>}<br>/*<br>실행 결과(예시):<br><br>가짜 DOI 발견: 10.1234/abcd<br>*/</pre><h4>3.8 Java로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><ul><li>Pattern, Matcher로 패턴 탐지.</li><li>HttpURLConnection으로 HEAD 요청.</li><li>예외 처리로 네트워크 오류 핸들링.</li></ul><p><strong>(2) 구체적인 사례</strong></p><ul><li>URLConnection으로 링크 유효성 검증</li></ul><pre>import java.net.HttpURLConnection;<br>import java.net.URL;<br>public class RefCheck {<br>  public static void main(String[] args) {<br>    String link = &quot;http://nonexistent.example.com/test&quot;;<br>    try {<br>      HttpURLConnection conn = (HttpURLConnection) new URL(link).openConnection();<br>      conn.setRequestMethod(&quot;HEAD&quot;);<br>      conn.setConnectTimeout(5000);<br>      int code = conn.getResponseCode();<br>      if (code != 200) System.out.println(&quot;무효 링크: &quot; + link);<br>      else System.out.println(&quot;정상 링크: &quot; + link);<br>    } catch (Exception e) {<br>      System.err.println(&quot;예외: &quot; + e.getMessage());<br>    }<br>  }<br>}<br>// 실행 결과(예시):<br>// 무효 링크: http://nonexistent.example.com/test</pre><h4>3.9 JavaScript로 해결한 사례</h4><p><strong>(1) 일반적인 문법</strong></p><ul><li>정규표현식 리터럴로 DOI·URL 탐지.</li><li>fetch API로 HEAD 요청.</li><li>async/await로 비동기 흐름 구성.</li></ul><p><strong>(2) 구체적인 사례</strong></p><ul><li>fetch API로 URL 유효성 확인 후 제거</li></ul><pre>const urls = [<br>  &quot;https://example.com/validResource&quot;,   // 정상 가정<br>  &quot;https://nonexistent.example.com/bad&quot;  // 오류 가정<br>];<br>async function check(list) {<br>  for (const u of list) {<br>    try {<br>      const res = await fetch(u, { method: &quot;HEAD&quot; });<br>      if (!res.ok) console.log(&quot;제거할 URL:&quot;, u);<br>      else console.log(&quot;정상 URL:&quot;, u);<br>    } catch (_e) {<br>      console.log(&quot;요청 실패:&quot;, u);<br>    }<br>  }<br>}<br>check(urls);<br>/* <br>실행 결과(예시):<br><br>정상 URL: https://example.com/validResource<br>제거할 URL: https://nonexistent.example.com/bad<br>*/</pre><h3>4. 문제 해결의 중요성</h3><p>AI 모델의 환각 현상을 방치한다면 사용자에게 <strong>심각한 오해와 피해</strong>를 줄 수 있다. 잘못된 판례나 논문을 사실로 받아들일 경우 <strong>법률적 판단 착오</strong>나 <strong>학술 연구의 오류</strong>로 이어질 수 있고, 잘못된 의료 정보라면 <strong>환자의 생명</strong>까지 위협할 수 있다. 따라서 환각 문제를 해결하는 것은 <strong>AI 신뢰성 확보</strong>의 핵심 과제이다. 특히 환각된 정보를 그대로 활용했다가 법적, 사회적 책임을 지는 상황도 발생할 수 있다. AI 도구를 전문 분야에 사용할 때는 <strong>출처 검증을 통한 책임 있는 사용</strong>이 중요하며, 이를 시스템적으로 지원하는 것이 데이터 과학자와 개발자의 임무다. 환각 문제를 해결하면 궁극적으로 사용자가 AI를 <strong>안심하고 활용</strong>할 수 있게 되어, AI에 대한 신뢰와 활용도가 높아질 것이다.</p><h3>5. 한계점</h3><p>환각 검증 방법에도 몇 가지 <strong>한계점</strong>이 있다.</p><p><strong>(1) 모든 출처를 일일이 검증하는 과정은 시간과 비용이 많이 들 수 있다.</strong><br>수백 개의 참고 문헌이나 링크가 있는 문서를 매번 API 호출로 검증하면 시스템 응답 속도가 느려질 수 있고, API 제공자의 사용량 제한에 걸릴 우려도 있다.</p><p><strong>(2) 검증의 완벽성에도 한계가 있다.</strong><br>예를 들어 실제 존재하는 논문이지만 온라인에 메타데이터가 공개되지 않아 검증 API에서 찾지 못하는 경우도 있다. 또는 모델이 환각으로 만들어낸 정보가 너무 그럴듯해서 현행 검증 규칙으로는 거르지 못하는 사례도 있을 수 있다.</p><p><strong>(3) 새로운 환각 유형이 등장할 수 있다.<br></strong>지금은 주로 참고 문헌, 링크 형태의 환각이 문제되지만, 앞으로는 모델이 숫자 데이터나 통계치 등을 그럴싸하게 지어내는 경우도 늘어날 수 있다. 이러한 <strong>다양한 형태의 환각</strong>에 일일이 대비하는 것은 상당히 어렵다.</p><p><strong>(4) 근본적으로 언어 모델이 이러한 환각을 일으키는 한, 사후 검증은 땜질식 처방에 불과할 수도 있다.</strong><br>모델이 출력하는 모든 내용을 검증하는 것은 현실적으로 불가능하기 때문에, 중요한 부분에 우선순위를 두는 등 <strong>현실적인 타협</strong>이 필요하다.</p><h3>6. 결론</h3><p>자연어 처리 시스템의 환각 현상은 현재 AI 활용에 있어서 반드시 해결해야 할 과제로 대두되고 있다. 원인은 모델의 작동 원리에 기인한 것이지만, 그 영향을 완화하기 위해서는 본 글에서 논의한 것처럼 <strong>다양한 차원의 노력</strong>이 필요하다.</p><p>궁극적으로 중요한 것은 AI 모델의 출력에 대해 <strong>비판적인 검증 습관</strong>을 가지는 것이다. 완벽한 AI라 해도 인간 전문가의 검토를 대체할 수는 없듯이, 특히 AI가 제시하는 출처나 정보는 항상 한 번 더 확인하는 자세가 필요하다. 환각 현상을 줄이는 기술은 날로 발전하고 있으며, 장기적으로는 모델 자체의 개선(예: 사실 검증 능력 강화)과 <strong>후처리 시스템의 정교화</strong>를 통해 신뢰할 수 있는 AI 비서가 현실화될 것이다. 데이터 과학자와 개발자는 이 과정을 선도하여, AI를 통한 생산성이 <strong>허위 정보의 위험을 상쇄하고도 남을 만큼</strong> 향상될 수 있도록 노력해야 할 것이다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=77f410f3418d" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>