Jaeseong Yoo·Aug 9, 2025텍스트 정규화 #42–연속 동의어 폭격SEO·생성콘텐츠에서 같은 의미 단어를 줄줄이 나열하는 ‘연속 동의어 폭격’을 탐지·감점·정규화하는 가이드
Jaeseong Yoo·Jul 14, 2025텍스트 정규화 #41 — 고의적 왜곡/문자 뒤섞기 (욕설 우회)사용자들이 욕설 필터를 우회하기 위해 초성·숫자·특수문자로 문자를 왜곡·뒤섞는 문제를, 유니코드 정규화·초성→완성형 변환·정규표현식 패턴 탐지 등으로 일관되게 탐지·정규화하는 가이드
Jaeseong Yoo·Jun 28, 2025텍스트 정규화 #40 — 수학 알파벳/서체 기호수학 알파벳·서체 기호의 이질적 유니코드 차이를 NFKC 정규화·사용자 정의 매핑·추가 매핑으로 기본 라틴 문자 및 표준 기호로 일관되게 정규화하는 가이드
Jaeseong Yoo·Jun 14, 2025텍스트 정규화 #39 — 키맵 오입력다국어 환경에서 키보드 입력기 설정 차이로 발생하는 오입력을 언어 감지와 전음표기법 매핑으로 자동으로 교정·정규화하는 가이드
Jaeseong Yoo·Jun 7, 2025텍스트 정규화 #38 — OCR 오류OCR 과정에서 발생하는 숫자·문자 혼동, 왜곡된 이미지·맥락 부재 등 인식 오류를 퍼지 매칭·레벤슈타인 거리·사전 검증·NLP 기반 맥락 검증 기법으로 일관되게 후처리·정규화하는 가이드
Jaeseong Yoo·Jun 6, 2025텍스트 정규화 #37 — 퍼스널라이즈 오버슛AI 시스템의 과도한 개인화로 사용자 PII가 무단 노출되는 문제를 다루며, PII를 탐지·마스킹하는 가이드
Jaeseong Yoo·Jun 6, 2025텍스트 정규화 #36 — 동형이의어동일 철자의 단어가 문맥에 따라 완전히 다른 의미로 쓰이는 동형이의어를 패턴 기반 분류와 WSD 기법으로 일관되게 중의성 해소하는 가이드A response icon1A response icon1
Jaeseong Yoo·May 31, 2025텍스트 정규화 #34 — 워터마크 토큰 시그니처AI 생성 텍스트에 숨겨진 통계적 워터마크(‘green/red 토큰’ 패턴)를 탐지하여 AI 작성 여부를 판별하는 가이드
Jaeseong Yoo·May 31, 2025텍스트 정규화 #33 — 자연어 처리 모델의 환각(hallucination) 현상자연어 처리 모델·생성형 AI가 존재하지 않는 논문·판례 등을 그럴듯하게 만들어내는 ‘환각(hallucination)’ 현상을 분석하고, 출처 패턴 탐지→검증→잘못된 정제거·표시하는 후처리 절차를 제시하는 가이드