Shajia Siddiqa·Jul 17Rotary Positional Embeddings (RoPE): The Mathematical Trick Behind Modern LLMsHow models like LLaMA, Mistral, Gemma, and Qwen understand the order of words without learning positional embeddings.
Ahtesham Ul Haq·Jul 11Positional Encodings in LLMs. The full story (from integer counting to RoPE)I am writing this article b/c positional encoding is one of those topics which looks very scary if you directly open the “Attention is All…
YouShin kim·Apr 16[arXiv] — TriAttention: Efficient Long Reasoning with Trigonometric KV Compression본 보고서는 대규모 언어 모델(LLM)의 긴 문맥 추론 과정에서 발생하는 KV 캐시(Key-Value Cache) 메모리 병목 현상을 해결하기 위해 제안된 TriAttention 방법론에 대한 기술적 분석을 담고 있습니다. 해당 연구는 기존의 사후…
YouShin kim·Apr 14[arXiv] — TriAttention: Efficient Long Reasoning with Trigonometric KV Compression본 보고서는 대규모 언어 모델(LLM)의 긴 문맥 추론 과정에서 발생하는 KV 캐시(Key-Value Cache) 메모리 병목 현상을 해결하기 위해 제안된 TriAttention 방법론에 대한 기술적 분석을 담고 있습니다. 해당 연구는 기존의 사후…
Mustafa Genc·Mar 20Transformers & LLMs — Part 13: KV Cache, PagedAttention, and MLAThe Engineering Behind Fast LLM Inference
