��ҳ > AI> ����

DeepSeek ��Դ��һǹ��FlashMLA �� H800 ���������AGI ʱ������

蚷� �༭��½���� �����ڣ�2025-02-24 11:04 PConlineԭ��

���� AI ��ͷ DeepSeek ��Դ�����ڿ�ʼ�ˣ����췢�����ذ���Ŀ FlashMLA ��һ�ε�ȼ�� AI ����Ȧ��

����һ��רΪӢΰ�� Hopper �ܹ� GPU �Ż��ĸ�Ч�����ںˣ�������H800 GPU�����������¸߶ȣ�����˵�Ǵ�ģ����������ĸ����Լ������ˡ�

����������H800 GPU �����ɣ�

FlashMLA רע���Ż�������ģ�ͣ�LLM���Ľ�����̣�ͨ���ع��ڴ���ʺͼ������̣����������䳤���д�����Ч�ʡ���������Դ��ҵ��֪����FlashAttention 2&3��cutlass��Ŀ�����ڷֿ���Ⱥ��ڴ������ʵ���˽�һ��ͻ�ơ�  

ͬʱ����������������ɱ��ﵣ�

1.��ҳKV���棨���С64��

����ҳʽ�ڴ�����������Դ���Ƭ����ʹ�ڴ������H800������� 3000 GB/s�������ʺϸ߲�������������  

2.BF16����֧��

�ڼ����ܼ��������м�˾������ٶȣ����������ﵽ 580 TFLOPS����ȴ�ͳ��������30%���ϡ�  

ds

DeepSeek �ٷ���ʾ��FlashMLA ��Ͷ��ʵ������������֧�ִ���������˵����ı����ɵ�ʵʱ����Ϊ AI Ӧ�õ���ҵ������ṩ���伴�õĽ��������  

��Դʱ�����Ӽ�������̬��ȫ�沼��

�����������Կ������Ѷ� DeepSeek ���ܿ�Դ�ƻ��IJ²⣺������᲻���� AGI��������һ�Ʋ�ı�������Ҳ���Կ��� DeepSeek ��ͼ����һ��“ģ��>������>��Ӳ��”��λһ�����̬Ұ�ġ�

ds5

�ÿ�Դ���ż����������߲������֣�ͨ������������֤�����������ƶ���׼�����������ܳ�Ϊδ�� AI ������ͨ�÷�ʽ��

�����Ϳ�����ռ AGI �Ȼ���һ����������Ŀ�Դ��Ŀ��Ƹ��ײ��ѵ����ܻ��߶�ģ̬������DeepSeek ���п�����ͨ���˹���������ռ�ݻ���Ȩ��

�Ⲣ�����ſڿ��ӣ��������죬ƻ���������� Google Gemini ����������ÿ�� AI ��˾��ϣ����Ϊδ���� AI ������

ds2

AI�����ļ�����δ��ͷ

FlashMLA �ķ���������һ�μ���ͻ�ƣ�Ҳ��ʾ�� AI ��ҵ���������ơ�

��������Ӳ��Эͬ�Ż���FlashMLA ����� H800 �ĸ�Ч�����ںˣ���“�ع�”оƬ���˸�ǿ���֣��ͷ��˸�������DZ�ܡ�

����ǿ�Դ�����˿�Դ����Ӱ���������������ҵ������˽�л����𡢶����Ż���ʵ��ӯ������Ȼ��һ�����ڿ��⡣

ds3

DeepSeek��Դ�ܵĵ�һǹ�Ѵ��죬FlashMLA ����������֤���˹��� AI ������Ӳʵ������������Ŀ�����Ŵ��У�AGI���й������򽫼��ٵ����� 

GitHub��ַ��https://github.com/deepseek-ai/FlashMLA  
蚷�

��������

�۳�ֵ•��ѡ

����>
�Ƽ� �ֻ� �ʼDZ� Ӱ�� Ӳ�� �Ҿ� ���� ��ҵ ���� δ��
��ά�� �ص�����