（杂文）参加WAIC 2024 所思所感

受华为广办的邀请，在领导要求下， 我还是在这个炎热的暑假通过一个接近凌晨两点落地的飞机连夜从北京来到了上海，去“睁眼看世界”。

区别于纯学术会议和CCF类的会议，WAIC 更加的平易近人，有更多的工业界同行，有更多的产品宣传。

自2018年起，来到了第7届，我是第一次来到现场。 第一场论坛，去了昇腾的论坛，第一场演进就有幸听到了郑院士的演讲 《人工智能大模型的计算系统》。 郑老师的演讲 从 大模型生命周期的算力需求展开，以鹏城实验室的算力中心搭建为例，娓娓道来，提出了设计大模型计算机系统需要考虑的五个问题以及国产AI计算系统需要做好的10件事情：
1）多种精度运算性能的平衡。 是啊，我们在标准的FP16算力可观，FP64呢，混合精度，BF16，FP8 和英伟达还有多大的距离呢？
2） 网络平衡设计
3）内存平衡设计
4）IO子系统平衡设计
国产的芯片在追赶国外，但是配套的软件生态，差距可能并不比硬件差。我经历的每一个国产芯片厂家，哪怕是兼容CUDA生态已经非常好的芯片，对于新模型，也需要至少1-2周的调优，而这个调优又通常又没有构成一个良好的开源生态，使得难以快速适应全球大模型本身的高速演进。
5）国产AI计算系统需要做好的事情：
a) 编程框架
b）并行加速
c) 通信库
d) 算子库
e) AI 编译器
f) 编程语言
g) 调度器
h) 内存分配系统
i) 容错系统
j) 存储系统

从系统工程角度去看待大模型的全生命周期，是郑老的核心观点。大模型远远不是发布一个垂类的llama微调模型，而是一套完整的系统。 上述的各个环节，其实国内和美国头部都有差异，这个差异最大的体现是创新和生态上。 以编程框架为例，适配昇腾910的时候我们一度因为NLP算子的成熟度问题，用mindspore重构了我们在之前用tensorflow和pytorch下写的CNN、RNN和PLM的一些模型算法。可是当适配昇腾进行中，它们逐步自己就对pytorch生态兼容了起来，然后喜闻乐见，大家愉快的拥抱了pytorch，迅速对接了学术圈和开源社区的成果。 这也引起了我的思考，国内的开源到底生命力在哪？ 激烈的商业竞争，价格战作为底牌的惨烈厮杀，对于开源，对于行业，对于生态，主流厂商的心态到底如何。以为铸就了技术护城河，开源社区国内贡献最好的阿里，被拼多多用商业模式而不是创新技术反超的现象还在不断发生，那么企业创新就永远落在商业策略之后不止一个身位。 更遑论小厂，不管怎么重视研发，市场 或者 售前从客户那一个随机的想法，就可以让研发头破血流的投入。 专注技术的论证可能连声音都发不出，就被具备市场思维的大领导以没有市场观念给毙掉。 各种企业有各种企业的挣扎求生，KPI 或者 OKI 束缚我们的创新和 美团束缚快递小哥其实也没有本质的区别。

希望这次大模型的发展，我们的创新公司，靠着技术的先进性，而不是拼补贴不是拼政策的赢一次。想想都热血沸腾。

讲座之后，我们和昇腾产品线有一个闭门会议，略过内容不谈，双方对对于大规模推理的性价比思考，达成了共识

因为临时决定参加，大部分论坛没法参加，特别遗憾的因果科学的论坛。我看到受邀嘉宾，大神云集，很想去听听Pearl 和 Rubin的演讲，毕竟今年在EMNLP也投了这方面的paper，去沾沾神运

大会的最后一天，我独自去看了展区。整个WAIC的主基调产品也是大模型，基本上各行各业都在讲一个和大模型的故事。从工业界的施耐德电气到金融的蚂蚁、中信到娱乐的B站，算力从云上到国产芯片，琳琅满目。 我的感觉就两点，一 AI时代确实来了，即时人工智能再一次陷入周期性低潮，也改变不了这些技术已经走入生活，而不是像之前一样停留在paper和实验室中。 二，这个时代才开始。 大家同质化而且稚嫩，像极互联网起家时候，门户网站称王的时代，商业模式简单粗暴，满口都是赋能和考虑用户价值，但实际考虑投入产出比，就卖铲子和卖培训的在赚钱。 哪怕是具身智能，也没法让我兴奋。反倒是一个做XR的产品的现场体验，让我动了去京东购买的念头，尽管它的功能也就是个灵活的投影仪。 比较可惜的是我好不容易看到个web3的，发现展厅的人吃饭去了，场地规模也小，也是币圈链圈口碑不佳。 但是没有看到A/V/XR 以及web3和大模型的精彩结合的产品，让我有点失望，也对未来有一些期待。

露天有个站台，我听了 合合的多模态抽取以及RAG方案，金山的WPSAI，百度的文心编程。但最让我喜欢的其实是rwkv的坚持，这也许就是科研创新最原始的魅力吧。