Anthropic探讨AI自进化，四位科学家智源大会共商人类与AI共生之道

01 什么是AI自进化？

大概一周前，正在筹备上市的Anthropic在官方博客更新文章探讨“AI自进化”，指出AI参与构建更强模型比预想更快。AI自进化并非新技术，科学家既恐惧又利用其能力。田渊栋创立的RSI获6.5亿美元融资。在智源大会上，四位科学家探讨相关问题。林涛认为自进化是多层级的，谷雨指出RSI有Proactiveness和Learning两个维度，王琰表示系统减少对人类依赖即实现自进化，杨梦月强调RSI不仅能力强化，“进化能力”也要变强。王琰认为基模训练领域最先成熟，改Prompt可提升基模能力。林涛觉得做harness最容易，谷雨用统一视角看harness和skill，杨梦月关注记忆层面进化。

02 AI先在哪个环节自进化？

谷雨认为自进化时机可理解为Learning + Long - Term Memory，目前需新学习算法。谷雨指出系统1和系统2有区别。王琰认为模型要学会更新token梯度。林涛表示模型训练可形成闭环进化。杨梦月认为自进化时刻发生且延伸到各环节。关于Benchmark，杨梦月认为需要动态评测，王琰不确定能否用Benchmark评测，谷雨认为Benchmark仍能指引前进，且自进化评测更看重趋势。林涛认为模型和Benchmark应协同进化。

03 AI会不会失控？

王琰悲观认为几年后人类可能只能在无网络处生存，林涛认为需半自动化Benchmark约束AI，杨梦月强调AI内部要可见。杨梦月表示传统因果论不适用于大模型时代，谷雨提出可靠性和可验证性维度。林涛用AI替代工作流提升效率，杨梦月指出学生使用AI工具需能驾驭，杨梦月认为AI会使人分流，王琰发现实习生依赖AI导致认知提升慢，谷雨认为AI与人有两种关系。

04 RSI是新范式吗？

林涛认为AI自进化是自然发展，无核心差异。王琰觉得是下一阶段，未来每人可能有LoRA。谷雨认为是量变引起质变，杨梦月认为self improving不是新概念。林涛认为未来5年内随身AI设备会改变一切，谷雨希望Agent取代自己，王琰担心资本家取代更多人，杨梦月希望AI给人留思考空间。