很久没本地调试，今天忽然心血来潮想本地跑一下大模型。首选肯定是方便调试的llama-server，但是发现奇怪现象普通聊天就行，一到tooling call任务就失败。折腾了差不多一天，把模型换了一圈，不行，把参数都调了一遍，不行。最后几乎绝望的时候，试了一个简短的参数集忽然过了。
于是一个个的参数对照着调，花了几个小时，把所有的参数都调了一遍，最后只有--verbose开关没有对比了，看说明它只是打开了日志。就日志而已！程序员的直觉它是平民。
但是把它去掉后惊奇的一幕出现了，tooling call调通了。OMG.....
千想万想没想到打开日志开关会导致模型失败，我说怎么换模型也不行，升级降级也不行，调各种性能参数也不行。
没想到是日志这个杀手😱
扫一扫
06-17
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
