加载模型出现-RuntimeError: Error(s) in loading state_dict for Net:unexpected key(s) in state_dict: XXX

原创已于 2023-01-25 17:46:29 修改 · 7.9k 阅读

13 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#pytorch #深度学习

于 2022-05-04 09:00:00 首次发布

深度学习报错调试合集专栏收录该内容

11 篇文章

订阅专栏

在尝试加载预训练的PyTorch模型时遇到RuntimeError，错误指出state_dict中存在意外的键。问题源于训练模型时的环境与加载环境不一致。解决方法是使用`model.load_state_dict(torch.load('path'), strict=False)`，通过设置`strict=False`忽略不匹配的键，成功加载模型参数。

Qwen3-32B-Chat 私有部署镜像 | RTX4090D 24G 显存 CUDA12.4 优化版

Qwen

文本生成

Qwen3

本镜像基于 RTX 4090D 24GB 显存 + CUDA 12.4 + 驱动 550.90.07 深度优化，内置完整运行环境与 Qwen3-32B 模型依赖，开箱即用。

加载模型时发生错误RuntimeError: Error(s) in loading state_dict for Net:unexpected key(s) in state_dict: XXX
在这里插入图片描述

Traceback (most recent call last):
  File "demo.py", line 380, in <module>
    model.load_state_dict(torch.load('./0428.pth'))
  File "/root/miniconda3/lib/python3.8/site-packages/torch/nn/modules/module.py", line 1482, in load_state_dict
    raise RuntimeError('Error(s) in loading state_dict for {}:\n\t{}'.format(
RuntimeError: Error(s) in loading state_dict for ViT:
        Unexpected key(s) in state_dict: "transformer.skipcat.3.weight", "transformer.skipcat.3.bias", "transformer.skipcat.4.weight", "transformer.skipcat.4.bias".

原因：

加载使用模型时和训练模型时的环境不一致.

解决方法：

将load_state_dict(state_dict) 改成 model.load_state_dict(state_dict, False)

model.load_state_dict(torch.load('models/params.pt'),strict=False)

问题解决~

您可能感兴趣的与本文相关的镜像