微调 Gemma 4 识别腾讯天御全系列验证码【解决方案-一个模型识别滑块|文字点选|图标点选|空间点选】

原创已于 2026-05-13 19:55:18 修改 · 3.7k 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

标签

#验证码识别 #人工智能 #AI 大模型 #爬虫 #python

收录于

于 2026-05-13 19:50:21 首次发布

教程

只要数据集多，就能微调出效果不错的多模态大模型。

这里使用unsloth工具，微调 Gemma4，官方教程地址：https://unsloth.ai/docs/zh/mo-xing/gemma-4/train

这里主要说数据集的组成格式：
流程：图片 + 指令 → 多模态模型 → 直接输出 JSON

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "image",
          "image": "captcha_001.png"
        },
        {
          "type": "text",
          "text": "请识别该验证码任务，并输出需要点击的矩形框位置。"
        }
      ]
    },
    {
      "role": "assistant",
      "content": [
        {
          "type": "text",
          "text": "{\"task\":\"text_click\",\"targets\":[{\"text\":\"春\",\"click_rect_point\":[56,84,126,178],\"order\":1}]}"
        }
      ]
    }
  ]
}