可学习提示驱动的遥感图像小样本分割：从基础类别到新类别的无缝迁移

1. 遥感图像分割的“小样本”难题：为什么传统方法会“遗忘”？

大家好，我是老张，在AI和遥感图像分析这个行当里摸爬滚打了十来年。今天想和大家聊聊一个特别实际，也特别让人头疼的问题：怎么让一个已经学会识别“农田”、“建筑”的AI模型，在只看到几张新类别（比如“光伏板”、“温室大棚”）的图片后，就能准确地把它们从图像里圈出来，而且还不忘掉之前学过的老本事？

这其实就是小样本语义分割在遥感领域的核心挑战。想象一下，你训练了一个非常聪明的模型，它能精准地从卫星图上分割出河流、森林和城市。现在，突然来了一个新任务，需要识别一种新型的农业大棚，但手头只有三五张带标注的样本图。最直接的想法是，拿这几张新图，在原来的模型上接着训练一下（也就是微调）。但实测下来，这往往是个“坑”：模型确实很快学会了识别新大棚，可你再拿一张有河流和森林的图给它，它可能就认不出来了，或者把森林也认成了大棚。这种现象在学术界被称为“灾难性遗忘”或“基础类别遗忘”。

为什么会出现这种“学了新的，忘了旧的”的情况呢？根本原因在于模型的“记忆”方式。传统的深度学习模型，其参数就像一个紧密交织的网络，学习新知识意味着调整整个网络的连接权重。当你用极少量的新数据去调整它时，网络会剧烈地偏向这些新特征，导致为旧知识编码的权重被覆盖或扭曲。这就好比让你用只言片语去修改一篇已经写好的长文章，结果很可能是新内容没加好，还把原来的文章结构搞得一团糟。

在遥感场景下，这个问题尤其突出。遥感图像覆盖范围广、地物种类繁杂、同类地物在不同季节、不同传感器下的外观差异巨大。我们不可能为每一种可能出现的物体（比如突发灾害后的损毁建筑、新规划的特殊园区）都准备成千上万的标注数据。因此，发展一种能够快速、低成本地适应新类别，同时稳固保持原有识别能力的技术，就成了推动遥感AI落地的关键。这也是为什么像CVPR这样的顶级计算机视觉会议，会专门设立研讨会（CVPRW）来探讨这个方向。接下来，我就结合最新的研究思路和我的实战经验，带你看看如何用“可学习提示”这把钥匙，来解开小样本分割的这把锁。

2. 可学习提示：给模型一个“万能插件”接口

要解决“灾难性遗忘”，核心思路是避免直接“动刀”修改模型的主干网络。这就引出了我们今天的“主角”：可学习提示。这个概念听起来有点玄，其实我们可以用一个非常生活化的类比来理解。

你可以把训练好的基础模型（比如我们后面会详细说的SegGPT）想象成一个功能强大、但接口固定的“智能图像处理主机”。它已经内置了理解图像、分割常见地物的能力。传统的微调相当于为了接一个新设备（新类别），去拆开机箱，重新焊接主板上的电路，风险高且容易搞坏原有功能。而“可学习提示”则像是为这个主机开发了一系列专用的“外接插件”。每个插件（对应一个可学习提示）都是为特定新设备量身定制的，插上就能用，不插的时候主机完全不受影响，原有功能一切正常。

在技术实现上，提示最初在自然语言处理（NLP）的GPT系列模型中大放异彩，通过给模型输入一些特定的文字线索，就能引导它完成不同的任务。迁移到视觉领域，提示可以是