2025_NIPS_BIOT: Biosignal Transformer for Cross-data Learning in the Wild

文章总结与翻译

一、主要内容

本文针对生物信号（如脑电图EEG、心电图ECG）存在的通道不匹配、样本长度可变、缺失值普遍等问题，提出了一种灵活的生物信号编码器架构——生物信号Transformer（BIOT），实现跨数据集、跨格式的生物信号学习。

1. 核心挑战：现有深度学习模型（CNN、RNN、Transformer）多针对特定数据集和临床场景设计，难以适配不同格式的生物信号，且数据预处理（截断、填充、补全缺失值）易引入噪声和分布偏移。
2. BIOT模型结构：
   • 生物信号分词模块：通过重采样、归一化、分词（按通道分割为固定长度片段并支持重叠）、扁平化，将不同格式的生物信号转换为统一“句子”结构；结合段嵌入（FFT提取频率特征）、通道嵌入（空间信息）和相对位置嵌入（时间信息）保留时空特征。
   • 线性Transformer模块：采用线性注意力机制，降低传统Transformer的二次复杂度，适配长“句子”输入。
3. 应用场景：支持标准监督学习、含缺失值的监督学习、无监督预训练、跨任务监督预训练四种场景。
4. 实验验证：在9个生物信号数据集（EEG、ECG、人体活动传感数据）上验证，BIOT在 seizure检测、心律失常预测等任务中优于基线模型；预训练模型可带来3%-4%的性能提升。

二、创新点

1. 首