为什么这些数据库成了 ML+SHAP 研究 “香饽饽”？

近年来 “机器学习 + SHAP 解释” 的研究中，GBD、CDC 等数据库高频出镜 —— 核心原因在于其样本量大、维度丰富、标注规范，完美适配疾病预测、风险因素识别等任务。SHAP 值可量化特征贡献度，而这些数据库提供的 “多维度健康指标 + 长期追踪数据”，正是构建可解释模型的核心燃料。

一、四大核心数据库深度解析（附获取全流程）

1. 全球疾病负担数据库（GBD）​

• 定位：华盛顿大学 IHME 主导的全球健康数据 “百科全书”，覆盖 204 国 / 地区 350 + 疾病、84 类风险因素。
• ML+SHAP 适配场景：区域疾病负担预测、风险因素优先级排序（如用 SHAP 分析空气污染对肺癌的贡献权重）。​
• 官网：https://vizhub.healthdata.org/gbd/​ 获取方式：​
  ① 快速获取：官网可视化界面筛选 “国家 - 疾病 - 年份”，直接下载 CSV 汇总数据；​
  ② 深度分析：R 语言调用gbd2019data包（最新支持 2023 版数据）：

install.packages("gbd2019data")
library(gbd2019data)
data <- get_gbd_data(metric_id = 3, cause_id = 493) # 调取DALY相关数据

2. 美国疾控中心（CDC）数据库集群​

CDC 并非单一数据库，旗下 3 大子库是 ML 研究常客：

• 核心入口：https://www.cdc.gov/data/index.html​
• 获取方式：无需注册，子库页面按 “年份 / 主题” 筛选，支持 SAS/Stata/CSV 下载。

3. 美国国家健康与营养调查（NHANES）

• 定位：CDC 旗舰数据库，1960 年启动，年纳入 5000 人，含问卷（饮食 / 心理）、体检（血压 / 体成分）、实验室数据（血液 /
  基因组）。​
• 数据价值：曾支撑《Nature》子刊研究 —— 用 XGBoost+SHAP 识别糖尿病前期预警指标（空腹血糖贡献度达 37%）。​
• 官网：https://www.cdc.gov/nchs/nhanes/index.htm​
• 获取 & 预处理：​
  ① 下载：左侧导航栏选 “2017-2020” 数据集，勾选 “糖尿病”“心血管” 主题；​
  ② 读取代码（Python）：

import pandas as pd
# 读取NHANES的CSV数据（需先合并问卷与体检表）
demo_data = pd.read_csv("DEMO_J.csv")  # 人口学数据
exam_data = pd.read_csv("BPX_J.csv")   # 血压数据
merged_data = pd.merge(demo_data, exam_data, on="SEQN") # 按唯一ID合并

4. 中国健康与养老追踪调查（CHARLS）

• 定位：北大主导的本土纵向队列，覆盖 28 省 45 岁 + 人群，2011 年起每 2-3 年追踪，含慢性病、医疗费用、认知功能等 14 类指标。
• ML 适配优势：提供 “基线 + 随访” 标签，可构建纵向疾病预测模型（如用 LSTM+SHAP 分析认知下降轨迹）。
• 官网：https://charls.pku.edu.cn/
• 获取流程：
  ① 注册账号→提交研究计划（需说明 “学术用途”“伦理合规性”）；​
  ② 审核通过后下载 Stata 格式数据，用pandas转换：

import pandas as pd
# 读取Stata格式数据
data = pd.read_stata("charls2020_core.dta")
data.to_csv("charls2020_core.csv", index=False) # 转为CSV

二、4 个高价值同类数据库拓展

1. 美国癌症监测数据库（SEER）​

• 特色：NCI 旗下，1973 年启动，覆盖美国 78%癌症病例，含肿瘤分期、治疗方案、生存结局。​
• 官网：https://seer.cancer.gov/​
• 获取：注册后用 SEERStat软件提取数据，生存分析数据需提交伦理申请。​

2. 中国健康与营养调查（CHNS）​

• 特色：中美合作纵向数据库，1989 年启动，含食品消费、体成分、家庭医疗支出，适配 “社会经济因素 - 健康” 关联研究。​
• 官网：https://www.cpc.unc.edu/projects/china​
• 获取：注册下载 SAS 数据，用 Stata Transfer 转为 CSV。​

3. 英国生物银行（UK Biobank）​

• 特色：50 万成年人全景数据，含基因组、影像、电子健康记录，曾支撑 AI 预测癌症的 Nature 研究。​
• 官网：https://www.ukbiobank.ac.uk/​ 获取：提交研究申请 +
• 伦理审核，免费获取脱敏数据（需签署数据使用协议）。​

4. 重症医学数据库（MIMIC）​

• 特色：MIT + 哈佛联合打造，4 万 + ICU 患者每小时生命体征、用药记录，适配时序预测模型。​
• 官网：https://mimic.mit.edu/​
• 获取：完成 CITI 人类受试者培训→注册申请→审核通过后获取数据。

三、ML+SHAP 研究避坑指南（2025 最新版）

1. 数据匹配技巧：​

人群级分析（如疾病负担）→ GBD/SEER；个体级预测（如重症预警）→ MIMIC/NHANES；​
中国本土研究优先 CHARLS（老龄化）/CHNS（营养）。​

2. 伦理合规红线：​

所有数据库禁止商业用途，CHARLS/MIMIC 需提交伦理审查声明；​
发布研究时需注明数据来源（如 “数据来自 CHARLS 2020 公开数据集”）。​

3. 工具链适配：​

时序数据（MIMIC）：用PySpark拆分时间窗口→LightGBM建模→shap.TreeExplainer解释；​
高维数据（UK Biobank）：先通过feature_engine降维→再用 SHAP 筛选核心特征。