边缘概率：数据科学中被忽视的概率地基

1. 什么是边缘概率：从电商 churn 分析说起

你刚接手一个电商用户行为分析项目，老板甩过来一句：“给我看看客户流失率，别管什么品类、什么渠道，就单纯告诉我——人到底走没走？”

这句话听着简单，但背后藏着一个被无数人忽略却至关重要的统计概念： 边缘概率（Marginal Probability） 。它不是“流失率在手机类目里是多少”，也不是“付费用户里流失了多少”，而是把所有维度统统抹掉，只盯着“流失”这件事本身发生的 无条件、无背景、无前提的绝对频率 。就像体检报告上写的“血压值120/80 mmHg”，这个数字不依赖于你刚跑完步还是刚喝完咖啡，它是你身体在当前状态下的一个基础快照——边缘概率就是数据世界的这种“基础快照”。

我带过六支数据科学团队，几乎每支队伍在入职前三个月都栽过同一个坑：把P(Churn | Paid Ads)当成P(Churn)来汇报。结果是，当老板问“整体流失率多少”，新人脱口而出“37%”，而实际全量数据算出来只有5.2%。差七倍。这不是计算错误，是概念混淆——把条件概率当成了边缘概率。这种偏差在A/B测试归因、风控模型上线、营销ROI评估中反复出现，轻则误导决策，重则让整个模型上线后效果打五折。

边缘概率之所以叫“边缘”，真不是随便起的。你把两个变量的联合分布画成一张二维表格，比如“是否流失 × 是否高价值客户”，那么每一行的加总（比如所有高价值客户的流失/未流失加起来）就写在表格最右边一列，每一列的加总（比如所有流失客户里高价值/非高价值加起来）就写在表格最下边一行——这些加总值，就物理性地出现在表格的“边缘”位置。它们不是中间那些精细颗粒度的交叉单元格，而是俯瞰全局的宏观刻度。这就像你站在山顶看山谷，联合概率是谷底每一块石头的形状，而边缘概率是你一眼扫过去看到的整条山谷的走向和坡度。

它不炫技，不复杂，但它是所有概率推理的地基。没有它，条件概率P(A|B)的分母P(B)就悬在半空；没有它，贝叶斯定理里的证据项P(Data)就无从谈起；没有它，你训练的分类模型连“正样本到底有多稀有”都搞不清，更别说调阈值、选指标了。我在某头部电商做反欺诈模型时，第一周就带着实习生手动画了三天的边缘分布图：P(Fraud)、P(Transaction > ¥5000)、P(New Device Login)，不是为了建模，就是为了让大家看清——我们面对的不是一个均匀世界，而是一个99.3%交易都是正常的极端偏态世界。这种“看清”，比任何算法调参都重要。

所以，别把它当成教科书里一个干巴巴的定义。把它当成你每次打开数据集时，第一个该问自己的问题：“这个事件，抛开所有其他信息，它自己发生的频率到底是多少？”这个问题的答案，就是你后续所有分析的锚点。锚点歪了，整艘船都会偏航。

2. 边缘概率的底层逻辑与数学本质

边缘概率不是凭空冒出来的技巧，它是概率空间结构的自然产物，是“降维”这一基本操作在概率论中的精确表达。要真正用好它，必须理解它背后的两个核心动作： 求和（离散） 和 积分（连续） ，以及它们共同指向的哲学——“对无关变量视而不见”。

2.1 离散场景：求和即“抹除”

假设你有一份完整的用户行为日志，记录了每个用户三件事：是否流失（Churn: Yes/No）、购买品类（Category: Electronics/Clothing/Books）、注册地区（Region: North/South/East/West）。这三个变量构成一个三维联合概率分布P(Churn, Category, Region)。但老板只关心P(Churn)。怎么做？你得把Category和Region这两个维度“抹掉”。怎么抹？不是删除数据，而是把所有Category和Region的组合下，Churn=Yes的情况全部加起来。

数学上，这就是：
P(Churn = Yes) = Σ _Category Σ _Region P(Churn = Yes, Category, Region)

这个双重求和，本质上是在说：“我不在乎这个人买的是手机还是衣服，也不在乎他来自北方还是南方，我只关心——只要他流失了，就算一次。” 每一项P(Churn = Yes, Category, Region)是联合概率，代表“既流失又属于某品类某地区的概率”；把它们全加起来，得到的就是“流失”这个事件在所有可能背景下的总发生概率。这就像你统计公司总离职人数，不是看每个部门的离职名单，而是把HR系统里所有标记为“已离职”的记录拉出来，总数一数——那个总数，就是离职事件的边缘概率。

我见过最典型的错误，是有人试图用条件概率“拼凑”边缘概率。比如先算P(Churn | Electronics)，再算P(Churn | Clothing)，然后取平均。这是错的！因为不同品类的用户基数天差地别。如果电子产品用户占总量80%，服装只占10%，那么P(Churn)应该是P(Churn | Electronics)×0.8 + P(Churn | Clothing)×0.1 + ...，也就是加权平均，权重就是各品类自身的边缘概率P(Category)。这个公式P(A) = Σ _b P(A|B=b)P(B=b)，正是全概率公式的标准形态，它揭示了一个铁律： 边缘概率是条件概率按其发生背景的频率加权后的总和 。权重P(B=b)本身，又是另一个边缘概率。概率世界里，没有孤立的节点，只有环环相扣的链条。

2.2 连续场景：积分即“坍缩”

当变量变成连续的，比如用户年龄Age和单次消费金额Amount，它们的联合分布是一个平滑的曲面f(Age, Amount)，像一座起伏的山丘。你想知道“用户年龄在30-35岁之间的概率”，即P(30 ≤ Age ≤ 35)，这不再是数格子，而是要计算这座山丘在Age=30到35这条“竖直切片”之间，沿Amount方向的所有高度之和——也就是对Amount从负无穷积到正无穷。

数学上：
P(30 ≤ Age ≤ 35) = ∫ ₃₀ ³⁵ [∫ _-∞ ^∞ f(Age, Amount) d(Amount)] d(Age)

方括号里的内层积分∫f(Age, Amount) d(Amount)，就是Age在某个固定值（比如32.5岁）时，对所有可能的消费金额求“面积”，得到的是一个关于Age的函数，即 边缘概率密度函数（Marginal PDF）f _Age (Age) 。外层积分再对这个密度函数在30-35区间求面积，才得到最终的概率。

这里的关键洞察是： 积分不是神秘操作，它和离散求和完全等价，只是处理无限细分的连续对象的工具 。你可以把连续变量想象成被切成无穷薄的“微小离散桶”，积分就是把这些桶的概率全加起来。我在用Python做用户生命周期价值（LTV）建模时，经常要算P(LTV > ¥1000)。LTV是连续变量，它的分布由多个因素（留存率、ARPU、折扣率）共同决定。直接算P(LTV > 1000)很难，但我会先用蒙特卡洛模拟生成10万条LTV样本，然后数其中大于1000的占比——这本质上就是在用离散近似（大数定律）来执行那个理论上的积分。实操中，90%的连续边缘概率计算，最后都落回到这种“采样+计数”的朴素思想上。

2.3 样本空间视角：为什么它不可替代？

跳出公式，从最根本的“样本空间”看，边缘概率的不可替代性就豁然开朗。一个概率模型的根基是三要素：样本空间Ω（所有可能结果的集合）、事件域F（Ω的子集构成的σ-代数）、概率测度P（给每个事件赋予一个0-1之间的数）。边缘概率P(A)所对应的事件A，是Ω的一个子集。而联合概率P(A,B)对应的事件，是Ω中同时满足A和B的那部分子集。当你计算P(A)时，你是在Ω中划出A的区域并测量其大小；当你计算P(A,B)时，你是在Ω中划出A∩B的区域并测量其大小。

P(A)之所以是“边缘”，是因为它只依赖于A在Ω中的绝对位置和大小，与其他事件B在哪里、有多大，完全无关。B的存在，只是让Ω被划分得更细，但它不能改变A本身的“领土面积”。这就像中国国土面积是960万平方公里，这个数字不会因为你把国土按省份划分、按地形划分、按气候带划分而有任何变化。省份划分（联合分布）让你看到细节，但总面积（边缘概率）是恒定的基准。所有高级分析——判断某个省份是否“异常”（条件概率），预测搬迁到某省后的定居概率（贝叶斯更新），评估全国人口政策效果（期望值）——都必须以这个960万为参照系。没有这个参照，一切比较都是空中楼阁。

提示：永远警惕“伪边缘概率”。比如有人用训练集上P(Churn)去解释测试集的P(Churn|Model_Prediction=1)。这是危险的，因为训练集和测试集的边缘分布可能已漂移。真正的边缘概率，必须在你当前要分析的、目标明确的数据集上重新计算，而不是复用历史值。

3. 从表格到代码：边缘概率的实操计算全流程

理论懂了，接下来是动手。边缘概率的计算路径非常清晰： 原始数据 → 整理成联合分布 → 对无关维度求和/积分 → 得到边缘结果 。下面我以一个真实的电商用户流失分析案例，带你走完从SQL取数到Python可视化的一整套流程，每一步都附上我踩过的坑和优化技巧。

3.1 数据准备：构建联合分布表

我们的原始数据表 user_behavior 长这样（简化版）：

目标：计算P(Churn)、P(Category)、P(Region)，以及P(Churn, Category)这样的联合分布。

第一步：SQL聚合（数据库端高效计算）
在数据量大的情况下，千万别把全表拉到Python里再算。直接用SQL：

-- 计算联合分布：流失率 × 品类
SELECT 
  category,
  churn_flag,
  COUNT(*) as joint_count,
  COUNT(*) * 1.0 / SUM(COUNT(*)) OVER() as joint_prob
FROM user_behavior 
GROUP BY category, churn_flag;

-- 计算边缘分布：品类分布（列边缘）
SELECT 
  category,
  COUNT(*) as marginal_count,
  COUNT(*) * 1.0 / SUM(COUNT(*)) OVER() as p_category
FROM user_behavior 
GROUP BY category;

-- 计算边缘分布：流失率（行边缘）— 这就是老板要的P(Churn)
SELECT 
  churn_flag,
  COUNT(*) as count,
  COUNT(*) * 1.0 / SUM(COUNT(*)) OVER() as p_churn
FROM user_behavior 
GROUP BY churn_flag;

关键技巧 ： SUM(COUNT(*)) OVER() 是窗口函数，它能一次性算出总行数，避免你先 SELECT COUNT(*) FROM user_behavior 再JOIN，效率提升数倍。我曾在一个亿级用户表上，用这个技巧把边缘概率计算时间从47秒压到1.8秒。

第二步：Pandas构建透视表（内存中灵活分析）
数据量不大或需要交互式探索时，pandas是王道：

import pandas as pd
import numpy as np

# 假设df是读入的DataFrame
# 创建联合分布透视表（category x churn_flag）
joint_table = pd.crosstab(df['category'], df['churn_flag'], normalize='all')
# normalize='all' 表示按整个表归一化，得到联合概率
print("联合概率分布：")
print(joint_table)

# 计算边缘概率：行边缘（P(category)）和列边缘（P(churn_flag)）
p_category = joint_table.sum(axis=1)  # 对每行求和，得到各品类概率
p_churn = joint_table.sum(axis=0)      # 对每列求和，得到流失/未流失概率

print("\nP(Category) - 品类边缘分布：")
print(p_category)
print("\nP(Churn) - 流失边缘概率：")
print(p_churn)

输出会是：

联合概率分布：
churn_flag     0      1
category              
Books     0.225  0.025
Clothing  0.350  0.050
Electronics 0.280  0.070

P(Category) - 品类边缘分布：
Books        0.250
Clothing     0.400
Electronics  0.350

P(Churn) - 流失边缘概率：
0    0.850
1    0.150

看到没？P(Churn=1) = 0.15，这就是我们要交差的15%。它直接从联合表的列总和里蹦出来，干净利落。

注意： crosstab 的 normalize 参数有三个选项： 'all' （全表归一化，得联合概率）、 'index' （按行归一化，得P(churn|category)）、 'columns' （按列归一化，得P(category|churn)）。新手常混淆 'index' 和 'all' ，导致把条件概率当边缘概率。我的习惯是：算边缘，必用 'all' ，然后手动 .sum() 。

3.2 连续变量：用直方图与核密度估计（KDE）

现在我们想看用户年龄的边缘分布P(Age)。年龄是连续的，不能用 crosstab 。

方法一：直方图（最直观，适合快速诊断）

import matplotlib.pyplot as plt
import seaborn as sns

# 绘制年龄直方图，y轴显示概率（密度）
plt.figure(figsize=(10, 6))
sns.histplot(data=df, x='age', stat='density', bins=30, kde=False, alpha=0.7)
plt.title('P(Age) - Age Marginal Distribution')
plt.xlabel('Age')
plt.ylabel('Probability Density')
plt.show()

# 获取直方图的bin概率（可导出）
counts, bins = np.histogram(df['age'], bins=30, density=True)
# counts 是每个bin的密度值，乘以bin宽才是该bin的概率
bin_width = bins[1] - bins[0]
probabilities = counts * bin_width

方法二：核密度估计（KDE，更平滑，适合建模）

# KDE估计边缘PDF
kde = sns.kdeplot(data=df, x='age', bw_method=0.5)
# bw_method是带宽，控制平滑度。太小=过拟合（锯齿多），太大=欠拟合（太平）
# 我的经验：初始设0.3-0.7，然后看曲线是否合理包裹住直方图

# 手动计算P(Age > 40) —— 积分的数值近似
from scipy.stats import gaussian_kde
kde_obj = gaussian_kde(df['age'])
# 在40到100之间采样1000个点，用梯形法积分
x_eval = np.linspace(40, 100, 1000)
pdf_eval = kde_obj(x_eval)
p_age_gt_40 = np.trapz(pdf_eval, x_eval)  # 梯形积分
print(f"P(Age > 40) ≈ {p_age_gt_40:.3f}")

实操心得 ：KDE的带宽选择是门艺术。 bw_method='scott' （默认）在数据量大时往往太宽，把双峰分布抹成单峰。我通常用 'silverman' ，或者直接试 0.4 、 0.6 、 0.8 三个值，画图对比。记住： 边缘PDF的峰值位置和高度，比具体形状更重要 。它告诉你“最常见年龄是多少”，这个信息对用户分群、广告投放比任何复杂的模型都直接。

3.3 高维场景：用groupby链式操作降维

现实数据往往有5-10个维度。比如你还想加“新老用户”（is_new）和“设备类型”（device）。硬画10维表格不可能。这时 groupby 就是你的瑞士军刀：

# 计算四维联合分布：churn × category × region × is_new
# 但只关心P(churn)和P(churn, category)，其他维度要“边缘化”
# 方案：先按所有维度分组，再用agg聚合

# 步骤1：生成联合计数
joint_counts = df.groupby(['churn_flag', 'category', 'region', 'is_new']).size().reset_index(name='count')

# 步骤2：计算P(churn_flag) —— 对所有其他维度求和
p_churn = joint_counts.groupby('churn_flag')['count'].sum() / joint_counts['count'].sum()
print("P(Churn) from high-dim groupby:", p_churn)

# 步骤3：计算P(churn, category) —— 只边缘化region和is_new
p_churn_cat = joint_counts.groupby(['churn_flag', 'category'])['count'].sum() / joint_counts['count'].sum()
print("\nP(Churn, Category):")
print(p_churn_cat.unstack(fill_value=0)) # 自动转成二维表

这个模式可以无限嵌套。 groupby 的本质，就是让你指定“保留哪些维度”，然后对剩下的所有维度自动求和。它比写N层for循环清晰一万倍，也比 crosstab 更灵活。我所有的生产环境脚本，边缘概率计算一律用 groupby ，因为它稳定、可读、易调试。

4. 边缘概率在数据科学工作流中的实战应用

边缘概率绝非纸上谈兵，它是贯穿数据科学全生命周期的隐形指挥官。从你第一次打开Jupyter Notebook，到最后一次向CTO汇报模型效果，它的影子无处不在。下面我结合六个真实场景，拆解它如何在每个环节发挥不可替代的作用。

4.1 探索性数据分析（EDA）：识别数据世界的“地心引力”

EDA不是画一堆图就完事，而是要找到数据的“重心”。这个重心，就是边缘分布。

案例：信用卡欺诈检测
我接手一个新数据集，第一件事不是建模，而是运行这三行代码：

print("P(Fraud):", df['is_fraud'].mean())  # 输出：0.0017
print("P(Transaction_Amount > $1000):", (df['amount'] > 1000).mean())  # 输出：0.082
print("P(New_Cardholder == True):", df['is_new_cardholder'].mean())  # 输出：0.15

这三个数字，瞬间勾勒出数据的全貌：欺诈是极端稀有的（0.17%），大额交易不多（8.2%），新卡用户占15%。这告诉我：

• 模型必须用F1-score或AUC，绝不能看准确率；
• 特征工程要重点处理金额，可能需要log变换；
• 新卡用户可能是强信号，值得单独建模。

如果跳过这一步，直接上XGBoost，结果往往是：模型在训练集上AUC=0.95，一上线就发现漏报了80%的真实欺诈——因为模型学到了“绝大多数交易都不是欺诈”这个边缘规律，而忽略了那0.17%的微妙模式。 边缘概率是EDA的起点，也是终点。所有后续的条件分析、相关性热力图、异常值检测，都必须在这个基线上进行解读。

4.2 特征工程：边缘分布决定预处理策略

特征的边缘分布，直接决定了你该用什么变换、该不该分箱、该不该丢弃。

案例：用户活跃度（DAU）特征
days_since_last_order 这个字段，直方图显示：85%的用户在30天内下单，但有5%的用户超过365天。这是一个典型的长尾分布。

• 错误做法 ：直接标准化（Z-score）。结果是，那5%的长尾用户被压缩到-5σ以下，模型认为他们是“极端异常”，反而学不到规律。
• 正确做法 ：先看边缘分布，再决策。

  # 方案1：分位数缩放（QuantileTransformer）— 把长尾压成均匀分布
  from sklearn.preprocessing import QuantileTransformer
  qt = QuantileTransformer(output_distribution='uniform', n_quantiles=1000)
  df['days_qt'] = qt.fit_transform(df[['days_since_last_order']])
  
  # 方案2：分箱（Binning）— 把连续值转为有序类别
  bins = [0, 7, 30, 90, 180, 365, np.inf]
  labels = ['Recent', 'Active', 'AtRisk', 'Dormant', 'Lost', 'Ghost']
  df['days_bin'] = pd.cut(df['days_since_last_order'], bins=bins, labels=labels)
  

为什么？因为分位数缩放的目标，就是让变换后的边缘分布尽可能接近均匀分布，消除长尾对模型的干扰。而分箱，则是把边缘分布的“断崖点”（如30天、90天）显式编码为业务可解释的标签。 所有特征工程的决策，都应该回答一个问题：“这个特征的边缘分布，是想让模型看到什么？” 如果答案是“看到用户活跃的节奏”，那就分箱；如果答案是“看到相对活跃程度”，那就分位数缩放。

4.3 模型评估：边缘概率是评估指标的“校准器”

当模型给出一个预测概率，比如P(Fraud)=0.82，这个数字有没有意义？要看它和边缘概率P(Fraud)的对比。

案例：信用评分模型校准
一个银行模型输出P(Default)。我们画出“预测概率分箱” vs “实际违约率”的图（校准曲线）：

看最后一行：模型说“90%以上会违约”的用户，实际违约率高达65%，远高于整体边缘概率0.02。这说明模型在高风险段是可靠的。但如果所有区间的实际违约率都集中在0.015-0.025，和边缘概率几乎一致，那就说明模型没学到任何区分度，只是在重复边缘概率。

关键指标：Brier Score
它直接衡量预测概率和实际结果的均方误差：
Brier = (1/N) * Σ (pred_i - actual_i)²
其中 actual_i 是0或1。Brier越小越好。但它的基准线是什么？就是边缘概率：
Brier_baseline = P(Default) * (1 - P(Default))
如果模型Brier > baseline，说明它还不如直接猜边缘概率准。我在一次模型评审中，发现一个“高精度”模型Brier=0.019，而baseline=0.0196，模型只比瞎猜好一点点。果断否决。

4.4 A/B测试：边缘概率是归因的“分母”

A/B测试的核心问题是：“这个改动，到底提升了多少？”答案必须放在边缘概率的背景下。

案例：购物车按钮颜色测试
实验组（红色按钮）转化率=5.2%，对照组（蓝色按钮）=4.8%。表面看提升了0.4个百分点。但如果你深入看边缘分布：

• 实验组总流量：100,000，转化：5,200
• 对照组总流量：100,000，转化：4,800
• 但实验组中，来自社交媒体的流量占比60%，而对照组只有40%

社交媒体用户的天然转化率（边缘概率）是8%，远高于全站的4.8%。这意味着，实验组的“胜利”，可能只是因为吸引了更多社媒用户，而非按钮颜色本身有效。正确的做法是：

1. 先计算各渠道的边缘转化率P(Convert|Channel)；
2. 再用这些边缘率作为权重，计算加权平均提升；
3. 或者直接分渠道做A/B测试（渠道×按钮的双因子设计）。

没有边缘概率的A/B测试，就像没有地图的航海——你可能到达了某个地方，但不知道是风向推的，还是自己划的。

4.5 模型监控：边缘漂移（Drift）是首个警报

模型上线后，最大的敌人不是准确率下降，而是 边缘分布漂移 。当P(X)变了，P(Y|X)的预测就失效了。

案例：推荐系统衰减
一个视频推荐模型，上线三个月后CTR从8%跌到5%。排查发现：

• 用户年龄边缘分布：上线时P(Age<25)=45%，现在只有28%；
• 设备类型边缘分布：上线时P(Mobile)=72%，现在升至89%。

年轻用户和移动端用户，是模型最擅长的群体。当他们变少，模型能力就“水土不服”。解决方案不是重训模型，而是：

• 对新用户群体（Age>35, Desktop）单独建一个轻量模型；
• 或者在特征中加入“用户群体标识”，让主模型能自适应。

我们用KS检验（Kolmogorov-Smirnov test）监控边缘漂移：
ks_stat, p_value = ks_2samp(train_age, prod_age)
如果p_value < 0.05，说明分布显著不同，触发告警。 边缘漂移监控，应该和模型准确率监控一样，成为SRE仪表盘的标配。

4.6 贝叶斯建模：边缘概率是“证据”（Evidence）

在贝叶斯框架里，边缘概率P(Data)被称为“证据”，它是连接先验和后验的桥梁。

案例：新品上市销量预测
你要预测一款新耳机首月销量。先验是基于历史新品的销量分布（比如Gamma分布）。似然是销量数据（比如前7天的销售曲线）。后验P(θ|Data) ∝ P(Data|θ) × P(θ)。但要让后验成为真正的概率分布，必须除以P(Data)：

P(Data) = ∫ P(Data|θ) P(θ) dθ

这个积分，就是对所有可能的销量参数θ，计算“数据在该参数下出现的可能性”，再按先验P(θ)加权求和。它衡量的是： 在你所有可能的信念下，这份数据本身有多“寻常” 。P(Data)越大，说明数据越符合你的先验信念；越小，说明数据越“意外”，后验就会被拉得离先验越远。

在PyMC3中，你不需要手动算P(Data)，它用MCMC采样时会自动处理。但理解它，能帮你诊断模型：如果traceplot显示后验和先验几乎一样，很可能P(Data)太小，数据信息不足；如果后验极度尖锐，说明P(Data)很大，数据提供了很强的证据。 P(Data)是贝叶斯模型的“可信度印章”，盖章之前，模型只是猜想；盖章之后，它才成为知识。

5. 高频误区与避坑指南：那些年我们错过的边缘概率

即使资深从业者，也会在边缘概率上栽跟头。这些坑往往不致命，但会悄悄腐蚀分析的可靠性，让结论在逻辑上站不住脚。下面是我从六个项目中总结出的四大高频误区，每个都配有一个“现场还原”的错误代码和修正方案。

5.1 误区一：把条件概率当边缘概率（最致命）

场景 ：医疗AI项目，医生问：“这个模型说患者有92%概率得病，那他真的得病吗？”
错误思维 ：92%很高，所以大概率得病。
错误代码 （典型新手写法）：

# 错误：直接把模型输出当P(Disease)
model_pred = clf.predict_proba(X_test)[:, 1]  # 输出[0.92, 0.35, 0.88, ...]
print(f"Average model prediction: {model_pred.mean():.3f}")  # 输出0.92
# 然后汇报："模型平均预测患病概率92%"

问题在哪？ model_pred.mean() 计算的是模型在测试集上的 预测概率的平均值 ，它不等于真实的P(Disease)。真实P(Disease)是测试集中实际得病人数除以总人数。如果测试集里只有5%的人真得病，那无论模型多准， model_pred.mean() 都不该是0.92——那说明模型严重高估。

正确做法 ：

# 步骤1：计算真实的边缘概率P(Disease)
p_disease_true = y_test.mean()  # y_test是0/1标签
print(f"True P(Disease) = {p_disease_true:.3f}")

# 步骤2：检查模型校准度
from sklearn.calibration import calibration_curve
fraction_of_positives, mean_predicted_value = calibration_curve(
    y_test, model_pred, n_bins=10
)
# 绘制校准曲线，看预测概率是否贴近实际频率

避坑口诀 ： “模型输出的是条件概率P(Disease|Features)，不是边缘概率P(Disease)。前者依赖输入，后者是数据固有属性。” 每次看到模型输出一个概率，先问自己：这个概率的分母，是“所有患者”，还是“所有具有这些特征的患者”？

5.2 误区二：忽略边缘分布的时序漂移

场景 ：金融风控模型，季度回顾时发现KS值下降。
错误思维 ：“模型老化了，该重训。”
错误代码 ：

# 错误：只用最新一个月数据评估，却用半年前数据训练
train_data = load_data('2023-01-01', '2023-06-30')  # 训练集
test_data = load_data('2023-09-01', '2023-09-30')   # 测试集（隔了3个月）
# 直接在test_data上算KS
ks_stat, _ = ks_2samp(train_data['score'], test_data['score'])

问题在哪？ KS检验比较的是两个样本的分布。但 train_data['score'] 的边缘分布，是基于2023上半年的用户特征（P(Feature)）生成的；而 test_data['score'] 是基于2023年9月的用户特征生成的。如果9月经济下行，用户收入特征边缘分布左移（P(Income<5000)上升），模型分数自然整体右移，KS值必然变大——这不是模型坏了，是世界变了。

正确做法 ：

# 步骤1：监控特征的边缘分布漂移（关键！）
for feature in ['income', 'employment_length', 'credit_score']:
    ks_stat, p_val = ks_2samp(
        train_data[feature], 
        test_data[feature]
    )
    if p_val < 0.01:
        print(f"ALERT: {feature} drifted! KS={ks_stat:.3f}")

# 步骤2：如果特征漂移，优先用新数据重训，而非纠结KS
# 步骤3：在报告中，永远同时呈现：P(Disease)_train, P(Disease)_test, P(Disease)_prod

避坑口诀 ： “模型的输入是特征，输出是预测。当输入的边缘分布变了，输出的边缘分布必然变。监控输入，比监控输出更重要。”

5.3 误区三：在分层抽样中错误计算边缘概率

场景 ：用户调研，为保证各年龄段覆盖，做了分层抽样：20-30岁抽500人，30-40岁抽500人，40-50岁抽500人。
错误思维 ：“既然每层抽一样多，那P(Age20-30)=1/3。”
错误代码 ：

# 错误：用抽样比例当总体概率
survey_df = pd.read_csv('survey.csv')  # 包含age_group列
p_age_stratified = survey_df['age_group'].value_counts(normalize=True)
# 输出：20-30: 0.333, 30-40: 0.333, 40-50: 0.333
# 然后直接用这个当P(Age)汇报