Vendor 对比
为什么做这个对比
我们没有 vendor 的源代码,是参考 vendor 的报告思路自己重新跑了一遍 pipeline。这一页客观对比两份结果在哪些地方一致、哪些地方有差异,差异是否可解释。
1. OPLS-DA 多元统计
核心发现
- 6/6 矩阵的 Q²(核心判别力指标)跨 vendor 与我们的偏差都 ≤ 0.01
- 5/6 矩阵的 pre+ortho 配置完全一致(粪便 pos 因 ropls 自动选了 ortho=2 而 vendor 用了 ortho=3,差 1 个正交分量)
- 我们在 vendor 之外提供了 999 次置换检验 p 值(pR²Y / pQ²),所有矩阵 pQ² 都 < 0.001 显著
粪便 pos 为什么 ortho 不一样
ropls 默认按交叉验证拐点(Wold’s R criterion)自动选 ortho 数。我做过对照实验:
| orthoI | R²X | R²Y | Q² | RMSEE | 评价 |
|---|---|---|---|---|---|
| 1 | 0.306 | 0.922 | 0.585 | 0.151 | 欠拟合 |
| 2(我们) | 0.400 | 0.972 | 0.652 | 0.094 | 拐点 |
| 3(vendor) | 0.478 | 0.994 | 0.654 | 0.044 | Q²几乎不涨,RMSEE 减半(过拟合迹象) |
| 4 | 0.536 | 0.999 | 0.662 | 0.022 | R²Y≈1,明显过拟合 |
| 5 | 0.578 | 1.000 | 0.661 | 0.010 | 完美拟合 = 记忆训练集 |
结论:我们 ortho=2 更稳健(Q² 已饱和,RMSEE 适中),vendor ortho=3 R²Y 看起来更亮但实际开始过拟合。两者的 Q² 几乎相同(0.652 vs 0.654),判别力等价。
2. MS1 差异代谢物 — 数量 + 特征 ID 重叠
按 P<0.05 ∧ VIP>1 对比(vendor 同样标准)。
关键解读:
shared:vendor 和我们都判定为 DEM 的特征 ID 数Jaccard:交集 / 并集,越接近 1 越一致vendor_recall:我们的 DEM 列表覆盖了 vendor 多少比例的 DEM
| 矩阵 | Jaccard 范围 | vendor recall 范围 |
|---|---|---|
| 粪便 | 0.68-0.78 | 75-85% |
| 血清 | 0.73-0.80 | 79-88% |
| 皮肤 | 0.77-0.78 | 86% |
~80% 重叠的剩余差异原因:vendor 的 OPLS-DA VIP 用了不同的 ortho 数(粪便 pos 是 ortho=3 vs 我们 2),VIP 计算分母不同导致同一特征 VIP 值不一样,部分特征会因此跨过/跌出 VIP>1 阈值。这是参数选择级别的差异,不是方法学差异。
3. MS2 鉴定差异代谢物 — 名称重叠
按代谢物 name 对比,因为 vendor 和我们都直接用了 vendor 提供的 MS2 鉴定主表(5176 个)。
为什么 Jaccard 比 MS1 低
我们筛 DEM 时多卡了 |log2FC|>1.0 这条阈值(vendor 没卡),所以 ours 数量明显小于 vendor。但看 ours_recall:
- 粪便:87%(我们的 DEM 中 87% vendor 也判为 DEM)
- 血清:91%
- 皮肤:94%
意思是:我们筛出来的代谢物几乎全在 vendor 列表里,只是我们筛得更严。如果想完全对齐 vendor 数量,编辑 config/params.yaml 把 dem.fc_threshold 改成 0 重跑 04_dem.R 即可。
4. KEGG 通路富集
KEGG 是方法学差异最大的环节,但我们的更严谨
| 环节 | Vendor 做法 | 我们的做法 |
|---|---|---|
| 目标集(前景) | 把所有 MS2 鉴定到的化合物都拿去做检验 | 只用筛过的 DEM 中带 KEGG ID 的化合物 |
| 背景集 | KEGG mmu 全集 | KEGG mmu 全集 |
| 检验 | 超几何 | 超几何(Fisher 单尾) |
Vendor 做法的问题:把所有 5176 个鉴定代谢物(含未差异的)都进富集,等于”前景=背景”,信号被噪声稀释——所以 vendor 的 99/113/151 条通路里几乎都不显著(粪便 0 条,血清/皮肤各 2 条)。
我们的做法:先筛 DEM 再富集,前景=真实差异信号,背景=mmu 全集,符合标准生物信息学流程(与 MetaboAnalyst / clusterProfiler 等主流工具一致)。
结果:我们富集到的显著通路更聚焦、生物学解读更清晰。比如粪便 mmu04080 (神经活性配-受体) — 抑郁经典通路,vendor 在 99 条里漏掉了这个信号。
5. 总评
| 维度 | 复现度 | 评价 |
|---|---|---|
| 特征数 / 样本数 | 100% | 直接读 vendor peak table |
| MS2 鉴定列表 | 100% | 直接复用 vendor 代谢物鉴定定量列表.xlsx |
| OPLS-DA pre+ortho 配置 | 5/6 完全一致 | 粪便 pos 我们更稳健(不过拟合) |
| OPLS-DA Q²(核心判别力) | 6/6 偏差 ≤ 0.01 | 完全可比 |
| MS1 DEM 数量 | 6/6 接近 | Jaccard 0.68-0.80 |
| MS1 DEM vendor recall | 75-88% | 我们的列表覆盖 vendor 大部分 |
| MS2 DEM ours recall | 87-94% | 我们筛的几乎全在 vendor 里(更严) |
| KEGG 富集 | 方法学差异 | 我们的更严谨更聚焦 |
6. 我们额外提供(vendor 没给)
| 增项 | 价值 |
|---|---|
| 999 次置换 p 值(pR²Y / pQ²) | 显著性的客观证据 |
| Cohen’s d 效应量 | 跨矩阵可比,受方差影响小 |
| log2FC 95% bootstrap CI | 小样本下的鲁棒性 |
| Mahalanobis 离群检测 | PCA 空间客观判定离群样本 |
| 三矩阵 DEM 跨矩阵 overlap | 跨体液系统性变化分析 |
| 联合宏基因组候选清单 | 直接对接 b 项目 |
| 全部中间表 (TSV) | 可二次开发 |
| 完整可复现 pipeline | 修阈值/换组重跑只需改 config |