皮肤癌测试 十年旧模型胜过大模型

一位皮肤科医生做了一组让 AI 圈难堪的对照实验：把 200 例经活检确诊的皮损分别交给 GPT-6 Astra、Claude Fable 5.1 和一个 2015 年问世的卷积神经网络，结果十年前的旧模型以 62％ 对 42％ 的准确率完胜两个前沿大模型。实验者是伦敦盖伊医院皮肤科顾问医生、伦敦国王学院名誉高级讲师马格努斯·林奇，结果发表在其个人博客上。

测试材料来自国际皮肤成像协作组织 2025 年发布的公开数据集 MILK10k：每个皮损都有一张临床照片和一张皮肤镜照片，且全部经过组织病理学确诊——连良性样本都是医生担心到要切一刀的，难度高于常规筛查。200 例样本中一半需要治疗（30 例黑素瘤、25 例基底细胞癌、25 例鳞状细胞癌、20 例光化性角化病），一半可以放心放行。三个模型都要从六类诊断中给出首选、置信度，并判断「能否直接放行、无需随访」。

结果一边倒：微调后的 Inception v3 答对 125 例（62％），GPT-6 Astra 与 Claude Fable 5.1 分别答对 84 和 85 例（42％）。黑素瘤识别的差距更大：CNN 答对 30 例中的 13 例，两个大模型只有 8 例和 11 例。一个典型案例是耳部一处厚度不足 0.8 毫米的侵袭性黑素瘤：两个大模型都判为良性的脂溢性角化病、建议患者直接离院，反而是旧模型判对了。

更扎心的是对照设置：林奇刻意没用最先进的专用模型，只把 2015 年谷歌发布的 Inception v3 在 68011 张皮肤镜与临床图像上微调了约二十分钟——单张 H100 就够，而且测试皮损已全部从训练数据中剔除。这个模型小到能在手机浏览器里用 WebGPU 直接运行。

大模型输在哪？它们依赖自然图像上的通用先验，而皮肤癌诊断依赖皮肤镜成像的专门特征。当然实验也有局限：样本只有 200 例、单一医生自测、未经同行评审，而且大模型在基底细胞癌上并不落后（GPT-6 全部答对）。但结论方向值得所有「大模型万能」论者冷静：在垂直医学影像这类窄任务上，一个便宜、专用、可本地运行的小模型，仍然可能比参数多几个数量级的前沿模型更可靠。