COMP5318 · Machine Learning and Data Mining · S2 2026

Assignment 2：PathMNIST 图像分类四人分工

这是一份建议分工，不是死规定。B、C、D 各负责一个模型（SVM + PCA / MLP / CNN）：代码、调参、报告里对应的章节由同一个人写——谁调参谁解释。A 负责数据管线、合并 notebook 和跨模型的章节。每个人在自己的模块里怎么设计、试什么、用什么超参，都自己发挥；唯一的硬规则是：四个人不要同时改同一个 .ipynb——B / C / D 各用自己的 dev notebook，只有 A 改 master.ipynb。截止 10-30（周五）23:59，「第几周」只是参考节奏。

我是：

数据管线 · notebook 合并 · 跨模型章节

无网格 · 笔记本这条链的单点
common.py 越早交越好

建共享目录，统一环境版本第 1 周a2/ 共享目录建共享目录 a2/（common.py、dev_svm.ipynb、dev_mlp.ipynb、dev_cnn.ipynb、master.ipynb、results/、figs/、AI_LOG.md）；收集大家的 print_env() 输出，统一 Python / TensorFlow-Keras / scikit-learn 版本；定一台参考机（Section 4 的计时放在同一台机器上跑才可比）。

写 common.py：全组共用的数据和接口（越早越好）第 1 周common.py 把全组共用的接口写成 common.py：数据加载、固定的分层验证集（80/20，seed=42）、to_float01 / flat / standardize、结果记录 run_grid / pick_best / save_final，测试集只能通过 get_eval_set() 在 Section 4 拿。写完自测（assert X_tr_img.shape == (25600,28,28,3)、训练/验证下标无交集）。这是唯一会卡住别人的东西，越早交越好；在此之前 B/C/D 可以先读 spec、做可行性小测、写模型骨架。

Section 1：数据探索 + 预处理第 1 周Section 1 加载 + 探索 + 预处理（只用训练集）：类别条形图（最大/最小类 4697 : 2728 ≈ 1.72）、每类样例图、通道均值/方差；预处理 to_float01 → standardize / flat，写清考虑过但没做的（灰度化会丢染色信息、上采样没有新信息）；再加模板要求的 Examples of preprocessed data。

搭 master notebook 和合并脚本第 1 周master.ipynb · merge_nb.py master.ipynb 骨架（按模板标题）+ merge_nb.py：按 cell 第一行的标签 # [sec 3.2 | owner C] 从各 dev notebook 抽 cell，连同输出搬进 master（这样不用重跑网格）。写好用法，C 要能顶替你。

写最终结果的汇总 cell（结果表 + 混淆矩阵）第 2 周Section 4.4（新增 cell）汇总 cell：make_final_table()、plot_confusions()、error_overlap()。先用 A2_STAGE="DRYRUN" 调通，等 B/C/D 的最终模型出来再正式跑一次。

写报告的 Introduction 和 Data 两章第 2 周报告 Introduction + Data Introduction（目的要点到：比较三类算法、做超参搜索、分析运行时间；重要性：病理分类的意义 + 低分辨率/有限算力下比较算法的意义）。Data 两小节：数据描述与探索（32,000 / 8,000、9 类、2352 维、来源 MedMNIST v2、类别不平衡、类间相似的难点）；预处理汇总（B 的 PCA 小消融、C 的标准化对照、D 的增强各几行 + 考虑过没做的）。

合并三份 notebook，检查能独立运行、没碰测试集第 2 周master.ipynb 合并合并：merge_nb.py 把三份 dev notebook 搬进 master，删掉 from common import，统一变量名（svm_model / mlp_model / cnn_model）。独立性检查：新内核、跳过全部 3.x cell，依次跑 Setup / 1 / 2 / 4 必须零报错。泄露审计：grep -nE "X_test|y_test"，只允许出现在模板的加载 cell 和 Section 4。合并之后尽量只改注释 / markdown / 命名。

写报告的三算法对比 + 搜索方法总述第 2 周报告 Methods 收 B/C/D 的「优缺点卡片」，合成三个算法的对比（性能 / 过拟合 / 运行时间 / 参数量 / 可解释性），每格要有「为什么」并结合本数据集；再写一段搜索方法总述（为什么固定验证集而不是 k 折、为什么用网格）。

写结果对比表和跨模型分析第 3 周报告 Results and discussion 结果对比表（来自 make_final_table()，表注写明计时机器）；跨模型的结果分析（理论预期 vs 实测、运行时间原因、error_overlap 的发现、precision vs recall），要回扣优缺点对比；一张跨模型运行时间总览图（图注写明「运行时间只在同机器、同一次运行内可比」）。

写报告的 Conclusion第 3 周报告 Conclusion 主要发现 + 局限（要考虑运行时间和实用性）；future work 汇总 B/C/D 的要点并去重，每条写成「针对 X，做 Y，因为 Z」，并对应一条局限。

写自己的 Reflection 和 notebook 的 AI 声明第 3 周Section 5 · Reflection 自己的 Reflection 1–2 段（自己写，别人不改）。按 AI_LOG.md 写 notebook 的 Section 5「AI Acknowledgement」，与报告里那一节保持一致。

导出最终 notebook，做匿名检查第 3 周最终 .ipynb / .pdf 导出 a2-code-SID1-SID2-SID3-SID4.ipynb 和 .pdf（翻一遍确认图和输出没丢、没截断）；匿名检查：搜姓名、输出里的 /Users/<姓名>/、ipynb metadata 的 author、PDF 作者属性。C 上传后，你下载回来核对三个文件名与 SID。

自己发挥：探索想展示什么、预处理选哪些、报告的叙事线怎么串，都由你定。给别人的只有 common.py 里那几个名字，其余随意。

你是笔记本这条链的单点：merge_nb.py 写好用法，让 C 能顶替你。

前 6 周算法：SVM + PCA

网格 27 组（建议）
中等 CPU 耗时

小测 SVM 速度，决定用 SVM 还是 RF第 1 周dev_svm.ipynb 先做个小测：用 5000 个训练样本测一次 PCA(100) + SVC(kernel="rbf") 的 fit 时间，外推到 25.6k 报群里。单次 fit 在几分钟以内就继续用 SVM，太慢就换 Random Forest 并告诉 A。print_env() 也贴一下。

搭 SVM + PCA 模型第 1 周Section 2.1 make_svm(n_components, C, gamma_mult) 返回 Pipeline([("pca", PCA(...)), ("svc", SVC(kernel="rbf", ...))])，PCA 只在训练集上 fit。画方差累计曲线和 50/100/200 维的重建对比图（交 A 放进 Examples of preprocessed data）。可以做几次小消融（PCA 前是否 StandardScaler、whiten），写 3 行结论给 A。

开跑前写下对 SVM 超参的预测第 1 周predictions.md · 报告 Architecture 小节建议开跑前先把预测记下来（带时间戳），这样后面讨论「是否符合预测」才有据可依：n_components 越大越慢、收益递减；C 过小欠拟合、过大过拟合；gamma_mult 过大 → 支持向量暴增、预测变慢。再起个 SVM 的架构与超参草稿：为什么固定 RBF、每个超参控制什么、范围怎么定。

加一个类间相似度分析 cell第 1 周Section 1（补一个 cell）类间相似度 cell（只用训练集）：9 类均值图两两距离热图、PCA 前 2 维散点、最相似的几个类对。写一段「难点」交 A；后面解释混淆时可以复用同一张图。可以在网格运行的间隙做。

跑 SVM 网格搜索并画图第 1–2 周重计算Section 3.1 网格搜索（建议值，可改）：n_components {50,100,200} × C {1,10,100} × gamma_mult {0.3,1,3}（gamma = 倍数 × sklearn 的 "scale"）。run_grid("svm", ...) 可断点续跑、可挂夜；同一 cell 末尾画 val_acc 热图、fit_time_s 折线、n_support，输出保留；pick_best() 打印最优行。

用最优超参训练最终 SVM，在测试集上评估第 2 周Section 4.1 cell 顶部硬编码 BEST_SVM（注释写明来自 tune_svm.csv 的哪一行）；用全部 32,000 训练样本重 fit；X_test 只在此 cell 出现；记训练/预测时间、支持向量数；save_final("svm", ...)；画 per-class precision / recall。自测：新内核只跑 Setup / 1 / 2.1 / 4.1 要能通过。

写 SVM 的理论章节 + 优缺点卡片第 2 周报告 Methods → Theory（SVM） SVM 与 PCA 的理论（最大间隔、软间隔 C、核技巧与 RBF 的 gamma、一对一多分类、PCA 的最大方差投影）、为什么选它（对 kNN / LogReg / RF / 决策树 / 朴素贝叶斯各一句取舍）、优缺点、引文献。另交一张「SVM 优缺点卡片」给 A：性能 / 过拟合 / 运行时间 / 参数量（=支持向量数）/ 可解释性 × （结论 + 理论原因 + 本数据集预期）。

互审 D 的 CNN 代码和 A 的汇总 cell第 2 周代码互审：D 的 2.3 / 3.3 / 4.3 + A 的 4.4 看三件事：有没有出现 X_test；没看过代码的人能否靠注释和 markdown 看懂；BEST_CNN 与 3.3 输出里的最优行是否一致。意见列在群里，对方有空时处理（只改注释 / markdown / 命名；要改逻辑就重跑并告诉 A）。

写 SVM 的调参结果和讨论第 2–3 周报告 Results → Hyperparameter tuning（SVM） 2 张图（热图 + 运行时间折线，直接用 figs/ 里的文件，不放截图）+ 1 张 Top-5 摘要表；讨论对照之前的预测，哪些符合、哪些不符、可能原因。

写 SVM 的结果分析，给 Conclusion 交要点第 3 周报告 Results → 结果分析（SVM）用 final_svm.json：哪几类 recall 最低（对应相似度图）、最大的非对角混淆格、val → test 差距、训练/预测时间的原因。另给 A 的 Conclusion 留要点：2 条局限 + 1–2 条 future work（「针对 X，做 Y，因为 Z」）。

写自己的 Reflection 和 AI 使用记录第 3 周Reflection · AI_LOG.md 自己的 Reflection 1–2 段 + 自己用 AI 的情况 2–3 行；自查自己章节的拼写语法。

互审 C 的 MLP 报告章节第 3 周报告互审：C 的 MLP 部分读 C 的 MLP 相关章节：术语是否一致、有没有代码片段或截图、论断有没有数字或引用、拼写语法。意见一次性发给 C。

自己发挥：超参取值范围、PCA 保留多少维、要不要换成别的算法（RF / kNN …），都按你小测和实验的结果自己定；改了在报告里说明理由就行。

网格的预测先记下来再看结果，报告里才有「是否符合预测」可讨论。

MLP + 报告主编

网格 27 组（建议）
算力最轻 · A 的后备

建报告骨架，发 style sheet第 1 周共享文档 · 报告骨架建报告骨架（Word 或 Overleaf），标题严格按 spec：Introduction / Data（2 小节）/ Methods（Theory、Strengths and weaknesses、Architecture and hyperparameters）/ Results and discussion / Conclusion / Reflection / AI Acknowledgement / References。顺手发 1 页 style sheet：术语（validation set / test set / macro-F1）、数字格式、英式或澳式拼写、图表 caption 样式、IEEE 引用。

搭 MLP 模型，跑一次基线第 1 周Section 2.2 build_mlp(hidden_units, dropout, learning_rate, n_hidden_layers=2)：Input(2352) → [Dense(h, relu) → Dropout]×n → Dense(9, softmax)，sparse_categorical_crossentropy + Adam。输入 flat(standardize(X_tr_img))。先跑一次基线（早停），画 train/val loss 曲线判断过拟合，model.summary() 记参数量。写 2 行「为什么要标准化」给 A。

开跑前写下对 MLP 超参的预测第 1 周predictions.md · 报告 Architecture 小节建议开跑前先把预测记下来：learning_rate（1e-2 可能震荡，1e-4 欠拟合）、hidden_units（容量↑ → 训练 acc↑，val 先升后平）、dropout（缩小 train-val 差距，但可能拉低 val）。再起个 MLP 的架构与超参草稿：固定项与理由、搜索范围怎么定。

跑 MLP 网格搜索并画图第 1–2 周重计算Section 3.2 网格搜索（建议值，可改）：learning_rate {1e-4,1e-3,1e-2} × hidden_units {64,128,256} × dropout {0,0.25,0.5}。可以在最优点附近再做一维扫描，如 n_hidden_layers、batch_size。同 cell 末尾画热图、fit_time_s 与 epochs_run 对学习率、参数量对 val_acc，输出保留。

用最优超参训练最终 MLP，在测试集上评估第 2 周Section 4.2 BEST_MLP（含 epochs，取自调参时该组的 best_epoch）硬编码；用全部 32,000 样本固定 epoch 重训；X_test 只在此 cell 出现；save_final("mlp", ...)。自测：新内核只跑 Setup / 1 / 2.2 / 4.2 要能通过。

写 MLP 的理论章节 + 优缺点卡片第 2 周报告 Methods → Theory（MLP） MLP 理论（万能逼近、反向传播、ReLU、softmax + 交叉熵、Adam、dropout）、优缺点（展平后丢掉像素邻域关系；首层参数 2352×h 容易过拟合；对平移敏感）、引文献。另交一张「MLP 优缺点卡片」（格式同 B）。

演练合并脚本，做 A 的后备第 2 周merge_nb.py 后备演练：跟着 A 把 merge_nb.py 完整跑一遍，确认 A 不在时你能接手合并。

互审 B 的 SVM 代码和 common.py第 2 周代码互审：B 的 2.1 / 3.1 / 4.1 + common.py 清单同 B 的互审；另看 common.py 有没有注释和死代码、BEST_SVM 与 3.1 最优行是否一致。

写 MLP 的调参结果和结果分析第 2–3 周报告 Results → 调参 + 结果分析（MLP）调参结果展示（热图 + fit_time_s / epochs_run 图 + Top-5 摘要表）与讨论（对照之前的预测）；结果分析（per-class precision/recall、与 SVM/CNN 的差距、train-val-test 三者差距、为什么每 epoch 比 CNN 快但总时间不一定更短——参数量 vs FLOPs）。另给 A 的 Conclusion 留要点（格式同 B）。

装配报告全文初稿第 3 周报告全文 v1 装配：统一图表编号与 caption；引用合并成一份 IEEE 列表并检查每条 [n] 都被引用；全文搜索确认没有代码片段、没有代码/输出截图。

写自己的 Reflection 和 AI 使用记录第 3 周Reflection · AI_LOG.md 自己的 Reflection 1–2 段 + 自己用 AI 的情况 2–3 行。

通读全文，互审 A 的章节第 3 周报告通读 + 互审 A 的章节整份报告通读语言与格式；同时互审 A 的 Data / Introduction / Conclusion 和 notebook Section 1（图是否清晰、数字与输出一致、Examples of preprocessed data 是否真的展示了预处理效果）。意见一次性发 A。

检查报告 PDF，在 Canvas 提交三个文件第 3 周最终 report.pdf + Canvas 提交确认 A2-report-SID1-SID2-SID3-SID4.pdf 的文件名与内容（无姓名、PDF 作者属性为空）；在 Canvas 三个入口上传三个文件，下载回来打开确认。

自己发挥：MLP 的层数 / 宽度 / 正则 / 优化器怎么搭、style sheet 订多细，都由你定。

MLP 算力最轻，所以你兼任报告主编，也是 A 的后备。style sheet 越早发越有人遵守。

CNN

网格 27 组（建议）
全组最重，建议最先开跑

小测 CNN 每个 epoch 要多久第 1 周dev_cnn.ipynb 先做个小测：不依赖 common.py，用 3 epoch、2 层小 CNN（32/64 filters）在 25.6k 样本上测 s/epoch 报群里；print_env() 也贴一下。若 > 40 s/epoch，启动预案：把整本 dev_cnn.ipynb 交给参考机执行并回传已执行的 .ipynb（保留输出）。

搭 CNN 模型，定下固定设计第 1 周Section 2.3 build_cnn(base_filters, dropout, learning_rate, kernel_size=3, n_conv_blocks=2)：[Conv2D → BatchNormalization → ReLU → MaxPool2D]×n → GlobalAveragePooling2D → Dense(64) → Dropout → Dense(9)。可以用几次粗实验（每次几个 epoch）定下固定设计：有无 BatchNorm、GAP vs Flatten、要不要 RandomFlip（病理切片方向无意义；若加，作为模型内层、仅训练时生效）。model.summary() 记参数量；架构定了在群里说一声。

开跑前写下对 CNN 超参的预测第 1 周predictions.md · 报告 Architecture 小节建议开跑前先把预测记下来：base_filters（16→64 容量↑，val_acc 提升递减，每 epoch 时间约翻倍）、learning_rate（3e-3 偏大可能波动，3e-4 收敛慢）、dropout（与 BatchNorm 共用时效果有限）。再起个 CNN 的架构与超参草稿：架构表（层 → 输出形状 → 参数量）、每个超参控制什么（kernel_size / stride 与感受野的关系）、范围怎么定。

跑 CNN 网格搜索（全组最慢，尽早开）第 1–2 周重计算Section 3.3 网格搜索（建议值，可改）：base_filters {16,32,64} × learning_rate {3e-4,1e-3,3e-3} × dropout {0,0.25,0.5}，最多 20 epoch + 早停。这是全组最慢的一条，建议尽早开跑，可挂夜、断点续跑。可以在最优点再扫 kernel_size {3,5}、n_conv_blocks {2,3}，但别扩成新的全网格。若实在跑不完，就删掉 base_filters=64 里未完成的组合，并在报告里写明。同 cell 画热图、sec_per_epoch 对 base_filters、参数量 vs val_acc。

用最优超参训练最终 CNN，在测试集上评估第 2 周Section 4.3 BEST_CNN（含 epochs）硬编码；用全部 32,000 样本固定 epoch 重训；X_test 只在此 cell 出现；save_final("cnn", ...)。可选：另跑种子 43/44 报 mean±std（若整体运行太久就删掉）。自测同上。

写 CNN 的理论章节 + 优缺点卡片第 2 周报告 Methods → Theory（CNN）卷积 = 局部连接 + 权重共享 → 平移等变；池化的局部不变性；感受野随深度增大；BatchNorm；GAP。可以算一笔账：首层 3×3×3×32 = 864 个权重 vs MLP 首层 2352×128 ≈ 30 万。优缺点（算力需求大、超参多、可解释性差）、引文献。另交一张「CNN 优缺点卡片」。

互审 C 的 MLP 代码第 2 周代码互审：C 的 2.2 / 3.2 / 4.2 清单同 B。BEST_MLP 与 3.2 最优行是否一致、扫描是否记录完整。

写 CNN 的调参结果和讨论第 2–3 周报告 Results → Hyperparameter tuning（CNN） 3 张图（热图、运行时间对 base_filters、参数量–精度散点）+ 摘要表；讨论对照之前的预测，逐条说明符合 / 不符及可能原因（例：BatchNorm 让大学习率仍然稳定，与预测不同）。

写 CNN 的结果分析，给 Conclusion 交要点第 3 周报告 Results → 结果分析（CNN）用 final_cnn.json：per-class precision/recall；与 MLP 的差异在哪些类（CNN 修正了哪些混淆对）；train-val-test 差距；sec_per_epoch 与参数量 / FLOPs 的关系。另给 A 的 Conclusion 留要点（例：Macenko 染色归一化的消融，因为 H&E 染色差异造成域偏移；Grad-CAM 检查模型是否关注细胞核）。

写自己的 Reflection 和 AI 使用记录第 3 周Reflection · AI_LOG.md 自己的 Reflection 1–2 段 + 自己用 AI 的情况 2–3 行；自查自己章节的拼写语法。

核对报告里的数字，互审 B 的 SVM 章节第 3 周数字对账 + 互审 B 的 SVM 部分数字对账：报告里每个数字 ↔ 合并后 notebook 的输出，逐条核对（对账的人不要是数字的生产者）。同时互审 B 的 SVM 相关章节，清单同上。

自己发挥：卷积块怎么搭、要不要数据增强、网格取哪些值，都自己定。只有两条是 spec 的硬规定：模型要自己搭（不能用 keras.applications）、至少调 3 个超参。

CNN 是全组算力最重、也最容易跑不完的一块，留足挂夜的时间。

超参取值与训练耗时均为建议 / 估算，以实测为准。勾选状态只存在你自己的浏览器里，不会同步给别人。