實驗設計技能

概述

本技能提供一套結構化的實驗設計流程，適用於機器學習、自然語言處理、電腦視覺等領域的學術研究。目標是協助研究者從模糊的研究想法出發，產出一份嚴謹、可重現、且具說服力的實驗計畫。

核心設計理念

好的實驗設計應具備以下特質：

• 可證偽性：實驗結果必須能夠支持或否定研究假設
• 公平性：所有比較對象在相同條件下評估
• 可重現性：他人能夠依據描述完整重現實驗
• 充分性：實驗覆蓋足夠的面向以支撐論文結論

實驗設計 Pipeline

完整的實驗設計遵循以下六步流程：

假設 → 變數 → 指標 → Baseline → Ablation → 計算預算

每一步的產出都是下一步的輸入，形成嚴謹的推導鏈。

步驟一：研究假設明確化

目的

將模糊的研究動機轉化為可驗證的具體假設。

方法

1. 辨識研究問題：你想回答什麼問題？
2. 提出核心假設：對問題的預期答案是什麼？
3. 明確化假設：假設必須具備可測量性與可證偽性
4. 分解子假設：將複雜假設拆解為可逐一驗證的子假設

假設的品質標準

範例

• 不佳：「我們的方法比較好」
• 良好：「在 SQuAD 2.0 資料集上，加入跨注意力機制後，F1 分數相較於純自注意力基線提升至少 2 個百分點」

詳見：[實驗規劃參考](references/experiment-planning.md)

步驟二：變數定義

自變數（Independent Variables）

研究者主動操控的變數，即實驗中「改變的東西」。

• 模型架構的變體
• 訓練策略的差異
• 資料處理方式的不同

依變數（Dependent Variables）

用來衡量實驗結果的變數，即「被測量的東西」。

• 模型效能指標（準確率、F1、BLEU 等）
• 效率指標（推論時間、記憶體用量）
• 品質指標（人工評估分數）

控制變數（Control Variables）

實驗中保持不變的變數，確保比較的公平性。

• 隨機種子
• 訓練資料集與切分方式
• 超參數（非研究對象的部分）
• 硬體環境
• 預訓練模型版本

變數控制原則

1. 單一變數原則：每次實驗僅改變一個自變數
2. 完整記錄原則：所有變數的值都必須記錄
3. 合理範圍原則：自變數的取值範圍應有理論依據

詳見：[實驗規劃參考](references/experiment-planning.md)

步驟三：評估指標選擇

選擇原則

1. 領域慣例：優先選擇該領域公認的標準指標
2. 多面向覆蓋：同時報告效能、效率、穩健性指標
3. 統計顯著性：報告多次實驗的平均值與標準差
4. 合理性：指標能真正反映研究假設所關注的面向

常見指標類別

統計檢驗

• 報告多次隨機種子實驗的平均值與標準差
• 必要時進行統計顯著性檢驗（如 paired t-test、bootstrap test）
• 標註統計顯著性水準（p < 0.05, p < 0.01）

步驟四：Baseline 選擇與設定

必選 Baseline 類型

1. 經典方法：該領域歷史上重要的方法
2. 當前 SOTA：最新的最佳表現方法
3. 簡單 Baseline：簡單但合理的基準方法（如隨機、多數類別、TF-IDF）

公平比較原則

• 使用相同的資料切分
• 使用相同的評估協定
• 盡可能使用原作者的程式碼與超參數
• 若需重新實現，需驗證重現結果與原論文一致

常見錯誤

• 僅與弱基線比較
• 未使用最新 SOTA 作為基線
• 基線的超參數未經調校
• 比較條件不一致（如不同的預訓練模型）

詳見：[Baseline 選擇指南](references/baseline-selection.md)

步驟五：Ablation Study 設計

Ablation Study 是驗證方法中各組件貢獻的關鍵實驗。本技能定義四種 Ablation 模式：

模式一：完整消融（Component Ablation）

逐一移除或替換方法中的各個組件，觀察效能變化。

• 每次僅移除一個組件
• 記錄移除後的效能變化
• 藉此判斷每個組件的貢獻度

模式二：超參敏感度分析（Hyperparameter Sensitivity）

探討關鍵超參數對效能的影響。

• 選擇 2-4 個最重要的超參數
• 在合理範圍內變化超參數值
• 繪製超參數-效能曲線圖

模式三：跨資料集遷移（Cross-Dataset Transfer）

驗證方法的泛化能力。

• 在多個不同資料集上測試
• 包含不同規模、不同領域的資料集
• 分析方法在何種條件下效果最佳或最差

模式四：定性分析（Qualitative Analysis）

透過可視化與案例分析深入理解模型行為。

• 注意力權重視覺化
• 成功與失敗案例分析
• 特徵空間視覺化（如 t-SNE）
• 錯誤類型分類與統計

詳見：[Ablation 設計指南](references/ablation-design.md)

步驟六：計算資源預估

預估項目

1. 單次實驗成本

- GPU 時數 - 記憶體需求 - 儲存空間需求

1. 實驗總量計算

`` 總 GPU 時數 = 單次時數 × 模型變體數 × 資料集數 × 隨機種子數 × 超參組合數 ``

1. 安全係數

- 建議預留 1.5-2 倍的預估資源 - 考慮除錯、預實驗、追加實驗的需求

資源最佳化策略

• 先以小規模資料集進行預實驗
• 使用早停（early stopping）節省訓練時間
• 善用混合精度訓練（mixed precision）
• 合理安排實驗優先順序

可重現性要求

實驗計畫必須包含完整的可重現性資訊，確保他人能夠精確重現結果。

必要揭露項目

1. 硬體環境

- GPU 型號與數量 - CPU 規格 - 記憶體大小

1. 軟體環境

- 程式語言版本 - 深度學習框架版本 - 關鍵套件版本

1. 隨機性控制

- 隨機種子設定 - 確定性演算法設定 - 多次實驗的種子列表

1. 訓練協定

- 完整的超參數列表 - 優化器設定 - 學習率排程 - 資料增強策略 - 早停準則

1. 資料處理

- 資料集版本與來源 - 前處理步驟 - 資料切分方式

1. 評估協定

- 評估指標的精確定義 - 評估頻率 - 模型選擇準則

詳見：[可重現性清單](references/reproducibility-checklist.md)

輸出：結構化實驗計畫文件

本技能的最終產出為一份結構化的實驗計畫文件，包含以下章節：

1. 研究假設與子假設
2. 變數定義表
3. 評估指標與統計方法
4. Baseline 列表與設定
5. Ablation Study 設計矩陣
6. 計算資源預估與時程規劃
7. 可重現性資訊

使用模板：[實驗計畫模板](templates/experiment-plan.md)

使用流程

輸入

• 研究主題或論文草稿
• 提出的方法描述
• 可用的計算資源

處理

1. 引導使用者明確化研究假設
2. 協助定義自變數、依變數、控制變數
3. 根據任務類型建議評估指標
4. 根據研究領域建議 Baseline
5. 設計 Ablation Study 方案
6. 預估計算資源需求

輸出

• 完整的實驗計畫文件（依照模板格式）
• 實驗優先順序建議
• 潛在風險與應對方案

品質檢查清單

在完成實驗計畫後，請確認以下項目：

• 每個研究假設都有對應的實驗來驗證
• 所有自變數的取值範圍已明確定義
• 控制變數已完整列出
• 評估指標涵蓋多個面向
• Baseline 包含經典方法、SOTA、簡單基線
• Ablation Study 覆蓋所有提出的組件
• 計算資源預估合理且包含安全係數
• 可重現性資訊完整
• 統計檢驗方法已確定

參考資源

• [實驗規劃方法](references/experiment-planning.md)
• [Baseline 選擇指南](references/baseline-selection.md)
• [Ablation 設計指南](references/ablation-design.md)
• [可重現性清單](references/reproducibility-checklist.md)
• [實驗計畫模板](templates/experiment-plan.md)