1Total Generator Loss = GAN Loss + λ * L1 Loss

 1# 建議使用 conda 建立 TF 1.x 隔離環境
 2conda create -n brain-synth python=3.7
 3conda activate brain-synth
 4
 5# 安裝 TensorFlow 1.x GPU 版
 6pip install tensorflow-gpu==1.15
 7
 8# 安裝相依套件
 9pip install nibabel scipy==1.2.1 matplotlib seaborn glob2 Pillow
10
11# 複製專案
12git clone https://github.com/harshitAgr/brain-synthesis-lesion-segmentation.git
13cd brain-synthesis-lesion-segmentation

1# 啟動 Jupyter Notebook 進行預處理
2jupyter notebook utils/isles18_sample_2d.ipynb

 1brain-synthesis-lesion-segmentation/
 2├── gan2d.py                        # GAN 2D 訓練入口
 3├── pix2pix2d.py                    # pix2pix 2D 訓練入口
 4├── pix2pix3d.py                    # pix2pix 3D 訓練入口
 5├── models/
 6│   ├── gan2d.py                    # GAN Generator + Discriminator
 7│   ├── pix2pix2d.py                # pix2pix 2D U-Net Generator + PatchGAN
 8│   ├── pix2pix3d.py                # pix2pix 3D U-Net Generator + PatchGAN
 9│   ├── blocks2d.py                 # ResNet-style 2D building blocks
10│   └── blocks3d.py                 # ResNet-style 3D building blocks
11├── data/
12│   ├── gan2d_loader.py             # GAN 2D 資料載入器
13│   ├── pix2pix2d_loader.py         # pix2pix 2D 配對資料載入器
14│   └── pix2pix3d_loader.py         # pix2pix 3D 配對資料載入器
15└── utils/
16    ├── isles18_sample_2d.ipynb     # 2D 預處理 notebook
17    ├── isles18_sample_3d.ipynb     # 3D 預處理 notebook
18    ├── merge_2d_test_to_nii.py     # 2D 預測結果 → NIfTI
19    └── convert_3d_test_to_nii.py   # 3D 預測結果 → NIfTI

 1# === 執行 GAN 2D 訓練 ===
 2# 前置條件：已將腦部切片 PNG 存至 data_dir
 3
 4python gan2d.py --data_dir=./datasets/brain_slices_png/
 5
 6# --- 底層運作說明 ---
 7# gan2d.py 內部流程：
 8#
 9# 1. 資料載入：data/gan2d_loader.py
10#    - 讀取 data_dir 下所有 .png，resize 到 64x64，歸一化到 [-1, 1]
11#    - dataset = tf.data.Dataset.from_tensor_slices(files)
12#    - batch_size = 256, prefetch = 256 * 4
13#
14# 2. 模型初始化：models/gan2d.py
15#    - Generator: noise(100) → Dense(8*8*64) → 5 層 Conv2DTranspose → tanh → (64,64,1)
16#    - Discriminator: (64,64,1) → 5 層 Conv2D → Dense(1) → real/fake
17#
18# 3. 訓練迴圈（150 epochs）：
19#    - noise = tf.random_normal([256, 100])
20#    - gen_loss = sigmoid_cross_entropy(ones, D(G(noise)))
21#    - disc_loss = sigmoid_cross_entropy(ones, D(real)) + sigmoid_cross_entropy(zeros, D(G(noise)))
22#    - 每 1 epoch 存圖，每 15 epoch 存 checkpoint
23
24# 4. 輸出：image_at_epoch_XXXX.png（4x4 grid 的生成結果）

 1# === pix2pix 2D 訓練 ===
 2python pix2pix2d.py \
 3  --data_dir=./datasets/isles18_2d/train/ \
 4  --test_dir=./datasets/isles18_2d/test/ \
 5  --output_file_dir=./output_2d/ \
 6  --disc_dim_method=patch-based \
 7  --swap_noise_imB_channel_13=True
 8
 9# --- 關鍵參數說明 ---
10# --data_dir            : 訓練資料目錄（含 imageA/ 和 imageB/ 子目錄）
11# --test_dir            : 測試資料目錄
12# --output_file_dir     : 輸出目錄（訓練過程圖 + 測試預測）
13# --disc_dim_method     : 判別器策略（patch-based 為 70x70 patch 採樣）
14# --swap_noise_imB_channel_13 : 通道交換雜訊增強（10% 機率觸發）
15
16# === 底層流程 ===
17#
18# 1. 資料載入（data/pix2pix2d_loader.py）：
19#    - load_image(imageA_path, imageB_path, is_train=True)
20#    - 訓練時：resize 到 300x300 → random crop 到 256x256 → 50% 機率水平翻轉
21#    - 測試時：直接 resize 到 256x256
22#    - 歸一化到 [-1, 1]
23#
24# 2. 資料增強（pix2pix2d.py train()）：
25#    - swap_noise_imB_channel_13：10% 機率翻轉 target 通道順序 + 加入 Gaussian noise
26#    - 這是為了防止 Generator 過度依賴特定通道順序
27#
28# 3. 訓練損失：
29#    gen_total_loss = gan_loss + LAMBDA(100) * l1_loss
30#    disc_loss = real_loss + generated_loss
31#    + patch-based: 從病灶區域採樣 1000 個 70x70 patch 做額外判別
32#
33# 4. 測試推論：
34#    prediction = generator(test_input, training=True)  # BN 用 batch stats
35#    prediction[prediction > 0.5] = 1  # 二值化閾值
36
37# === 測試結果轉 NIfTI ===
38python utils/merge_2d_test_to_nii.py
39# 將各切片 PNG 依 case 合併回 3D NIfTI 格式，供醫學影像軟體（如 ITK-SNAP）檢視

 1# === pix2pix 3D 訓練 ===
 2python pix2pix3d.py \
 3  --data_dir=./datasets/isles18_3d/train/ \
 4  --test_dir=./datasets/isles18_3d/test/ \
 5  --output_file_dir=./output_3d/ \
 6  --disc_dim_method=patch-based
 7
 8# === 底層差異（vs 2D） ===
 9#
10# 1. 資料載入（data/pix2pix3d_loader.py）：
11#    - 從 PKL 載入 3D 體積（24 x 256 x 256 x channels）
12#    - 訓練增強僅做水平翻轉（np.flip(image, 2)）
13#    - 3D random cropping 因計算量過大已在原始碼中註解掉
14#
15# 2. Generator 架構差異：
16#    - Conv3D / Conv3DTranspose 取代 Conv2D / Conv2DTranspose
17#    - 非均勻 stride 設計：
18#      down4-down7: stride=[1,2,2]  （z 軸不縮）
19#      down8:       stride=[3,2,2]  （z 軸從 3→1）
20#      up1:         stride=[3,2,2]  （z 軸從 1→3）
21#      up2-up5:     stride=[1,2,2]  （z 軸不擴）
22#    - 理由：z 解析度 24 << xy 解析度 256
23#
24# 3. Patch 尺寸：[24, 70, 70]（整個 z 深度 x 70x70 xy patch）
25#
26# 4. 測試輸出為 PKL → 需轉換為 NIfTI：
27
28# === 測試結果轉 NIfTI ===
29python utils/convert_3d_test_to_nii.py
30# 從 PKL 載入 3D 預測，對齊原始 CT 空間資訊後存為 NIfTI
31# 重要：使用原始 CT 的 data dtype 和 affine matrix 確保空間一致性

 1# 概念範例：將 brain-synthesis 產出的合成資料注入 MONAI 訓練管線
 2
 3import nibabel as nib
 4from monai.transforms import (
 5    Compose, LoadImaged, EnsureChannelFirstd,
 6    ScaleIntensityd, RandCropByPosNegLabeld
 7)
 8from monai.data import CacheDataset, DataLoader
 9
10# 1. 收集真實資料 + 合成資料
11real_data = [
12    {"image": f"real_case_{i}/ct.nii", "label": f"real_case_{i}/label.nii"}
13    for i in range(63)
14]
15
16# brain-synthesis 產出的合成 NIfTI（由 merge_2d_test_to_nii.py 或 convert_3d_test_to_nii.py 生成）
17synthetic_data = [
18    {"image": f"synthetic_case_{i}/ct.nii", "label": f"synthetic_case_{i}/label.nii"}
19    for i in range(200)  # 合成 200 例額外資料
20]
21
22# 2. 合併資料集（真實 + 合成）
23combined = real_data + synthetic_data
24
25# 3. 定義 MONAI transform pipeline
26transforms = Compose([
27    LoadImaged(keys=["image", "label"]),
28    EnsureChannelFirstd(keys=["image", "label"]),
29    ScaleIntensityd(keys=["image"]),
30    RandCropByPosNegLabeld(
31        keys=["image", "label"],
32        label_key="label",
33        spatial_size=(96, 96, 96),
34        pos=1, neg=1, num_samples=4
35    ),
36])
37
38# 4. 建立 DataLoader
39dataset = CacheDataset(data=combined, transform=transforms, cache_rate=1.0)
40loader = DataLoader(dataset, batch_size=2, shuffle=True)
41
42# 注意：合成資料的品質直接影響下游分割效能
43# 建議做法：先訓練 → 合成 → 人工品質審核 → 過濾 → 再注入訓練

1AIKT inbox/     ← brain-synthesis 論文筆記 + 合成影像品質報告
2AIKT projects/  ← 合成資料生成實驗管理
3  └── research-YYMMDD-brain-synth/
4      ├── models/           # 訓練好的 Generator checkpoint
5      ├── synthetic_nifti/  # 合成 NIfTI 輸出
6      ├── quality_report.md # FID / SSIM / Dice 評估
7      └── integration.md    # 與下游管線整合紀錄