1R2GenGPT/
 2├── train.py                      # 訓練/驗證/測試主入口
 3├── configs/
 4│   └── config.py                 # Argparse 超參數定義 (~60 個參數)
 5├── models/
 6│   └── R2GenGPT.py               # 核心模型 (PyTorch Lightning Module)
 7├── dataset/
 8│   ├── data_module.py            # Lightning DataModule
 9│   └── data_helper.py            # 資料解析 + 報告清洗
10├── evalcap/                      # 評估指標 (BLEU/ROUGE/METEOR/CIDEr)
11│   ├── bleu/
12│   ├── cider/
13│   ├── meteor/
14│   ├── rouge/
15│   └── tokenizer/
16├── lightning_tools/
17│   ├── callbacks.py              # ModelCheckpoint + TensorBoard Logger
18│   └── optim.py                  # 最佳化設定
19├── scripts/
20│   ├── 1-*.sh ~ 3-*.sh          # IU X-Ray 訓練/測試腳本
21│   └── 4-*.sh ~ 6-*.sh          # MIMIC-CXR 訓練/測試腳本
22├── data/                         # (需自行下載)
23│   ├── iu_xray/
24│   └── mimic_cxr/
25└── requirements.txt

 1# 1. Clone 專案
 2git clone https://github.com/wang-zhanyu/R2GenGPT.git
 3cd R2GenGPT
 4
 5# 2. 建立虛擬環境 (推薦使用 uv)
 6uv venv .venv --python 3.10
 7source .venv/bin/activate
 8
 9# 3. 安裝依賴
10uv pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
11uv pip install -r requirements.txt
12
13# requirements.txt 包含：
14# torch, peft, tensorboardX, transformers==4.30.2,
15# lightning==2.0.5, Pillow, numpy, gradio

1# 從 Google Drive 下載 annotation + images
2# https://drive.google.com/file/d/1c0BXEuDy8Cmm2jfN0YYGkQxFZd2ZIoLg/view
3mkdir -p data/iu_xray
4# 解壓後放入 data/iu_xray/

1# 1. 下載預處理 annotation (作者提供)
2# https://drive.google.com/file/d/14689ztodTtrQJYs--ihB_hgsPMMNHX-H/view
3mkdir -p data/mimic_cxr
4
5# 2. 下載影像 (需先申請 PhysioNet credentialed access)
6# https://physionet.org/content/mimic-cxr-jpg/2.0.0/
7# 解壓後影像放入 data/mimic_cxr/images/

 1{
 2  "train": [
 3    {
 4      "id": "s50414267",
 5      "report": "The lungs are clear. No pleural effusion or pneumothorax...",
 6      "image_path": ["p10/p10000032/s50414267/02aa804e-bde0afdd-112c0b34-7bc16630-4e384014.jpg"]
 7    }
 8  ],
 9  "val": [...],
10  "test": [...]
11}

 1# LLaMA-2-7B-Chat (需 Meta 授權)
 2# 方法 A：Hugging Face Hub
 3huggingface-cli download meta-llama/Llama-2-7b-chat-hf --local-dir ./models/llama2-7b-chat
 4
 5# 方法 B：設定 HF_HOME 快取路徑，讓 transformers 自動下載
 6export HF_HOME=~/.cache/huggingface
 7
 8# Swin-Base (自動從 HuggingFace 下載)
 9# model name: microsoft/swin-base-patch4-window7-224
10
11# 預訓練 Delta Checkpoint (作者提供)
12# https://drive.google.com/drive/folders/1ywEITWfYIAAYy0VY1IZ24Ec_GoNmkqIY
13mkdir -p save/mimic_cxr/pretrained
14# 下載後放入 save/mimic_cxr/pretrained/

 1#!/bin/bash
 2# === Shallow Alignment on MIMIC-CXR ===
 3
 4dataset="mimic_cxr"
 5annotation="./data/mimic_cxr/annotation.json"
 6base_dir="./data/mimic_cxr/images"
 7savepath="./save/$dataset/v1_shallow"
 8
 9mkdir -p "$savepath"
10
11python -u train.py \
12    --dataset ${dataset} \
13    --annotation ${annotation} \
14    --base_dir ${base_dir} \
15    --batch_size 8 \
16    --val_batch_size 12 \
17    --freeze_vm True \
18    --vis_use_lora False \
19    --llm_use_lora False \
20    --savedmodel_path ${savepath} \
21    --learning_rate 1e-4 \
22    --gradient_clip_val 1 \
23    --max_length 100 \
24    --min_new_tokens 80 \
25    --max_new_tokens 120 \
26    --repetition_penalty 2.0 \
27    --length_penalty 2.0 \
28    --num_workers 8 \
29    --devices 1 \
30    --max_epochs 5 \
31    --limit_val_batches 0.5 \
32    --val_check_interval 0.5 \
33    --num_sanity_val_steps 2 \
34    2>&1 | tee -a ${savepath}/log.txt

 1#!/bin/bash
 2# === Delta Alignment on MIMIC-CXR (推薦) ===
 3
 4dataset="mimic_cxr"
 5annotation="data/mimic_cxr/my_mimic_anno.json"
 6base_dir="./data/mimic_cxr/images"
 7savepath="./save/$dataset/v1_delta"
 8
 9mkdir -p "$savepath"
10
11python -u train.py \
12    --dataset ${dataset} \
13    --annotation ${annotation} \
14    --base_dir ${base_dir} \
15    --batch_size 8 \
16    --val_batch_size 16 \
17    --freeze_vm True \
18    --vis_use_lora True \
19    --vis_r 16 \
20    --vis_alpha 16 \
21    --llm_use_lora False \
22    --savedmodel_path ${savepath} \
23    --max_length 100 \
24    --min_new_tokens 80 \
25    --max_new_tokens 120 \
26    --repetition_penalty 2.0 \
27    --length_penalty 2.0 \
28    --num_workers 16 \
29    --devices 4 \
30    --max_epochs 5 \
31    --limit_val_batches 0.5 \
32    --val_check_interval 0.5 \
33    --num_sanity_val_steps 2 \
34    2>&1 | tee -a ${savepath}/log.txt

 1# 模型內部結構 (摘自 models/R2GenGPT.py)
 2
 3# 1. Vision LoRA — 在 Swin 的 query/value 注入低秩矩陣
 4peft_config_visual = LoraConfig(
 5    r=16,                              # LoRA rank (低秩維度)
 6    lora_alpha=16,                     # Scaling factor (縮放因子)
 7    target_modules=["query", "value"], # 注入目標模組
 8    lora_dropout=0.1,
 9    bias="none",
10    modules_to_save=["classifier"],
11)
12self.visual_encoder = get_peft_model(self.visual_encoder, peft_config_visual)
13
14# 2. Projection Layer — Swin hidden_dim → LLaMA hidden_dim
15self.llama_proj = nn.Linear(
16    self.visual_encoder.num_features,  # 1024 (Swin-Base)
17    self.llama_model.config.hidden_size  # 4096 (LLaMA-7B)
18)
19
20# 3. Layer Normalization
21self.layer_norm = nn.LayerNorm(self.llama_model.config.hidden_size)

 1#!/bin/bash
 2# === 用作者提供的 Delta Checkpoint 在 MIMIC-CXR 測試集跑推論 ===
 3
 4dataset="mimic_cxr"
 5annotation="data/mimic_cxr/my_mimic_anno.json"
 6base_dir="./data/mimic_cxr/images"
 7savepath="./save/$dataset/pretrained_delta_test"
 8
 9mkdir -p "$savepath"
10
11python -u train.py \
12    --test \
13    --dataset ${dataset} \
14    --annotation ${annotation} \
15    --base_dir ${base_dir} \
16    --test_batch_size 16 \
17    --freeze_vm True \
18    --vis_use_lora True \
19    --vis_r 16 \
20    --vis_alpha 16 \
21    --delta_file ./save/mimic_cxr/pretrained/delta_checkpoint.pth \
22    --savedmodel_path ${savepath} \
23    --max_length 100 \
24    --min_new_tokens 80 \
25    --max_new_tokens 120 \
26    --beam_size 3 \
27    --repetition_penalty 2.0 \
28    --length_penalty 2.0 \
29    --num_workers 8 \
30    --devices 1 \
31    2>&1 | tee -a ${savepath}/test_log.txt
32
33# 測試結果輸出到：
34# ./save/mimic_cxr/pretrained_delta_test/result/test_result.json  (生成報告)
35# ./save/mimic_cxr/pretrained_delta_test/result/test_refs.json    (參考報告)

1# dataset/data_helper.py 的 clean_report 方法
2# MIMIC-CXR 報告清洗流程：
3# 1. 移除換行、多餘空白、多餘句點
4# 2. 移除編號列表標記 ("1. ", ". 2. ", etc.)
5# 3. 冒號前加空格
6# 4. 移除特殊標點 (保留字母數字空格句點冒號)
7# 5. 全部轉小寫
8# 6. 以 " . " 重新 join 句子

 1# 模型推論時的生成控制參數
 2outputs = self.llama_model.generate(
 3    inputs_embeds=inputs_embeds,
 4    num_beams=3,              # Beam Search 寬度
 5    do_sample=False,          # 不做隨機取樣 (deterministic)
 6    min_new_tokens=80,        # 最少生成 80 tokens
 7    max_new_tokens=120,       # 最多生成 120 tokens
 8    repetition_penalty=2.0,   # 重複懲罰 (抑制冗餘)
 9    length_penalty=2.0,       # 長度懲罰 (鼓勵較長輸出)
10    temperature=0,            # 溫度 0 = greedy
11)

 1影像管線 (Imaging Pipeline)
 2    ├── 前處理：CXR 標準化 / DICOM → JPEG
 3    ├── 分析：分類 / 偵測 / 分割
 4    ├── 報告生成：★ R2GenGPT ★
 5    └── 品質驗證：RadFact NLI 驗證
 6
 7文本 SDG 管線 (Text SDG Pipeline)
 8    ├── 原始報告 → 增量/風格變換 → 合成報告庫
 9    ├── 合成報告 → Fine-tune Domain LLM (MedicalGPT / BioGPT)
10    └── Domain LLM → 臨床筆記 / EHR 敘述 / 法規文件 SDG

 1# 假設已有 R2GenGPT 生成的報告和 ground truth
 2import json
 3
 4# 1. 載入 R2GenGPT 輸出
 5with open("save/mimic_cxr/v1_delta/result/test_result.json") as f:
 6    generated = json.load(f)
 7
 8with open("save/mimic_cxr/v1_delta/result/test_refs.json") as f:
 9    references = json.load(f)
10
11# 2. 轉換為 RadFact 輸入格式
12radfact_input = []
13for sample_id in generated:
14    radfact_input.append({
15        "id": sample_id,
16        "hypothesis": generated[sample_id][0],  # 生成報告
17        "reference": references[sample_id][0],   # 參考報告
18    })
19
20# 3. 用 RadFact 做 NLI-based factual consistency 評估
21# 參見 RadFact 專案：microsoft/RadFact

 1# R2GenGPT 生成的報告可作為 MedicalGPT SFT 階段的訓練資料
 2
 3# 1. 從 R2GenGPT 批量生成報告
 4# 2. 人工 / RadFact 過濾低品質報告
 5# 3. 轉換為 instruction-following 格式
 6
 7sft_sample = {
 8    "instruction": "Based on the following chest X-ray findings, "
 9                   "write a complete radiology report.",
10    "input": "Bilateral clear lung fields, normal cardiac silhouette, "
11             "no pleural effusion.",
12    "output": generated_report  # R2GenGPT 生成
13}
14
15# 4. 匯入 MedicalGPT 的 SFT 訓練管線

1# 在 AIKT 管線中搜尋相關文獻
2paper: "radiology report generation frozen LLM" year=2023-2025 n=10
3
4# 用 paper-qa-lite 對 R2GenGPT 論文 + 相關論文做 RAG 問答
5pq: "What is the BLEU-4 improvement of delta alignment over shallow alignment?"