Bioinformatics on TPOW Lab

BioDiscoveryAgent 完整教學

Tue, 14 Jul 2026 00:00:00 +0000

Repository: https://github.com/snap-stanford/BioDiscoveryAgent Stars: 113 | Forks: 26 | Language: Python | License: MIT 最後更新: 2026-07-12 | 論文: arXiv:2405.17631

1. 專案概覽 (Project Overview)

1.1 這是什麼

BioDiscoveryAgent 是一個由 大型語言模型 (LLM; Large Language Model) 驅動的 AI 代理人 (AI agent; 人工智慧代理人)，用途是自動設計 基因擾動實驗 (genetic perturbation experiment; 基因擾動實驗)。簡單講，它要回答的問題是：

Biomni 完整教學

Tue, 14 Jul 2026 00:00:00 +0000

Repository: https://github.com/snap-stanford/Biomni Stars: 3399 | Forks: 618 | Language: Python | License: Apache License 2.0 官網: https://biomni.stanford.edu | 論文: bioRxiv 2025.05.30.656746

1. 專案概覽 (Project Overview)

1.1 這是什麼

Biomni 是史丹佛大學 SNAP（Stanford Network Analysis Project）團隊開發的一個通用型生物醫學 AI agent (general-purpose biomedical AI agent)。它的核心主張很簡單：把 large language model (LLM; 大型語言模型) 的推理能力、retrieval-augmented planning (檢索增強規劃) 與 code-based execution (基於程式碼的執行) 三者結合，讓一個 agent 能夠自主執行橫跨多個生物醫學次領域的研究任務——從設計 CRISPR screen (CRISPR 篩選實驗)、進行 scRNA-seq annotation (單細胞 RNA 定序註解)，到預測藥物的 ADMET properties (Absorption, Distribution, Metabolism, Excretion, Toxicity; 吸收/分布/代謝/排泄/毒性性質)。

Medical Research Skills 完整教學

Fri, 26 Jun 2026 00:00:00 +0000

Medical Research Skills 完整教學

1. 專案定位與核心價值

這是什麼？

Medical Research Skills 是由 AIPOCH 團隊開發的開源醫學研究 AI Agent Skill 庫，收錄 554+ 個結構化 SKILL.md 檔案。這些 skill 並非傳統意義上的「程式碼套件」，而是為 AI agent 提供的領域知識指令集：每個 SKILL.md 定義了一個特定醫學研究任務的完整工作流程、判斷邏輯與品質檢核標準。

AlphaGenome -- Google DeepMind DNA 調控密碼統一模型完整教學

Sat, 20 Jun 2026 00:00:00 +0000

AlphaGenome – Google DeepMind DNA 調控密碼統一模型完整教學

AlphaGenome 是 Google DeepMind 開發的統一基因體模型 (unified genomic model)，能從 DNA 序列 (DNA sequence) 同時預測 gene expression (基因表現)、splicing patterns (剪接模式)、chromatin features (染色質特徵) 與 contact maps (接觸圖譜)，最長可分析 100 萬鹼基對，並達到 single base-pair resolution (單鹼基解析度)。

Drug Repositioning Pre-IND 完整教學（下篇）：候選分子落地、決策框架與附錄

Sun, 14 Jun 2026 12:01:00 +0800

本文為密碼保護文章，需輸入密碼才能閱讀。

上篇連結：Drug Repositioning Pre-IND 完整教學（上篇）

§6 4 LILO 落地 — 候選人履歷表

chmod 600 — 僅以 LILO-A / LILO-B / LILO-C / LILO-D 代號出現

Drug Repositioning Pre-IND 完整教學（上篇）：概念、法規與管線分析

Sun, 14 Jun 2026 12:00:00 +0800

本文為密碼保護文章，需輸入密碼才能閱讀。

下篇連結：Drug Repositioning Pre-IND 完整教學（下篇）

§1 執行摘要：一分鐘掌握本案

機密邊界：4 candidate 僅以 LILO-A / LILO-B / LILO-C / LILO-D 代號出現；禁止出現任何真名、ChEMBL ID、SMILES chmod 600

AbLang 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

AbLang 完整教學

Repository: https://github.com/oxpig/AbLang Stars: 165 | Forks: 31 | License: BSD 3-Clause Tags: antibody, language-model, semantic, protein-sequences Language: Python | Version: 0.2.4 Paper: AbLang: An antibody language model for completing antibody sequences (Olsen et al., 2022)

2. 核心架構

2.1 模型整體架構


graph TD
    subgraph Input["輸入層 Input Layer"]
        SEQ["抗體序列
Antibody Sequence
e.g. EVQLVESGPG..."]
        TOK["ABtokenizer
20 AA + 特殊 token
（   ）"]
    end

    subgraph AbRep["AbRep 表徵模型"]
        EMB["AbEmbeddings
AA Embedding + Position Embedding
→ LayerNorm → Dropout"]
        ENC["EncoderBlocks
N 層 Transformer Encoder
（MultiHeadAttention + IntermediateLayer）"]
        HST["Last Hidden States
768-dim per residue"]
    end

    subgraph AbHead["AbHead 預測頭"]
        DENSE["Dense Layer (768 → 768)"]
        ACT["Activation (GELU)"]
        LN["LayerNorm"]
        DEC["Decoder (768 → vocab_size)"]
        LOGIT["Token Logits
每個位置的 AA 機率分布"]
    end

    subgraph Outputs["四種輸出模式"]
        SEQC["seqcoding
Mean pooling → 768-dim/seq"]
        RESC["rescoding
768-dim/residue"]
        REST["restore
MLM 預測填回 mask"]
        LIKE["likelihood
20 AA 機率矩陣"]
    end

    SEQ --> TOK --> EMB --> ENC --> HST
    HST --> SEQC
    HST --> RESC
    HST --> AbHead
    DENSE --> ACT --> LN --> DEC --> LOGIT
    LOGIT --> REST
    LOGIT --> LIKE

    style Input fill:#e8f4f8,stroke:#2c3e50
    style AbRep fill:#fdf2e9,stroke:#e67e22
    style AbHead fill:#f5eef8,stroke:#8e44ad
    style Outputs fill:#eafaf1,stroke:#27ae60

2.2 原始碼模組結構

 1ablang/
 2├── __init__.py          # 匯出 ABtokenizer, AbLang, AbRep, AbHead, pretrained
 3├── tokenizers.py        # ABtokenizer — AA 字元 ↔ token ID 雙向轉換
 4├── embedding.py         # AbEmbeddings — AA 嵌入 + 位置嵌入 + LayerNorm + Dropout
 5├── encoderblocks.py     # EncoderBlocks → EncoderBlock → MHA + IntermediateLayer
 6├── fairseq_mha.py       # MultiheadAttention（改自 fairseq，支援逐 head 權重輸出）
 7├── extra_fns.py         # 啟動函數對照表 ACT2FN（GELU 等）
 8├── model.py             # AbLang = AbRep + AbHead；AbRep = Embeddings + Encoder
 9├── pretrained.py        # pretrained class — 模型下載、推論介面、四種模式
10└── model-weights-*/     # 自動下載的預訓練權重（heavy / light 各一組）

2.3 Transformer Encoder 內部結構

每個 EncoderBlock 包含：

biomed-multi-alignment (MAMMAL) 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

biomed-multi-alignment (MAMMAL) 完整教學

Repository: https://github.com/BiomedSciAI/biomed-multi-alignment Stars: 109 | Tags: IBM, multimodal, foundation License: Apache-2.0 | Language: Jupyter Notebook / Python arXiv: 2410.22367 Model Weights: ibm/biomed.omics.bl.sm.ma-ted-458m

2. 核心架構

2.1 整體架構圖


graph TB
    subgraph Input["輸入模態 (Input Modalities)"]
        P["Protein Sequence
蛋白質序列
AA tokenizer"]
        S["Small Molecule
小分子 SMILES
SMILES tokenizer"]
        G["Gene Expression
基因表現
Gene tokenizer + Scalars"]
    end

    subgraph MT["Modular Tokenizer
模組化分詞器"]
        M1["AA Tokenizer"]
        M2["SMILES Tokenizer"]
        M3["Gene Tokenizer"]
        M4["Unified ID Space
統一 ID 空間"]
    end

    subgraph Prompt["Task Prompt Syntax
任務提示語法"]
        TP["<@TOKENIZER-TYPE=AA>

...
"]
    end

    subgraph Model["MAMMAL Model (458M params)"]
        ENC["T5 Encoder
編碼器"]
        DEC["T5 Decoder
解碼器"]
        EH["Encoder Head
ClassifierMLP"]
        SH["Scalars Prediction Head
標量預測頭"]
    end

    subgraph Output["輸出模式"]
        CLS["Classification
分類 (token generation)"]
        REG["Regression
回歸 (scalar prediction)"]
        EMB["Embeddings
嵌入向量 (vLLM pooling)"]
    end

    P --> M1
    S --> M2
    G --> M3
    M1 --> M4
    M2 --> M4
    M3 --> M4
    M4 --> TP
    TP --> ENC

    ENC -->|"Encoder-Decoder mode"| DEC --> CLS
    ENC -->|"Encoder-only mode"| EH --> REG
    ENC -->|"Encoder-only mode"| SH --> REG
    ENC -->|"vLLM pooling"| EMB

2.2 Task Prompt 格式

MAMMAL 的核心設計哲學是用統一的 prompt 格式將不同模態與任務編碼為 token 序列。以下是各任務的 prompt 結構：

BioMedLM 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

BioMedLM 完整教學

Repository: https://github.com/stanford-crfm/BioMedLM Stars: 640 | Forks: 66 | Language: Python Tags: biomedical, LLM, Stanford Model Hub: https://huggingface.co/stanford-crfm/pubmedgpt Blog: https://crfm.stanford.edu/2022/12/15/pubmedgpt.html

2. 核心架構

2.1 整體架構圖


graph TB
    subgraph "Pre-training Pipeline"
        A["PubMed Abstracts
+ PubMed Central Full-text"] --> B["自訂 BPE Tokenizer
(vocab=28,896)"]
        B --> C["GPT-2 2.7B 架構
(MosaicML Composer)"]
        C --> D["BioMedLM
Pre-trained Checkpoint"]
    end

    subgraph "Fine-tuning Pipeline"
        D --> E["NLU: Sequence Classification
(PubMedQA / BioASQ)"]
        D --> F["NLU: Multiple Choice
(MedQA-USMLE)"]
        D --> G["NLG: Text Generation
(MeQSum Summarization)"]
    end

    subgraph "Downstream 應用"
        E --> H["生物醫學問答系統"]
        F --> I["醫學考試評估"]
        G --> J["醫學文獻摘要"]
        D --> K["Synthetic Data Generation
(SDG 基礎模型)"]
    end

    subgraph "工具與依賴"
        L["HuggingFace Transformers"] --> C
        M["DeepSpeed CPU Offloading"] --> E & F & G
        N["PyTorch Distributed"] --> E & F & G
    end

    style A fill:#e1f5fe
    style D fill:#fff3e0
    style K fill:#fce4ec

2.2 專案目錄結構

 1BioMedLM/
 2├── README.md                          # 專案說明與快速使用範例
 3├── demo.py                            # 最簡推論 demo
 4├── tokenize/
 5│   └── train_bpe.py                   # 自訂 BPE tokenizer 訓練腳本
 6├── finetune/
 7│   ├── README.md                      # Fine-tuning 完整說明
 8│   ├── setup/
 9│   │   └── requirements.txt           # 依賴套件
10│   ├── deepspeed/
11│   │   └── cpu_offload.json           # DeepSpeed 記憶體優化設定
12│   ├── mc/                            # Multiple Choice (多選題 QA)
13│   │   ├── README.md
14│   │   ├── preprocess_medqa.py        # MedQA 資料前處理
15│   │   ├── run_multiple_choice.py     # 多選微調主程式
16│   │   ├── run_experiments.py         # 批次實驗腳本
17│   │   └── data/medqa_usmle_hf/      # MedQA-USMLE 範例資料
18│   ├── seqcls/                        # Sequence Classification (序列分類)
19│   │   ├── README.md
20│   │   ├── preprocess_blurb_seqcls.py # BLURB 資料前處理
21│   │   ├── run_seqcls_gpt.py          # 序列分類微調主程式
22│   │   └── data/                      # PubMedQA / BioASQ 範例資料
23│   ├── textgen/                       # Text Generation (文本生成)
24│   │   ├── data/meqsum/               # MeQSum 摘要任務資料
25│   │   └── gpt2/
26│   │       ├── finetune_for_summarization.py  # 摘要微調
27│   │       ├── generate_demo.py               # 生成 demo
28│   │       ├── run_generation_batch.py        # 批次生成
29│   │       ├── sum_data_collator.py           # 資料 collator
30│   │       └── sum_dataset.py                 # 資料集類別
31│   └── utils/
32│       ├── custom_modeling_gpt2.py    # 自訂 GPT-2（加 Token Classification）
33│       ├── custom_modeling_gpt_neo.py # GPT-Neo 相容層
34│       └── hf_flash_gpt_2.py         # Flash Attention 支援

2.3 Fine-tuning 任務架構


graph LR
    subgraph "NLU Tasks"
        direction TB
        MC["Multiple Choice
(MedQA-USMLE)
4 選 1 醫學考題"]
        SC["Sequence Classification
(PubMedQA / BioASQ)
yes/no/maybe 分類"]
    end

    subgraph "NLG Tasks"
        direction TB
        TG["Text Generation
(MeQSum)
醫療問題摘要"]
    end

    BM["BioMedLM
Pre-trained"] --> MC
    BM --> SC
    BM --> TG

    MC -->|"MultipleChoiceModelOutput"| R1["Accuracy on
USMLE 4-option"]
    SC -->|"SequenceClassifierOutput"| R2["Accuracy on
PubMedQA / BioASQ"]
    TG -->|"Causal LM"| R3["ROUGE / BLEU
on MeQSum"]

    style BM fill:#fff3e0
    style MC fill:#e8f5e9
    style SC fill:#e8f5e9
    style TG fill:#e3f2fd

2.4 Tokenizer 設計

BioMedLM 使用自訂的 BPE（Byte-Pair Encoding; 位元組對編碼）tokenizer，這是整個系統的關鍵差異化設計：

brain-synthesis-lesion-segmentation 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

brain-synthesis-lesion-segmentation 完整教學

Repository: https://github.com/harshitAgr/brain-synthesis-lesion-segmentation Stars: 40 | Fork: 33 | Language: Python (TensorFlow) Tags: brain, GAN, NVIDIA-DLI 論文: Medical Image Synthesis for Data Augmentation and Anonymization using Generative Adversarial Networks 最後更新: 2025-12-01

2. 核心架構

2.1 整體管線


graph TD
    subgraph 資料準備
        A[ISLES'18 原始 NIfTI] -->|預處理 Notebook| B[2D PNG 切片
或 3D PKL 體積]
    end

    subgraph 模型訓練
        B --> C{選擇模式}
        C -->|無條件| D[GAN 2D
gan2d.py]
        C -->|條件式 2D| E[pix2pix 2D
pix2pix2d.py]
        C -->|條件式 3D| F[pix2pix 3D
pix2pix3d.py]
    end

    subgraph Generator 架構
        G[Input Image
CT Perfusion] --> H[U-Net Encoder
8 層 Downsample]
        H --> I[Bottleneck
1x1x512]
        I --> J[U-Net Decoder
7 層 Upsample + Skip]
        J --> K[Output
合成病灶標籤]
    end

    subgraph Discriminator 架構
        L[Input + Target
或 Input + Generated] --> M[PatchGAN
70x70 patches]
        M --> N[Real / Fake
判別]
    end

    subgraph 後處理
        E --> O[2D 預測 PNG]
        F --> P[3D 預測 PKL]
        O -->|merge_2d_test_to_nii.py| Q[NIfTI 輸出]
        P -->|convert_3d_test_to_nii.py| Q
    end

    style G fill:#e1f5fe
    style K fill:#c8e6c9
    style Q fill:#fff3e0

2.2 Generator 詳細架構（U-Net + Skip Connections）

Generator（生成器）採用經典 U-Net（U 型網路）架構，包含：

conditional_DDPM 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

conditional_DDPM 完整教學

Repository: https://github.com/junbopeng/conditional_DDPM Stars: 74 | Tags: DDPM, CBCT-CT, Medical-Physics License: MIT | Language: Python | Last Updated: 2026-04-29 論文: Peng J, Qiu RLJ, Wynne JF, et al. CBCT-Based synthetic CT image generation using conditional denoising diffusion probabilistic model. Med Phys. 2023; 1-13. DOI: 10.1002/mp.16704

2. 核心架構

2.1 系統架構圖


graph TB
    subgraph "Forward Process (訓練時)"
        CT["pCT 影像
(Ground Truth)"]
        NOISE["Gaussian Noise ε"]
        T_STEP["Random Timestep t
t ∈ [0, T)"]
        X_T["噪聲化 CT: x_t
x_t = √ᾱ_t · CT + √(1-ᾱ_t) · ε"]
        CT --> X_T
        NOISE --> X_T
        T_STEP --> X_T
    end

    subgraph "Conditional Input (條件輸入)"
        CBCT["CBCT 影像
(Condition)"]
        CONCAT["Channel Concatenation
[x_t, CBCT] → 2-ch"]
        X_T --> CONCAT
        CBCT --> CONCAT
    end

    subgraph "U-Net Backbone"
        UNET["Conditional U-Net
Input: 2-ch | Output: 1-ch"]
        TIME_EMB["Sinusoidal Time Embedding
t → MLP → t_emb"]
        CONCAT --> UNET
        T_STEP --> TIME_EMB
        TIME_EMB --> UNET
        PRED["Predicted Noise ε̂"]
        UNET --> PRED
    end

    subgraph "Training Loss"
        LOSS["MSE Loss
L = Σ||ε - ε̂||²"]
        NOISE --> LOSS
        PRED --> LOSS
    end

    subgraph "Reverse Process (推論時)"
        PURE_NOISE["Pure Noise x_T
~ N(0, I)"]
        CBCT2["CBCT 影像"]
        DENOISE["Iterative Denoising
t = T → 0"]
        SCT["Synthetic CT
(合成 CT 輸出)"]
        PURE_NOISE --> DENOISE
        CBCT2 --> DENOISE
        UNET -.->|"Trained Model"| DENOISE
        DENOISE --> SCT
    end

    style CT fill:#4CAF50,color:#fff
    style CBCT fill:#FF9800,color:#fff
    style CBCT2 fill:#FF9800,color:#fff
    style SCT fill:#2196F3,color:#fff
    style LOSS fill:#f44336,color:#fff

2.2 U-Net 架構細節

模型採用經典的 U-Net with Skip Connections (帶跳躍連接的 U-Net)，各層規格如下：

CTGAN 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

CTGAN 完整教學

Repository: https://github.com/sdv-dev/CTGAN Stars: 1,560 | Forks: 331 | Language: Python | License: Business Source License (BSL) Tags: synthetic-data, generative-adversarial-network, tabular-data, data-generation 最後更新: 2026-06-08 | 目前版本: v0.12.1 論文: Modeling Tabular data using Conditional GAN — NeurIPS 2019

2. 核心架構 (Core Architecture)

2.1 整體資料流


flowchart TB
    subgraph INPUT["輸入層"]
        RAW["原始表格資料
pandas DataFrame"]
        DC["離散欄位清單
discrete_columns"]
    end

    subgraph TRANSFORM["資料轉換層 DataTransformer"]
        direction TB
        CONT["連續欄位
ClusterBasedNormalizer
(Bayesian GMM)"]
        DISC["離散欄位
OneHotEncoder"]
        CONT --> |"scalar [-1,1] + mode softmax"| ENCODED["轉換後矩陣
float32 ndarray"]
        DISC --> |"one-hot vector"| ENCODED
    end

    subgraph SAMPLER["條件取樣層 DataSampler"]
        CONDVEC["Conditional Vector
條件向量"]
        LOGFREQ["Log-Frequency
對數頻率取樣"]
    end

    subgraph GAN["GAN 訓練核心"]
        direction LR
        subgraph GEN["Generator 生成器"]
            NOISE["z ~ N(0,1)
噪聲向量"]
            RESIDUAL["Residual Layers
殘差層 × N"]
            ACTIVATE["Activation
tanh + Gumbel-Softmax"]
        end
        subgraph DIS["Discriminator 鑑別器"]
            PAC["PacGAN (pac=10)
多樣本打包"]
            WGANGP["WGAN-GP Loss
梯度懲罰"]
        end
        GEN -->|"fake data"| DIS
        DIS -->|"gradient"| GEN
    end

    subgraph OUTPUT["輸出層"]
        INVERSE["逆轉換
inverse_transform"]
        SYNTH["合成表格資料
pandas DataFrame"]
    end

    RAW --> TRANSFORM
    DC --> TRANSFORM
    ENCODED --> SAMPLER
    SAMPLER --> GAN
    ENCODED -->|"real data"| DIS
    CONDVEC -->|"concat with z"| NOISE
    GAN -->|"fakeact"| INVERSE
    INVERSE --> SYNTH

    style INPUT fill:#e8f4f8,stroke:#2196F3
    style TRANSFORM fill:#fff3e0,stroke:#FF9800
    style SAMPLER fill:#f3e5f5,stroke:#9C27B0
    style GAN fill:#fce4ec,stroke:#E91E63
    style OUTPUT fill:#e8f5e9,stroke:#4CAF50

2.2 模組拆解

CTGAN 的程式碼結構十分精簡，核心僅 6 個檔案：

DenseDiffusion 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

DenseDiffusion 完整教學

Repository: https://github.com/naver-ai/DenseDiffusion Stars: 507 | Forks: 35 | License: Apache-2.0 Tags: diffusion, dense-control, ICCV 論文: Dense Text-to-Image Generation with Attention Modulation (ICCV 2023) 作者: Yunji Kim, Jiyoung Lee, Jin-Hwa Kim, Jung-Woo Ha (NAVER AI Lab), Jun-Yan Zhu (CMU)

2. 核心架構

2.1 系統架構圖


graph TD
    A["使用者輸入"] --> B["Layout Masks
空間佈局遮罩"]
    A --> C["Segment Prompts
區段文字描述"]
    A --> D["Master Prompt
全局文字描述"]

    B --> E["Mask Preprocessing
遮罩前處理"]
    C --> F["CLIP Tokenizer
文字分詞"]
    D --> F

    F --> G["CLIP Text Encoder
文字編碼器"]
    G --> H["Text Embeddings
文字嵌入"]

    E --> I["Self-Attention Reg Maps
自注意力調控圖"]
    E --> J["Cross-Attention Reg Maps
交叉注意力調控圖"]
    E --> K["Size Reg Maps
面積調控圖"]

    H --> L["Modified UNet Forward
修改後的 UNet 前向傳播"]
    I --> L
    J --> L
    K --> L

    L --> M["DDIM Scheduler
DDIM 排程器"]
    M --> N["Generated Image
生成影像"]

    style A fill:#e1f5fe
    style L fill:#fff3e0
    style N fill:#e8f5e9

2.2 注意力調變機制

DenseDiffusion 的核心是 mod_forward 函式，它替換了 UNet 中所有 Attention 層的 __call__ 方法。調變邏輯如下：

distilabel 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

distilabel 完整教學

Repository: https://github.com/argilla-io/distilabel Stars: 3248 | Tags: LLM, synthetic-data, AI-feedback License: Apache-2.0 | Language: Python | Requires: Python 3.9+ Homepage: https://distilabel.argilla.io Topics: ai, huggingface, llms, openai, python, rlaif, rlhf, synthetic-data, synthetic-dataset-generation

2. 核心架構

2.1 整體架構圖


graph TB
    subgraph Input["Input Layer (輸入層)"]
        HF["HuggingFace Dataset
HuggingFace 資料集"]
        CSV["CSV / JSON / JSONL"]
        GEN["GeneratorStep
生成器步驟"]
    end

    subgraph Pipeline["Pipeline Engine (管線引擎)"]
        direction TB
        DAG["DAG Scheduler
有向無環圖排程器"]
        BM["BatchManager
批次管理器"]
        SW["StepWrapper
步驟包裝器"]
        WB["WriteBuffer
寫入緩衝區"]
        
        DAG --> BM
        BM --> SW
        SW --> WB
    end

    subgraph Models["Models Layer (模型層)"]
        direction TB
        LLM["LLM Integrations
15+ providers"]
        EMB["Embedding Models
嵌入模型"]
        IMG["Image Generation
圖像生成"]
    end

    subgraph Steps["Steps Layer (步驟層)"]
        direction TB
        TASK["Task Steps
任務步驟"]
        PROC["Processing Steps
處理步驟"]
        FILT["Filtering Steps
過濾步驟"]
        FMT["Formatting Steps
格式化步驟"]
    end

    subgraph Tasks["Built-in Tasks (內建任務)"]
        TG["TextGeneration
文本生成"]
        UF["UltraFeedback
多維度評分"]
        EI["EvolInstruct
指令進化"]
        SI["SelfInstruct
自我指令"]
        PM["PrometheusEval
評估"]
        CL["CLAIR
修訂回饋"]
        MG["Magpie
合成對話"]
        SG["StructuredGeneration
結構化生成"]
    end

    subgraph Output["Output Layer (輸出層)"]
        DS["Distiset
distilabel 資料集"]
        ARG["Argilla Export
Argilla 標注平台"]
        PUSH["Push to HF Hub
推送到 HuggingFace"]
    end

    Input --> Pipeline
    Models --> Steps
    Steps --> Pipeline
    Tasks --> TASK
    Pipeline --> Output

    style Input fill:#e1f5fe,stroke:#0288d1
    style Pipeline fill:#fff3e0,stroke:#f57c00
    style Models fill:#f3e5f5,stroke:#7b1fa2
    style Steps fill:#e8f5e9,stroke:#388e3c
    style Tasks fill:#fce4ec,stroke:#c62828
    style Output fill:#f1f8e9,stroke:#558b2f

2.2 模組結構

distilabel 的原始碼組織如下：

FORTE 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

FORTE 完整教學

Repository: https://github.com/charlierabea/FORTE Stars: 49 | Fork: 6 | License: MIT Tags: multimodal, LLM, brain-CT, report 論文: Nature Communications 16, 2258 (2025) 最後更新: 2026-05-27 Zenodo DOI: 10.5281/zenodo.14852686

2. 核心架構

2.1 系統全貌


flowchart TB
    subgraph INPUT["輸入層"]
        CT["3D Brain CT
(N 張 2D Slice)"]
        INST["Structured Instruction
(MIIT 格式)"]
    end

    subgraph MODEL["BrainGPT 模型"]
        CLIP["CLIP Vision Encoder
(影像編碼器)"]
        PERC["Perceiver Resampler
(跨模態橋接)"]
        MPT["MPT-7B LLM
(語言生成器)"]
        
        CLIP --> PERC
        PERC --> MPT
    end

    subgraph EVAL["FORTE 評估框架"]
        AUTO["Automatic Evaluation
(BLEU / METEOR / ROUGE / CIDEr)"]
        SP["Sentence Pairing
(語義相似度配對)"]
        KW["FORTE Keyword Extraction
(4 類關鍵字擷取)"]
        NEG["Negation Removal
(否定句移除)"]
        
        SP --> KW
        KW --> NEG
    end

    CT --> CLIP
    INST --> MPT
    MPT -->|"Generated Report"| EVAL
    AUTO -.->|"NLG Metrics"| RESULT["Evaluation Result
(Excel)"]
    NEG -->|"Clinical Precision/Recall"| RESULT

    style INPUT fill:#e1f5fe,stroke:#0288d1
    style MODEL fill:#fff3e0,stroke:#f57c00
    style EVAL fill:#e8f5e9,stroke:#388e3c

2.2 目錄結構

 1FORTE/
 2├── MIIT/                          # 訓練框架（基於 Otter）
 3│   ├── flamingo/                  # OpenFlamingo 模型定義
 4│   │   ├── modeling_flamingo.py   #   Flamingo 條件生成模型
 5│   │   └── mpt/                   #   MPT backbone
 6│   ├── otter/                     # Otter 模型（BrainGPT 基底）
 7│   │   └── modeling_otter.py      #   OtterForConditionalGeneration
 8│   └── pipeline/
 9│       ├── train/
10│       │   ├── instruction_following.py  # 主訓練腳本
11│       │   ├── data.py                   # 資料載入器
12│       │   └── train_utils.py            # 訓練工具
13│       ├── eval/                  # COCO 風格評估
14│       ├── serve/                 # Gradio demo 伺服器
15│       └── mimicit_utils/         # MIIT 資料集工具
16├── evaluation/                    # 推論框架（結構同 MIIT，用於 eval mode）
17│   └── pipeline/train/eval.py     # 推論主腳本
18├── data/
19│   ├── CQ500p_instruction.json    # CQ500 外部驗證指令
20│   ├── FORTE_brain.json           # 腦 CT 關鍵字詞典（4 類 × N 同義詞組）
21│   ├── FORTE_chestCT.json         # 胸 CT 關鍵字詞典
22│   ├── FORTE_abdomen.json         # 腹 CT 關鍵字詞典
23│   └── FORTE_CXR.json             # 胸 X 光關鍵字詞典
24├── Automatic_evaluation.py        # Step 1: NLG 自動評估
25├── Sentence_pairing.py            # Step 2: 語義句子配對
26├── FORTE.py                       # Step 3: FORTE 關鍵字評估
27├── Negation_removal.py            # Step 4: 否定移除
28├── train.sh                       # 訓練腳本入口
29├── eval.sh                        # 推論腳本入口
30├── environment.yml                # Conda 環境
31└── requirements.txt               # pip 依賴

2.3 FORTE 評估 Pipeline 流程


flowchart LR
    A["Generated Reports
(Excel: gt + parsed_output)"] --> B["Step 1
Automatic Evaluation
(BLEU/METEOR/ROUGE/CIDEr)"]
    B --> C["Step 2
Sentence Pairing
(all-mpnet-base-v2
cosine similarity)"]
    C --> D["Step 3
FORTE Keyword Extraction
(4 類: degree/landmark/
feature/impression)"]
    D --> E["Step 4
Negation Removal
(移除含 'no' 的 degree 句)"]
    E --> F["Final Metrics
per-category
Precision & Recall"]

    style A fill:#fff9c4,stroke:#f9a825
    style F fill:#c8e6c9,stroke:#2e7d32

四類 FORTE 關鍵字（以 Brain CT 為例）：

foundation-cancer-image-biomarker 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

foundation-cancer-image-biomarker 完整教學

Repository: https://github.com/AIM-Harvard/foundation-cancer-image-biomarker Stars: 132 | Tags: cancer, imaging, biomarker 論文: Nature Machine Intelligence 2024 授權: MIT License | 語言: Python (Jupyter Notebook / PyTorch) 作者: Suraj Pai, AIM Lab @ Harvard

2. 核心架構

2.1 系統架構總覽


flowchart TB
    subgraph INPUT["輸入層 Input Layer"]
        CSV["CSV 檔案
image_path, coordX, coordY, coordZ"]
        NIFTI["NIfTI / NRRD
3D 醫學影像"]
    end

    subgraph PREPROCESS["前處理 Preprocessing"]
        LOAD["LoadImage
(ITKReader)"]
        ORIENT["Orientation
LPS 標準化"]
        SPACING["Spacing
1x1x1 mm 重採樣"]
        NORM["NormalizeIntensity
(-1024 ~ 2048 HU)"]
        CROP["SeedBasedPatchCrop
50x50x50 voxels"]
    end

    subgraph MODEL["基礎模型 Foundation Model"]
        TRUNK["3D ResNet-50
(widen_factor=2)"]
        FEAT["Feature Vector
4096-dim"]
    end

    subgraph DOWNSTREAM["下游應用 Downstream Tasks"]
        LINEAR["Linear Probe
(LogisticRegression)"]
        FINETUNE["Fine-tuning
(project-lighter)"]
        CUSTOM["自定義 Pipeline"]
    end

    subgraph OUTPUT["輸出層 Output Layer"]
        CLASS["病灶分類"]
        MALIG["惡性度預測"]
        SURV["存活期預測"]
        BIOM["定量生物標記"]
    end

    CSV --> LOAD
    NIFTI --> LOAD
    LOAD --> ORIENT --> SPACING --> NORM --> CROP
    CROP --> TRUNK --> FEAT
    FEAT --> LINEAR --> CLASS
    FEAT --> LINEAR --> MALIG
    FEAT --> FINETUNE --> SURV
    FEAT --> CUSTOM --> BIOM

    style INPUT fill:#e8f4fd,stroke:#1e88e5
    style PREPROCESS fill:#fff3e0,stroke:#ff9800
    style MODEL fill:#fce4ec,stroke:#e53935
    style DOWNSTREAM fill:#e8f5e9,stroke:#43a047
    style OUTPUT fill:#f3e5f5,stroke:#8e24aa

2.2 SSL 預訓練架構


flowchart LR
    subgraph DATA["資料準備"]
        IMG["3D CT Image"]
        POS1["Positive View 1
(RandomResizedCrop)"]
        POS2["Positive View 2
(RandomResizedCrop)"]
        NEG["Negative Patch
(Background Region)"]
    end

    subgraph AUG["資料增強"]
        FLIP["RandAxisFlip"]
        HIST["RandHistogramShift"]
        GAUSS["RandGaussianSmooth"]
    end

    subgraph SIMCLR["ExNeg SimCLR"]
        ENC["3D ResNet-50
Encoder"]
        PROJ["Projection Head
(4096 → 2048 → 128)"]
        LOSS["NegativeMiningInfoNCE
Loss"]
    end

    IMG --> POS1 & POS2 & NEG
    POS1 --> AUG
    POS2 --> AUG
    AUG --> ENC --> PROJ --> LOSS
    NEG --> ENC

    style SIMCLR fill:#fce4ec,stroke:#e53935

2.3 專案目錄結構

 1foundation-cancer-image-biomarker/
 2├── fmcib/                          # 核心 Python 套件
 3│   ├── models/                     # 模型定義
 4│   │   ├── load_model.py           # LoadModel — 權重載入 + trunk/heads 架構
 5│   │   ├── autoencoder.py          # Autoencoder baseline
 6│   │   └── models_genesis.py       # Models Genesis UNet3D baseline
 7│   ├── ssl/                        # 自監督學習模組
 8│   │   ├── modules/
 9│   │   │   ├── simclr.py           # Standard SimCLR
10│   │   │   ├── exneg_simclr.py     # Extended Negative SimCLR (核心)
11│   │   │   ├── nnclr.py            # NNCLR variant
12│   │   │   └── swav.py             # SwAV variant
13│   │   └── losses/
14│   │       ├── ntxent_loss.py      # NT-Xent loss
15│   │       └── neg_mining_info_nce_loss.py  # 負樣本挖掘 InfoNCE
16│   ├── datasets/
17│   │   └── ssl_radiomics_dataset.py  # SSL 資料集 (positive + negative pairs)
18│   ├── preprocessing/
19│   │   └── seed_based_crop.py      # SeedBasedPatchCrop (核心前處理)
20│   ├── transforms/                 # 3D 資料增強
21│   ├── callbacks/                  # 預測儲存 callback
22│   └── run.py                      # 高階 API 入口 (get_features)
23├── experiments/                    # 實驗設定 (YAML)
24│   ├── pretraining/                # 預訓練設定
25│   ├── inference/                  # 推論設定
26│   ├── adaptation/                 # 線性探測 fine-tuning
27│   └── baselines/                  # Med3D / Models Genesis 比較
28├── analysis/                       # 結果分析 notebooks
29├── tutorials/                      # 教學 notebooks
30├── docs/                           # MkDocs 文件網站
31├── tests/                          # 測試
32├── pyproject.toml                  # Poetry 設定 + 依賴
33└── Makefile                        # 開發工具指令

3. 安裝與設定

3.1 快速安裝 (推論用)

1# 建立虛擬環境 (推薦)
2conda create -n fmcib python=3.10 -y
3conda activate fmcib
4
5# pip 安裝
6pip install foundation-cancer-image-biomarker
7
8# 驗證安裝
9python -c "from fmcib.models import fmcib_model; print('FMCIB installed successfully')"

3.2 開發者安裝 (含完整原始碼)

 1# Clone repo
 2git clone https://github.com/AIM-Harvard/foundation-cancer-image-biomarker.git
 3cd foundation-cancer-image-biomarker
 4
 5# 使用 Poetry 安裝
 6make setup
 7make install
 8
 9# 或手動 Poetry
10pip install poetry
11poetry install
12
13# 安裝 pre-commit hooks
14make pre-commit-install

3.3 系統需求

項目	推論最低需求	訓練建議需求
RAM	4 GB	12 GB+
CPU	4 cores	4+ cores
GPU VRAM	4 GB (可無)	12 GB+
OS	Linux / macOS / Windows	Linux (Ubuntu 20.04/22.04)
Python	3.9 ~ 3.11	3.9 ~ 3.11

3.4 預訓練權重下載

1# 自動下載 (呼叫 fmcib_model() 時自動觸發)
2# 手動下載
3wget https://zenodo.org/records/10528450/files/model_weights.torch?download=1 -O model_weights.torch

權重檔案約 ~200 MB，來自 Zenodo，首次呼叫 fmcib_model() 會自動下載至工作目錄。

HyenaDNA 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

HyenaDNA 完整教學

Repository: https://github.com/HazyResearch/hyena-dna Stars: 791 | Fork: 108 | License: Apache-2.0 Tags: genomics, foundation-models, language-models Paper: arXiv:2306.15794 | HuggingFace: LongSafari Primary Language: Python (含 CUDA C++ 加速核心) 最後更新: 2026-06-10

2. 核心架構

2.1 整體架構圖


graph TB
    subgraph Input["輸入層 Input Layer"]
        DNA["DNA 序列
ATCGATCG..."]
        TOK["Character Tokenizer
{A=0, C=1, G=2, T=3, N=4, PAD=5}"]
        EMB["DNA Embedding Layer
nn.Embedding(6, d_model)"]
    end

    subgraph Backbone["Hyena Backbone (N Layers)"]
        direction TB
        subgraph Layer["Hyena Block x N"]
            HYENA["Hyena Operator
(Long Convolution + Gating)"]
            FF["Feed-Forward Network
(GLU / GatedMLP)"]
            NORM1["LayerNorm"]
            NORM2["LayerNorm"]
            RES1["Residual Connection"]
            RES2["Residual Connection"]
        end
    end

    subgraph HyenaOp["Hyena Operator 內部"]
        direction LR
        PROJ["Linear Projections
Q, K, V 投影"]
        FILTER["Implicit Filter
(Parameterized Conv Kernel)"]
        FFT["FFT Convolution
O(N log N)"]
        GATE["Element-wise Gating
(Multiplicative)"]
    end

    subgraph Output["輸出層 Output Layer"]
        POOL["Pooling / Last Token"]
        DEC["Task Decoder
(MLP Head)"]
        PRED["Prediction
(Classification / Regression / LM)"]
    end

    DNA --> TOK --> EMB
    EMB --> NORM1 --> HYENA --> RES1
    RES1 --> NORM2 --> FF --> RES2
    RES2 --> |"Repeat N times"| NORM1

    HYENA -.-> PROJ
    PROJ -.-> FILTER
    FILTER -.-> FFT
    FFT -.-> GATE

    RES2 --> POOL --> DEC --> PRED

    style Input fill:#e1f5fe,stroke:#0288d1
    style Backbone fill:#fff3e0,stroke:#f57c00
    style HyenaOp fill:#fce4ec,stroke:#c62828
    style Output fill:#e8f5e9,stroke:#2e7d32

2.2 Hyena Operator 運作原理

Hyena operator 的核心思想是以 隱式參數化的長卷積 (implicit long convolution) 取代 Transformer 中的 self-attention：

medSynthesisV1 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

medSynthesisV1 完整教學

Repository: https://github.com/ginobilinie/medSynthesisV1 Stars: 195 | Fork: 45 | Language: Python | License: MIT Tags: medical-synthesis, WGAN-GP, PyTorch 論文: Medical Image Synthesis with Deep Convolutional Adversarial Networks (IEEE TBME 2018) 作者: Dong Nie et al., UNC Chapel Hill / Shen Lab

2. 核心架構

2.1 系統總覽


graph TD
    subgraph 資料準備
        A[原始醫學影像
NIfTI / Analyze / MetaImage] --> B[extract23DPatch
擷取 2D/2.5D/3D patch]
        B --> C[HDF5 檔案
dataMR + dataCT keys]
    end

    subgraph 訓練迴路
        C --> D[Generator_2D_slices
批次資料載入器]
        D --> E{Generator 選擇}
        E -->|whichNet=1| F1[UNet]
        E -->|whichNet=2| F2[ResUNet]
        E -->|whichNet=3| F3[UNet_LRes]
        E -->|whichNet=4| F4[ResUNet_LRes
預設 推薦]

        F1 & F2 & F3 & F4 --> G[合成影像 y_hat]

        G --> H{損失函數組合}
        H --> H1[L1 / RTL1 / MSE]
        H --> H2[GDL 梯度差異損失]
        H --> H3[Adversarial Loss
WGAN-GP / BCE]

        G --> I[Discriminator
CNN 3-layer + FC]
        I --> H3
    end

    subgraph 推論
        J[測試影像] --> K[載入訓練好的 Generator]
        K --> L[合成輸出 CT/PET]
        L --> M[SSIM / MAE / PSNR 評估]
    end

    style F4 fill:#e1f5fe,stroke:#0288d1,stroke-width:2px
    style H3 fill:#fff3e0,stroke:#f57c00,stroke-width:2px

2.2 四種 Generator 架構比較

架構	編號	Encoder Block	Decoder Block	Long-skip Residual	適用情境
UNet	1	UNetConvBlock	UNetUpBlock	無	跨模態差異大（MRI→CT）
ResUNet	2	residualUnit	UNetUpResBlock	無	同上 + 更深網路需求
UNet_LRes	3	UNetConvBlock	UNetUpBlock	有 `out = last + input`	同模態增強（low→high dose）
ResUNet_LRes	4	residualUnit	UNetUpResBlock	有 `out = last + input` + Dropout	同模態增強（預設推薦）

Long-skip Residual Connection (長跳殘差連接) 的設計邏輯：當輸入與輸出模態相似時（如 low-dose PET → standard PET），網路只需學習「差異量」(residual)，而非完整重建，收斂更快且品質更高。

MONAI GenerativeModels 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

MONAI GenerativeModels 完整教學

Repository: https://github.com/Project-MONAI/GenerativeModels Stars: 760 | Forks: 109 | License: Apache-2.0 Tags: anomaly-detection, diffusion-models, generative-adversarial-network, generative-models, image-synthesis, image-translation, medical-imaging, monai, mri-reconstruction 語言: Python (Jupyter Notebook) | 最後更新: 2026-06-05

2. 核心架構

2.1 整體模組架構


graph TB
    subgraph MONAI_Generative["monai-generative 套件架構"]
        subgraph Networks["generative.networks 網路層"]
            direction TB
            Nets["nets/
AutoencoderKL
VQVAE
DiffusionModelUNet
PatchGAN Discriminator
ControlNet
SPADE Networks
Transformer"]
            Blocks["blocks/
SelfAttention
TransformerBlock
EncoderModules
SPADE Norm"]
            Layers["layers/
VectorQuantizer"]
            Schedulers["schedulers/
DDPM
DDIM
PNDM"]
        end

        subgraph Inferers["generative.inferers 推論引擎"]
            DiffInf["DiffusionInferer"]
            LDMInf["LatentDiffusionInferer"]
            VQInf["VQ-VAE + Transformer Inferer"]
            CtrlInf["ControlNetInferer"]
        end

        subgraph Losses["generative.losses 損失函數"]
            AdvLoss["AdversarialLoss
(hinge / vanilla / least-squares)"]
            PercLoss["PerceptualLoss
(LPIPS / RadImageNet /
3DMedicalNet)"]
            SpecLoss["SpectralLoss"]
        end

        subgraph Metrics["generative.metrics 評估指標"]
            FID["FID
(Frechet Inception Distance)"]
            MSSSIM["MS-SSIM
(Multi-Scale Structural
Similarity)"]
            MMD["MMD
(Maximum Mean Discrepancy)"]
            SSIM2["SSIM"]
        end

        subgraph Engines["generative.engines 訓練引擎"]
            Trainer["AdversarialTrainer
(Ignite-based)"]
            PrepBatch["PrepareBatch"]
        end

        subgraph ModelZoo["model-zoo/ 預訓練模型"]
            Brain["Brain LDM"]
            CXR["Chest X-ray LDM"]
            MedNIST["MedNIST DDPM"]
        end
    end

    MONAI_Core["MONAI Core
(transforms, data, metrics)"] --> Networks
    PyTorch["PyTorch"] --> Networks
    Networks --> Inferers
    Losses --> Engines
    Inferers --> Engines
    Metrics -.-> Engines

    style MONAI_Generative fill:#1a1a2e,color:#eaeaea
    style Networks fill:#16213e,color:#eaeaea
    style Inferers fill:#0f3460,color:#eaeaea
    style Losses fill:#533483,color:#eaeaea
    style Metrics fill:#e94560,color:#eaeaea
    style Engines fill:#2b6777,color:#eaeaea
    style ModelZoo fill:#52796f,color:#eaeaea

2.2 Latent Diffusion Model (LDM) 流程

LDM 是目前醫學影像合成的主流架構，MONAI GenerativeModels 的 LDM 實作流程如下：

nnU-Net 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

nnU-Net 完整教學

Repository: https://github.com/MIC-DKFZ/nnUNet Stars: 8,527 | Language: Python | License: Apache-2.0 Tags: segmentation, self-configuring 最新版本: v2.8.0 (pyproject.toml) / v2.4.1 (GitHub Release, 2024-04) 維護單位: German Cancer Research Center (DKFZ) — Helmholtz Imaging Applied Computer Vision Lab (ACVL)

2. 核心架構

2.1 自配置管線總覽


flowchart TB
    subgraph INPUT["輸入層"]
        RAW["nnUNet_raw/
原始影像 + 標注"]
    end

    subgraph FINGERPRINT["Stage 1: Dataset Fingerprint
資料集指紋分析"]
        FP1["影像間距 Spacing"]
        FP2["體素尺寸 Voxel Size"]
        FP3["通道數 Channels"]
        FP4["強度分佈 Intensity Distribution"]
        FP5["類別比例 Class Ratios"]
    end

    subgraph PLANNING["Stage 2: Experiment Planning
實驗規劃"]
        PL1["選擇網路拓撲
2D / 3D_fullres / 3D_lowres / 3D_cascade"]
        PL2["決定 Patch Size"]
        PL3["決定 Batch Size"]
        PL4["決定 Normalization Scheme"]
        PL5["決定 Resampling Strategy"]
    end

    subgraph PREPROCESS["Stage 3: Preprocessing
前處理"]
        PP1["Cropping 裁剪"]
        PP2["Resampling 重採樣"]
        PP3["Normalization 正規化"]
    end

    subgraph TRAINING["Stage 4: Training
訓練"]
        TR1["5-Fold Cross Validation"]
        TR2["Data Augmentation
batchgeneratorsv2"]
        TR3["Dice + CE Loss
Deep Supervision"]
        TR4["SGD / Adam Optimizer
PolyLR Scheduler"]
    end

    subgraph POSTPROCESS["Stage 5: Model Selection & Inference
模型選擇與推論"]
        MS1["Best Configuration Selection"]
        MS2["Optional Ensembling"]
        MS3["Postprocessing
Connected Components"]
        MS4["Sliding Window Inference"]
    end

    INPUT --> FINGERPRINT
    FINGERPRINT --> PLANNING
    PLANNING --> PREPROCESS
    PREPROCESS --> TRAINING
    TRAINING --> POSTPROCESS

    style INPUT fill:#e1f5fe
    style FINGERPRINT fill:#f3e5f5
    style PLANNING fill:#fff3e0
    style PREPROCESS fill:#e8f5e9
    style TRAINING fill:#fce4ec
    style POSTPROCESS fill:#f1f8e9

2.2 原始碼模組結構

模組	路徑	功能
Dataset Conversion	`nnunetv2/dataset_conversion/`	將各挑戰賽資料集轉為 nnU-Net 格式
Experiment Planning	`nnunetv2/experiment_planning/`	指紋分析 + 實驗規劃（含 ResEnc Planner）
Preprocessing	`nnunetv2/preprocessing/`	Cropping、Normalization、Resampling
Training	`nnunetv2/training/`	Trainer、DA、Loss、LR Scheduler、DataLoader
Inference	`nnunetv2/inference/`	Sliding Window、Export Prediction
Evaluation	`nnunetv2/evaluation/`	Dice/IoU 計算、Best Configuration 搜尋
Ensembling	`nnunetv2/ensembling/`	多模型集成
Postprocessing	`nnunetv2/postprocessing/`	Connected Component Removal
ImageIO	`nnunetv2/imageio/`	NIfTI / SimpleITK / TIFF / 自然影像讀寫
Utilities	`nnunetv2/utilities/`	Label Handling、Plans Handling、DDP

2.3 Trainer 變體繼承樹

nnU-Net v2 的核心設計是以 nnUNetTrainer 為基底類別，透過繼承覆寫來客製化行為：

PyFeat 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

PyFeat 完整教學

Repository: https://github.com/RafsanjaniHub/PyFeat Stars: 97 | Fork: 32 | Language: Python | License: GPL-3.0 Tags: computational-biology, bioinformatics, genomics, proteomics Homepage: http://rafsanjani.pythonanywhere.com/ 最後更新: 2025-11-30

2. 核心架構

2.1 整體流程架構


flowchart TD
    A["FASTA 序列檔案
(DNA / RNA / Protein)"] --> B["read.py
讀取 FASTA + Label"]
    B --> C["generateFeatures.py
特徵擷取引擎"]

    C --> D1["pseudoKNC
k-mer 頻率"]
    C --> D2["k-Gap 特徵
monoMono ~ triDi
(8 種組合)"]
    C --> D3["Z-Curve
(x, y, z 軸)"]
    C --> D4["GC Content
AT/GC Ratio
Cumulative Skew"]

    D1 --> E["合併特徵矩陣
numpy array"]
    D2 --> E
    D3 --> E
    D4 --> E

    E --> F{"輸出選擇"}
    F -->|"fullDataset=1"| G1["fullDataset.csv
全部特徵"]
    F -->|"optimumDataset=1"| G2["selectedImportantFeatures.py
AdaBoost 特徵選擇"]
    F -->|"testDataset=1"| G3["testDataset.csv
獨立測試集"]

    G2 --> G4["optimumDataset.csv
篩選後特徵"]

    G1 --> H["runClassifiers.py
10 種 ML 分類器
k-Fold CV"]
    G4 --> H

    H --> I1["evaluationResults.txt"]
    H --> I2["auROC.png"]
    H --> I3["Accuracy_boxPlot.png"]

    G4 --> J["trainModel.py
訓練最終模型"]
    J --> K["dumpModel.pkl"]
    K --> L["evaluateModel.py
獨立驗證"]

2.2 特徵類型詳解

PyFeat 支援的特徵可分為四大類：

R2GenGPT 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

R2GenGPT 完整教學

Repository: https://github.com/wang-zhanyu/R2GenGPT Stars: 125 | Tags: radiology, report-generation, LLM License: BSD 3-Clause | Language: Python | Last Updated: 2025-05-18

2. 核心架構

2.1 整體管線


flowchart TB
    subgraph Input["輸入層"]
        CXR["Chest X-Ray Image
(胸部 X 光影像)"]
    end

    subgraph VE["Vision Encoder (視覺編碼器)"]
        SWIN["Swin-Base Transformer
patch4-window7-224"]
        LORA_V["LoRA Adapter
(Delta 模式啟用)"]
        SWIN --> LORA_V
    end

    subgraph AL["Alignment Layer (對齊層)"]
        PROJ["Linear Projection
Swin hidden → LLaMA hidden"]
        LN["LayerNorm
(層正規化)"]
        PROJ --> LN
    end

    subgraph PW["Prompt Wrapping (提示包裝)"]
        PROMPT["'Human: {img_embeds}
Generate a comprehensive...
Assistant:'"]
    end

    subgraph LLM["Frozen LLM (凍結語言模型)"]
        EMBED["Embedding Layer
(嵌入層)"]
        LLAMA["LLaMA-2-7B-Chat"]
        LORA_L["LoRA Adapter
(Deep 模式啟用)"]
        EMBED --> LLAMA
        LLAMA --> LORA_L
    end

    subgraph Output["輸出層"]
        REPORT["Radiology Report
(放射報告文字)"]
    end

    CXR --> SWIN
    LORA_V --> PROJ
    LN --> PROMPT
    PROMPT --> EMBED
    LORA_L --> REPORT

    style Input fill:#e1f5fe,stroke:#0288d1
    style VE fill:#f3e5f5,stroke:#7b1fa2
    style AL fill:#fff3e0,stroke:#ef6c00
    style PW fill:#e8f5e9,stroke:#2e7d32
    style LLM fill:#fce4ec,stroke:#c62828
    style Output fill:#e0f2f1,stroke:#00695c

2.2 資料流詳解


sequenceDiagram
    participant IMG as X-Ray Image
    participant SWIN as Swin Encoder
    participant PROJ as Linear Projection
    participant LN as LayerNorm
    participant WRAP as Prompt Wrapper
    participant EMB as LLaMA Embedding
    participant LLM as LLaMA-2-7B

    IMG->>SWIN: pixel_values [B, 3, 224, 224]
    SWIN->>SWIN: Hierarchical feature extraction
    SWIN-->>PROJ: last_hidden_state [B, 49, 1024]
    Note over SWIN,PROJ: 或 pooler_output [B, 1, 1024]
(global_only=True)
    PROJ->>LN: projected [B, 49, 4096]
    LN->>WRAP: normalized img_embeds
    WRAP->>WRAP: Concatenate: [BOS] + p_before + img_embeds + p_after
    WRAP->>EMB: text tokens → embeddings
    EMB->>LLM: [bos_embeds, img_embeds, text_embeds]
    LLM->>LLM: Autoregressive generation
    LLM-->>IMG: Generated report text

2.3 專案檔案結構

 1R2GenGPT/
 2├── train.py                      # 訓練/驗證/測試主入口
 3├── configs/
 4│   └── config.py                 # Argparse 超參數定義 (~60 個參數)
 5├── models/
 6│   └── R2GenGPT.py               # 核心模型 (PyTorch Lightning Module)
 7├── dataset/
 8│   ├── data_module.py            # Lightning DataModule
 9│   └── data_helper.py            # 資料解析 + 報告清洗
10├── evalcap/                      # 評估指標 (BLEU/ROUGE/METEOR/CIDEr)
11│   ├── bleu/
12│   ├── cider/
13│   ├── meteor/
14│   ├── rouge/
15│   └── tokenizer/
16├── lightning_tools/
17│   ├── callbacks.py              # ModelCheckpoint + TensorBoard Logger
18│   └── optim.py                  # 最佳化設定
19├── scripts/
20│   ├── 1-*.sh ~ 3-*.sh          # IU X-Ray 訓練/測試腳本
21│   └── 4-*.sh ~ 6-*.sh          # MIMIC-CXR 訓練/測試腳本
22├── data/                         # (需自行下載)
23│   ├── iu_xray/
24│   └── mimic_cxr/
25└── requirements.txt

3. 安裝與設定

3.1 環境需求

項目	最低需求	建議配置
GPU	1x NVIDIA GPU (24GB)	4x A100 (40/80GB)
CUDA	11.7+	12.1+
Python	3.8+	3.10
RAM	32GB	64GB+
磁碟	~50GB (模型+資料)	~100GB

3.2 安裝步驟

 1# 1. Clone 專案
 2git clone https://github.com/wang-zhanyu/R2GenGPT.git
 3cd R2GenGPT
 4
 5# 2. 建立虛擬環境 (推薦使用 uv)
 6uv venv .venv --python 3.10
 7source .venv/bin/activate
 8
 9# 3. 安裝依賴
10uv pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
11uv pip install -r requirements.txt
12
13# requirements.txt 包含：
14# torch, peft, tensorboardX, transformers==4.30.2,
15# lightning==2.0.5, Pillow, numpy, gradio

3.3 資料集準備

IU X-Ray

1# 從 Google Drive 下載 annotation + images
2# https://drive.google.com/file/d/1c0BXEuDy8Cmm2jfN0YYGkQxFZd2ZIoLg/view
3mkdir -p data/iu_xray
4# 解壓後放入 data/iu_xray/

MIMIC-CXR (需 PhysioNet 帳號)

1# 1. 下載預處理 annotation (作者提供)
2# https://drive.google.com/file/d/14689ztodTtrQJYs--ihB_hgsPMMNHX-H/view
3mkdir -p data/mimic_cxr
4
5# 2. 下載影像 (需先申請 PhysioNet credentialed access)
6# https://physionet.org/content/mimic-cxr-jpg/2.0.0/
7# 解壓後影像放入 data/mimic_cxr/images/

Annotation JSON (註解 JSON) 格式：

RadFact 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

RadFact 完整教學

Repository: https://github.com/microsoft/RadFact Stars: 98 | Fork: 12 | License: MIT Tags: radiology, evaluation, LLM, Microsoft 語言: Python | 最後更新: 2026-06-02

2. 核心架構

2.1 整體流程架構


flowchart TB
    subgraph INPUT["輸入層"]
        NAR["敘述性報告
(Narrative Text)"]
        GND["定位報告
(Grounded Phrases + Boxes)"]
    end

    subgraph PREPROCESS["前處理層"]
        R2P["Report-to-Phrases
報告拆句
(LLM: GPT-4)"]
        NEG["Negative Filtering
負面發現過濾
(僅 CT)"]
    end

    subgraph CORE["核心評估層"]
        direction TB
        NLI_FWD["正向 NLI 驗證
Prediction → Ground Truth
(計算 Precision)"]
        NLI_BWD["反向 NLI 驗證
Ground Truth → Prediction
(計算 Recall)"]
        BOX["Bounding Box
空間蘊含計算
(Pixel Precision ≥ 0.5)"]
    end

    subgraph ENGINE["平行處理引擎"]
        LLM_ENG["LLMEngine
多端點平行處理"]
        CACHE["中間結果快取
(Batch Outputs)"]
        SHARD["資料分片
(Speed Factor)"]
    end

    subgraph OUTPUT["輸出層"]
        METRICS["RadFactScore
6 項指標"]
        BOOT["Bootstrap CI
信賴區間"]
        JSON["outputs.json
完整結果"]
    end

    NAR --> R2P
    R2P --> NEG
    NEG --> NLI_FWD
    GND --> NLI_FWD
    NLI_FWD --> BOX
    NLI_BWD --> BOX
    R2P --> NLI_BWD
    GND --> NLI_BWD

    NLI_FWD -.->|"透過"| LLM_ENG
    NLI_BWD -.->|"透過"| LLM_ENG
    LLM_ENG --> CACHE
    LLM_ENG --> SHARD

    BOX --> METRICS
    METRICS --> BOOT
    BOOT --> JSON

2.2 NLI 蘊含驗證流程

RadFact 的核心是雙向 NLI (Bidirectional NLI)。對每一對 (prediction, ground_truth)，執行兩次蘊含驗證：

S&D Messenger 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

S&D Messenger 完整教學

Repository: https://github.com/xmed-lab/SD-Messenger Stars: 3 | Tags: stable-diffusion, medical, cross-modal 語言: Python | 授權: 未標示論文: arXiv:2407.07763 (2024) 最後更新: 2025-08-27

2. 核心架構

2.1 整體架構圖


graph TB
    subgraph Input["輸入層"]
        IL["Labeled Images
標註影像"]
        IU["Unlabeled Images
未標註影像"]
    end

    subgraph Backbone["Backbone: MiT-B5"]
        E0["Stage 0
64-ch features"]
        E1["Stage 1
128-ch features"]
        E2["Stage 2
320-ch features"]
        E3["Stage 3
512-ch features"]
    end

    subgraph SDM["S&D Messenger Modules"]
        direction TB
        U2L3["U2L Module
(512-ch, cross-attn ON)"]
        U2L2["U2L Module
(320-ch, optional)"]
        U2L1["U2L Module
(128-ch, optional)"]
        U2L0["U2L Module
(64-ch, optional)"]
    end

    subgraph Decoder["SegFormer Decoder Head"]
        MLP4["MLP c4 → 768-d"]
        MLP3["MLP c3 → 768-d"]
        MLP2["MLP c2 → 768-d"]
        MLP1["MLP c1 → 768-d"]
        FUSE["Conv1x1 Fuse
3072 → 768"]
        PRED["Conv1x1 Predict
768 → num_class"]
    end

    subgraph Loss["損失函數"]
        CE["Cross-Entropy Loss
+ Difficulty Weighting"]
        DICE["Dice Loss"]
        PL["Pseudo-Label Loss
(unlabeled)"]
    end

    IL --> Backbone
    IU --> Backbone
    E3 --> U2L3
    E2 --> U2L2
    E1 --> U2L1
    E0 --> U2L0
    U2L3 --> MLP4
    U2L2 --> MLP3
    U2L1 --> MLP2
    U2L0 --> MLP1
    MLP4 --> FUSE
    MLP3 --> FUSE
    MLP2 --> FUSE
    MLP1 --> FUSE
    FUSE --> PRED
    PRED --> CE
    PRED --> DICE
    PRED --> PL

    style SDM fill:#e8f4fd,stroke:#1e88e5
    style Decoder fill:#fff3e0,stroke:#ff9800
    style Loss fill:#fce4ec,stroke:#e91e63

2.2 CrossAttnMem — 核心跨注意力模組

S&D Messenger 的核心是 CrossAttnMem 模組，實現 labeled-to-unlabeled 的雙向知識傳遞：

scGen 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

scGen 完整教學

Repository: https://github.com/theislab/scgen Stars: 348 | Forks: 70 | Language: Python | License: GPL-3.0 Tags: single-cell, perturbation, VAE, transcriptomics, deep-learning, generative-model, bioinformatics, scrna-seq, single-cell-genomics 文件: https://scgen.readthedocs.io 論文: Lotfollahi et al., “scGen predicts single-cell perturbation responses.” Nature Methods, 2019.

2. 核心架構

2.1 整體架構圖


flowchart TB
    subgraph INPUT["輸入層 Input Layer"]
        A["scRNA-seq AnnData
(control + stimulated
× multiple cell types)"]
    end

    subgraph PREPROCESS["前處理 Preprocessing"]
        B1["Normalize (正規化)"]
        B2["Log1p 轉換"]
        B3["HVG Selection
(高變異基因篩選
~7000 genes)"]
        B4["setup_anndata()
註冊 batch_key +
labels_key"]
    end

    subgraph VAE["SCGENVAE 模型"]
        direction TB
        subgraph ENCODER["Encoder (編碼器)"]
            E1["FCLayers
(n_layers × n_hidden)"]
            E2["LeakyReLU + BatchNorm
+ Dropout"]
            E3["mu (均值) / var (變異數)"]
            E4["Reparameterization
(重參數化取樣)"]
        end
        Z["Latent Space z
(n_latent = 100)"]
        subgraph DECODER["Decoder (解碼器)"]
            D1["FCLayers
(n_layers × n_hidden)"]
            D2["Linear Output
(n_latent → n_genes)"]
        end
        LOSS["Loss = MSE + KL_weight × KL_divergence"]
    end

    subgraph PREDICT["預測 / 推論 Prediction"]
        P1["avg(z_stim) - avg(z_ctrl)
= delta vector"]
        P2["z_target_ctrl + delta"]
        P3["Decoder → predicted
gene expression"]
    end

    subgraph OUTPUT["輸出 Output"]
        O1["Predicted AnnData
(擾動預測結果)"]
        O2["Corrected AnnData
(批次校正結果)"]
        O3["R² Plots
(驗證圖表)"]
    end

    A --> B1 --> B2 --> B3 --> B4
    B4 --> ENCODER
    ENCODER --> Z
    Z --> DECODER
    DECODER --> LOSS
    LOSS -->|"訓練完成"| PREDICT
    Z --> P1
    P1 --> P2
    P2 --> P3
    P3 --> O1
    Z -->|"batch_removal()"| O2
    O1 --> O3

2.2 模組結構

scGen 的程式碼結構極為精簡，僅包含 5 個核心檔案：

scGPT 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

scGPT 完整教學

Repository: https://github.com/bowang-lab/scGPT Stars: 1577 | Tags: single-cell, foundation-model License: MIT | Language: Python (Jupyter Notebook) | Version: 0.2.5 Documentation: https://scgpt.readthedocs.io/en/latest/ Paper: scGPT: Towards Building a Foundation Model for Single-Cell Multi-omics Using Generative AI (Nature Methods, 2024)

2. 核心架構

2.1 整體架構圖


flowchart TB
    subgraph INPUT["輸入層 Input Layer"]
        RAW["scRNA-seq / scATAC-seq
Raw Count Matrix"]
        PREP["Preprocessor
normalize + log1p + binning"]
        RAW --> PREP
    end

    subgraph TOKENIZE["Token 化 Tokenization"]
        GV["GeneVocab
基因詞彙表
gene name → token ID"]
        GE["GeneEncoder
Gene Embedding"]
        VE["ValueEncoder
Expression Value Embedding"]
        BE["BatchEncoder
Batch Label Embedding
(optional)"]
        GV --> GE
        PREP --> VE
        PREP --> GV
    end

    subgraph TRANSFORMER["Transformer Backbone"]
        EMB["Gene Emb + Value Emb + Batch Emb
→ Combined Embedding"]
        CLS["[CLS] Token
Cell-level Representation"]
        LAYERS["N × Transformer Encoder Layer
(Flash Attention optional)"]
        DSBN["DSBN
Domain-Specific
Batch Normalization"]
        GE --> EMB
        VE --> EMB
        BE --> EMB
        CLS --> LAYERS
        EMB --> LAYERS
        DSBN -.-> LAYERS
    end

    subgraph HEADS["下游任務頭 Task Heads"]
        MVC["MVC Head
Masked Value
Prediction"]
        DAB["DAB Head
Domain Adaptation
via Batch Discriminator"]
        CLF["Classification Head
Cell Type Annotation"]
        GRN_H["GRN Head
Attention-based
Gene Regulation"]
        PERT["Perturbation Head
Gene Perturbation
Prediction"]
    end

    LAYERS --> MVC
    LAYERS --> DAB
    LAYERS --> CLF
    LAYERS --> GRN_H
    LAYERS --> PERT

    style INPUT fill:#e8f4f8,stroke:#2196F3
    style TOKENIZE fill:#fff3e0,stroke:#FF9800
    style TRANSFORMER fill:#f3e5f5,stroke:#9C27B0
    style HEADS fill:#e8f5e9,stroke:#4CAF50

2.2 關鍵設計決策

基因作為 Token (Gene-as-Token)：與 NLP 中的 word token 類似，scGPT 將每個基因視為一個 token。每個細胞的基因表達譜就是一條「句子」，其中 token 順序由非零基因的排列決定。

SDMetrics 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

SDMetrics 完整教學

Repository: https://github.com/sdv-dev/SDMetrics Stars: 261 | Forks: 52 | License: MIT Language: Python | Last Updated: 2026-06-09 Tags: synthetic-data, metrics, quality Documentation: https://docs.sdv.dev/sdmetrics DOI: 10.5281/zenodo.14279167

2. 核心架構 (Core Architecture)

2.1 四層指標體系

SDMetrics 的指標 (metric) 架構分為四個粒度層級 (granularity levels)，從單一欄位到多表關聯：

Simulants 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

Simulants 完整教學

Repository: https://github.com/mdsol/Simulants Stars: 2 | Language: Python | License: MIT Tags: clinical-trial, baseline, Medidata 最後更新: 2024-09-20 維護者: Mandis Beigi — Medidata Solutions (Dassault Systemes)

2. 核心架構

2.1 系統架構圖


graph TD
    subgraph 輸入層 Input Layer
        A[CSV 原始資料
Raw Tabular Data] --> B[uci_config.py
設定檔 Config]
    end

    subgraph 前處理層 Preprocessing
        B --> C[preprocessor_lib.py]
        C --> C1[Label Encoding
標籤編碼]
        C --> C2[One-Hot Encoding
獨熱編碼]
        C --> C3[Imputation
缺值填補]
        C --> C4[k-Anonymity
K 匿名化]
    end

    subgraph 合成核心 Synthesis Core
        C1 --> D[synthesis_wrapper.py]
        C2 --> D
        C3 --> D
        C4 --> D
        D --> E[synthesis_lib.py]
        E --> E1[相關性分析
Correlation Analysis]
        E --> E2[降維嵌入
Dim Reduction]
        E --> E3[KNN 鄰域抽樣
Neighbor Sampling]
        E --> E4[噪音注入
Noise Injection]
        E --> E5[去重保護
Deduplication]
    end

    subgraph 降維引擎 dimanalysis_lib.py
        E2 --> F1[t-SNE + Gower]
        E2 --> F2[PCA]
        E2 --> F3[ICA]
        E2 --> F4[CCA]
    end

    subgraph 驗證層 Analytics
        E5 --> G[analytics_wrapper.py]
        G --> G1[analytics_lib.py]
        G1 --> H1[Fisher Exact Test
費雪精確檢定]
        G1 --> H2[KS Test
KS 檢定]
        G1 --> H3[Silhouette Score
輪廓係數]
        G1 --> H4[RF / ET Classifier
分類器鑑別]
        G1 --> H5[BOW Histogram
直方圖距離]
        G --> G2[visualization_lib.py]
        G2 --> I1[PCA Scatter Plot]
        G2 --> I2[Correlation Heatmap]
        G2 --> I3[PDF Report]
    end

    subgraph 輸出層 Output
        E5 --> J1[合成 CSV
Synthetic CSV]
        I3 --> J2[驗證報告 PDF
Validation Report]
        G1 --> J3[統計 CSV
Statistics CSVs]
    end

    style E fill:#e1f5fe,stroke:#0288d1
    style G fill:#fff3e0,stroke:#ef6c00

2.2 檔案結構

 1Simulants/
 2├── uci_demo.py              # 主程式進入點 (Entry Point)
 3├── uci_config.py            # 設定檔：路徑、演算法參數、驗證開關
 4├── synthesis_wrapper.py     # 合成流程協調器 (Orchestrator)
 5├── synthesis_lib.py         # 核心合成演算法 (Core Synthesis)
 6├── analytics_wrapper.py     # 驗證流程協調器
 7├── analytics_lib.py         # 統計檢定與分類器驗證
 8├── preprocessor_lib.py      # 前處理：編碼、填補、型別判斷
 9├── dimanalysis_lib.py       # 降維方法集合 (t-SNE/PCA/ICA/CCA)
10├── k_anonymity.py           # k-Anonymity 實作
11├── bow_lib.py               # Bag-of-Words 直方圖表示
12├── visualization_lib.py     # 視覺化：散佈圖、相關熱圖
13├── utilities_lib.py         # 通用工具函式
14├── requirements.txt         # Python 依賴
15├── uci-heart-disease/       # 範例資料集 (UCI Heart Disease)
16│   ├── processed.cleveland.csv
17│   └── heart-disease.names.txt
18└── factbook.yaml            # 專案聯絡資訊

2.3 合成演算法流程


flowchart LR
    A[原始 CSV] --> B[k-Anonymity
移除低頻類別]
    B --> C[Label Encoding
+ Imputation]
    C --> D[One-Hot
Encoding]
    D --> E[相關性偵測
Pearson / PB / Chi2 / Cramer V]
    E --> F[t-SNE / PCA
降維至 2D]
    F --> G[KNN 找
K 近鄰]
    G --> H{是否為
離群值?}
    H -->|是| I[跳過]
    H -->|否| J[逐欄位從
鄰域隨機取值]
    J --> K[Co-Segregation
高相關欄位綁定]
    K --> L[Gaussian Noise
乘性雜訊]
    L --> M[移除與原始
重複的紀錄]
    M --> N[One-Hot
Decode]
    N --> O[合成 CSV 輸出]

3. 安裝與設定

3.1 環境需求

Python 3.8 以上
建議使用虛擬環境隔離

3.2 安裝步驟

 1# 1. Clone 專案
 2git clone https://github.com/mdsol/Simulants.git
 3cd Simulants
 4
 5# 2. 建立虛擬環境（推薦使用 uv）
 6uv venv .venv --python 3.10
 7source .venv/bin/activate
 8
 9# 3. 安裝依賴
10# 注意：requirements.txt 鎖定了較舊的版本，建議手動安裝核心套件
11uv pip install numpy pandas scikit-learn scipy matplotlib seaborn \
12    gower lifelines umap-learn sas7bdat pynndescent

注意：requirements.txt 中的版本較舊（如 numpy==1.22、pandas==1.2.4、scikit-learn==1.0.1），在 Python 3.11+ 可能無法直接安裝。建議去除版本鎖定或使用上述手動安裝方式。

SmartNoise SDK 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

SmartNoise SDK 完整教學

Repository: https://github.com/opendp/smartnoise-sdk Stars: 296 | Language: Python | License: MIT Tags: differential-privacy, privacy, opendp, smartnoise Python: 3.10 - 3.14 | 最後更新: 2026-05

2. 核心架構

2.1 整體架構圖


graph TB
    subgraph "SmartNoise SDK"
        direction TB

        subgraph SQL["smartnoise-sql
差分隱私 SQL 查詢"]
            SQL_PARSER["SQL Parser
(ANTLR4 語法剖析)"]
            SQL_REWRITER["Private Rewriter
(查詢改寫引擎)"]
            SQL_MECH["DP Mechanisms
(Laplace / Gaussian)"]
            SQL_ODO["Odometer
(隱私預算追蹤)"]
            SQL_PARSER --> SQL_REWRITER
            SQL_REWRITER --> SQL_MECH
            SQL_MECH --> SQL_ODO
        end

        subgraph SYNTH["smartnoise-synth
差分隱私合成器"]
            SYNTH_BASE["Base Synthesizer
(統一介面)"]
            SYNTH_STAT["統計方法"]
            SYNTH_DL["深度學習方法"]
            SYNTH_BASE --> SYNTH_STAT
            SYNTH_BASE --> SYNTH_DL
            SYNTH_STAT --> MWEM["MWEM"]
            SYNTH_STAT --> MST["MST"]
            SYNTH_STAT --> AIM["AIM"]
            SYNTH_DL --> DPCTGAN["DP-CTGAN"]
            SYNTH_DL --> PATECTGAN["PATE-CTGAN"]
            SYNTH_DL --> PATEGAN["PATE-GAN"]
            SYNTH_STAT --> QUAIL["QUAIL"]
        end

        subgraph EVAL["sneval
品質評估"]
            EVAL_SINGLE["Single-Table Metrics
(平均值/中位數偏差)"]
            EVAL_COMPARE["Comparison Metrics
(MAE / MPE in Count)"]
        end

        subgraph TRANSFORM["Transform Pipeline
資料前處理"]
            T_BIN["Bin (離散化)"]
            T_LABEL["Label Encode"]
            T_ONEHOT["One-Hot Encode"]
            T_CLAMP["Clamp (截斷)"]
            T_ANON["Anonymization"]
        end
    end

    subgraph BACKENDS["後端資料來源"]
        PD["Pandas DataFrame"]
        PG["PostgreSQL"]
        SPARK["Apache Spark"]
        BQ["BigQuery"]
        MYSQL["MySQL"]
        SQLITE["SQLite"]
    end

    subgraph OPENDP["OpenDP Library
(底層 DP 演算法)"]
        DP_CORE["核心 DP 機制"]
    end

    BACKENDS --> SQL
    SQL --> OPENDP
    SYNTH --> OPENDP
    TRANSFORM --> SYNTH
    SYNTH --> EVAL

    style SQL fill:#e1f5fe,stroke:#0288d1
    style SYNTH fill:#f3e5f5,stroke:#7b1fa2
    style EVAL fill:#e8f5e9,stroke:#388e3c
    style TRANSFORM fill:#fff3e0,stroke:#f57c00
    style OPENDP fill:#fce4ec,stroke:#c62828

2.2 合成器演算法比較

SmartNoise 提供 7 種差分隱私合成器，依底層技術分為三大類：

synthcity 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

synthcity 完整教學

Repository: https://github.com/vanderschaarlab/synthcity Stars: 664 | Fork: 94 | License: Apache-2.0 Tags: synthetic-data, privacy, fairness, pytorch, tabular-data, generative-model 最新版本: v0.2.12 (2025-05-08) 論文: arXiv:2301.07573

2. 核心架構

2.1 系統架構圖


graph TB
    subgraph Input["輸入層 Input Layer"]
        RAW["原始資料
Raw Data"]
        RAW --> GDL["GenericDataLoader"]
        RAW --> SDL["SurvivalAnalysisDataLoader"]
        RAW --> TDL["TimeSeriesDataLoader"]
        RAW --> IDL["ImageDataLoader"]
    end

    subgraph PluginRegistry["Plugin 註冊中心"]
        PR["Plugins()"]
        PR -->|"categories=generic"| GEN["Generic Plugins
CTGAN, TVAE, NFlow, ARF,
DDPM, GReaT, BN, RTVAE..."]
        PR -->|"categories=privacy"| PRIV["Privacy Plugins
AdsGAN, DP-GAN, PATEGAN,
PrivBayes, DECAF, AIM"]
        PR -->|"categories=survival"| SURV["Survival Plugins
SurvivalGAN, SurVAE,
Survival-CTGAN"]
        PR -->|"categories=time_series"| TS["Time Series Plugins
TimeGAN, FourierFlows,
TimeVAE"]
    end

    subgraph Training["訓練與生成"]
        FIT["model.fit(dataloader)"]
        GEN2["model.generate(count=N)"]
        FIT --> GEN2
    end

    subgraph Evaluation["評估引擎 Metrics Engine"]
        BENCH["Benchmarks.evaluate()"]
        BENCH --> M1["eval_sanity
基本健全性"]
        BENCH --> M2["eval_statistical
統計一致性"]
        BENCH --> M3["eval_privacy
隱私風險"]
        BENCH --> M4["eval_detection
合成偵測"]
        BENCH --> M5["eval_performance
下游效能"]
        BENCH --> M6["eval_attacks
攻擊模擬"]
    end

    GDL --> FIT
    SDL --> FIT
    TDL --> FIT
    IDL --> FIT
    GEN2 --> BENCH

    style Input fill:#e1f5fe,stroke:#0288d1
    style PluginRegistry fill:#f3e5f5,stroke:#7b1fa2
    style Training fill:#e8f5e9,stroke:#388e3c
    style Evaluation fill:#fff3e0,stroke:#f57c00

2.2 Plugin 機制

synthcity 的核心設計是 Plugin Pattern (插件模式)：每個生成器都是一個繼承自 Plugin 基底類別的獨立模組。所有生成器共享相同的介面：

synthEHRella 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

synthEHRella 完整教學

Repository: https://github.com/chenxran/synthEHRella Stars: 18 | Language: Python | License: MIT Tags: EHR, benchmark, synthetic 論文: Chen X, Wu Z et al. (2025). Generating synthetic electronic health record data: a methodological scoping review with benchmarking on phenotype data and open-source software. JAMIA, 32(7), 1227-1240. 最後更新: 2026-04-09

2. 核心架構

2.1 四步驟 Pipeline

SynthEHRella 的核心設計是一條四步驟的標準化 pipeline，每個步驟都有獨立的 CLI 入口：

Synthetic Data Generator (SDG) 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

Synthetic Data Generator (SDG) 完整教學

Repository: https://github.com/SDM-TIB/Synthetic-Data-Generator Stars: 3 | Language: Python | License: MIT Tags: breast-cancer, csv, data-generator, process-based, rdf, sql 最後更新: 2025-11-20

2. 核心架構

2.1 系統架構圖


graph TB
    subgraph Input["輸入參數"]
        N["患者數量
-n patients"]
        P["突變機率
-p mutation_prob"]
    end

    subgraph Docker["Docker Container (MySQL 8.1)"]
        subgraph Init["初始化階段"]
            SQL_SCHEMA["table_structure.sql
建立 11 張表 +
66 種化療方案 +
30 種 CUI 描述"]
            DB["MySQL 8.1
synth database"]
            SQL_SCHEMA --> DB
        end

        subgraph Gen["資料生成階段 (SDG.py)"]
            direction TB
            DEMO["1. 人口統計
年齡 ~ N(57, 10)"]
            TUMOR["2. 腫瘤分型
PP/PN/NP/NN"]
            STAGE["3. TNM 分期
Stage 0-IV"]
            IHC["4. IHC 標記
ER/PR/HER2/Ki67"]
            NEO["5. 新輔助化療
3-5 週期"]
            SURG["6. 手術
Mastectomy/Partial"]
            ADJ["7. 輔助化療
3-20 週期"]
            RADIO["8. 放射治療
劑量 ~ N(46, 8.4) Gy"]
            COMOR["9. 共病症
17 類"]
            ORAL["10. 口服藥物
15 種"]
            FAM["11. 家族史
30 種 CUI"]

            DEMO --> TUMOR --> STAGE --> IHC
            IHC --> NEO --> SURG --> ADJ --> RADIO
            RADIO --> COMOR --> ORAL --> FAM
        end

        Gen -->|INSERT| DB
    end

    N --> Gen
    P --> Gen

    subgraph Output["三格式輸出 → ./data/"]
        CSV["CSV
每表一個 .csv"]
        RDF_OUT["RDF (N-Triples)
synth_data.nt
via SDM-RDFizer"]
        SQL_DUMP["SQL Dump
synth_data.sql.gz"]
    end

    DB -->|mysqldump| SQL_DUMP
    DB -->|SELECT *| CSV
    DB -->|RML mapping.ttl
+ SDM-RDFizer| RDF_OUT

    style Input fill:#e1f5fe,stroke:#0288d1
    style Docker fill:#fff3e0,stroke:#f57c00
    style Output fill:#e8f5e9,stroke:#388e3c
    style Gen fill:#fce4ec,stroke:#c62828

2.2 關鍵機率分佈參數

SDG 的核心是一組 來自真實族群統計的機率分佈，以下列出最重要的幾個：

Synthetic-CT-generation-from-MRI-using-3D-transformer-based-denoising-diffusion-model 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

Synthetic-CT-generation-from-MRI-using-3D-transformer-based-denoising-diffusion-model 完整教學

Repository: https://github.com/shaoyanpan/Synthetic-CT-generation-from-MRI-using-3D-transformer-based-denoising-diffusion-model Stars: 67 | Fork: 8 | License: MIT Tags: diffusion, 3D-transformer, MRI-CT 論文: Medical Physics (2024) | arXiv 預印本 主要語言: Python 3.8 | 框架: PyTorch + MONAI 最後更新: 2026-05-10

2. 核心架構

2.1 整體管線


flowchart TB
    subgraph Input["輸入準備"]
        MRI["MRI 影像
(Condition)"]
        NOISE["高斯雜訊
x_T ~ N(0,I)"]
    end

    subgraph Forward["Forward Process
(訓練時)"]
        CT_REAL["真實 CT 影像
x_0"]
        ADD_NOISE["逐步加噪
q(x_t | x_0)"]
        CT_REAL --> ADD_NOISE
        NOISE_SCHED["Linear Beta Schedule
1000 steps"]
        NOISE_SCHED --> ADD_NOISE
    end

    subgraph Model["3D Swin-Transformer UNet"]
        direction TB
        ENC1["Encoder Block 1
64ch, ResBlock x2"]
        ENC2["Encoder Block 2
128ch, SwinTransformer"]
        ENC3["Encoder Block 3
192ch, SwinTransformer"]
        ENC4["Encoder Block 4
256ch, SwinTransformer"]
        MID["Middle Block
256ch, SwinTransformer"]
        DEC4["Decoder Block 4
256ch + Skip"]
        DEC3["Decoder Block 3
192ch + Skip"]
        DEC2["Decoder Block 2
128ch + Skip"]
        DEC1["Decoder Block 1
64ch + Skip"]
        
        ENC1 --> ENC2 --> ENC3 --> ENC4 --> MID
        MID --> DEC4 --> DEC3 --> DEC2 --> DEC1
        ENC4 -.->|skip| DEC4
        ENC3 -.->|skip| DEC3
        ENC2 -.->|skip| DEC2
        ENC1 -.->|skip| DEC1
    end

    subgraph TimeEmb["Timestep Embedding"]
        T["t (當前步驟)"]
        SINCOS["Sinusoidal Encoding"]
        MLP_T["MLP Projection"]
        T --> SINCOS --> MLP_T
    end

    subgraph Reverse["Reverse Process
(推論時)"]
        DENOISE["反覆去噪
p(x_{t-1} | x_t, MRI)"]
        SYNTH_CT["合成 CT
x_0"]
        DENOISE --> SYNTH_CT
    end

    MRI --> Model
    ADD_NOISE --> Model
    NOISE --> DENOISE
    MRI --> DENOISE
    MLP_T --> Model
    Model --> |"預測 noise ε_θ"| Reverse

2.2 3D Swin Transformer 在 UNet 中的角色

傳統 DDPM UNet 在低解析度 feature map 使用 global self-attention，但這在 3D 體積中記憶體開銷極大。本專案以 3D Swin Transformer Block 取代：

T-SYNTH (tsynth-release) 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

T-SYNTH (tsynth-release) 完整教學

Repository: https://github.com/DIDSR/tsynth-release Stars: 6 | Tags: breast-cancer, medical-imaging, synthetic-data 授權: CC0 1.0 Universal (Creative Commons Zero; 公眾領域貢獻) 主要語言: Jupyter Notebook / Python 資料集: https://huggingface.co/datasets/didsr/tsynth 論文: https://arxiv.org/abs/2507.04038 (MICCAI Open Data 2025) FDA RST 編號: RST26AI04.01

2. 核心架構

2.1 系統整體架構


flowchart TB
    subgraph VICTRE ["VICTRE Toolkit (上游)"]
        A1[虛擬乳房模型
KB Phantom] --> A2[Monte Carlo
X-ray 模擬]
        A2 --> A3[原始 DBT
3D Volume]
    end

    subgraph TSYNTH ["T-SYNTH Pipeline"]
        A3 --> B1[C-View 合成
DBT → 2D]
        A3 --> B2[像素級分割
Segmentation]
        B1 --> B3[HuggingFace
Dataset 發佈]
        B2 --> B3
        B3 --> C1[下載腳本
download_data.py]
    end

    subgraph TRAIN ["訓練與評估"]
        C1 --> D1[YAML 配置
real / synth / mixed]
        D1 --> D2[custom_datasets.py
EmbedDataset + DbtSynthDataset]
        D2 --> D3[train_detector.py
Faster R-CNN
ResNet-50-FPN]
        D3 --> D4[evaluate_detectors.py
FROC / AUC]
        D4 --> D5[Jupyter Notebooks
視覺化 + 分析]
    end

    subgraph DATA ["外部真實資料"]
        E1[EMBED Dataset
Emory Breast Imaging
AWS Open Data] --> D2
    end

    style VICTRE fill:#e8f4fd,stroke:#1e88e5
    style TSYNTH fill:#fff3e0,stroke:#f57c00
    style TRAIN fill:#e8f5e9,stroke:#43a047
    style DATA fill:#fce4ec,stroke:#e53935

2.2 實驗配置對應圖


flowchart LR
    subgraph EXP ["實驗類型"]
        direction TB
        R[Real Only
20%~100%]
        RS[Real + Synth
混合比例]
        S[Synth Only]
        D[Diffusion
比較實驗]
    end

    subgraph CFG ["YAML 配置"]
        direction TB
        C1["cfg/train/real*.yaml"]
        C2["cfg/train/real*_and_synth*.yaml"]
        C3["cfg/train/synth.yaml"]
        C4["cfg/train/genAI/*.yaml"]
    end

    subgraph MOD ["模態"]
        direction TB
        M1["DBT C-View"]
        M2["DM 2D"]
    end

    R --> C1
    RS --> C2
    S --> C3
    D --> C4
    C1 & C2 & C3 & C4 --> M1
    C1 & C2 & C3 --> M2

    style EXP fill:#e3f2fd,stroke:#1565c0
    style CFG fill:#fff8e1,stroke:#f9a825
    style MOD fill:#f3e5f5,stroke:#8e24aa

2.3 檔案結構

 1tsynth-release/
 2├── LICENSE                          # CC0 1.0
 3├── README.md
 4├── images/
 5│   ├── poster.pdf                   # MICCAI 海報
 6│   └── summary_figure.png
 7└── code/
 8    ├── README.md                    # 安裝與使用說明
 9    ├── requirements.txt             # Python 套件依賴
10    ├── config_global.py             # 全域路徑設定 (dir_global)
11    ├── custom_datasets.py           # Dataset 類別 (EmbedDataset, DbtSynthDataset)
12    ├── train_detector.py            # 訓練 Faster R-CNN
13    ├── evaluate_detectors.py        # 模型推論與評估
14    ├── cfg/                         # YAML 實驗配置
15    │   ├── train/                   # 訓練配置 (25+ 種組合)
16    │   │   ├── real.yaml
17    │   │   ├── synth.yaml
18    │   │   ├── real_and_synth.yaml
19    │   │   ├── real100_and_synth*.yaml
20    │   │   └── genAI/              # Diffusion 比較實驗
21    │   ├── val/                     # 驗證配置
22    │   ├── test/                    # 測試配置
23    │   └── DM/                      # Digital Mammography 專用配置
24    ├── download_scripts/
25    │   ├── download_data.py         # 從 HuggingFace 下載合成資料
26    │   ├── download_embed_metadata.py
27    │   ├── download_models.py       # 下載預訓練模型
28    │   ├── download_results.py      # 下載評估結果
29    │   └── download_volumes.py      # 下載原始 DBT volumes
30    ├── notebooks/                   # 分析與視覺化
31    │   ├── create_cview.ipynb       # DBT → C-View 轉換
32    │   ├── synthetic_detection.ipynb
33    │   ├── data_augmentation_experiments.ipynb
34    │   ├── diffusion_experiments.ipynb
35    │   ├── tsynth_breast_density.ipynb
36    │   ├── tsynth_lesion_density.ipynb
37    │   ├── tsynth_lesion_size.ipynb
38    │   └── comparison_of_FROC_AUC.ipynb
39    └── utils/
40        ├── duke_dbt_data.py         # DICOM 讀取工具
41        ├── eval_utils.py            # FROC 計算工具
42        └── model_utils.py           # Faster R-CNN 建構

3. 安裝與設定

3.1 環境需求

需求	說明
Python	3.9
GPU	CUDA 11.8 (NVIDIA GPU 強烈建議)
磁碟空間	C-View 資料 ~數十 GB；完整 DBT volumes 需 PrecisionFDA 下載，更大
HuggingFace 帳號	下載資料需要 token
套件	PyTorch 2.3.1+cu118, torchvision 0.18.1, MONAI 1.3.1, pydicom 等

3.2 安裝步驟

 1# 1. Clone repository
 2git clone https://github.com/DIDSR/tsynth-release.git
 3cd tsynth-release
 4
 5# 2. 建立 conda 環境（官方建議 Python 3.9）
 6conda create -n tsynth python=3.9
 7conda activate tsynth
 8
 9# 3. 安裝套件依賴
10pip install -r code/requirements.txt
11
12# 4. 設定 HuggingFace token（下載資料需要）
13huggingface-cli login
14# 貼上你的 HuggingFace Access Token
15
16# 5. （可選）手動下載 pretrained COCO 權重
17#    如果自動下載失敗才需要
18mkdir -p ~/.cache/torch/hub/checkpoints
19cd ~/.cache/torch/hub/checkpoints
20wget https://download.pytorch.org/models/fasterrcnn_resnet50_fpn_coco-258fb6c6.pth
21wget https://download.pytorch.org/models/resnet50-0676ba61.pth

3.3 關鍵配置：config_global.py

1# 修改此路徑為你的本地資料目錄
2dir_global = '/path/to/your/tsynth_data/'

此路徑是所有下載腳本與訓練/評估腳本的全域根目錄。下載的資料會存放在 {dir_global}/data/ 下。

TabGAN (Tabular-data-generation) 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

TabGAN (Tabular-data-generation) 完整教學

Repository: https://github.com/Diyago/Tabular-data-generation Stars: 570 | Forks: 83 | License: Apache-2.0 Language: Python | PyPI: tabgan Tags: GAN, tabular-data, adversarial-filtering, deep-learning, machine-learning Paper: Tabular GANs for uneven distribution (arXiv:2010.00638) Live Demo: HuggingFace Spaces | Colab Notebook

2. 核心架構 (Core Architecture)

2.1 整體管線架構

TabGAN 的所有 Generator 共享統一的四階段管線 (Four-Stage Pipeline)：

TemporAI 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

TemporAI 完整教學

Repository: https://github.com/vanderschaarlab/temporai Stars: 130 | Forks: 24 | Language: Python | License: Apache-2.0 Tags: machine-learning, medicine, time-series, automl Homepage: https://www.temporai.vanderschaar-lab.com/ Paper: arXiv:2301.12260 Last Updated: 2026-05-28

2. 核心架構

2.1 整體架構圖


graph TB
    subgraph Input["Data Input Layer (資料輸入層)"]
        RAW["Raw Data
原始醫療時序資料"]
        DS["DataSource Plugin
資料來源插件
(PBC, PKPD, MIMIC, UCI, Sine...)"]
        DATASET["TemporalDataset
統一資料格式"]
    end

    subgraph Core["Plugin Core (插件核心)"]
        PL["plugin_loader
插件載入器"]
        REG["Plugin Registry
插件註冊表"]
    end

    subgraph Preprocessing["Preprocessing Layer (前處理層)"]
        IMP["Imputation
缺失值填補"]
        SCALE["Scaling
標準化"]
        ENC["Encoding
特徵編碼"]
    end

    subgraph Methods["ML Methods Layer (ML 方法層)"]
        TTE["Time-to-Event
存活分析"]
        TX["Treatment Effects
治療效果估計"]
        PRED["Prediction
預測"]
    end

    subgraph AutoML["AutoML Layer (自動化層)"]
        TUNER["Tuner
超參數調校"]
        SEEKER["PipelineSeeker
管線搜尋"]
        BENCH["Benchmarks
基準測試"]
    end

    subgraph Output["Output Layer (輸出層)"]
        RISK["Risk Predictions
風險預測"]
        CF["Counterfactuals
反事實結果"]
        FORECAST["Forecasts
時序預測"]
        SERIAL["Serialization
模型序列化"]
    end

    RAW --> DS --> DATASET
    DATASET --> PL
    PL --> REG
    REG --> Preprocessing
    Preprocessing --> Methods
    Methods --> AutoML
    Methods --> Output
    AutoML --> Output

    style Input fill:#e8f5e9,stroke:#2e7d32
    style Core fill:#fff3e0,stroke:#e65100
    style Preprocessing fill:#e3f2fd,stroke:#1565c0
    style Methods fill:#fce4ec,stroke:#c62828
    style AutoML fill:#f3e5f5,stroke:#6a1b9a
    style Output fill:#e0f2f1,stroke:#00695c

2.2 Plugin 系統架構

TemporAI 的核心設計是 Plugin-based Architecture (插件式架構)。所有方法（模型、前處理器、資料來源）都以 Plugin 的形式註冊到全域的 plugin_loader，透過字串路徑存取：

Treeffuser 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

Treeffuser 完整教學

Repository: https://github.com/blei-lab/treeffuser Stars: 56 | Forks: 10 | License: MIT Paper: NeurIPS 2024 — arXiv:2406.07658 Tags: diffusion-models, gradient-boosting, probabilistic-prediction, tabular-data, lightgbm, heteroscedasticity 最後更新: 2026-04-28 作者群: David Blei Lab @ Columbia University（Nicolas Beltran-Velez, Alessandro Grande, Achille Nazaret, Alp Kucukelbir, David Blei）

VICTRE 完整教學

Wed, 10 Jun 2026 00:00:00 +0000

VICTRE 完整教學

Repository: https://github.com/DIDSR/VICTRE Stars: 74 | Tags: virtual-clinical-trial, FDA, imaging License: CC0-1.0 (Creative Commons Zero v1.0 Universal) Primary Language: Python / C / CUDA Forks: 16 | Last Updated: 2026-06-09 自動化管線: https://github.com/DIDSR/VICTRE_PIPELINE (29 stars) FDA RST 編號: RST24MD10.01

2. 核心架構

2.1 VICTRE 九步管線總覽


flowchart TD
    subgraph PhantomGen["Phase 1: Phantom Generation (幻像生成)"]
        A["breastPhantom
程序式乳房模型生成"]
        B["breastCompress
FEBio 有限元素壓縮"]
        C["breastCrop
體積裁切 (GPU 記憶體限制)"]
    end

    subgraph LesionPhase["Phase 2: Lesion Processing (病灶處理)"]
        D["breastMass
程序式腫瘤生成"]
        E["Lesion Insertion
病灶植入 (Python)"]
    end

    subgraph ImagingPhase["Phase 3: Imaging (影像擷取)"]
        F["MC-GPU
Monte Carlo X 光傳輸
(DM + DBT)"]
        G["FBP Reconstruction
濾波反投影重建 (DBT)"]
    end

    subgraph AnalysisPhase["Phase 4: Analysis (分析)"]
        H["ROI/VOI Extraction
感興趣區域擷取 (Python)"]
        I["Reader Models
虛擬讀片模型 (Matlab)"]
    end

    A --> B --> C --> E
    D --> E
    E --> F --> G --> H --> I

    style PhantomGen fill:#e8f4e8,stroke:#2d5016
    style LesionPhase fill:#fff3e0,stroke:#e65100
    style ImagingPhase fill:#e3f2fd,stroke:#0d47a1
    style AnalysisPhase fill:#fce4ec,stroke:#880e4f

2.2 各元件與對應儲存庫

步驟	元件名稱	語言	獨立 Repo
1	breastPhantom（乳房幻像生成）	C++	DIDSR/breastPhantom
2	breastCompress（乳房壓縮）	C++	DIDSR/breastCompress
3	breastCrop（體積裁切）	C++	DIDSR/breastCrop
4	breastMass（腫瘤模型生成）	C++	DIDSR/breastMass
5	Lesion Insertion（病灶植入）	Python	含於本 repo
6	MC-GPU（X 光傳輸）	C/CUDA	DIDSR/VICTRE_MCGPU
7	FBP DBT Reconstruction（重建）	C	含於本 repo
8	ROI Extraction（ROI 擷取）	Python	含於本 repo
9	Reader Models（讀片模型）	Matlab	DIDSR/VICTRE_MO

2.3 專案檔案結構

 1VICTRE/
 2├── FBP DBT reconstruction in C/    # 濾波反投影重建（C 語言）
 3│   ├── FBP_DBTrecon.c / .h
 4│   ├── Makefile
 5│   ├── reconFBP_script.sh
 6│   └── cbct_code/                  # 修改自 Leeser 的 CBCT 重建碼
 7├── Lesion Insertion/               # 病灶植入（Python）
 8│   ├── lesionInsertion.py
 9│   ├── build/lesionInsertion_script.sh
10│   └── VICTRE_LesionModels/       # 預製病灶模型（.raw）
11│       ├── heteroCalc2_121_100.raw       # 微鈣化簇
12│       └── mass_-308854003_cropped_166.raw # 針刺狀腫塊
13├── ROI Extraction/                 # ROI 擷取（Python）
14│   ├── roiExtraction_mammo_SP.py   # DM 信號存在
15│   ├── roiExtraction_mammo_SA.py   # DM 信號不存在
16│   ├── roiExtraction_DBT_FBP_SP.py # DBT 信號存在
17│   └── roiExtraction_DBT_FBP_SA.py # DBT 信號不存在
18├── Raw to DICOM conversion/        # Raw → DICOM 轉換（Matlab）
19├── Sample-phantom-data/            # 四種密度樣本資料
20│   ├── Dense/
21│   ├── Fatty/
22│   ├── Hetero/
23│   └── Scattered/
24├── VICTRE Configuration Files and Parameters/  # 參考設定
25│   ├── breastPhantom/              # 4 種密度 .cfg 檔
26│   ├── breastCompress/
27│   ├── breastCrop/
28│   ├── LesionInsertion/
29│   ├── MCGPU/
30│   ├── ROIExtraction/
31│   └── DBTReconstruction/
32└── Locations/                      # 病灶位置資料（.tar.gz）

2.4 資料流與檔案格式


flowchart LR
    CFG[".cfg
幻像設定檔"] --> RAW1["p_SEED.raw.gz
原始幻像"]
    RAW1 --> RAW2["pc_SEED_crop.raw.gz
壓縮裁切幻像"]
    LESION[".raw
病灶模型"] --> RAW3["pcl_SEED_crop.raw.gz
含病灶幻像"]
    RAW2 --> RAW3
    RAW3 --> PROJ["投影影像
(32-bit RAW)"]
    PROJ --> RECON["重建體積
(64-bit RAW)"]
    RECON --> ROI["ROI/VOI
(子影像)"]
    ROI --> AUC["AUC 分析
(效能指標)"]
    PROJ --> DICOM["DICOM 影像
(Cancer Imaging Archive)"]

    style CFG fill:#f9f,stroke:#333
    style DICOM fill:#bbf,stroke:#333
    style AUC fill:#fbb,stroke:#333

3. 安裝與設定

3.1 方式一：使用自動化管線 VICTRE_PIPELINE（建議）

VICTRE_PIPELINE 將所有 9 個步驟封裝為單一 Python class，大幅降低整合複雜度。

Bio Agent 生態系完整比較論述

Mon, 08 Jun 2026 00:00:00 +0000

Bio Agent 生態系完整比較論述

34 個 GitHub 專案的綜合分析與比較日期：2026-06-08 版本：v2.0（擴充版）資料來源：GitHub 公開 repository、arXiv 論文、各專案 README 與教學文件

turbovec 完整教學：基於 TurboQuant 的高效向量搜尋引擎

Mon, 08 Jun 2026 00:00:00 +0000

turbovec 完整教學：基於 TurboQuant 的高效向量搜尋引擎

1. 專案定位

這是什麼？

turbovec 是一個以 Rust 撰寫、提供 Python bindings 的向量索引引擎。它實作了 Google Research 在 ICLR 2026 發表的 TurboQuant 演算法（arXiv:2504.19874），能將高維 embedding 向量壓縮到每座標 2-4 bits，同時保持接近 Shannon 理論下界的失真率。

Doctor 專案改進建議 — 基於 7 個同領域專案的綜合比較分析

Sat, 06 Jun 2026 00:00:00 +0000

Doctor 專案改進建議 — 基於 7 個同領域專案的綜合比較分析

本文基於 8 個 GitHub 專案的完整教學分析，提出 Doctor 專案的系統性改進方案。

1. 現狀診斷：Doctor 的定位與核心問題

1.1 Doctor 做了什麼

Doctor 是一個 Streamlit + Google Gemini 的醫病角色扮演模擬器。核心概念：

MIMIC_RL_COACH 完整教學 — 用強化學習為 ICU 敗血症患者建立治療決策 AI

Sat, 06 Jun 2026 00:00:00 +0000

MIMIC_RL_COACH 完整教學

從概念理解到實作：如何用 Batch Reinforcement Learning 從真實加護病房資料學習敗血症最佳治療策略。

1. 專案定位

什麼是 MIMIC_RL_COACH？

MIMIC_RL_COACH 是一個 batch reinforcement learning（批次強化學習） pipeline，利用 MIMIC-III（Medical Information Mart for Intensive Care） 加護病房臨床資料庫的真實病歷資料，訓練 RL agent 學習敗血症（sepsis；感染）患者的最佳治療策略（optimal treatment policy）。

Tutorial: 2023Anita/MedicalAI-Platform — 多智慧體醫療分析平台

Sat, 06 Jun 2026 00:00:00 +0000

Tutorial: 2023Anita/MedicalAI-Platform — 多智慧體醫療分析平台

S1 專案定位與背景

1.1 這是什麼

MedicalAI-Platform（Med Agentic-AI）是一個基於多智慧體協作（Multi-Agent Collaboration）架構的智慧醫療分析平台，由江陰市人民醫院「睡眠魔法師 Team」開發。平台以 Google Gemini 2.5 Flash/Pro 為底層 LLM，透過四個專業 AI 代理的分工協作，對體檢報告進行全面分析並生成結構化的中文醫療評估報告。

Tutorial: bcefghj/medical-multi-agent-system — 企業級多 Agent 醫療 CDSS

Sat, 06 Jun 2026 00:00:00 +0000

Tutorial: medical-multi-agent-system — 企業級多 Agent 醫療臨床輔助決策系統

§1 專案定位與背景

1.1 這是什麼

medical-multi-agent-system 是一個面向面試展示與架構學習的企業級多 Agent 臨床輔助決策系統（Clinical Decision Support System, CDSS）。它以 5 個專業化 Agent 組成 Pipeline，覆蓋「接診 → 診斷 → 治療 → 編碼 → 審計」完整臨床工作流，並以 Python / Java / Go 三種語言同時實作同一套架構。

Tutorial: Doctor — Doubt-Driven 醫病動態認知博弈引擎

Sat, 06 Jun 2026 00:00:00 +0000

Tutorial: Doctor — Doubt-Driven 醫病動態認知博弈引擎

1. 專案定位

這個專案是什麼

Doctor 是一個基於 Streamlit + Google Gemini 的醫病互動模擬應用程式。它不是一個真正的臨床決策支援系統（CDSS），而是一個 LLM 角色扮演引擎：透過精心設計的 9 步驟 system prompt 框架，讓 Gemini 扮演一位具有多層心理防禦機制的醫師角色，與使用者（扮演病患）進行對話。

Tutorial: Md-Emon-Hasan/MediGenius — LangGraph 多 Agent 醫療 AI 助手完整教學

Sat, 06 Jun 2026 00:00:00 +0000

Tutorial: MediGenius — LangGraph 多 Agent 醫療 AI 助手

一份「讀完就能理解架構 + 知道怎麼改 + 清楚資安邊界」的內部技術手冊。目標讀者：已會 Python + FastAPI，想學 LangGraph multi-agent 編排、RAG pipeline、和 fallback chain 設計模式的工程師。

Tutorial: stanfordmlgroup/MedAgentBench — 醫療 LLM Agent 基準測試虛擬 EHR 環境

Sat, 06 Jun 2026 00:00:00 +0000

Tutorial: stanfordmlgroup/MedAgentBench — 醫療 LLM Agent 基準測試虛擬 EHR 環境

§1 專案定位與背景

1.1 這是什麼

MedAgentBench 是 Stanford ML Group 開發並發表於 NEJM AI 的醫療 LLM Agent 基準測試平台。它提供一個基於 FHIR（Fast Healthcare Interoperability Resources；快速醫療互通資源）標準的虛擬 EHR（Electronic Health Record；電子健康紀錄）環境，讓 LLM Agent 透過真實世界規格的 FHIR R4 API 與合成病人資料互動，藉此量化評估 Agent 在臨床工作流程中的實際執行能力。

AI Retrosynthesis 開源工具全景教學 — Lead Optimization Analog 的合成規劃指南

Fri, 05 Jun 2026 00:00:00 +0000

AI Retrosynthesis 開源工具全景教學

為 lead optimization（先導化合物優化）產出的 analog（類似物）規劃最短、最可行的合成路線：6 大開源工具比較與實戰指南。

AiZynthFinder 完整教學 — AI 逆合成規劃工具

Fri, 05 Jun 2026 00:00:00 +0000

AiZynthFinder 完整教學 — AI 逆合成規劃工具

1. 專案概述

AiZynthFinder 是 AstraZeneca Molecular AI 團隊開源的逆合成規劃工具（retrosynthetic planning tool），也是該領域目前最成熟的開源方案（845 stars，MIT 授權）。

CausalBench 完整教學 — 從 AWS 連線到因果網路推論的全方位指南

Fri, 05 Jun 2026 00:00:00 +0000

CausalBench 完整教學

從 AWS EC2 連線到 causal network inference（因果網路推論）：用淺顯易懂的方式理解如何在真實 Perturb-seq 資料上跑基因調控網路推論。

1. 專案定位 — 這到底是什麼？

用一個比喻來理解

想像你有一座巨大的工廠（cell；細胞），裡面有數千台機器（gene；基因）在運作。你想知道：哪台機器會影響哪台機器？ 例如，當你關掉機器 A 時，機器 B 和 C 是否也會跟著改變？

SynPlanner 完整教學 — 電腦輔助逆合成規劃

Fri, 05 Jun 2026 00:00:00 +0000

SynPlanner 完整教學 — 電腦輔助逆合成規劃

第 1 章：專案定位與核心價值

逆合成規劃 (Retrosynthetic Planning) 是什麼？

逆合成分析 (retrosynthetic analysis) 是有機化學中最核心的策略思維：從目標分子 (target molecule) 出發，反向推導出一系列可行的合成步驟，最終到達可商業購買的起始原料 (building blocks)。

Syntheseus 完整教學：模組化逆合成規劃框架

Fri, 05 Jun 2026 00:00:00 +0000

Syntheseus 完整教學：模組化逆合成規劃框架

1. 專案定位與核心價值

1.1 什麼是 Syntheseus？

Syntheseus 是 Microsoft Research 開發的 Python 套件，專為逆合成規劃 (retrosynthetic planning) 設計。逆合成分析的目標是：給定一個目標分子 (target molecule)，反向推導出一條或多條從商業可購買的起始物料 (building blocks) 到目標分子的合成路線 (synthesis route)。

Tutorial: deepforestsci/DeepRetro — LLM 驅動遞歸逆合成完整解析

Fri, 05 Jun 2026 00:00:00 +0000

DeepRetro 完整教學

本文目的：把 DeepRetro 的「為什麼要用 LLM 做逆合成」、「整個 pipeline 怎麼運作」、「怎麼跑起來然後接進你的 lead optimization 工作流」一次講清楚。重點放在架構理解、實務操作、幻覺防護機制、以及對你場景的適用性評估。

教學：microsoft/retrochimera — 前沿 Ensemble 逆合成模型完整指南

Fri, 05 Jun 2026 00:00:00 +0000

教學：microsoft/retrochimera — 前沿 Ensemble 逆合成模型完整指南

第 1 章：專案定位與價值主張

這個專案解決什麼問題？

在 drug discovery（藥物發現）的 lead optimization（先導化合物優化）流程中，medicinal chemist（藥物化學家）設計出新的 analog（類似物）後，最關鍵的問題是：這個分子做得出來嗎？ Retrosynthesis（逆合成分析）就是回答這個問題的核心技術——從目標分子反推可行的合成路徑，直到所有起始物料（building block）都能商業購買。

NVIDIA digital-biology-examples 完整教學：6 個生物 NIM × 1 個 Blueprint × 1 個 PyPI client 的端到端 cookbook

Tue, 02 Jun 2026 00:00:00 +0000

⚠️ 本文件為 NVIDIA/digital-biology-examples 的深度教學與資安審查報告。資安掃描章節（§6）含紅黃綠燈分級；商用部署前務必審視 §4 NIM 授權條款。

1. 專案定位

1.1 一句話

NVIDIA/digital-biology-examples 是 NVIDIA BioNeMo 平台官方的「生物 NIM 微服務 cookbook + Blueprint 端到端範例 + 單細胞 GPU 入門資源」整合倉，是把 BioNeMo Framework 訓練好的模型「包成 NIM 容器、暴露成 OpenAPI 服務、做成 Python client / Jupyter notebook、再串接成藥物發現工作流」的最終端使用者出口。

Tutorial: NVIDIA-BioNeMo/bionemo-framework — 完整解讀（biopharma foundation model 訓練引擎，含 ESM-2 / AMPLIFY / Evo2 / Geneformer / CodonFM / MoCo 全套 recipes）

Tue, 02 Jun 2026 00:00:00 +0000

NVIDIA-BioNeMo/bionemo-framework 完整教學

一句話定位：NVIDIA Clara BioPharma 平台的訓練引擎開源層 — GPU 高度最佳化的 recipe 與工具集，把 NVIDIA 在 LLM 上的全套絕活（TransformerEngine FP8/MXFP8/NVFP4 低精度、megatron-FSDP、context parallel、sequence packing、Hopper / Blackwell 架構優化）搬到 biopharma 領域：從 蛋白質（ESM-2 8M→15B、AMPLIFY）、單細胞 RNA（Geneformer）、基因體（Evo2 1B→40B，1M+ nt context）、codon（CodonFM 1B/5B）、生成式小分子（MoCo 系列 interpolant：DDPM/VDM/CFM/D3PM/MDLM/DFM），到通用 LLM（Llama3 144K context、Mixtral MoE、Qwen2.5/3）的 biopharma 適配版。整合 NVIDIA AI 全家桶（Megatron-Bridge / Automodel / TransformerEngine / NIM），是 NVIDIA/BioNeMo Blueprint hub 的底層引擎。

Tutorial: NVIDIA-BioNeMo/bionemo-framework — 完整解讀（biopharma foundation model 訓練引擎，含 ESM-2 / AMPLIFY / Evo2 / Geneformer / CodonFM / MoCo 全套 recipes）

Tue, 02 Jun 2026 00:00:00 +0000

NVIDIA-BioNeMo/bionemo-framework 完整教學

一句話定位：NVIDIA Clara BioPharma 平台的訓練引擎開源層 — GPU 高度最佳化的 recipe 與工具集，把 NVIDIA 在 LLM 上的全套絕活（TransformerEngine FP8/MXFP8/NVFP4 低精度、megatron-FSDP、context parallel、sequence packing、Hopper / Blackwell 架構優化）搬到 biopharma 領域：從 蛋白質（ESM-2 8M→15B、AMPLIFY）、單細胞 RNA（Geneformer）、基因體（Evo2 1B→40B，1M+ nt context）、codon（CodonFM 1B/5B）、生成式小分子（MoCo 系列 interpolant：DDPM/VDM/CFM/D3PM/MDLM/DFM），到通用 LLM（Llama3 144K context、Mixtral MoE、Qwen2.5/3）的 biopharma 適配版。整合 NVIDIA AI 全家桶（Megatron-Bridge / Automodel / TransformerEngine / NIM），是 NVIDIA/BioNeMo Blueprint hub 的底層引擎。

Tutorial: NVIDIA/BioNeMo — BioPharma Developer Asset Hub 完整解讀（生物製藥版 Nemotron：25+ 開源模型 / 10+ NIM 微服務 / 8 個 GPU 函式庫 / 完整藥物開發流程）

Tue, 02 Jun 2026 00:00:00 +0000

NVIDIA BioNeMo（Hub Repo）完整教學

一句話定位：NVIDIA 在 BioPharma 領域的官方 Developer Asset Hub — 不是程式庫、不是模型、不是框架，而是一份集中索引 README，把散落在 NVIDIA-Digital-Bio / NVIDIA/bionemo-framework / clara-parabricks-workflows / NVlabs / build.nvidia.com 的 5 大支柱（資料 / 模型 / 函式庫 / 訓練 / NIM 推論） 串成一條可導覽的入口路徑。

Tutorial: healthymind-tech/Taiwan-Health-MCP — 台灣醫療資料 MCP 伺服器完整教學

Mon, 01 Jun 2026 00:00:00 +0000

Taiwan-Health-MCP 完整教學

把台灣健保 / TFDA / 國際醫療編碼資料一次整合給 LLM agent 用的生產級 MCP 伺服器深度教學。

1. 專案定位

Taiwan-Health-MCP 是一個 Model Context Protocol (MCP) 伺服器，目的是讓 Claude / GPT 等 LLM agent 能透過標準工具呼叫介面，查詢以下台灣與國際醫療健康資料：

Tutorial: healthymind-tech/Taiwan-Health-MCP — 台灣醫療資料 MCP 伺服器完整教學

Mon, 01 Jun 2026 00:00:00 +0000

Taiwan-Health-MCP 完整教學

把台灣健保 / TFDA / 國際醫療編碼資料一次整合給 LLM agent 用的生產級 MCP 伺服器深度教學。

1. 專案定位

Taiwan-Health-MCP 是一個 Model Context Protocol (MCP) 伺服器，目的是讓 Claude / GPT 等 LLM agent 能透過標準工具呼叫介面，查詢以下台灣與國際醫療健康資料：

paper-qa 詳細教學 — Agentic RAG for Scientific Literature

Wed, 20 May 2026 00:00:00 +0000

paper-qa 詳細教學 — Agentic RAG for Scientific Literature

⚠️ 資安警示（讀者必看）：本專案最新 OPEN issue #1325 揭露「pickle 反序列化遠端程式碼執行」風險。永遠不要載入第三方分享、來路不明、或從網路下載的 pre-built pqa index；index 是含 zlib-compressed pickle 的目錄，攻擊者可放毒。詳見 §6。

paper-qa 詳細教學 — Agentic RAG for Scientific Literature

Wed, 20 May 2026 00:00:00 +0000

paper-qa 詳細教學 — Agentic RAG for Scientific Literature

⚠️ 資安警示（讀者必看）：本專案最新 OPEN issue #1325 揭露「pickle 反序列化遠端程式碼執行」風險。永遠不要載入第三方分享、來路不明、或從網路下載的 pre-built pqa index；index 是含 zlib-compressed pickle 的目錄，攻擊者可放毒。詳見 §6。