1hyena-dna/
 2+-- train.py                          # 主訓練入口 (PyTorch Lightning)
 3+-- huggingface.py                    # HuggingFace 整合 (embedding extraction)
 4+-- standalone_hyenadna.py            # 獨立使用版本 (不依賴 Lightning)
 5+-- requirements.txt
 6+-- Dockerfile
 7+-- configs/                          # Hydra 設定檔
 8|   +-- config.yaml                   # 主設定
 9|   +-- experiment/hg38/              # 實驗設定 (pretrain / finetune / ICL)
10|   +-- dataset/                      # 資料集設定
11|   +-- model/layer/                  # 模型層設定 (hyena / attention / etc.)
12|   +-- optimizer/                    # 最佳化器設定
13|   +-- scheduler/                    # 學習率排程
14|   +-- pipeline/                     # 任務管線設定
15|   +-- task/                         # 任務類型 (LM / classification / regression)
16+-- src/
17|   +-- models/sequence/
18|   |   +-- hyena.py                  # Hyena operator 核心實作
19|   |   +-- long_conv.py              # 長卷積層
20|   |   +-- long_conv_lm.py           # 語言模型包裝
21|   |   +-- dna_embedding.py          # DNA embedding 層
22|   |   +-- block.py                  # 模型區塊組合
23|   |   +-- model.py                  # 完整模型定義
24|   +-- dataloaders/
25|   |   +-- datasets/
26|   |   |   +-- hg38_dataset.py       # HG38 預訓練資料集
27|   |   |   +-- hg38_char_tokenizer.py # 字元級 tokenizer
28|   |   |   +-- genomic_bench_dataset.py
29|   |   |   +-- nucleotide_transformer_dataset.py
30|   |   |   +-- species_dataset.py
31|   |   |   +-- chromatin_profile_dataset.py
32|   +-- tasks/
33|   |   +-- tasks.py                  # 任務定義 (LMTask etc.)
34|   |   +-- decoders.py               # 解碼頭 (classification / regression)
35|   |   +-- metrics.py                # 評估指標
36|   +-- ops/
37|   |   +-- fftconv.py                # FFT 卷積運算
38+-- evals/                            # 評估腳本
39|   +-- hg38_inference.py             # 推論取 logits
40|   +-- soft_prompting_genomics.py    # 軟提示 ICL
41|   +-- instruction_tuned_genomics.py # 指令微調 ICL
42+-- csrc/fftconv/                     # CUDA FFT 卷積加速核心
43+-- flash-attention/                  # Git submodule: Flash Attention

 1# 1. Clone 含 submodule
 2git clone --recurse-submodules https://github.com/HazyResearch/hyena-dna.git
 3cd hyena-dna
 4
 5# 2. 建立 conda 環境
 6conda create -n hyena-dna python=3.8 -y
 7conda activate hyena-dna
 8
 9# 3. 安裝 PyTorch (CUDA 11.7)
10conda install pytorch==1.13.0 torchvision==0.14.0 torchaudio==0.13.0 \
11    pytorch-cuda=11.7 -c pytorch -c nvidia
12
13# 4. 安裝 Python 依賴
14pip install -r requirements.txt
15
16# 5. 安裝 Flash Attention (加速用，需 CUDA 編譯環境)
17cd flash-attention
18git submodule update --init
19pip install -e . --no-build-isolation
20
21# 6. (選用) 安裝 fused LayerNorm (額外加速)
22cd csrc/layer_norm && pip install . --no-build-isolation

 1# Clone
 2git clone --recurse-submodules https://github.com/HazyResearch/hyena-dna.git
 3cd hyena-dna
 4
 5# 方法 A：Pull 預建映像
 6docker pull hyenadna/hyena-dna:latest
 7docker run --gpus all -it -p80:3000 hyenadna/hyena-dna /bin/bash
 8
 9# 方法 B：含 Nucleotide Transformer 資料集的映像
10docker pull hyenadna/hyena-dna-nt6:latest
11docker run --gpus all -it -p80:3000 hyenadna/hyena-dna-nt6 /bin/bash

1# 下載 Human Reference Genome (HG38)
2mkdir -p data/hg38/
3curl https://storage.googleapis.com/basenji_barnyard2/hg38.ml.fa.gz > data/hg38/hg38.ml.fa.gz
4curl https://storage.googleapis.com/basenji_barnyard2/sequences_human.bed > data/hg38/human-sequences.bed
5
6# 解壓 fasta 檔案
7gunzip data/hg38/hg38.ml.fa.gz

1# 快速驗證：從頭訓練小模型於 GenomicBenchmarks
2python -m train wandb=null experiment=hg38/genomic_benchmark_scratch
3# 若能正常跑完幾個 epoch 並印出 loss，表示環境正確

 1"""
 2HyenaDNA Embedding Extraction (嵌入提取)
 3從預訓練模型取得 DNA 序列的向量表示
 4"""
 5import torch
 6import json
 7from transformers import PreTrainedModel
 8from standalone_hyenadna import HyenaDNAModel, CharacterTokenizer, HyenaDNAPreTrainedModel
 9
10# --- 1. 設定模型 ---
11# 可選模型: tiny-1k / small-32k / medium-160k / medium-450k / large-1m
12pretrained_model_name = "hyenadna-small-32k-seqlen"
13max_length = 32_768  # 須與模型匹配
14
15# --- 2. 從 HuggingFace 載入 ---
16model = HyenaDNAPreTrainedModel.from_pretrained(
17    f"LongSafari/{pretrained_model_name}",
18    download=True,
19)
20model.eval()
21
22# --- 3. 建立 Tokenizer ---
23tokenizer = CharacterTokenizer(
24    characters=['A', 'C', 'G', 'T', 'N'],
25    model_max_length=max_length + 2,  # +2 for BOS/EOS tokens
26    add_special_tokens=False,
27)
28
29# --- 4. Tokenize DNA 序列 ---
30dna_sequence = "ACGTACGTACGTACGT" * 100  # 範例：1600 bp
31tok_seq = tokenizer(dna_sequence, return_tensors="pt")
32input_ids = tok_seq["input_ids"]
33print(f"Input shape: {input_ids.shape}")  # [1, 1600]
34
35# --- 5. 取得 Embedding ---
36with torch.no_grad():
37    # 取得最後一層隱藏狀態
38    embeddings = model(input_ids)  # shape: [1, seq_len, d_model]
39
40    # 方法 A: Mean pooling (平均池化)
41    mean_embedding = embeddings.mean(dim=1)  # [1, d_model]
42
43    # 方法 B: 取最後一個 token (GPT-style)
44    last_token_embedding = embeddings[:, -1, :]  # [1, d_model]
45
46print(f"Embedding dim: {mean_embedding.shape[-1]}")
47print(f"Mean embedding: {mean_embedding[0, :5]}")  # 前 5 維

 1# =============================================================
 2# GenomicBenchmarks Fine-tuning (基因組基準測試微調)
 3# 使用預訓練 HyenaDNA backbone + 線性分類頭
 4# =============================================================
 5
 6# --- 步驟 1：下載預訓練權重 ---
 7# 從 HuggingFace 下載 tiny-1k-d256 模型
 8# https://huggingface.co/LongSafari/hyenadna-tiny-1k-seqlen-d256
 9# 將 .ckpt 檔案放到 outputs/ 目錄
10
11# --- 步驟 2：啟動微調 ---
12python -m train \
13    wandb=null \
14    experiment=hg38/genomic_benchmark \
15    dataset_name=human_enhancers_cohn \
16    train.pretrained_model_path=outputs/weights.ckpt \
17    dataset.max_length=500 \
18    model.layer.l_max=1024 \
19    model.d_model=256 \
20    model.n_layer=2 \
21    optimizer.lr=6e-4 \
22    trainer.devices=1 \
23    trainer.max_epochs=10
24
25# --- 參數說明 ---
26# dataset_name          : 8 個資料集之一 (auto-download)
27#   - human_enhancers_cohn (2 classes, 27791 seqs, median 500 bp)
28#   - human_enhancers_ensembl (2 classes, 154842 seqs)
29#   - human_ensembl_regulatory (3 classes, 289061 seqs)
30#   - human_nontata_promoters (2 classes, 36131 seqs)
31#   - human_ocr_ensembl (2 classes, 174756 seqs)
32#   - demo_coding_vs_intergenomic_seqs (2 classes, 100K seqs)
33#   - demo_human_or_worm (2 classes, 100K seqs)
34#   - dummy_mouse_enhancers_ensembl (2 classes, 1210 seqs)
35#
36# model.layer.l_max     : 模型最大序列長度 (>= dataset.max_length + 2)
37# train.pretrained_model_path : 預訓練權重路徑
38# model.checkpoint_mixer: True  # 啟用梯度檢查點 (省記憶體)
39# model.checkpoint_mlp  : True  # 同上

 1"""
 2HyenaDNA Custom Pretraining + Evaluation Pipeline
 3自訂資料集預訓練 + In-Context Learning (ICL; 情境學習) 評估
 4"""
 5
 6# =============================================================
 7# Part A: 在自訂基因組上從頭預訓練
 8# =============================================================
 9# 假設你有自己的 .fasta 檔案 (例如：某微生物基因組)
10
11# 步驟 1：準備資料結構
12# data/
13# +-- custom_genome/
14#     +-- genome.fa          # 你的 FASTA 檔案
15#     +-- sequences.bed      # (選用) 序列區間定義
16
17# 步驟 2：啟動預訓練
18# 使用 species_dataset.py 作為 dataloader 範本
19"""
20python -m train \
21    wandb=null \
22    experiment=hg38/hg38_hyena \
23    model.d_model=128 \
24    model.n_layer=2 \
25    dataset.batch_size=256 \
26    train.global_batch_size=256 \
27    dataset.max_length=1024 \
28    optimizer.lr=6e-4 \
29    trainer.devices=1 \
30    trainer.max_epochs=100
31"""
32
33# =============================================================
34# Part B: Sequence Length Warmup (序列長度漸進訓練)
35# =============================================================
36# 從短序列逐步增加到長序列的課程學習策略
37# 設定在 configs/experiment/hg38/hg38_hyena_seqlen_warmup_reload.yaml
38
39WARMUP_STAGES = """
40callbacks:
41  seqlen_warmup_reload:
42    stage_params:
43      - epochs: 2      # Stage 1: 1K bp
44        seq_len: 1024
45        batch_size: 256
46      - epochs: 2      # Stage 2: 2K bp
47        seq_len: 2048
48        batch_size: 128
49      - epochs: 2      # Stage 3: 4K bp
50        seq_len: 4096
51        batch_size: 64
52      - epochs: 2      # Stage 4: 8K bp
53        seq_len: 8192
54        batch_size: 32
55      - epochs: 4      # Stage 5: 16K bp
56        seq_len: 16384
57        batch_size: 16
58      - epochs: 4      # Stage 6: 32K bp
59        seq_len: 32768
60        batch_size: 8
61"""
62
63# =============================================================
64# Part C: In-Context Learning (ICL; 情境學習)
65# =============================================================
66# HyenaDNA 支援兩種 ICL 模式：
67
68# 模式 1：Soft Prompting (軟提示)
69# 在輸入前加入可學習的 prompt token
70"""
71python -m evals/soft_prompting_genomics
72"""
73
74# 模式 2：Instruction Fine-tuning (指令微調)
75# 將分類任務包裝成指令格式
76"""
77python -m evals/instruction_tuned_genomics
78"""
79
80# =============================================================
81# Part D: 取得模型 Logits (用於下游分析)
82# =============================================================
83# 載入含 LM head 的完整模型取得 per-token logits
84"""
85python -m evals/hg38_inference
86"""
87# 輸出：每個位置對 {A, C, G, T, N} 的機率分布
88# 可用於：突變效應預測 (variant effect prediction)、
89#         序列生成 (sequence generation)、
90#         motif 發現 (motif discovery)

 1"""
 2HyenaDNA embedding → scGPT 基因表達預測
 3概念性整合：DNA 調控特徵輔助單細胞分析
 4"""
 5# Step 1: 用 HyenaDNA 取得啟動子區域 embedding
 6# (參考範例 4.1)
 7promoter_embedding = hyena_model(promoter_sequence)  # [1, seq_len, d_model]
 8
 9# Step 2: 平均池化取得 gene-level representation
10gene_repr = promoter_embedding.mean(dim=1)  # [1, d_model]
11
12# Step 3: 作為 scGPT 的額外基因特徵輸入
13# scGPT 的 gene embedding 可與 HyenaDNA 的 promoter embedding 融合
14# 提供 DNA 層級的調控資訊給單細胞模型