1Source → RecordBatch (Arrow) → Buffer → Strategy → Destination

1cmd/genregistry/  → 自動產生 import 註冊碼
2pkg/source/*/register.go  → 每個來源的自我註冊
3pkg/destination/*/register.go  → 每個目的地的自我註冊

 1# 方法 1：官方安裝腳本（推薦）
 2curl -LsSf https://getbruin.com/install/ingestr | sh
 3
 4# 方法 2：pip 安裝（Python wrapper）
 5pip install ingestr
 6
 7# 方法 3：Docker
 8docker run --rm ghcr.io/bruin-data/ingestr:latest ingest --help
 9
10# 驗證安裝
11ingestr --version

1# 從 Postgres 複製一張表到本地 DuckDB
2ingestr ingest \
3    --source-uri 'postgresql://user:pass@localhost:5432/mydb' \
4    --source-table 'public.orders' \
5    --dest-uri 'duckdb:///local.duckdb' \
6    --dest-table 'raw.orders'

1# 使用 merge 策略，以 id 為主鍵，updated_at 為增量鍵
2ingestr ingest \
3    --source-uri 'postgresql://user:pass@localhost:5432/mydb' \
4    --source-table 'public.orders' \
5    --dest-uri 'bigquery://my-project?credentials_path=./sa.json' \
6    --dest-table 'warehouse.orders' \
7    --incremental-strategy merge \
8    --incremental-key updated_at \
9    --merge-key id

 1# Shopify → BigQuery
 2ingestr ingest \
 3    --source-uri 'shopify://?api_key=YOUR_KEY&store_name=mystore' \
 4    --source-table 'orders' \
 5    --dest-uri 'bigquery://project?credentials_path=./sa.json' \
 6    --dest-table 'shopify.orders'
 7
 8# Stripe → DuckDB
 9ingestr ingest \
10    --source-uri 'stripe://?api_key=sk_live_xxx' \
11    --source-table 'charges' \
12    --dest-uri 'duckdb:///analytics.duckdb' \
13    --dest-table 'stripe.charges'

 1# CSV → Postgres
 2ingestr ingest \
 3    --source-uri 'csv://.' \
 4    --source-table 'data.csv' \
 5    --dest-uri 'postgresql://user:pass@localhost:5432/mydb' \
 6    --dest-table 'public.imported_data'
 7
 8# Parquet → BigQuery
 9ingestr ingest \
10    --source-uri 'parquet://.' \
11    --source-table 'output.parquet' \
12    --dest-uri 'bigquery://project?credentials_path=./sa.json' \
13    --dest-table 'raw.parquet_data'

1# 遮罩 email 和 phone 欄位
2ingestr ingest \
3    --source-uri 'postgresql://...' \
4    --source-table 'public.users' \
5    --dest-uri 'duckdb:///dev.duckdb' \
6    --dest-table 'dev.users' \
7    --column-mask 'email,phone'

1ingestr server --port 8080

1# PostgreSQL CDC：監聽 WAL 變更，同步多表到 BigQuery
2ingestr ingest \
3    --source-uri 'postgres_cdc://user:pass@localhost:5432/mydb?slot=ingestr_slot' \
4    --dest-uri 'bigquery://project?credentials_path=./sa.json' \
5    --dest-table 'cdc.*'

1// 典型模式（以 postgres 為例）
2query := fmt.Sprintf("SELECT %s FROM %s", strings.Join(colNames, ", "), quoteTableName(table))

 1┌─────────────────────────────────────────┐
 2│  ingestr 資安評級：🟢 良好              │
 3│                                         │
 4│  整體風險：低                           │
 5│  可安全使用：是                         │
 6│  建議措施：                             │
 7│  1. 部署時設定 INGESTR_DISABLE_TELEMETRY│
 8│  2. 生產環境不使用 InsecureSkipVerify   │
 9│  3. 定期更新至最新版本                  │
10└─────────────────────────────────────────┘

 1# 1. Clone
 2git clone https://github.com/bruin-data/ingestr.git
 3cd ingestr
 4
 5# 2. 安裝開發工具
 6make setup
 7
 8# 3. 安裝相依
 9make deps
10
11# 4. 產生 registry imports
12make generate
13
14# 5. 建置
15make build
16
17# 6. 執行測試
18make test
19
20# 7. 格式化與 lint
21make format
22make lint

1# 新增來源：在 pkg/source/<name>/ 下建立檔案
2# 必須包含：
3# - register.go  → 自我註冊
4# - <name>.go    → 實作 source.Source 介面
5# 然後執行：
6make generate  # 更新 registry
7make build     # 重新編譯
8make test      # 執行測試

1ingestr ingest --source-uri ... --dest-uri ...

1docker run --rm \
2    -e SOURCE_URI='postgresql://...' \
3    -e DESTINATION_URI='bigquery://...' \
4    -e SOURCE_TABLE='public.orders' \
5    -e DESTINATION_TABLE='raw.orders' \
6    ghcr.io/bruin-data/ingestr:latest ingest

 1name: Daily Data Sync
 2on:
 3  schedule:
 4    - cron: '0 6 * * *'
 5
 6jobs:
 7  sync:
 8    runs-on: ubuntu-latest
 9    steps:
10      - name: Install ingestr
11        run: curl -LsSf https://getbruin.com/install/ingestr | sh
12
13      - name: Sync orders
14        env:
15          SOURCE_URI: ${{ secrets.SOURCE_DB_URI }}
16          DESTINATION_URI: ${{ secrets.DEST_BQ_URI }}
17          INGESTR_DISABLE_TELEMETRY: 'true'
18        run: |
19          ingestr ingest \
20            --source-table 'public.orders' \
21            --dest-table 'raw.orders' \
22            --incremental-strategy merge \
23            --incremental-key updated_at \
24            --merge-key id

1ingestr server --port 8080
2# 瀏覽器開啟 http://localhost:8080

1# 啟用詳細日誌
2ingestr ingest --source-uri '...' --dest-uri '...' --verbose
3
4# 使用 server 模式的 Web UI 測試連線
5ingestr server

1export INGESTR_DISABLE_TELEMETRY=true
2# 或
3export DISABLE_TELEMETRY=true

1# 使用 --columns 參數覆寫型別
2ingestr ingest \
3    --source-uri '...' \
4    --source-table 'public.data' \
5    --dest-uri '...' \
6    --dest-table 'raw.data' \
7    --columns 'id:bigint,name:string,amount:decimal(18,2)'

 1# 方法 1：使用 glob pattern
 2ingestr ingest \
 3    --source-uri '...' \
 4    --source-table 'public.*' \
 5    --dest-uri '...' \
 6    --dest-table 'raw.*'
 7
 8# 方法 2：CDC 多表模式（PostgreSQL）
 9ingestr ingest \
10    --source-uri 'postgres_cdc://...' \
11    --dest-uri '...' \
12    --dest-table 'cdc.*'

1# 典型 Modern Data Stack 整合
2# 1. ingestr 負責 EL（Extract + Load）
3ingestr ingest --source-uri '...' --dest-uri 'bigquery://...'
4
5# 2. dbt 負責 T（Transform）
6dbt run --models staging.orders
7
8# 3. 排程用 cron / Airflow / GitHub Actions