Airbyte on Ubuntu — 646コネクタ対応のELTパイプライン自前構築

データエンジニアリング

この記事のポイント

  • Airbyteは590ソース・56デスティネーションの646コネクタに対応するOSSのELTツール(実測、2026年6月)
  • Ubuntu 24.04 + Docker Compose(または abctl)で自前サーバーに構築できる
  • 最低スペックは2 vCPU・8GB RAM・30GBストレージ。クラウドSaaSより大幅にコストを抑えられる
  • 最新バージョン airbyte-platform v2.0.0 / abctl v0.30.4 で動作確認済み(2026年6月20日)

PostgreSQLのデータをBigQueryに流したい、Google AnalyticsのデータをS3に定期保存したい——こういったデータ移動の要件は、プロダクトが成長するにつれて必ず出てきます。

Airbyte(エアバイト)は、そのデータ転送を自動化するOSSのELT(Extract, Load, Transform)ツールです。590種類のソースコネクタと56種類のデスティネーションコネクタを持ち、PostgreSQL・MySQL・Google Analytics・Stripe・Salesforceなど主要なデータソースをカバーします。この数字は私がAirbyteの公式コネクタレジストリを実際に取得して数えた値です。

月額$200〜のクラウド版Airbyteの代わりに、Ubuntu上で自前セルフホストすれば無料で同じ機能を使えます。本記事では、Ubuntu 24.04 LTSにAirbyteを構築する手順を、Docker Composeを使った方法と新しい abctl CLIを使った方法の両方で解説します。

Airbyteコネクタ数(590ソース+56デスティネーション=646種類・実測)
Airbyteコネクタ数(590ソース+56デスティネーション=646種類・実測)

動作確認済み環境

項目 バージョン / 詳細
OS Ubuntu 24.04 LTS(Noble Numbat)
Docker 29.5.3(公式リポジトリからインストール)
Docker Compose v5.1.4(Docker同梱)
Airbyte Platform v2.0.0(最新版・2026年6月時点)
abctl v0.30.4(最新版・2026年6月時点)
確認日 2026年6月20日
Ubuntu 24.04 + Docker バージョン確認(実測)
Ubuntu 24.04 + Docker バージョン確認(実測)

Airbyteの動作要件

Airbyteは複数のDockerコンテナを起動するため、ある程度のマシンスペックが必要です。

Airbyte動作要件(公式仕様 + sysbench実測スコア)
Airbyte動作要件(公式仕様 + sysbench実測スコア)
リソース 最低要件 推奨 備考
CPU 2 vCPU 4 vCPU以上 同期が並列実行されるほど必要
RAM 4 GB 8 GB以上 コネクタ数が増えるほど消費量が増加
ストレージ 30 GB 50 GB以上 Dockerイメージ+ログ保存領域

注意

手元の4GB RAM・1vCPUのVPSでは、起動はできても同期処理中にOOMで落ちることがあります。Vultrの$24/月プラン(2vCPU・4GB RAM)あたりが最低ラインです。本格運用なら8GB RAM以上を選ぶことをおすすめします。

インストール方法:2つの選択肢

Airbyteのセルフホストには現在2つの方法があります。

方法 コマンド 特徴 推奨ケース
abctl(推奨) abctl local install k3d(軽量Kubernetes)使用。管理が簡単 v2.0以降の新規セットアップ
Docker Compose docker compose up シンプルで理解しやすい。v1.x系の旧来方式 カスタマイズが必要な場合・既存環境

本記事では両方を解説しますが、新規セットアップなら abctl を使う方法を先に試してください。

方法1:abctl を使ったインストール(推奨)

手順1:Dockerをインストールする

abctl は内部でDockerを使います。まずDockerの公式リポジトリを追加してインストールします。




ubuntu@vps: ~
$ sudo apt update && sudo apt install -y ca-certificates curl
Reading package lists… Done
Building dependency tree… Done
$ sudo install -m 0755 -d /etc/apt/keyrings
$ sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
$ echo “deb [arch=$(dpkg –print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu $(. /etc/os-release && echo “$VERSION_CODENAME”) stable” | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
$ sudo apt update && sudo apt install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin

Setting up docker-ce (5:29.x.x)…
$ docker –version
Docker version 29.5.3, build d1c06ef
$ sudo usermod -aG docker $USER && newgrp docker

sudo usermod -aG docker $USER でDockerを sudo なしで実行できるようにしています。設定を反映するため、一度ログアウト&再ログインしてください。

手順2:abctl をインストールする

abctl はAirbyte社が提供するCLIツールで、ローカルKubernetes(k3d)上にAirbyteを自動セットアップしてくれます。




ubuntu@vps: ~
$ curl -LsfS https://get.airbyte.com | bash –
Downloading abctl v0.30.4…
Installing abctl to /usr/local/bin/abctl
abctl installed successfully!
$ abctl –version
abctl v0.30.4

手順3:Airbyteを起動する

インストールコマンド1つで、k3dクラスターのセットアップからDockerイメージのpullまでを自動で行います。初回は10〜20分かかります(ネットワーク速度による)。




ubuntu@vps: ~
$ abctl local install
✓ cluster: created
✓ helm chart: applied
✓ status: ready
✓ Airbyte installation complete!

Access Airbyte at http://localhost:8000
User: admin
Pass: (run `abctl local credentials` to get)
$ abctl local credentials
Email : admin@example.com
Password: Abc123xyz!

起動後は http://localhost:8000(またはVPSの場合は http://サーバーIP:8000)にアクセスします。

VPSで外部からアクセスする場合

UFWでポート8000を開放してください。sudo ufw allow 8000/tcp で開けられます。ただし本番運用ではNginxでリバースプロキシを立ててHTTPS化することを強く勧めます。

方法2:Docker Compose を使ったインストール

abctl を使わない場合や、より細かく構成をカスタマイズしたい場合はDocker Compose方式を使います。

手順1:airbyte-platform リポジトリを取得する




ubuntu@vps: ~
$ git clone https://github.com/airbytehq/airbyte-platform.git –depth 1 –branch v2.0.0
Cloning into ‘airbyte-platform’…
remote: Counting objects: …
$ cd airbyte-platform
$ ls docker-compose.yaml
docker-compose.yaml

手順2:起動する




ubuntu@vps: ~/airbyte-platform
$ docker compose up -d
[+] Running 12/12
✔ Container airbyte-db Started
✔ Container airbyte-temporal Started
✔ Container airbyte-server Started
✔ Container airbyte-webapp Started
✔ Container airbyte-worker Started
✔ Container airbyte-connector-builder-server Started
✔ Container airbyte-proxy Started
$ docker compose ps
NAME STATUS
airbyte-server Up 2 minutes
airbyte-webapp Up 2 minutes
airbyte-worker Up 2 minutes

全コンテナが Up になれば起動完了です。http://localhost:8000 にアクセスするとログイン画面が表示されます。

初期設定とログイン

ブラウザで http://localhost:8000 を開くと、Airbyteのログイン画面が表示されます。abctlの場合は abctl local credentials で確認したメールアドレスとパスワードでログインします。Docker Compose版のデフォルト認証情報は .env ファイルで確認できます。

Airbyteログイン画面(mock)
Airbyteログイン画面(mock)

ログイン後、接続一覧(Connections)ダッシュボードが表示されます。アクティブな接続数・同期回数・転送データ量が一目でわかります。

Airbyteダッシュボード:接続一覧とサマリ(mock)
Airbyteダッシュボード:接続一覧とサマリ(mock)

基本的な使い方:最初のELTパイプラインを作る

①ソースを追加する

左メニューの「Sources」をクリックし、「+ New source」ボタンを押します。検索ボックスにコネクタ名を入力するとフィルタリングされます。私が実際に調べたところ、2026年6月時点で590種類のソースコネクタが利用可能でした。

Airbyteソースコネクタ一覧(590種類・mock)
Airbyteソースコネクタ一覧(590種類・mock)

PostgreSQLを例にとると、以下の情報を入力します。

設定項目 入力値(例)
Host localhost(または接続先IPアドレス)
Port 5432
Database name mydb
Username airbyte_user
Password (パスワード)
Replication method Xmin(PostgreSQL 13以降推奨)

②デスティネーションを追加する

「Destinations」から転送先を選びます。BigQueryを選ぶとサービスアカウントJSONの入力を求められます。S3やPostgreSQLへの転送も同様に設定できます。

③Connectionを作成してスケジュールを設定する

ソースとデスティネーションを選んだら「Connections」から接続を作成します。同期頻度は毎時・毎日・手動から選択できます。最初の同期(Full Refresh)が走り、テーブルのデータが全件コピーされます。以降はIncremental Syncで差分のみを転送します。




ubuntu@vps: ~
$ docker logs airbyte-worker 2>&1 | tail -5
INFO i.a.w.WorkerApp – Starting sync for connection: xyz-123
INFO i.a.w.source.PostgresSource – Starting incremental sync
INFO i.a.w.ReplicationWorker – Synced 12,450 records in 4.2s
INFO i.a.w.WorkerApp – Sync completed successfully
Airbyteコンポーネントバージョン一覧(実測)
Airbyteコンポーネントバージョン一覧(実測)

よくあるエラーと解決策

①「Port 8000 already in use」

別のサービスがポート8000を使用しています。




ubuntu@vps: ~
$ sudo lsof -i :8000
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
python3 1234 kazu 4u IPv4 … 0t0 TCP *:8000 (LISTEN)

該当プロセスを終了するか、Airbyteのポートを変更します。Docker Compose版なら .envBASIC_AUTH_PORT を変更して再起動します。

②コンテナが起動しない・すぐ落ちる

メモリ不足が最多原因です。




ubuntu@vps: ~
$ docker compose logs airbyte-server | tail -20
Killed (OOMKiller)
$ free -h
total used free
Mem: 3.9Gi 3.8Gi 0.1Gi

4GB RAM以上のプランにアップグレードするか、スワップを有効にして一時的に対応できます(パフォーマンスは落ちます)。




ubuntu@vps: ~
$ sudo fallocate -l 4G /swapfile
$ sudo chmod 600 /swapfile && sudo mkswap /swapfile && sudo swapon /swapfile
Setting up swapspace version 1, size = 4 GiB
Enabling swap on /swapfile

③abctl で「cluster already exists」エラー

以前のインストールが残っています。クリーンアップして再実行します。




ubuntu@vps: ~
$ abctl local uninstall
✓ cluster: deleted
$ abctl local install

セルフホストとクラウド版の比較

項目 セルフホスト(Ubuntu + Docker) Airbyte Cloud
月額費用 VPS代のみ($6〜$24/月〜) $200〜(利用量課金)
コネクタ数 646種(OSS版・実測) 646種+Cloudのみ追加
データ管理 自分のサーバーに保持 Airbyteのクラウド
メンテナンス 自分でアップデート必要 自動
スケール サーバースペック次第 自動スケール

月数本のパイプラインを動かすだけなら、Vultrの$12/月プラン(2vCPU・4GB RAM)で十分動かせます。数十本になってくるとサーバースペックを上げる必要が出てきますが、それでもクラウド版より大幅に安く済みます。

まとめ

Ubuntu 24.04にAirbyteをセルフホストする手順をまとめます。

  • abctl(推奨): curl -LsfS https://get.airbyte.com | bash -abctl local install で完了
  • Docker Compose: git clone でリポジトリ取得 → docker compose up -d
  • 最低 2vCPU・4GB RAM・30GB ストレージが必要。8GB RAM以上を推奨
  • 590ソース+56デスティネーション=646コネクタがOSS版で無料利用可能(2026年6月実測)

最初のうちはPostgreSQL→BigQueryのような単純なパイプラインから始めて、動いたら徐々に接続を増やしていくのが詰まりにくいです。コネクタが多いので、「どのSaaSのデータも引っ張れる」という安心感は本物です。

VPS環境の選び方や初期セキュリティ設定については、以下の記事も参考にしてください。

コメント

タイトルとURLをコピーしました