データエンジニアリング

データエンジニアリング

Kibana on Ubuntu — Elasticsearchログを可視化するダッシュボード構築

「Elasticsearch にログを入れたのはいいけど、検索コマンドを毎回打つのが面倒くさい」——そんな悩みを一気に解決してくれるのが Kibana です。ブラウザから操作できるダッシュボードで、ログの可視化・検索・グラフ作成がコマンドな…
データエンジニアリング

Elasticsearch クラスター on Ubuntu — 3ノード本番構成の構築

「Elasticsearch をクラスター構成で動かしたいけど、どこから手をつければいいか分からない」という方は多いはずです。結論から言うと、Docker Compose を使えば、Ubuntu 24.04 上に 3 ノード構成の Elas…
データエンジニアリング

MinIO on Ubuntu — S3互換オブジェクトストレージでデータレイク構築

「AWS S3 は便利だけど、データ量が増えると料金が怖い」「自分のサーバーに S3 互換のストレージを置いて、データレイクを自前で作りたい」——そんなときに使えるのがMinIOです。結論から言うと、Ubuntu なら docker run…
データエンジニアリング

ClickHouse on Ubuntu — 超高速列指向OLAPデータベースの構築

「数千万行のログを集計したいのに、MySQL や PostgreSQL だと数十秒〜数分かかってしまう」——そんな悩みを列指向(カラムナ)OLAPデータベースの ClickHouse が解決します。結論から言うと、Ubuntu で Clic…
データエンジニアリング

Apache Spark on Ubuntu — 分散データ処理環境の構築と入門

「ビッグデータ処理といえば Spark」とよく聞くものの、いざ Ubuntu に入れようとして apt install spark を叩いて「パッケージが見つかりません」で止まった人は多いはずです。
データエンジニアリング

Apache Airflow on Ubuntu — ワークフロー自動化基盤の構築と運用

「定期的なデータ処理を自動化したいけど、cron だと管理しきれなくなってきた」――そんな悩みを抱えたことはないでしょうか。Apache Airflow は、そうした複雑なワークフローを視覚的に管理・スケジューリングするためのオープンソース…