データエンジニアリング

データエンジニアリング

ClickHouse on Ubuntu — 超高速列指向OLAPデータベースの構築

「数千万行のログを集計したいのに、MySQL や PostgreSQL だと数十秒〜数分かかってしまう」——そんな悩みを列指向(カラムナ)OLAPデータベースの ClickHouse が解決します。結論から言うと、Ubuntu で Clic…
データエンジニアリング

Apache Spark on Ubuntu — 分散データ処理環境の構築と入門

「ビッグデータ処理といえば Spark」とよく聞くものの、いざ Ubuntu に入れようとして apt install spark を叩いて「パッケージが見つかりません」で止まった人は多いはずです。
データエンジニアリング

Apache Airflow on Ubuntu — ワークフロー自動化基盤の構築と運用

「定期的なデータ処理を自動化したいけど、cron だと管理しきれなくなってきた」――そんな悩みを抱えたことはないでしょうか。Apache Airflow は、そうした複雑なワークフローを視覚的に管理・スケジューリングするためのオープンソース…