DataForge

概要

DataForgeはGoで開発された分散型ETLエンジン。CSVのアップロードから分析・クレンジング・正規化・重複排除・エクスポートまで、大規模データを設定の煩雑さなしで処理します。Goの並行処理、ワーカープール、優先度ベースのジョブディスパッチ、現実的なETL設計に注力。用途として日次の大規模CSV処理と分析連携が想定されます。

特長

• 無料・オープンソース、ベンダーロックインなし
• 直感的なインターフェースと高速実行
• 分散処理でスケール対応

背景/開発動機

高価で難解なツールに代わる中間の選択肢を目指し、学生・スタートアップ・個人開発者向けの開発者志向エンジンとして設計しました。