AetherGrid

概要

• 実際の障害発生を前提に、AIジョブの実行所有権を安全に管理するオープンソースのオーケストレーターです。
• ジョブを期限付きリースで管理し、実行中は継続更新することで、ワーカー障害時の二重実行リスクを抑えます。
• 本番環境で稼働し、280件のテストと26件のADRによって、実装の信頼性と設計判断を検証・記録しています。

主な特徴

• 実際のサブプロセスを実行し、タイムアウトを強制適用。SIGTERMを無視するプロセスの強制終了もテストで確認しています。
• リコンシリエーション機能が放棄されたジョブを検出して回収し、障害後も処理が宙ぶらりんになる状態を防ぎます。
• クリーンアーキテクチャとドメイン駆動設計を採用し、リースや再試行などの複雑な実行制御を整理しています。

こんな人におすすめ

• AIワーカーやバックエンドのジョブ実行基盤を構築し、障害時の二重実行や処理所有権の競合に悩んでいる開発者。
• 単純なポーリング型スケジューラーではなく、クラッシュやネットワーク断を考慮した堅牢な実行基盤を求めるチーム。
• リース、リコンシリエーション、再試行制御など、分散システムにおける安全なジョブ管理の実装例を学びたい人。