data preparation for GUI automation

概要

Screph は UI の説明・注釈・リレーションをデスクトップ上で記録し、コード生成・LLMへの入力に使える構造化データを出力します。

主な特徴

• 要素の選択をカラー選択から高度なセグメンテーションまで柔軟に対応
• ボイスディスクリションで手を使わず注釈を付与
• UI階層（親子関係）を捉え、ネストしたコンポーネントを文書化
• 座標・ラベル・階層を含む JSON をエクスポート
• オフライン動作、ローカル処理、AGPLv3 のオープンソース

活用例

• ドキュメント作成、QA、トレーニングデータの整備、AIコーディング支援の入力データ作成
• コード生成ツールやテストフレームワーク、LLM への直接データ供給

技術

Python & Qt、Vosk による音声認識など、データは端末内に留まる