markupR

概要

markuprは、音声説明と画面記録を組み合わせ、AIコーディングエージェントの理解を高速化するツール。Whisperで音声を文字起こし、重要瞬間を検出して対応する動画フレームを抽出。出力はスクリーンショット付きの構造化Markdown。エージェントが問題を素早く特定・修正できる設計。デスクトップアプリ／CLI／MCPサーバ／GitHub Actionとして提供。MITライセンス、ローカル実行がデフォルト。

特徴

• 画面を記録しつつ音声を読み上げると、スクショが適切な場所に配置
• タイムスタンプ相関とマウス追跡で正確なフレームを抽出
• AIがレポートとファイル構造を生成
• ローカル実行とオープンソース

背景

開発者とAIエージェント間のフィードバックループを改善する試み。視覚的なバグを音声で説明するだけで残りを自動化する点が特徴。