【日本語解説】OpenGCUA｜arXiv 2026｜AIはクリックの先へ。仕事を終える仕組み

【日本語解説】OpenGCUA｜arXiv 2026｜AIはクリックの先へ。仕事を終える仕組み 論文名：OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use 公開元：arXiv 2026 AIは画面のボタンを押せれば、パソコンの仕事を終えられるのでしょうか。 OpenGCUAは、何を見るか、どう操作するか、作業をどう整理するかを研究する公開プロジェクトです。既存のAIモデルが、GUIとコードを一つのプログラムでつなぎ、途中の結果に応じて動く仕組みを、MAYAとLUNAが図で解説します。 前半はReAct・CodeAct・OSWorldの背景と、学校の参加申請という身近な例。後半は条件分岐、観察、todoとintent、実機SDK、実験の読み方、公開範囲と限界まで掘り下げます。 初回公開は専用の学習済みモデルの発表ではありません。8モデルの部分点改善、完全成功率、問い合わせ回数を分け、53%のステップ削減をそのまま時間や費用の半減とは読みません。性能値は著者報告で、独立した有料ベンチマークの再測定ではありません。 参照：Zhouほか『OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use』arXiv 2610.22200v1／Tongyi-MAIの公開リポジトリ（確認版を制作記録に保存）。 原図：同論文の図3・4・6・8、表2。CC BY 4.0。領域拡大・画面配置を行っています。 音声：VOICEVOX:九州そら、VOICEVOX:春日部つむぎ 目次 00:00 導入｜AIに、学校の申請を頼んだら 00:52 問い｜同じ頭脳でも、仕事の結果は変わる 01:50 歴史｜観察するAI、コードを書くAI、仕事を測る評価 02:49 課題｜一人につき、何回AIへ戻る？ 03:48 直感｜まとめ操作と、プログラムは違う 04:47 全体像｜見る・動く・整理する 05:45 具体例｜三人の名簿を、下書きへ 06:41 仕組み｜一つのプログラムが、途中の結果を使う 07:46 仕組み｜画面とコマンドを、同じ手順にする 08:45 仕組み｜送信するかを、途中の照合で決める 09:41 図を見る｜観察するための資料も作れる 10:45 確認｜チェックが通ったのに、間違うことはある 11:43 観察｜毎回、画面全体を見せる必要はある？ 12:39 整理｜入力済みと、確認済みを分ける 13:31 意図｜長いコードが、何をするのか見せる 14:29 実装｜AIの手順が、アプリへ届くまで 15:27 実機｜どの画面の、どのボタン？ 16:27 実機｜裏で作業できる範囲は、OSとアプリ次第 17:31 実験の読み方｜点数と、全件成功は違う 18:45 結果｜同じモデルでも、構成で変わった 19:52 効率｜問い合わせ半減は、時間と費用の半減？ 20:58 切り分け｜コマンドを使えるだけではない 22:08 切り分け｜足した機能が、全部の数字を良くするわけではない 23:06 実機の結果｜仕組みが同じでも、モデルの差は残る 24:14 公開範囲｜今、何が手に入る？ 25:21 限界｜プレビューを、完成した万能助手と混ぜない 26:44 まとめ｜クリックの先にある、仕事の組み立て方 27:51 今後と挨拶｜モデルと、仕事の仕組みを一緒に育てる