AIに画面を操作させるとは？｜人が握り続ける操作

「つなぎ口が用意されていない古い画面に、毎日同じ数字を手で打ち込んでいる」「AIが画面を操作してくれるらしいが、間違えたときに誰がどこで気づくのかが分からない」——情報システムの担当者と現場の業務担当者から、別々の入口で同じ月に届く相談です。パソコンの操作をAIに任せる仕組みは、人の仕事をそっくり肩代わりする道具ではありません。本当は画面を写して読み、位置を決めて、押すか打つかを1手ずつ繰り返しているだけの道具で、どこで手を止めさせるかを人が決めて初めて業務に入ります。実際、この機能を提供している会社が自社の公式文書で公開している成功率は、ブラウザの中の作業でおよそ80パーセント、パソコンに入れて使うアプリではおよそ35パーセントと、同じ機能でも当たり外れが大きく出ています。この記事では、公開情報で確かめられる範囲で今どこまで動くのかを押さえたうえで、任せる範囲の決め方、動かす場所、資格情報の渡し方、記録の残し方、失敗の型までを順に見ていきます。

「画面を操作させる」とは、実際に何が起きているのか

提供元の公式文書は、この仕組みの動きを3つの段の繰り返しとして説明しています。まず画面を写真として取り込んで今の状態を読み、次に前の手と今の画面を照らし合わせて次の一手を決め、そして押す・打つ・巻き取るといった操作を実行する。この3段が、作業が終わるか人の入力が要る状態になるまで回り続けます。人が使うのと同じマウスとキーボードの動きに置き換えているだけなので、つなぎ口の有無を問いません。

押す位置は座標で指定されます。画面写真の左上を原点とした画素の位置に対して「ここを押す」と指示が出るため、写真を縮めて渡していれば倍率を掛け戻す処理が要りますし、その計算がずれると隣の欄を押します。小さすぎて読めない文字は、拡大して見直す操作を挟んで初めて読めます。画面の解像度が低いと、押す位置の精度がそのまま落ちるという関係になっており、公式文書も横1280、縦720あたりを目安として挙げています。

見落とされやすいのが費用と時間の増え方です。画面写真は1枚あたりおおよそ1,000から1,800の入力トークンを消費し、長く動かすほど積み上がります。1回のやり取りで20枚を超えると、1枚あたりの大きさの制限が厳しくなるとも書かれています。歩数が増えるほど費用と待ち時間が伸びるという性質は、後で述べる「どの作業に当てるか」の判断に直結します。

画面の表示倍率も、実務では効いてきます。高精細な画面では、見た目の1点が実際には2点分の画素にあたるため、そこを考慮しない実装では押す位置が一律にずれます。公式文書はこの点を明記したうえで、写真を縮めて渡すなら倍率を保存して掛け戻すよう求めています。担当者ごとに表示倍率が違う端末で動かすと、同じ手順が人によって通ったり通らなかったりするのは、多くの場合これが原因です。

つなぎ口でつなぐ形と、画面越しに操作させる形の使い分け

先に整理しておきたいのは、これが唯一の自動化手段ではないという点です。相手のシステムが外部からの出し入れ用の受け口を用意しているなら、そこへ決められた形で送るほうが速く、壊れにくく、記録も正確に残ります。画面越しの操作は、受け口が用意されていない画面にしか使わないのが基本です。

見るところ	つなぎ口でつなぐ	画面越しに操作させる
届く範囲	相手が受け口を用意している画面だけ	人が使える画面ならおおむね届く
速さ	1回のやり取りで終わる	1手ずつ画面を写して進むので遅い
壊れ方	受け口の仕様が変わるまで壊れない	画面の作りが変わると迷子になる
費用のかかり方	呼び出した回数で増える	歩数と画面写真の枚数で増える
残る記録	送った内容がそのまま残る	押した位置と画面写真で残す
向く仕事	件数が多く毎日動かす処理	件数が少なく受け口がない画面の処理

判断の順番は単純です。まず受け口を探し、あるならそちらを使う。無い場合に限って画面越しを検討する。両方ある場合につなぎ口を選ぶのは、相手の画面の改修に自社の業務が引きずられないからです。取引先の画面は、こちらの都合と関係なく変わります。年に数回の改修で毎回止まる仕組みを、日次の基幹業務に据えるのは危うい選択です。

逆に、画面越しにしか手が届かない場面は確実に存在します。社内の古い業務システム、取引先の購買の画面、業界団体が提供している申請の画面。受け口を作ってもらう交渉に半年かかる相手に対して、今月から手作業を減らしたいときに、画面越しの操作は現実的な選択肢になります。

いま、どこまで動くのか（公開されている数字で見る）

誇張を避けるために、提供元が自ら出している数字から見ます。ある大手の公式文書には、この機能の既知の限界として、ブラウザの中の作業ではおよそ80パーセントの成功率だが、パソコンに入れて使うアプリではおよそ35パーセントまで下がると書かれています。同じ機能でも、当てる場所で結果がここまで違うということです。この記述は2026年5月時点のもので、対象は業務用のエージェント基盤に組み込まれた画面操作の道具です。

同じ文書には、同じ作業でも見た目や間の取り方の違いで結果が変わるとも明記されています。うまくいった1回を見て「動く」と判断すると、そこから外れます。導入の可否を決める場では、成功した例ではなく、10回動かして何回完走したかを持ち込むほうが議論になります。

研究の側の物差しも見ておきます。画面写真とマウス・キーボードの操作だけで解く公開の課題集では、369の課題が用意され、人が同じ課題に取り組んだときの正答率は72.36パーセントと示されています。つまり人でも取りこぼす難しさの課題群であり、そこでの点数の高低を「人と同じようにできる」と読み替えるのは誤りです。この課題集は、機械が苦手な点として画面上の位置の特定と操作の段取りの知識を挙げています。

動かないと、はっきり書かれていること

できることより先に、公式文書が明記している「動かない」を押さえます。まず部品の相性です。選択肢を開く部品、日付を選ぶ部品、独自に作り込まれた部品は苦手だと明記されています。巻き取りの部品も同様で、公式文書はマウスで動かすより、キーの組み合わせを使わせるほうが通ると勧めています。

止まり方にも型があります。画面が想定と違う状態になったときに、同じ手を繰り返す堂々巡りや、そのまま動かなくなる行き詰まりが起きると書かれています。込み入った図の操作や、細かい文字の編集を伴う作業も苦手として挙げられています。

そして、そもそも想定していない用途が列挙されています。ここは業務での適用範囲を決めるときにそのまま使えます。

• 採用・医療・金融といった領域で、人や案件を推薦したり点数をつけたりする作業
• 金銭の取引そのものを実行させる作業
• 権限を確かめないまま、組織の外へデータを持ち出す作業
• 大量の送信など、受け取る側に迷惑をかける作業

加えて、合言葉の入力欄は多くのアプリで扱えるものの、一部の作りのアプリでは入力欄そのものを扱えないと書かれています。対象の画面を選ぶ段階で、この点を先に試しておかないと、設計をひととおり終えてから使えないことに気づきます。

ミニ用語解説：この記事に出てくる5つの言葉

以降の説明で繰り返し出てくる言葉を、この記事での意味に絞って置いておきます。社内で話すときも、この粒度でそろえておくと議論が噛み合います。

この記事の言い方	指しているもの
画面操作の代行	画面を写して読み、位置を決めて押す・打つを繰り返す仕組み
つなぎ口	相手のシステムが外部からの出し入れ用に用意している受け口
差し込みの指示	画面や画像の中に紛れ込ませた命令。読んだ側がそれに従ってしまう
切り離した環境	業務の端末とは別に用意した、必要なものだけを入れた機械
歩数	1回の作業で踏んだ操作の数。費用と所要時間はここに比例する

とくに歩数という言い方は、費用の見積もりで効きます。1手ごとに費用が加算される仕組みを採っている提供元があり、その場合は「画面を開く」「一覧を絞る」「欄を埋める」「確定する」の4手で1回分の費用が決まります。手順を短くする工夫が、そのまま費用の削減になるという構造です。

シナリオ：翌週の納品予定を、取引先の画面から自社の表へ

具体的な仕事に当てて考えます。ここでは、取引先の購買の画面に毎朝入って翌週の納品予定を確認し、自社の生産計画の表に転記する作業を想定します。相手の画面につなぎ口はなく、担当者が毎朝20分ほどかけて、3つの取引先の画面を順に開いています。

この仕事をほどくと、開く・探す・写し取る・貼る・突き合わせる・確定するの6つに分かれます。画面越しの操作が向くのは前の4つです。開いて、条件を絞って、必要な行を読み取り、自社の表に貼るところまでは、判断がほとんど要りません。一方、前週の予定との差がなぜ出たのかを見る突き合わせと、生産計画として確定する操作は、業務の意味が分かっている人でなければ判断できません。

この分け方をすると、最初に任せる範囲が自然に決まります。読み取って貼るところまでを任せ、突き合わせと確定は人が握る。20分の作業が5分になれば十分で、0分にしようとした瞬間に、間違いに気づく人がいなくなります。品番の似た行を取り違えたときに、それを見つけるのは突き合わせの工程だからです。

作り込む前に、必ず手元で試します。多くの提供元は、指示と実際の操作を並べて見られる試験の画面を用意しており、片側に踏んだ手順の記録が、もう片側に操作中の画面が出ます。ここで見るのは成否だけではありません。何手かかったか、どこで迷ったか、どの画面で時間を使ったかを見て、手順を短くします。そして、試験の途中で全ての操作を即座に止める操作がどこにあるかを、運用に入る前に全員が知っている状態にしておきます。緊急停止の手順を知らないまま本番に出すのは、この道具では避けたい進め方です。

任せる範囲は3段階で決める

範囲の決め方は、作業の名前ではなく画面に対して何をさせるかで切ると迷いません。3段階に分けて、上げる条件を先に文章にしておきます。

1. 段階1・読むだけ。画面を開いて情報を写し取り、人に渡す。相手の画面には何も書き込まない
2. 段階2・下書きまで。自社側の画面に入力するが、確定の操作は人がする
3. 段階3・確定も任せる。条件を満たした種類の作業に限り、送信や登録まで通す

実務では、多くの作業が段階2で用が足ります。手間の大半は「開いて探して打ち込む」に消えており、確定の1押しは時間を食っていないからです。段階3に上げるのは、間違えたときに巻き戻せる作業だけにします。自社の表への登録や社内の起票は巻き戻せますが、相手に届く注文や送信済みの連絡は巻き戻せません。

段階を上げる条件も、感覚ではなく数字で置きます。たとえば「段階2で30営業日動かし、人が直した件数が全体の3パーセント未満で、止まった理由がすべて説明できている」といった形です。条件を先に書いておくと、うまくいっている雰囲気で範囲を広げてしまう事故を防げます。

押す直前で止める：確定の一歩手前に線を引く

提供元の公式文書は、安全のための勧めとして現実に意味のある結果を生む決定は人に確認させることを挙げています。そこには、明示的な同意が要る作業として、クッキーの利用への同意、金銭の取引、利用規約への同意が具体例として並んでいます。これは技術の話ではなく、同意を与える主体が誰かという話です。機械に同意させてはいけない、と読むのが正確です。

実装の形としては、止める対象を画面ではなく操作で決めます。送信・確定・削除・支払という4つの操作を、無条件で人の手に残す。この4語を含む部品を押す手前で必ず停止させ、押す前の画面写真を人に見せて判断を仰ぐ。画面ごとに例外を作り始めると、どこが止まってどこが素通りするのかを誰も説明できなくなります。

止める設計は、後から足すのが難しい部分です。動くようになってから「ここは危ないので止めよう」と足していくと、既に動いている経路に穴が残ります。押させない操作の一覧を、作り始める前に決める。これが、この仕組みで最初にやるべき1つです。

人の確認は安全装置にならない、と提供元が書いている

ここは誤解が多いところなので、公開されている記述をそのまま押さえます。作業の途中で機械が迷ったときに人へ確認を求める機能について、ある提供元の公式文書は、この機能を安全装置として頼るなと明記しています。理由は、確認を求めるかどうかが確率的な振る舞いで決まるためです。

結果として2つのずれが起きます。人が止めてほしい場面で確認が来ないことがあり、逆に止まる必要のない場面で確認が来て作業が滞ることもあります。同じ文書は、確認要求は自分で決めた規則を強制する仕組みではないとも書いています。社内規程を機能に翻訳したつもりでも、機能の側はそれを守る約束をしていません。

では何で縛るのか。答えは環境の側です。触れる宛先を許可した一覧に限る、権限の小さい利用者で動かす、扱える金額や件数の上限をシステム側に持たせる。機械の気づきに頼らず、できない状態を作るのが、実際に効く手当てです。人への確認は、それを補う二重目の網として置きます。

どこで動かすか：担当者の端末か、切り離した環境か

動かす場所は、費用より先に決める項目です。担当者の端末でそのまま動かすと、様子が見えて安心な代わりに、その端末から手の届くものすべてが操作の対象になります。個人宛の連絡、別部署の共有フォルダ、社内の別システム。本人が持っている権限が、そのまま機械の権限になるということです。

提供元が勧めているのは、専用の機械を用意する形です。ある公式文書は、画面操作のためだけの機械を割り当てること、その機械で使う利用者アカウントの権限を必要最小限にすること、通信できる宛先を信頼できる一覧に限ること、必要なアプリ以外は入れないか実行を止めることの4点を挙げています。別の提供元も、専用の仮想機械かコンテナを最小権限で使い、通信先を許可した一覧に限るよう勧めています。

実務的には、会議で画面を共有するときの感覚が近いと考えると分かりやすくなります。共有する前に、後ろに何が映るのかを確かめる。それと同じで、この機械から何に手が届くのかを先に一覧にする。届いてはいけないものが1つでもあるなら、端末を分けるほうが早い判断です。

資格情報の渡し方と、共有したときに起きること

合言葉の扱いは、この仕組みで最も事故が起きやすい部分です。まず、指示文の中に合言葉をそのまま書かないこと。ある公式文書は、どうしても必要な場合の書き方を示したうえで、合言葉が要る画面で使うこと自体が危険を高めると併記しています。実際には、保管庫に置いて、対象の画面でだけ取り出させる形にします。

見落とされがちなのが、誰の資格で動くのかの設定です。作った人の資格で動かす設定のまま仕組みを共有すると、使う人全員が作成者の権限で操作できる状態になります。ある公式文書はこれを警告として明示しています。作成者が管理部門の人であれば、閲覧権限のない人が管理部門の画面を触れることになります。

• 合言葉は指示文に直接書かず、保管庫に置いて画面ごとに取り出させる
• 動かす資格は専用の利用者を作り、人と共有しない。棚卸しできる名前にする
• 誰の資格で動くのかの設定を、共有する前に必ず確認する
• 一部の作りのアプリでは合言葉の入力欄を扱えない。対象を選ぶ段階で試す

運用の面では、その資格でできることを、業務に必要な範囲まで削るのが最も効きます。読み取るだけの作業なら、書き込み権限を持たない利用者を作る。転記だけなら、対象の画面以外にログインできないようにする。権限を削っておけば、指示を取り違えても被害の上限が決まります。

触ってよい先を絞る。ただし、絞っても開くことは止められない

宛先とアプリ名で許可の一覧を作る機能は、多くの提供元が用意しています。ここで大事なのは、その一覧が何を止めて何を止めないかを正確に理解することです。ある公式文書は、許可の一覧は一覧にない先での操作を止めるが、そこを開くこと自体は止めないと明記しています。

つまり、許可していない場所を検索窓から開くことはできてしまい、開いた先で操作しようとして失敗する、という挙動になります。画面には見えている、押そうとして止まる。この違いを知らないと、記録に残った「開いた」を見て情報が漏れたと判断したり、逆に「一覧に入れていないから絶対に開かない」と誤解したりします。

実務では、許可の一覧に加えて、暗号化した通信の宛先だけを許す設定を併用します。そのうえで、一覧に載せる宛先は業務ごとに分ける。1つの機械にすべての取引先の画面を許すのではなく、業務ごとに設定を分けておけば、1つの設定が誤って広がったときの影響が閉じます。

画面の中の文言に従ってしまう問題と、その手当て

画面を読んで動く仕組みには、固有の弱点があります。ある公式文書は、ウェブページや画像の中にある命令が、こちらの指示を上書きしてしまうことがあると明記しています。読み取った文字を情報としてではなく指示として受け取ってしまう、という現象です。

提供元の手当ては二段構えです。まずモデル自体にこの種の割り込みへ抵抗するよう学習させ、さらに画面写真を検査する分類器を走らせて、疑わしいものが見つかったら次の操作の前に人へ確認を求める方向へ誘導します。ただし同じ文書は、これらの予防策は分類器があっても引き続き重要と念を押しています。検知は補助であって、防壁ではないという位置づけです。

業務側でできることは、対象の画面を選ぶ段階にあります。外部の誰かが自由に書き込める内容が映る画面は、任せる対象から外す。問い合わせ本文や外部からの投稿を含む画面は、まず人が目を通す。加えて、疑わしい指示を検知したときに誰へ連絡が飛ぶのかを設定しておきます。ある公式文書には、確認の依頼には応答の期限があり、期限を過ぎると作業は止まると書かれています。誰も見ていない宛先に飛ばすと、そこで止まったまま朝を迎えます。

失敗の型は4つ：迷子・取り違え・読み飛ばし・堂々巡り

運用で出会う失敗は、おおむね4つに分類できます。迷子は、画面が想定と違う状態になって次の手が決まらなくなるもの。改修、広告の差し込み、読み込みの遅れが引き金になります。取り違えは、似た欄や似た行を間違えるもの。押す位置の計算のずれや、小さすぎて読めない文字が原因です。

読み飛ばしは、確認の画面をそのまま通してしまうもの。「本当に削除しますか」に相当する画面を、作業の一部として押してしまいます。堂々巡りは、同じ手を繰り返して進まなくなるもの。公式文書が既知の限界として挙げている挙動です。

検知の作り方は共通しています。終わったかどうかを、機械の申告ではなく結果で判定すること。自社の表に何行増えたか、相手の画面が目的の状態になっているかを、別の手段で確かめます。あわせて歩数と経過時間に上限を置き、超えたら止めて人に渡す。そして最後に必ず画面を写して残す。この3つで、4つの型はほぼ拾えます。

もう1つ知っておきたいのが、途中まで進んで止まる状態が普通に起きることです。公式文書は、複数の操作をまとめて返す仕組みについて、並んだ順に実行し、1つが失敗したらそれ以降は実行しないという決まりを示しています。失敗した操作とその後ろの操作には、先の操作が失敗したため実行していないという結果を返す形です。つまり「押したが打っていない」「打ったが確定していない」という半端な状態が、設計どおりの挙動として残ります。再実行する前に、どこまで進んだのかを画面で確かめる手順を必ず挟みます。

記録の残し方と、巻き戻せる作業・巻き戻せない作業

後から追える形とは、いつ・誰の資格で・どの画面で・何を押したか・そのときの画面はどうだったかの5点が揃っている状態です。押した座標だけでは、何を押したのか誰にも分かりません。操作の前後の画面写真を組にして残すと、取り違えの調査が一気に楽になります。

記録には運用上の落とし穴があります。ある公式文書は、作業を起動した人と、確認を求める相手を別の人に設定すると、確認を求められた側は作業の様子を見られないため判断できないと注意しています。承認者を役職で決めると、この状態になりがちです。確認先は、その作業の画面を見られる人にします。

巻き戻せるかどうかの切り分けも、記録と同じ日に決めておきます。判断の基準は「相手に届いたか」です。

• 巻き戻せる：自社の表への転記、社内システムへの起票、下書きの保存、社内の申請
• 巻き戻せる：相手に通知が飛ばない範囲での訂正・削除
• 巻き戻せない：送信済みの連絡、相手の画面に入った注文や申請
• 巻き戻せない：支払の実行、外部への公開、取り消し不能な削除
• 巻き戻せない：利用規約や同意への回答

小さく始める順番と、測る数字

導入は、対象を1つに絞るところから始めます。選ぶ基準は3つで、毎日または毎週必ず発生すること、手順が固定されていること、間違えても巻き戻せることです。この3つを満たさない作業から始めると、最初の失敗で止まります。

測る数字は4つで足ります。完走率、人が直した件数、1件あたりの歩数と費用、止まった理由の内訳。とくに歩数は、費用が1手ごとに加算される仕組みではそのまま請求額になります。手順を2手短くするだけで、月の費用が目に見えて変わることがあります。

最後に、やめる条件も先に決めておきます。人が直す件数が減らないまま3か月が過ぎたら、その作業は手作業に戻す。この線を引いておかないと、動いているようで誰も信用していない仕組みが残り、確認の手間だけが増えていきます。判断はAIに任せず、人が数字を見て決める。ここは最後まで人の仕事です。

まとめ

パソコンの操作をAIに任せる仕組みは、受け口が用意されていない画面に手が届く点で確かに新しい道具です。一方で提供元自身が、作業の種類で成功率が大きく変わること、同じ作業でも結果がぶれること、人への確認要求を安全装置として当てにしてはいけないことを公式文書に書いています。誇張された紹介と、公開されている記述の間には、はっきりした距離があります。

実務で先に決めるのは4つです。押させない操作、動かす場所、資格情報の渡し方、記録の残し方。そのうえで、読むだけから始めて、巻き戻せる作業だけを確定まで任せ、完走率と直した件数を見ながら範囲を広げる。できない状態を環境の側で作り、機械の気づきに頼らないという順番を守れば、この道具は日々の転記作業を確実に軽くします。範囲を決めるのも、止める場所を決めるのも、最後に確かめるのも人です。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。