パソコンを操作するAIを社内で試す企業が知っておきたいモデル「Mage-VL-Cowork」の備え

「画面を見てマウスとキーボードを動かすAIを、社内の事務作業に使えないか」「そんなAIに社員のパソコンを触らせて、本当に大丈夫なのか」——生成AIの業務利用を任された情報システム部門と、それを見守るセキュリティ担当者の双方から聞こえてくる声です。2026年10月30日、米国の Microsoft が、パソコンを使うAIエージェント向けの小型モデル Mage-VL-Cowork を Hugging Face（AIモデルの公開・共有サイト）で公開しました。ただし、備えるべきなのはモデルの賢さではありません。本当は、AIにどのパソコンを、どこまで触らせるかという権限と隔離の設計です。この記事では、Mage-VL-Cowork が何をするモデルなのか、公表された成績をどう読むか、当ラインの安全性の精査結果、そして企業が社内で試す前に決めておくべきことを、防御の立場から整理します。

Mage-VL-Coworkとは何か。2026年11月時点で確かめられる事実

Mage-VL-Cowork は、Microsoft の Mage チームが Hugging Face で公開している視覚言語モデル（画像と文章の両方を読み、文章を出力するAIモデル）です。モデルカード（モデルの説明書きにあたるページ）によると、同じチームが公開している基盤モデル Mage-VL の途中段階の重みを出発点に、パソコンを使うエージェント（AIが自分で手順を考えて道具を使う仕組み）として学習させたものです。規模は約40億（4B）パラメータで、大型の生成AIと比べるとかなり小さい部類に入ります。

当ラインの精査で確認した Hugging Face 上の記録では、作成日と最終更新日はともに2026年10月30日です。ライセンスは Apache-2.0（商用利用も認める代表的なオープンソースのライセンス）で、利用の前に申請や同意を求める制限（ゲート）は付いていません。確認時点で「いいね」は91、ダウンロード数は233で、公開から日が浅いことが分かります。

モデルカードには、文章の部分の土台が Qwen3-4B という公開モデルで、画像を読む部分が同チーム独自の Mage-ViT であると書かれています。重みのファイルは safetensors 形式の2分割で、合計は約9.48ギガバイトとされています。なお、Hugging Face のページの情報欄には「5B」という表示もあり、本文の「4B」との違いについての説明は確認できていません。あわせて、プロジェクトの紹介ページと GitHub の公開場所、技術報告（研究の詳細をまとめた文書）が用意されています。公開から数日しか経っておらず、日本語での解説はまだ少ないとみられます。

なぜパソコンを使うAIのモデル公開が、企業の備えに関わるのか

パソコンの画面を見て操作するAIは、大手の提供元が自社のサービスとして提供し、利用者が画面の画像をそのサービスに送って動かす使い方が広く知られています。Mage-VL-Cowork のように重みが公開された小型モデルが出てくると、社外のサービスを使わず、手元の機材だけでパソコン操作のAIを動かせる選択肢が広がります。モデルカードも、小型のモデルで端末の上で動く知能（オンデバイスの知能）の可能性を示したと述べています。

これは企業にとって、利点と心配の両方を意味します。利点は、画面の画像を社外に送らずに済む構成を検討できることです。心配は、情報システム部門が把握しないうちに、社員や部署が独自にパソコン操作のAIを試し始めることが、以前より容易になる点です。誰でも取得できる重みと、評価用のエージェントのコードが一緒に公開されているためです。

パソコンを操作するAIは、文章を返すだけのチャットAIと違い、ファイルを開き、書き換え、送信ボタンを押すことができます。間違いや乗っ取りが起きたときの影響が、画面の外にまで及びます。だからこそ、モデルの公開をきっかけに、社内でこの種のAIを動かすときの決まりを先に整えることが、防御の側の仕事になります。

画面の操作と端末の操作を一つのモデルで切り替える考え方

モデルカードによると、Mage-VL-Cowork の特徴は、二つの操作の通り道を一つのモデルの中で使い分けることです。一つは、画面の画像を見ながら、クリックや文字の入力などで操作する通り道です。もう一つは、端末（コマンドを打ち込んでパソコンを動かす画面）で、コマンドや Python のプログラムを実行する通り道です。後者は、状態が続く端末とプログラムの実行環境を使うと説明されています。

提供元は、画面の画像だけで操作するAIには大きな負担があると指摘しています。画面の画像1枚で数千単位の文章量に相当する処理が必要になり、表計算の書き換えのような作業をマウス操作だけで進めると手数が膨らむためです。そこで、見た目の配置や描画を扱う作業は画面の操作で、表計算・文書・発表資料のような構造の決まったファイルの書き換えや結果の確かめは端末の操作で行うよう、場面ごとに通り道を選ぶとしています。

この切り替えは、外部の仕組みが割り振るのではなく、モデル自身が操作の一手ごとに判断すると書かれています。防御の立場から見ると、ここが大事な点です。画面のクリックだけを見張っていても、端末から直接ファイルを書き換える操作は見えないため、監視と記録の対象を両方の通り道に広げる必要があります。

画面をどう読み、何を出力するのか

モデルカードの表によると、Mage-VL-Cowork が一度に扱う文章量の上限（文脈の長さ）は、学習と利用の範囲で32,768トークン（文章を区切った単位）です。構造上は262,144トークンまで扱えるとされています。作業中の記憶は、直近3枚の画面の画像と、直近4回分の応答、それより前の操作を短くまとめた履歴で構成すると説明されています。

画面の操作には、11種類の基本操作が用意されています。画面上の位置は、縦横それぞれ0から999に置き換えた座標で指定する方式です。出力は、考えた理由を書く部分、取る操作の要約、実際に呼び出す操作の指示、という三つの部分からなる形と説明されています。

運用の面で注目したいのは、操作ごとに理由と要約が文章で出てくることです。これは、後から人が「なぜその操作をしたのか」を確かめる材料になります。ただし、書かれた理由が実際の判断の過程を正しく表している保証はありません。理由の記録はあくまで確認の手がかりであり、理由が書いてあることと、その操作が正しいことは別と考えておく必要があります。

公表されている成績と、その読み方

モデルカードは、パソコン操作の代表的な試験である OSWorld-Verified（実際の基本ソフトと複数のアプリを使う作業をまとめた評価用の課題集）での成績を中心に示しています。評価は361の課題で、操作は50手まで、2回の試行の平均とされています。主な数字は次のとおりです。

評価の対象	公表された数字	補足
OSWorld-Verified 全体	66.0%	操作は50手までの条件。4B規模で最高と自己申告
基本ソフトの操作の課題	87.5%	OSWorld-Verified の分野別
複数アプリにまたがる作業	62.7%	OSWorld-Verified の分野別
事務用ソフトの作業	64.9%	OSWorld-Verified の分野別
画面上の位置の特定（OSWorld-G）	30.6%から56.9%	学習の前後の比較
画面上の位置の特定（ScreenSpot-v2）	78.8%から87.2%	学習の前後の比較

学習の段階ごとの伸びも示されています。画面と端末の両方を使う形で教えた段階で55.84%、その後の強化学習（試行と採点を繰り返してモデルを鍛える学習）で66.0%に上がり、同時に1課題あたりのモデルの呼び出し回数は21.57回から18.77回へ、出力の文章量は7,374から5,499トークンへ減ったとされています。同じ表には比較として、大型の商用モデルが75.0%から78.7%、人が同じ課題に取り組んだ参考値が72.4%と並べられています。小型としては高い数字でも、人の参考値にも届いていないことは押さえておくべきです。

ただし、これらはすべて提供元による自己申告で、第三者による検証は確認できていません。また、評価は試験用に用意された環境で行われたものです。66.0%は「試験用の課題で3回に1回は完了できない」とも読める数字であり、失敗したときにどんな操作をしたかは、成績の表からは分かりません。業務のパソコンには、試験にない社内システムや日本語の画面が多く、成績をそのまま当てはめることはできません。

学習の進め方から読み取れること

モデルカードによると、学習は「まず個別に鍛え、その後まとめる」五つの段階で進められました。画面上の位置を特定する力、画面の操作、プログラムと端末の操作をそれぞれ鍛えたうえで、両方を使う形でまとめ、最後に強化学習で仕上げたとされています。

学習用の課題は、Mage-CUA-Forge と名付けた合成の仕組みで作られ、6,915種類の基本的な作業から293,806件の課題を生成したと書かれています。手本となる大型モデル（教師モデル）の作業の進め方も事前に見直し、重なる操作の手段を減らし、分野ごとの Python の部品をあらかじめ入れておくことで、手本の成績と効率を上げたと説明されています。

防御の立場で注目したいのは、強化学習の段階で1,120の隔離された作業環境（サンドボックス）の枠を使ったと記されていることです。提供元自身も、学習の段階では使い捨ての隔離環境の中でモデルを動かしていたことになります。裏を返せば、モデルが慣れているのは試験用の環境であり、社内の本物のパソコンは、モデルにとって学習の外側にあると考えるべきです。なお、学習に使った課題の中身や、危険な操作を避けるための学習をどの程度行ったかについて、確認できる情報は限られます。

安全性の評価：注意付きとした根拠

当ラインでは、記事で取り上げる前に公開情報だけで安全性を精査しています。モデルや関連するコードを取得したり動かしたりはしていません。Mage-VL-Cowork は、次の事実から「注意付き」と判定しました。

• 作成者は Microsoft の公式の名義で、ライセンスは Apache-2.0。商用を含む利用条件が明確
• 重み（学習済みの数値）のファイルは safetensors 形式のみで、読み込むだけでプログラムが動くおそれのある Pickle 形式のファイルは無い
• 一方で、読み込みには独自のプログラムのファイル（modeling_llava_onevision2.py と configuration_llava_onevision2.py）が必要
• 評価用のエージェントのコード（osworld_eval 配下）も同じ場所に置かれている
• 用途は画面と端末を操作するエージェントで、誤った操作の影響が大きい
• 公開から間もなく、利用の実績や第三者の評価が浅い

前半の三つは、提供元とファイル形式の面で安心材料です。注意を付けた理由は後半にあります。独自のプログラムを読み込む構成は、そのプログラムが手元の環境で実行されることを意味し、内容を確かめずに使うと、モデルの外側のコードを信頼することになります。また、パソコンを操作するという用途そのものが、誤りや乗っ取りが起きたときの影響を大きくします。

なお、問題が見つからなかったことは、安全の保証ではありません。精査は公開情報を読んだ範囲のもので、モデルが危険な操作をどの程度避けるか、画面上の悪意のある文字にどれほど影響されるかまでは確かめていません。モデルカード自身も、このエージェントは任意のコマンドの実行と画面の操作ができると書き、隔離した使い捨ての環境で使うことを前提に設計・評価したと説明しています。提供元が前提とする条件の外で使えば、その分の危険は使う側が負うことになります。

独自のプログラムと、提供元が示す利用の前提で確かめておきたい点

Hugging Face の公開場所には、重みのほかに、モデルの構造を定義する独自のプログラムが2つ置かれています。こうしたプログラムは、読み込みの際に利用者の環境で実行されます。提供元が公式の Microsoft であることは確認できますが、中身を読んで確かめるのは使う側の責任です。将来の更新で中身が変わる可能性もあるため、試すときは確かめた版を固定して記録しておくことが望まれます。

さらに、osworld_eval という場所には、画面の操作だけで動くエージェントと、画面と端末の両方を使うエージェントのコード、推論用のサーバーを立ち上げるための補助のファイルが置かれています。これらは評価の再現を目的としたもので、業務での利用を想定した安全装置がどこまで入っているかは、公開情報からは分かりません。

ここで押さえておきたいのは、パソコンを実際に動かすのはモデルではなく、モデルの出力を受け取って操作に変える周りのプログラムだという点です。モデルが出した操作の指示を、どの範囲まで実行してよいか、危険な操作を止めるか、記録を残すかは、この周りのプログラムと動かす環境の設計で決まります。評価用のコードをそのまま業務に流用しないことが大切です。

利用の前提にも注意が要ります。GitHub の Mage 全体の説明書き（README）には、責任あるAIの項目として、Mage のモデルは研究目的で公開したもので、製品やサービスへの配備は想定していないと書かれています。管理された研究の場で、人の監督のもとで使うこと、広く使う前の追加の安全対策は利用者の責任であることも明記されています。ライセンスの上では Apache-2.0 で商用利用も認められていますが、提供元が想定する使い方は研究の範囲だという点を、社内で検討するときの前提にしておくべきです。なお、GitHub の公開場所全体には MIT ライセンスの表示があり、Mage-VL-Cowork 自体はモデルカードと専用の説明書きで Apache-2.0 とされています。どの部分にどのライセンスが掛かるかは、法務部門と条文で確かめておくと安心です。

悪用されうるリスクと、画面の文字による乗っ取り

パソコンを操作するAIで最も警戒すべきリスクの一つが、間接プロンプトインジェクション（AIが読み込む文書や画面に紛れ込ませた文で、AIへの指示を外から書き換える攻撃）です。このモデルは画面の画像を読んで次の操作を決めるため、ウェブページ、メール、文書、通知などに映った文字も判断の材料になります。そこに「この操作を実行せよ」といった趣旨の文が紛れ込めば、利用者の意図と違う操作を誘われる可能性があります。

モデルカード自身も、外部のウェブページや文書に埋め込まれた間接プロンプトインジェクションを和らげるため、信頼できない内容を扱う場合は外向きの通信を許可した宛先だけに絞るよう勧めています。一方で、乗っ取りへの耐性を測った評価の結果は、確認した範囲では示されていませんでした。一般に、画面を読むAIは見えている文字と本来の指示を確実に区別できるわけではないとされています。端末の操作まで使えるモデルでは、誘導された結果がファイルの書き換えや外部への送信に直結しうる点が、チャットAIの場合より重くなります。

もう一つは、公開されたモデルそのものが悪用される可能性です。重みが誰でも使える以上、攻撃者が操作を自動化する道具として組み込むことも考えられます。ただし、現時点でそうした悪用の報告は確認できていません。守る側にとって現実的な心配は、むしろ社内で善意から試されたエージェントが、乗っ取りや誤操作の入口になることのほうです。

画面に映る機密情報と、操作記録の扱い

パソコンを操作するAIは、作業のたびに画面の画像を読み込みます。モデルカードの説明では、直近3枚の画面を記憶として持ちながら作業を進めます。つまり、作業中に画面に映った顧客の個人情報、社内の文書、パスワードの入力欄の周辺なども、モデルへの入力になりうるということです。

手元の機材で動かす構成なら、画面の画像が社外のサービスに送られる心配は小さくなります。しかし、推論用のサーバーを別の機材に置く場合、画面の画像はその機材まで送られます。また、操作の記録として画面の画像を保存すれば、記録そのものが機密情報の保管場所になることに注意が必要です。記録の保存先、保存期間、閲覧できる人を、通常の業務記録と同じ水準で管理する必要があります。

一方で、操作の記録は欠かせません。誰が、いつ、どの指示でエージェントを動かし、エージェントがどの理由でどの操作をしたかを残しておかなければ、問題が起きたときに原因を追えません。記録に残すべきなのは、最初の指示、操作ごとの理由と要約、実行した操作の内容、端末で実行したコマンド、人が承認した時点です。画面の画像は、必要な範囲に絞って残すのが現実的です。

権限と隔離：エージェントに渡すパソコンをどう用意するか

パソコンを操作するAIを試すときの基本は、本物の業務端末で動かさないことです。モデルカードの「責任あるAIと安全な配備」の項目でも、提供元はエージェントを必ず隔離したコンテナや仮想のパソコンの中で動かし、元の機材のファイル、社内のネットワーク、個人の環境の設定に触れさせないよう求めています。社内で試す場合も、使い捨てにできる仮想のパソコンを用意し、業務のネットワークや社内システムから切り離すのが出発点になります。

同じ項目では、個人の認証用の鍵、クラウドの認証情報、ブラウザーに保存されたログインの情報、パスワードの保管庫を、エージェントの作業場所に置かないことも求めています。さらに、外部への送信、アカウントへのログイン、お金のやり取り、権限の変更といった取り消せない操作の前には、人がはっきり承認するよう勧めています。これらは提供元自身が示した最低限の条件であり、企業が自社の規程を作るときの下敷きになります。

動かす場所	誤操作・乗っ取りの影響	向いている段階
社員が普段使う業務端末	社内の全データとアカウントに及びうる	試験の段階では使わない
社内ネットワークにつながる検証用端末	ネットワーク内の他の機器にも及びうる	限定した業務の試行（人の承認付き）
外部と切り離した使い捨ての仮想環境	その環境の中にとどまりやすい	性能の確認と乗っ取りの試験

権限の面では、エージェントが使うアカウントを人のアカウントと分け、必要最小限の権限だけを与えます。管理者の権限、社内の共有フォルダ全体への書き込み、メールの送信、外部への通信は、最初は与えないのが原則です。端末の操作ができるモデルでは、端末で実行できるコマンドの範囲も絞る必要があります。

隔離と権限の絞り込みは、モデルの性能が上がっても不要にはなりません。どれほど成績の良いモデルでも、試験で失敗する課題がある以上、失敗したときに被害が広がらない場所で動かすことが、守りの土台になります。

社内で試すときに確かめること

Mage-VL-Cowork のようなパソコン操作のモデルを試すときは、いきなり業務に組み込まず、段階を踏んで確かめます。次の5段階が一つの目安です。

この順番で進めると、モデルの成績ではなく自社の環境での振る舞いをもとに判断できます。途中でやめる基準、たとえば「禁止した操作を一度でも試みたら停止する」といった線も、最初に決めておくと議論が長引きません。

企業が取るべき対策

Mage-VL-Cowork を使うかどうかにかかわらず、パソコンを操作するAIエージェントについて企業が整えておきたい対策は次の五つです。

一つ目は、利用の申請と台帳です。パソコン操作のAIを社内で試す場合は申請を必須にし、どのモデルを、どの端末で、どの権限で動かしているかを一覧にします。重みが公開されたモデルは個人でも試せるため、台帳がないと把握できません。二つ目は、隔離と最小権限を標準の構成として決めておくことです。部署ごとに作らせるのではなく、情報システム部門が検証用の環境の型を用意すると、守りの水準がそろいます。

三つ目は、操作の記録の保存と定期的な見直しです。画面と端末の両方の操作を記録し、記録そのものを機密情報として管理します。四つ目は、間接プロンプトインジェクションを前提にした運用です。エージェントに読ませるウェブページや外部の文書を限定し、画面に映った文字の指示で、決めた範囲の外の操作をさせない仕組みを周りのプログラムの側に持たせます。

五つ目は、社内規程への反映です。AIエージェントに許す操作、承認が必要な操作、禁止する操作を、利用規程や情報セキュリティの規程に書き込みます。これらは、OWASP（ウェブの安全性に取り組む国際的なコミュニティ）が示す生成AIの主なリスク、とくにプロンプトインジェクションや過剰な権限の付与への備えとも重なります。

AIに任せる範囲と、人が決める範囲

パソコンを操作するAIは、作業を最後まで自動で進められるように見えるため、判断まで任せたくなります。しかし、このモデルが出力するのは、画面と記憶から推測した次の一手です。AIに判断させず、人が決めた範囲の中で操作だけを任せるという線引きを、導入の前に文書にしておくことが大切です。次のような運用は避けます。

• 試験の成績を根拠に、社員の業務端末で隔離せずにエージェントを動かす
• エージェントに人と同じアカウントや管理者の権限を渡す
• 削除・送信・支払いなどの取り消せない操作を、人の承認なしで実行させる
• 外部のウェブページやメールを自由に読ませ、その中の文字に従う余地を残す
• 操作の理由や実行内容を記録せず、後から説明できない状態で運用する

人が決めるべきなのは、任せる作業と禁止する操作、承認が必要な操作、問題が起きたときの止め方、そして規程を見直す時期です。AIに任せてよいのは、決めた範囲の中での手順の実行までです。操作のたびに、なぜその操作を選んだのかという根拠を記録に書かせるようにすると、人が後から確かめられます。また、人が必ず確認する操作の範囲を先に決めておくと、作業の件数が増えても確認が追いつかなくなる事態を防げます。

よくある質問

小型なら社員のパソコンで手軽に動かせるのですか

約40億パラメータは大型の生成AIより小さいものの、重みだけで約9.48ギガバイトあり、動かすには相応の機材が必要です。手軽に動かせるかどうかより、動かす前に隔離と権限を決めることのほうが重要です。

Microsoft の公式のモデルなら安全と考えてよいですか

提供元が公式であることは安心材料の一つですが、独自のプログラムの読み込みが必要で、パソコンを操作する用途そのものに危険があります。公開直後で実績も浅いため、当ラインでは「注意付き」と判定しています。

業務の自動化に、すぐ使えますか

公表された成績は試験用の環境での自己申告で、日本語の画面や社内システムでの成績は分かっていません。また、GitHub の説明書きでは研究目的の公開で、製品やサービスへの配備は想定していないとされています。まずは隔離した環境での検証から始め、人の承認付きで限定した作業に使えるかを見極める段階だと考えるのが妥当です。

• 本記事の内容は、2026年11月1日に確認した Hugging Face のモデルカードとファイル一覧、プロジェクトの紹介ページ、GitHub の公開場所に基づきます。数値やファイル構成、ライセンスは今後の更新で変わる可能性があります
• 成績の数字はすべて提供元による公表値で、当ラインでは検証していません。モデルや関連するコードは取得・実行していません

まとめ

Mage-VL-Cowork は、Microsoft が2026年10月30日に Apache-2.0 で公開した、画面の操作と端末の操作を一つで使い分ける約40億パラメータのパソコン操作用モデルです。OSWorld-Verified で66.0%という成績が公表されていますが、提供元の自己申告で、試験用の環境での数字です。当ラインでは、公式の提供元と safetensors 形式の重みを確認した一方、独自のプログラムの読み込みが必要なこと、パソコンを操作する用途であること、公開直後で実績が浅いことから「注意付き」と判定しました。問題が見つからなかったことは安全の保証ではありません。提供元も研究目的の公開であるとし、隔離した環境と取り消せない操作への人の承認を求めています。

この種のモデルの公開で企業が備えるべきなのは、モデルの選び方よりも、動かす場所と権限の決め方です。隔離した環境、最小限の権限、画面と端末の両方の操作記録、取り消せない操作への人の承認、画面の文字による乗っ取りへの備えを先に整え、AIに判断させず、人が確認する範囲を先に決めておくことが、パソコンを操作するAIと付き合うための出発点になります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。