マルチモーダルAIとは何か？｜文字以外を扱う実務

「画像を貼れば読んでくれるのは知っているが、仕事で何に使えるのか分からない」「試したら数字を読み違えていた」——文字以外を扱えるAIについて、よく返ってくる反応です。2026年2月に公開された読み取りの比較検証では、あえて難しい紙面を集めた課題に対して、15のモデルのうち最も成績のよいものでも点検項目の通過率は0.76、手書きの紙面では0.60どまりでした。読める場面と読めない場面が、条件によってはっきり分かれるということです。つまり、何でも読める万能の目が手に入ったという話ではありません。条件を選べば人の目視を数十分単位で削れる道具が増えた、という話です。この記事では、何が入力になるのか、法人のマーケ実務でどこに効くのか、精度が落ちる条件、機密の写り込み、費用の増え方、そして社内に定着させる決め方までを整理します。

マルチモーダルAIとは、文字以外を入力にできること

マルチモーダルAIとは、複数の種類の情報を扱えるAIのことです。「モーダル」は情報の種類を指します。文字だけを受け取るものが単一の種類、文字に加えて画像や音声や動画も受け取れるものが複数の種類、つまりマルチモーダルにあたります。

実務で押さえておきたい区別は、作る側と読み取る側は別の話だという点です。絵を描かせる、声を合成する、動画を生成する。これらは出力の側が文字以外になっているもので、道具も費用も別に考えます。本記事が扱うのは入力の側です。手元にある紙、画面、録音、録画を、文字に打ち直さずそのまま渡せるという変化のほうが、日々の仕事には直接効きます。

この違いを整理しておくと、社内の議論が噛み合います。「マルチモーダルを試したい」という提案が出たとき、それが素材を作りたい話なのか、手元の材料を読ませたい話なのかで、必要な検討がまったく変わります。読み取らせる側は、既存の作業の置き換えなので効果が測りやすいという利点もあります。打ち直しに何分かかっていたかを測れば、削れた時間がそのまま出ます。

入力になるのは4つ：画像・音声・動画・画面

入力として渡せるものは、実務では4つに整理できます。それぞれ向く仕事と苦手なことが違うので、渡す前に選び分けます。

入力の種類	渡し方の例	向く仕事	苦手なこと
画像	写真、図面、紙面を撮った画像	紙の資料を表に起こす、図の中身を説明させる	手書き、ぼやけた写り、細かい線の図
音声	打ち合わせの録音、電話の録音	話の内容の書き起こし、話題ごとの切り出し	同時に話す複数人、社内の略語
動画	説明の録画、操作の記録、講演の収録	長い録画から必要な場面を探す	速い動き、画面に映る細かい文字
画面	作業中の画面や公開前の画面を撮った画像	見た目の点検、文字の切れや崩れの発見	押した後の変化、動きのある挙動

この4つのうち、法人のマーケ実務でまず効くのは画像と画面です。理由は単純で、すでに手元にあり、いま人が目で見て確かめている材料だからです。音声と動画は削れる時間が大きい代わりに、費用と機密の扱いが重くなります。

順番としては、画像で慣れてから音声、最後に動画に広げるのが安全です。画像は1枚ずつ渡せるので、間違いに気付いたときの手戻りが小さく済みます。動画は1本渡すだけで大量の情報を数えることになるため、試す段階で費用の感覚を持たないまま本番に入ると、想定の何倍もかかります。

ミニ用語解説：仕様の説明に出てくる言葉

この分野の仕様書には、見慣れない言葉が並びます。読み替えができないと、上限や費用の話が進みません。社内で使う言い方に直しておきます。

言葉がそろうと、依頼の仕方が変わります。「動画を要約して」では、費用も精度も見当がつきません。「この録画の12分から18分だけ、低い解像度で、発言者ごとに要点を時刻付きで出して」と言えれば、範囲と費用と検算のしやすさが同時に決まります。

情報システムの担当と話すときも、この言い換えが効きます。上限を尋ねるときは「何ページまで渡せるか」ではなく「1回の依頼で何トークンまでか」と聞くと、資料でも動画でも同じ物差しで答えが返ってきます。

使いどころ1：配られた資料を表に起こす

展示会で受け取ったカタログ、公開されている他社の価格表、紙で届いた仕様書。こうした資料を1件ずつ目で追って表に打ち込む作業は、読み取らせる側の第一候補です。ページを渡して、取り出したい項目を並べて指定すれば、表の形で返ってきます。

大手提供元が公開している仕様では、1回の依頼で扱える資料は最大1000ページ、ファイルは最大50MB、資料は1ページを258トークンとして数えます。仕様の側の助言も具体的です。ページの向きを正しくしてから渡す、ぼやけたページを避ける、1ページだけ渡すときは指示文をページの後ろに置く。どれも精度に直接効きます。

見落としやすいのは解像度の扱いです。大きい紙面は縦横3072ピクセルまで縮小され、小さい紙面は768ピクセルまで拡大されます。つまり大判の図面や細かい注記は、渡した時点で縮んでいる可能性があります。読ませたい部分だけを切り出して渡すほうが確実です。

• 紙面の形式によって扱いが変わる。図や表の位置まで解釈できる形式と、文字だけが抜き出される形式がある
• 1000ページを渡すと約26万トークンになる。上限と費用を先に見積もる
• 取り出す項目は、渡す前に列の名前として並べておく。後から足すと全ページを読み直すことになる
• 返ってきた表には、何ページ目から取った値かを併記させる。検算の手間が大きく変わる

使いどころ2：公開前の画面を点検させる

公開前の案内ページ、送信前のメールの見た目、資料の刷り上がり。人が目で確かめている点検は、画像を渡すだけで下ごしらえができます。文字が切れている箇所、行が重なっている箇所、背景と文字の色が近くて読みにくい箇所を挙げさせます。

こつは合否を言わせないことです。「問題ありません」という答えは検算できません。「読みにくい可能性がある箇所を、位置とともに5つまで挙げて」と頼むと、人が見る場所が絞られます。判断はさせず、見る場所を絞らせるという使い方が、この用途では最も外れません。

画面の点検には限界もあります。渡せるのは止まった絵なので、押した後にどう変わるか、途中で止まる挙動があるかは分かりません。動きの確認は人が実機で行うものとして残します。逆に、幅の狭い画面での崩れは、その幅で撮った画像を渡せば見つかります。

使いどころ3：長い録画から必要な数分を探す

1時間の説明の録画から、価格の話をしている数分を探す。研修の録画から、手順が変わった箇所を拾う。全体を書き起こすのではなく、見る場所を絞るために渡す使い方です。時刻を付けて答えさせれば、人はその区間だけ再生すれば済みます。

仕様の数値を押さえておくと、渡し方が決まります。100万トークンの文脈を扱えるモデルでは、既定の解像度なら最長1時間、低い解像度なら最長3時間の動画を扱えます。動画は1秒あたり1コマで切り出され、既定の解像度で1秒あたり約300トークン、低い解像度では約100トークンとして数えられます。音声の部分は1秒あたり32トークンです。1回の依頼で渡せるのは最大10本です。

ここから2つの注意が出てきます。1つは精度です。1秒に1コマしか見ていないので、速く切り替わる画面や短時間だけ映る文字は落ちます。もう1つは費用です。1時間の録画を既定の解像度で渡すと約108万トークンになります。必要な区間を先に切り出せば、費用は区間の長さの比でそのまま下がります。音声だけで足りる用途なら、音声として渡すほうが桁で安く済みます。

渡し方にも制約があります。手元のファイルを渡す以外に、動画共有サイトの公開されている動画を、場所の指定だけで渡せる場合があります。ただし対象は公開設定のものに限られ、無料の枠では1日に扱える合計の長さに上限が置かれています。限定公開の録画や社内だけに配った録画は、この方法では渡せません。社内の録画はファイルとして渡す前提で運用を組むほうが、後から詰まりません。区間を指定するときは、開始と終了を分と秒で書きます。時刻の指定に対応していれば、答えの側にも同じ形で時刻が返ってくるので、人が確かめる場所がそのまま決まります。

使いどころ4：手書きのメモと付箋を起こす

会議で書いたホワイトボード、展示会で走り書きしたメモ、貼り出した付箋。これらは打ち直す以外に手がなかった材料です。読み取りは効きますが、この用途はいちばん精度が落ちる領域でもあります。

先ほどの比較検証では、約6万件の資料から判定の割れた難所ページを抜き出して測っており、手書きの紙面での通過率は最も成績のよいモデルでも0.60でした。帳票の形をしたものは0.72、多段組のページは0.80を超え、長い表は0.73から0.83の範囲でした。手書きだけが、他の条件よりはっきり低いという結果です。小さいモデルではほぼ0点のものもありました。

したがって使い方を限定します。手書きは起こしの下書きまでにして、数字と固有名詞は必ず人が原本と突き合わせます。読めなかった箇所は空欄にして印を付けさせ、埋めさせないようにするのも有効です。もう一つの手として、同じ画像を2回渡して結果の差分だけを人が見る方法があります。差が出た箇所が、たいてい読み違えている箇所です。

使いどころ5：写真から現場の情報を取り出す

展示会のブースを撮った写真から、掲示していた訴求の文言と社名を書き出す。店頭の棚を撮った写真から、並んでいた製品の構成を整理する。現場を撮った写真から、設備の型番や表示の内容を拾う。人が見て記録していた作業が、そのまま置き換わります。

この用途に特有の注意が2つあります。1つは人が写ることです。顔が写った写真は、その人を識別できるため個人情報として扱う必要が出てきます。渡す前に人が写っていない構図で撮り直すか、写った部分を落とします。もう1つは写真に付く記録です。撮影の日時や場所が画像そのものに残っていることがあり、意図せず一緒に渡ることになります。

実務では、撮る段階で決めごとを置くのが効きます。必要な範囲だけを枠に入れて撮る、人を入れない、机の上を片付けてから撮る。この3つを撮影の手順に入れておくと、渡す前の手当てがほとんど要らなくなります。撮り直しの手間は、後から伏せる手間よりはるかに軽いです。

実務仕様：投げる前に決めておく数値

使いどころが決まったら、数値の側を先に決めます。ここを決めずに始めると、上限に当たって途中で止まるか、費用が想定を超えます。公開仕様にある値と、実務での決め方を並べます。

決めておく項目	公開仕様にある値の例	実務での決め方
1回に渡せる資料の量	最大1000ページ、ファイルは50MB	分割の単位を先に決める。章ごとか、社ごとか
資料1ページの数え方	1ページ258トークン	1000ページで約26万トークン。上限と費用を先に見積もる
紙面の解像度	縦横3072ピクセルまで縮小、768ピクセルまで拡大	細かい文字は撮り直すか、部分を切り出して渡す
動画の長さ	既定の解像度で1時間、低い解像度で3時間	必要な区間を先に切り出す
動画の数え方	1秒あたり約300トークン、低い解像度で約100	1時間で約108万トークン。低い解像度を既定にする
音声の数え方	1秒あたり32トークン	1時間で約11万トークン。音だけで足りるなら音だけ渡す
1回に渡せる動画の本数	最大10本	比べるときは本数を絞り、条件をそろえる

この表を見ると、資料と動画では桁が2つ違うことが分かります。1000ページの資料が約26万トークンで、1時間の動画が約108万トークンです。日本語の文章はおおむね1文字が1トークン前後なので、1時間の動画は100万字級の文章を渡すのと同じ量を数えることになります。

そのうえで、社内の決めごとは3つに絞れます。渡す前に区間を切ることを既定にする、解像度は低いほうを既定にして必要なときだけ上げる、そして1回の依頼で使う量の上限を金額で決めておく。上限を金額で決めておくと、判断を担当者に任せられます。

• 静止画1枚は資料1ページと同じ258トークンで数えられる。画像10枚は資料10ページとほぼ同じ量
• 動画の1コマは既定の解像度で258トークン、低い解像度では66トークン。ここが約4分の1になる
• 上限に当たると途中で止まる。分割の単位は、上限の8割で収まるところに決めておく
• 同じ材料に何度も質問する用途は、最初の1回で文字にしておくほうが安く済む

精度が落ちるのは、この4つの条件

読み取りは条件で成績が変わります。どこで落ちるかを知っていれば、渡す前に手当てできます。実務で効いてくるのは次の4つです。

1つ目は解像度です。撮った距離が遠い、手ぶれしている、圧縮で細部が消えている。この状態では、細かい文字も細い線も読めません。仕様の助言に「ぼやけたページを避ける」とあるのは、この意味です。2つ目は図表の込み方です。結合されたセル、複数ページにまたがる表、注記が本文に混ざる構成では、行と列の対応が崩れます。3つ目は手書きで、先ほどの通過率0.60がその裏付けです。

4つ目は言葉です。社内の略語や業界特有の言い回しは、読み取れても意味を取り違えます。同じ略語が別の意味で使われる場合はとくに危険です。加えて、比較検証で報告された失敗の型も知っておく価値があります。ページの一部を書き起こさない、多段組で読む順番を誤って列をまたぐ、情報の詰まったページで同じ語を繰り返して止まらなくなる。どれも「間違っている」より「途中で抜けている」形で現れるので、返ってきた件数が想定と合っているかを毎回数えるのが最も簡単な発見方法です。

機密の写り込みという、この技術に固有のリスク

文字を渡すときは、書いた内容だけが渡ります。画像や画面を渡すときは違います。撮った範囲に入っているものが全部渡ります。これが読み取らせる側に固有のリスクです。実際に起きやすい形を並べます。

• 画面をそのまま撮って渡す：隣のタブの見出し、通知、別の顧客の名前が一緒に写る
• 紙の資料を机ごと撮る：横に置いた別案件の書類や付箋が写る
• 録画をまるごと渡す：始まる前や終わった後の雑談に、取引条件や人事の話が入っている
• 写真に付いた記録を消さずに渡す：撮影の日時と場所が画像そのものに残っている
• 人の顔が写ったまま渡す：来場者や社員が特定できる状態になる
• 渡してよい種類を決めていない：判断が担当者ごとに変わり、記録も残らない

手当ては3つで足ります。1つ目は範囲を指定して撮ることです。画面全体ではなく必要な枠だけを撮れば、隣も通知も入りません。2つ目は渡す前に伏せることです。顧客名と金額は置き換えても読み取りの精度は落ちません。3つ目は種類ごとに渡す渡さないを決めて、記録を残すことです。

決め方は簡単です。渡してよい種類の一覧を作り、そこに書かれていないものは渡さないという形にします。禁止の一覧ではなく許可の一覧にするのが要点です。判断に迷う材料が出てきたときに、担当者が自分で「これは大丈夫だろう」と決めてしまう余地が消えます。迷った分は、月に一度まとめて一覧に足すかどうかを決めます。

外に出せない材料は、どう扱うか

許可の一覧を作ると、必ず「出せない材料」が残ります。ここで話が止まる会社が多いのですが、扱い方は決まっています。まず材料を3段に分けます。分け方は種類ごとに一度決めれば足り、毎回の判断は要りません。

• そのまま渡せる：公開されている資料、自社が公開した資料、社名や個人名が入らない図
• 伏せれば渡せる：顧客名や金額が入る資料。置き換えても読み取りの精度は落ちない
• 渡せない：契約書の原本、人事の記録、他社から預かった資料。伏せても外へは出さない

3段目が業務の中心にある場合だけ、次の検討に進みます。自社の中で動かす選択です。ただし精度の差は見込む必要があります。先ほどの比較検証では、公開されている重みのモデルで最も成績のよかったものは全体で0.664でした。最上位の0.76とは差があり、手書きや帳票ではさらに開きます。外に出さない選択は、精度を下げる選択でもあります。

速さも変わります。1ページあたりの処理時間は約0.4秒から4.3秒までの幅があり、速いものほど成績が低い傾向でした。1000ページなら7分と70分の差です。したがって、渡せない材料については用途を狭めます。数字を取り出させるのではなく分類だけに使う、人が全件見る前提にする、量を絞って夜間にまとめる。外に出せないという条件は、諦める理由ではなく用途を絞る理由です。

費用は文字より増える。増え方の仕組み

読み取らせる側は、文字を渡すのに比べて量が大きくなります。仕組みが分かっていれば怖くありません。数え方は種類ごとに決まっていて、資料は1ページ258トークン、動画は1秒あたり約300トークン、低い解像度なら約100、音声は1秒あたり32トークンです。

これを実務の単位に置き換えます。50ページの資料は約1万3千トークンで、日本語1万3千字ぶんの文章と同じ量です。ここは気にする必要がありません。一方、30分の録画を既定の解像度で渡すと約54万トークンで、これは50ページの資料を40回渡すのに相当します。桁が変わるのは動画に入った瞬間です。

抑え方は4つあります。必要な区間だけを切り出す、解像度を低いほうにする、映像が要らないなら音声だけ渡す、そして一度読み取った結果を文字で保存して使い回す。最後の1つが効きます。同じ資料や録画に対して質問を重ねるとき、毎回画像から読み直すと毎回同じ量を数えることになります。最初の1回で表や書き起こしにしておけば、2回目以降は文字のやり取りで済みます。

人が確かめる範囲を、渡す前に決める

ここまでの内容を運用に落とすとき、いちばん決め忘れが多いのが人の確認です。読み取りは速いので、返ってきた結果をそのまま使いたくなります。ところが精度が条件で変わる以上、確かめない運用は、静かに間違ったまま進みます。

決めることは3つです。1つ目は、出どころを必ず書かせることです。資料なら何ページ目、動画なら何分何秒から取ったのかを結果に併記させます。これがあると、人は疑わしい行だけを開けます。2つ目は、全件見る項目を決めることです。実務では数字、固有名詞、金額、日付の4つに絞れば足ります。3つ目は、抜き取りの割合です。始めた最初の20件は全件、そこから先は1割という形にすると、続けられます。

そのうえで合否の判断はAIに求めません。「この資料に問題はないか」ではなく「この4項目を書き出して」と頼みます。判断を求めると、根拠のない断定が返ってきて、確かめる手がかりも残りません。挙げさせる、数えさせる、位置を示させる。決めるのは人が持つ。この線を先に引いておくと、任せる範囲を広げるときも同じ形で判断できます。

社内に定着させるための決め方

読み取りは試すのが簡単なので、試したまま終わることが多い領域です。定着させるには、広げる順番と、やめる基準を先に決めておきます。3か月を目安にした形を示します。

誰が見るかも決めます。日々使うのは業務の担当で、確かめるのも同じ人です。月に一度、マーケの責任者が削れた時間と使った量を見ます。四半期に一度、情報システムの担当と一緒に許可の一覧を見直します。広げる判断と、渡してよい範囲の判断を、同じ人が兼ねないようにするのが要点です。

やめる基準は数字で置きます。1件あたりの所要時間が、置き換える前の7割を下回らない用途はいったん止めます。計算のときは、人が確かめる時間を必ず足します。読み取り自体が速くても、確認に時間がかかる用途は合計では減りません。手書きの起こしがこれに当たりやすい部分です。逆に、削れた時間が半分を超える用途は、隣の部署に手順ごと渡す優先の候補になります。

最後に、うまくいっている職場に共通する形を1つ挙げます。読み取らせた結果を、必ず人が使う形式で保存していることです。表なら表として、書き起こしなら時刻付きの文章として残す。残していれば、同じ材料を二度読ませずに済みます。費用も、確認の手間も、そこで減ります。

まとめ

マルチモーダルAIとは、文字以外を入力にできることです。絵や音を作る側の話と混同しやすいのですが、法人のマーケ実務で先に効くのは手元の紙、画面、録音、録画をそのまま渡せる読み取りの側です。入力になるのは画像、音声、動画、画面の4つで、まず手を付けるのは画像と画面です。すでに人が目で見て確かめている材料だからです。公開されている仕様は実務の決めごとに直せます。資料は最大1000ページで1ページ258トークン、大きい紙面は縦横3072ピクセルまで縮み、動画は1秒に1コマで既定の解像度なら1秒あたり約300トークン、低い解像度なら約100、音声は1秒あたり32トークン。1時間の録画は約108万トークンで、資料50ページの40回ぶんに相当します。精度が落ちるのは解像度、図表の込み方、手書き、社内の言い回しの4条件で、難所を集めた比較検証では手書きの通過率は0.60どまりでした。失敗は間違いより「抜け」の形で現れるので、返ってきた件数を毎回数えます。渡す画面には隣のタブも通知も一緒に写るため、範囲を指定して撮る、伏せる、許可の一覧で管理するの3つを手順に入れます。判断はAIに求めず、挙げさせる、数えさせる、位置を示させるにとどめ、数字と固有名詞と金額と日付は全件人が見ます。まずは打ち込みに時間がかかっている資料を1種類選び、10件ぶんの所要時間を測るところから始めてください。測っていない削減は、社内では誰も認めてくれません。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。