AIの出力の品質と安全性を測り続けて記録に残すOSS「Future AGI」を解説

「社内でAIの窓口を動かし始めたが、答えの品質が落ちていないかを誰も見ていない」「監査で、AIがなぜその答えを出したのかと聞かれたら、示せる記録がない」——生成AIを業務に組み込んだ企業の、情報システムや品質保証の担当者から出てくる声です。AIの品質は導入前の試験で確かめれば終わり、と考えられがちですが、そうではありません。本当は、AIの出力は使い続けるあいだに変わるので、測り続け、記録に残し、人が後から確かめられる状態にしておくことが品質と説明責任の土台です。この記事では、AIの出力の採点・処理の記録・入出力の点検をまとめて扱うOSS「Future AGI」について、一次情報で確かめられる機能、自社で動かす版と有料のクラウド版の違い、外へ送られる情報、監査に使うときの注意点を整理します。導入や操作の手順は扱いません。

Future AGIとは何か。2026年10月時点で確かめられる事実

Future AGI は、GitHub上で公開されている、生成AIやAIエージェントを使った仕組みの評価・観測・改善のための基盤です。リポジトリの説明によると、処理の記録（追跡）、出力の評価、模擬の会話による試験、評価用のデータの管理、複数のAIへの接続を束ねる中継、入出力の点検（ガードレール、つまりAIへの入力や出力を決まりに照らして止めたり伏せたりする仕組み）を一つにまとめています。READMEでは、試験・評価・保護・監視・改善を一つの流れでつなぐことを特徴に挙げています。

公開の時期と規模を確かめておきます。リポジトリは2026年4月23日に作られ、それを持つ組織のアカウントは2023年10月9日に作られています。2026年10月22日時点で、スターはおよそ2,190、複製（フォーク）は690で、1日あたりのスターの伸びは12前後です。リリースの一覧では、2026年10月21日に1.53.0版が公開されており、10月4日の1.46.0版から3週間ほどで9つの版が並んでいます。更新の頻度がかなり高いことは、導入後の版の管理を考えるうえで押さえておくべき点です。

運営元は、ライセンス文書に「Future AGI, Inc.」と書かれている事業者です。本社の所在地や設立の経緯は、確認した一次情報には書かれていませんでした。仕組みの中心は、Python で書かれた本体、別の言語で書かれた中継の部品と記録の収集の部品、画面の部品からなり、データの保存には PostgreSQL や ClickHouse などの既存のデータベースを使う、とREADMEで説明されています。

なぜ今、AIの出力を「測り続ける」仕組みが求められるのか

生成AIを社内の問い合わせ対応や文書作成に組み込むと、従来の業務の仕組みとは違う種類の不具合が出てきます。同じ質問でも答えが毎回少しずつ違う、事実と異なる内容をもっともらしく書く（ハルシネーション）、道具の呼び出しを誤る、といった不具合は、一度の試験で合格しても、本番で起きないとは言い切れない性質を持っています。

さらに、AIの提供元がモデルを更新したり、自社が指示文や参照する文書を手直ししたりすれば、同じ仕組みでも出力の傾向が変わる可能性があります。品質を保つには、本番の出力を記録し、決まった物差しで採点し、変化に気づける状態を作る必要があります。これは品質の問題であると同時に、「AIがなぜその答えを出したのか」を後から説明できるかどうかという説明責任の問題でもあります。

社内の監査や取引先からの確認で、AIの使い方を問われる場面は増えています。そのときに示せるのは、どの入力に対してどの出力が出て、どう採点され、誰が確認したかという記録です。Future AGI のような基盤は、この記録と採点を仕組みとして残すための道具の一つと位置づけられます。

記録の土台：AIの処理を一件ずつたどる追跡の機能

READMEによると、Future AGI の追跡の機能は、オープンテレメトリー（処理の記録を集めるための業界共通の規格）に沿って作られており、50を超える開発用の枠組みに対応した記録の部品が用意されています。一件の依頼に対して、AIへの問い合わせ、道具の呼び出し、それぞれにかかった時間、使った量（トークン）と費用などを、処理の流れに沿って一件ずつたどれる形で残すとされています。

監査の観点で大事なのは、ここに何が残るかです。報道によると、記録には指示文、モデルの出力、道具の呼び出しの中身が含まれ、自社で動かす版では ClickHouse というデータベースに保存されます。つまり、追跡の記録は、それ自体が社内の情報や個人情報を含む可能性のある大切なデータです。品質を確かめるための記録が、新たな情報漏えいの入口にならないよう、保存期間や閲覧できる人を決めておく必要があります。

また、READMEは、仕組みの間をつなぐ部分はすべて公開された決まった形式であり、記録の形式は業界共通の規格、保存先は一般的なデータベースだと説明しています。特定の製品に記録を閉じ込めない作りは、後から別の仕組みへ移したり、監査用に記録を取り出したりしやすいという利点につながると読み取れます。

評価の機能：採点の結果と理由を残す

評価の機能は、AIの出力を決まった物差しで採点するものです。READMEでは、事実に基づいているか、ハルシネーションがないか、道具の使い方が正しいか、個人情報が含まれていないか、話し方が適切かなど、50を超える指標を一つの呼び出しで使えるとしています。公式の説明書では、組み込みの評価の項目は132とされており、文書によって数え方が異なる点は注意して読む必要があります。

採点の方式は、AIに採点させる方式、決まった規則で判定する方式、機械学習のモデルで判定する方式の組み合わせだと説明されています。公式の説明書によると、採点の結果は合否・数値・分類のいずれかで返り、採点にAIのモデルが関わる場合は、平易な言葉で理由も返すとされています。

理由が残ることは、説明責任の点で大きな意味があります。点数だけでは、なぜ不合格になったのかを人が確かめられません。理由が記録に残っていれば、後から人が読み、採点が妥当だったかを判断できます。一方で、確認した説明書の範囲では、AIによる採点が人の判断とどの程度一致するかについての記載は見当たりませんでした。採点役のAIも間違えうる前提で、結果を人が確かめる手順を組み込むことが欠かせません。

事前の試験と守りの機能：模擬の会話と入出力の点検

READMEによると、模擬の会話の機能は、さまざまな人物像を設定した相手と何度もやり取りをさせ、意地の悪い入力や想定外の状況にAIがどう応じるかを本番の前に試すものです。文字の会話だけでなく、音声で応答するAIにも対応するとされています。本番で問題が見つかってから直すより、公開の前に弱いところを洗い出せる点が利点です。

入出力の点検の機能について、READMEは、個人情報、安全装置を外させようとする入力、紛れ込んだ命令（プロンプトインジェクション、つまり入力に隠した指示でAIを操ろうとする攻撃）などを見張る組み込みの点検が18種類、外部の事業者の点検の仕組みにつなぐ部品が15種類あるとしています。公式の説明書では、点検の結果に応じて、止める・警告する・伏せる・記録するの四つの扱いを選べるとされています。

ただし、ここには大事な但し書きがあります。公式の説明書は、入出力の点検の機能は、クラウド版と企業向けの契約で提供されると書いています。リポジトリの中でも、点検の機能に当たる名前のフォルダは、別の商用ライセンスの対象となる ee のフォルダの下に置かれています。自社で無料で動かす範囲で点検の機能まで使えるかどうかは、導入前に運営元へ確かめるべき点です。

複数のAIへの接続を束ねる中継の機能

READMEによると、Future AGI には、複数のAIの提供元への接続を一か所にまとめる中継の機能があります。OpenAI と同じ形式で受け付け、100を超える提供元に取り次ぎ、取り次ぎ先の選び方、似た問い合わせへの答えの使い回し、利用者ごとに分けた仮の鍵などを扱えるとされています。AIエージェントが外部の道具をつなぐための仕組み（MCP）にも対応すると書かれています。

企業の視点では、中継を一か所にまとめると、どの部署が・どのAIに・どれだけ問い合わせたかを一か所で把握しやすくなる利点があります。本物の鍵を利用者に配らず、中継の側で仮の鍵を発行する作りは、鍵の流出の範囲を狭める考え方として理解できます。

一方で、中継は全社のAIへの通信が集まる場所になります。ここが止まれば全社のAI利用が止まり、ここが破られれば多くの通信が見られうる、という集中の危うさも抱えます。READMEには処理の速さについての数値も載っていますが、これは運営元が示す測定の結果であり、自社の環境で同じ性能が出るかは確かめられていません。

自社で動かす版と、運営元のクラウド版の違い

Future AGI には、リポジトリを使って自社で動かす版と、運営元が提供するクラウド版があります。READMEでは、自社で動かす版は Docker（仕組みをまとめて動かすための道具）で立ち上げる形が基本で、既定の構成でも2つの演算の単位と4ギガバイトの記憶領域が要るとされています。クラウド版には無料の枠があり、料金表では上位の契約ほど記録の保存期間や管理の機能が増える形になっています。

監査や説明責任に関わる項目に絞って、確認できた範囲を並べます。クラウド版の項目は運営元の料金表、自社で動かす版の項目はREADMEとライセンス文書に基づきます。

観点	自社で動かす版（このリポジトリ）	運営元のクラウド版
ライセンス	中心部分はApache-2.0。ee のフォルダは別の商用ライセンスで、本番での利用に有料の契約が要る	利用の契約による
記録の保存先	自社で用意するデータベース（PostgreSQL・ClickHouse など）	運営元の環境。料金表では米国と欧州の地域が示されている
記録の保存期間	自社で決める	無料の枠は30日。上位の契約で90日・1年・個別に設定
監査用の記録・シングルサインオン	確認した一次情報には記載なし	料金表では有料の上位の契約の項目として挙がっている
第三者の認証	自社の管理による	料金表では SOC 2 Type II、医療情報の扱いに関わる HIPAA の契約が上位の契約の項目
入出力の点検の機能	公式の説明書ではクラウド版と企業向けの契約で提供とされる	提供される（契約の種類による）

表から読み取れるのは、監査の際に問われやすい管理の機能の多くが、確認できた範囲ではクラウド版の上位の契約の側に書かれているという点です。自社で動かす版でどこまで同じことができるかは、一次情報からは確かめきれませんでした。第三者の認証も運営元の申告であり、報告書そのものは確認していません。

安全性の評価：紹介可とした根拠

このラインでは、ソフトウェアを取得・導入・実行せず、公開されている情報と精査の記録をもとに安全性を判定しています。Future AGI の判定は「紹介可」です。根拠は次のとおりです。

一つ目は、中心部分のライセンスがOSI承認のApache-2.0であることです。二つ目は、組織のアカウントが2023年10月に作られており、リポジトリの公開から半年ほどで、スターの伸びにも不自然な急増は見られないことです。三つ目は、精査の時点で公開済みのセキュリティ勧告がないことです。導入の際に自動で動く処理として見つかったのは、開発者向けの点検の道具を準備するものだけで、利用者が配布物を入れたときに動く性質のものではありません。

加えて、リポジトリには脆弱性の報告窓口を定めた方針の文書があり、平日24時間以内の受領の連絡、3営業日以内の初期の評価、深刻度が最も高いものは72時間以内の修正を目標とすると書かれています。報奨金の制度（HackerOne）の対象になりうるとも説明されています。ただし、方針の文書には、どの版まで修正を提供するかの記載はありませんでした。また、問題が見つからなかったことは安全の保証ではありません。導入するなら、社内の通常の手順で確かめることが前提です。

ライセンスと運営体制：オープンコアの線引きと送られる情報

Future AGI は、中心部分をOSSとして公開し、一部の機能を商用ライセンスにするオープンコアの形をとっています。告知の文書によると、名前が ee のフォルダに置かれた部分は「Future AGI 企業向けライセンス 1.0」の対象で、本番で使うには有効な有料の契約（企業向けの鍵か、クラウド版の契約）が要るとされています。リポジトリの ee のフォルダには、評価・試験・指示文の管理・入出力の点検・音声・利用量などに当たる名前の下位のフォルダが並んでいます。

フォルダの名前から中身を推し量ることはできますが、どの機能がどこまで無料の範囲で使えるかを一覧にした文書は、確認した一次情報の中には見当たりませんでした。「OSSだから全部無料で使える」と思い込まず、使いたい機能がどちらのライセンスに当たるかを確かめることが、法務と調達の両方で必要です。

もう一つ見落とせないのが、運営元へ送られる情報です。READMEによると、自社で動かす版は既定で運営元へ利用状況の情報を送ります。最初の登録の際には、所有者・管理者などのメールアドレスとメールのドメインが含まれ、その後は利用量の集計が定期的に送られます。記録の中身、指示文、出力、データ、鍵は送らないと明記されています。送信は止められますが、止めた場合もメールアドレスを除いた登録の通知が1回は送られる、と書かれています。社外への送信を一切許さない環境では、この点を事前に確かめる必要があります。

悪用されうるリスクと、記録そのものが持つ危うさ

Future AGI は守りと品質のための基盤であり、攻撃のための道具ではありません。それでも、使い方によって生まれるリスクはあります。最も大きいのは、記録の置き場所が、狙われやすい情報の集まりになることです。追跡の記録には、社員が入力した質問、AIが参照した社内の文書の断片、出力の全文が残りえます。管理画面や保存先が外から触れる状態になっていれば、まとめて持ち出される可能性があります。

二つ目は、中継の機能に通信を集めた場合の影響です。中継には、各AIの提供元への本物の鍵が預けられます。中継が破られれば、鍵の不正な利用や通信の盗み見につながりうる、というのは中継の仕組み全般に言える一般的な危うさです。現時点でこの基盤について悪用の事例が報告されているわけではなく、これは仕組みの性質から考えられる可能性として受け止めてください。

三つ目は、点検の機能を過信することです。入出力の点検で紛れ込んだ命令を見張っていても、すべての攻撃を止められるわけではありません。点検をすり抜ける入力の工夫は、研究として次々に報告されています。点検は守りの一層であり、AIに与える権限を狭める、重要な操作は人が承認するといった仕組みの側の守りと組み合わせることが前提です。

監査と説明責任の観点で、何を記録として残すか

Future AGI のような基盤を入れる目的が監査や説明責任であるなら、先に「何を残せば説明できるか」を決めておく必要があります。最低限、どの入力にどの出力が出たか、そのときのモデルと指示文の版、採点の結果と理由、人が確認した記録、の四つがそろっていると、後から経緯をたどりやすくなります。

このうちモデルと指示文の版の記録は、見落とされやすい項目です。READMEには指示文の管理や試験の機能も挙げられていますが、どの版の指示文で出た答えかが分からなければ、品質が落ちた原因を突き止められません。基盤を入れる前に、指示文の改訂の手順と記録の付け方を決めておくと、記録が意味を持ちます。

反対に、残しすぎる危うさもあります。指示文や出力の全文を長期間残すほど、個人情報や社内の情報が記録に溜まります。品質の確認に要る期間と、法令や社内規程で求められる保存期間を分けて考え、要らなくなった記録を消す手順まで決めておくことが、記録を守りの資産にする条件です。

導入を検討するときに確かめること

Future AGI を社内の品質管理や監査に使うかどうかを決める前に、少なくとも次の順で確かめておくと、後からの手戻りを防げます。

企業が取るべき対策

Future AGI を使うかどうかにかかわらず、AIの出力の品質と安全性を測る仕組みを持つ企業が取るべき対策は共通しています。第一に、記録の置き場所を、重要な情報の置き場所として守ることです。管理画面に入れる人を絞り、保存先を外から触れられない場所に置き、閲覧の履歴を残します。

第二に、記録の保存期間と消去の決まりを規程に書くことです。指示文や出力の全文を残す場合は、個人情報や社外秘の情報が含まれる前提で扱います。第三に、中継の機能を使う場合は、本物の鍵の保管と利用者ごとの権限を分け、中継が止まったときの代わりの手段も決めておきます。

第四に、採点の物差しを定期的に見直すことです。採点の項目や合格の線が業務の実態とずれていれば、記録が増えても品質は守れません。第五に、調達の際には、ライセンスの線引き、運営元へ送られる情報、脆弱性の報告窓口、第三者の認証の有無と範囲を確認項目に入れておきます。基盤を入れること自体を目的にせず、記録と採点を業務の判断につなげる運用まで設計することが要点です。

AIに任せる範囲と、人が決める範囲

Future AGI の評価の機能は、AIが別のAIの出力を採点する仕組みを含みます。大量の出力を同じ物差しで素早く見られる点は大きな利点ですが、品質の最終的な判断をAIに任せてはいけません。AIに任せてよいのは、多くの出力を採点し、怪しいものを拾い上げ、根拠となる理由を書き出すところまでです。

人が決めるのは、何を採点の対象にするか、合格の線をどこに引くか、不合格の出力をどう扱うか、記録をどれだけ残すかです。採点にAIが関わる場合は理由が返るとされているので、採点役のAIが挙げた理由を、人が実際に読んで確かめることを手順に入れます。人が確認する範囲は、導入の前に決めておきます。避けたい使い方を挙げます。

• 採点の点数が高いことだけを理由に、AIの出力を顧客へそのまま出す
• AIによる採点の結果を、人が一度も中身を読まずに監査の資料にする
• 指示文や出力の全文を、保存期間を決めずに記録し続ける
• 使いたい機能のライセンスを確かめずに、本番で使い始める
• 入出力の点検を入れたことで安心し、AIに与える権限の見直しを後回しにする

最後の例は特に起きやすい失敗です。点検は守りの一層にすぎず、AIに何をさせてよいかを決めるのは、仕組みの側と人の側です。この順序を守ることが、基盤を入れる意味を保ちます。

よくある質問：評価の点数が高ければ、AIの出力は信頼してよいのか

答えは「決めた物差しの範囲では基準を満たした、という意味にとどまる」です。評価の項目は、事実に基づいているか、ハルシネーションがないかなどを測りますが、物差しに含まれていない種類の誤りは点数に表れません。採点役のAIが間違える可能性もあり、確認した説明書の範囲では、採点の精度についての記載は見当たりませんでした。

では点数に意味がないのかというと、そうではありません。同じ物差しで測り続けることで、モデルの更新や指示文の手直しの前後で品質がどう動いたかを比べられます。公式の説明書も、決まった定義を同じ基準で当てることで、回をまたいで点数を比べられると説明しています。点数は「品質の証明」ではなく「変化に気づくための目盛り」と位置づけるのが現実的です。

もう一つ、「自社で動かす版なら、クラウド版と同じことが無料でできるのか」という問いもありそうです。中心部分は無料で使えますが、ee のフォルダの機能は本番で使うのに有料の契約が要り、入出力の点検はクラウド版と企業向けの契約で提供されると説明されています。どの機能が必要かを先に決め、運営元に確かめることが近道です。

• Future AGI の機能・ライセンス・送られる情報・脆弱性の報告の方針は、GitHubのリポジトリ（README・ライセンス文書・告知の文書・方針の文書・リリースの一覧）、公式の説明書（評価・入出力の点検）、運営元の料金表を2026年10月22日に確かめた範囲に基づきます。更新が速いため、内容は変わる可能性があります
• 自社で動かす版で使える管理の機能の範囲、ee のフォルダの各機能の中身、採点の精度、運営元の所在地、第三者の認証の報告書は、確認した一次情報の範囲では確かめられませんでした
• 記録に指示文・出力・道具の呼び出しが含まれる点と保存先のデータベースについては、READMEの構成の説明と報道を合わせて読んだ内容です
• この記事は守りと評価の目線で書いています。導入・設定・実行の手順は扱いません

まとめ

Future AGI は、生成AIやAIエージェントの処理を記録し、出力を採点し、模擬の会話で事前に試し、入出力を点検し、複数のAIへの接続を束ねる基盤です。中心部分はApache-2.0で公開され、記録の形式に業界共通の規格を使うなど、記録を取り出しやすい作りになっています。採点にAIが関わる場合は理由も返るため、品質と説明責任の記録として使いやすい面があります。

一方で、一部の機能は本番での利用に有料の契約が要るオープンコアの形で、入出力の点検はクラウド版と企業向けの契約で提供されると説明されています。自社で動かす版は既定で管理者のメールアドレスなどを運営元へ送り、記録には指示文や出力がそのまま残りえます。使う機能のライセンスと送られる情報を確かめ、記録の置き場所を守り、採点の結果を人が読んで判断することが、Future AGI を監査と品質管理に生かすための現実的な付き合い方です。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。