重みを直接書き換えて挙動を変えたモデル「Weight-Space Programming」を解説

重みを直接書き換えて挙動を変えたモデル「Weight-Space Programming」を解説

「学習し直さなくても、重みの数字を少し書き換えるだけでモデルの振る舞いがここまで変わるのか」「だとしたら、社内で使っている公開モデルが途中で書き換えられていても、気づけないのではないか」——生成AIの社内利用を支える情報システム部門と、AIの調達を審査するセキュリティ担当者から出てきそうな声です。2026年11月2日、Hugging Face(AIモデルの公開・共有サイト)で、AIがほかのAIモデルの重み(モデルの振る舞いを決める大量の数値)を直接書き換えたモデルが公開されました。名前は Qwen3.5-0.8B weight-space-programming で、本記事では Weight-Space Programming と呼びます。このモデルが突きつけるのは、新しい技術の驚きではありません。本当は、手元のモデルが本物かどうかを確かめる仕組みが自社にあるかという問いです。この記事では、モデルカードとブログで確認できる事実、公表された成績の読み方、当ラインの安全性の精査結果、そして企業がモデルを使う前に整えておくべき確認の仕組みを、防御の立場から整理します。


カメ先生カメ先生

モデルの性格を変えるには、大量のデータで学習し直す必要があると思われがちなんだけど、本当はごく一部の重みを狙って書き換えるだけで、振る舞いが大きく変わることがある。このモデルはその実例なんだ。


カメ子カメ子

ほんの少しの書き換えでも、使う側からは別のモデルになっているかもしれないということですか。


カメ先生カメ先生

そう。このモデルは研究として正直に公開されていて、どこを変えたかの差分や、確かめるためのハッシュ値まで出している。逆に言えば、そうした情報が無いモデルは、元のモデルと同じかどうかを使う側が確かめにくいんだよ。


カメ子カメ子

モデルの成績より先に、重みの出どころと中身を確かめる手順を持っておく必要があるんですね。


この記事のポイント
  • Weight-Space Programming は、最先端の大規模言語モデルが学習を使わずに Qwen3.5-0.8B の重みの約0.016%を書き換え、数学の問題での堂々巡りを減らしたとされる研究用のモデル
  • 書き換えた部分の差分とハッシュ値(データの指紋にあたる値)が公開されており、モデルの透明性を示す良い例。一方で成績の多くは研究チームの公表値で、第三者の確認は一部にとどまる
  • わずかな書き換えで振る舞いが変わる以上、企業はモデルの出どころ・ハッシュ値・元のモデルとの差分を確かめる手順を持ち、AIに判断させず人が確認する範囲を先に決める

あなたのWebサイトは、AIによる攻撃に耐えられますか?

AIを活用してWebサイト・Webサービスの脆弱性を診断し、発見した問題と推奨する修正方法をご報告します。

目次

Weight-Space Programmingとは何か。2026年11月時点で確かめられる事実

Weight-Space Programming は、Hugging Face で RikiyaT というアカウントが公開しているモデルです。元になったのは、中国の Qwen チームが Apache-2.0(商用利用も認める代表的なオープンソースのライセンス)で公開している小型モデル Qwen3.5-0.8B で、モデルカード(モデルの説明書きにあたるページ)によると、勾配降下法(データを使って重みを少しずつ調整する通常の学習方法)を一切使わず、別の大規模言語モデルが重みを直接書き換えて作ったものです。

当ラインの精査で確認した記録では、作成日と最終更新日はともに2026年11月2日です。ライセンスは Apache-2.0 で、利用の前に申請や同意を求める制限(ゲート)は付いていません。確認時点の「いいね」は132、ダウンロード数は3,474でした。重みのファイルは safetensors 形式(読み込んでもプログラムが実行されない、安全性に配慮した保存形式)の1ファイルで、独自のプログラムの読み込みは不要な構成です。

このモデルは、同じ日に公開された研究チームのブログ記事「Sparks of Weight-Space Programming」の8番目の実験の成果物です。ブログには、著者として Rikiya Takehi 氏ら4名の名前と、所属として米マサチューセッツ工科大学の研究所(MIT CSAIL)が記されています。ブログでは、汎用の大規模言語モデルが、最適化の手法を使わずに文章で書かれた目標をもとにニューラルネットワーク(AIモデルの基本構造)の重みを読み書きすることを「重み空間のプログラミング」と呼んでいます。公開から日が浅く、日本語での解説はまだ少ないとみられます。

なぜ学習なしの書き換えがAIセキュリティの話題になるのか

これまで、モデルの振る舞いを変えるには、追加のデータで学習させる「ファインチューニング」が一般的でした。学習には計算資源とデータが必要で、変更はモデル全体に広がります。今回のモデルが示したのは、全体のごく一部、狙った場所だけを書き換えて、振る舞いを大きく変えられるという例です。

研究としては、モデルの中身を理解し、壊れた部分を直す試みとして前向きに受け止められています。ブログでも、評価を走らせずにモデルを監査する、重みから仕込まれた裏口(バックドア)を見つける、といった応用の可能性に触れています。一方で守る側から見ると、これは小さな変更でも振る舞いが大きく変わりうることの裏付けでもあります。社外から取得したモデルをそのまま信じて使うことの危うさが、具体的な数字で示されたと言えます。

もちろん、今回の公開は改ざんではなく、変更の中身を公開した研究です。ただ、変更の量が小さいことと、影響が小さいことは別の話だという点は、モデルを調達・利用する企業がいまのうちに押さえておくべき教訓です。

何が書き換えられたのか。モデルカードが示す編集の概要

モデルカードによると、研究チームは最先端の大規模言語モデル(ブログでは Astra と呼ばれています)に、Qwen3.5-0.8B の数学の力を高めるよう依頼しました。Astra は重みを扱える作業環境の中で、練習用の数学の問題を使った50回までの試し動作(モデルに入力を通して出力を見ること)の範囲で調べを進めました。

元のモデルは、考える過程を出力する設定にすると、ほとんどの数学の問題で同じ考えを繰り返し、出力の上限まで堂々巡りを続けてしまう弱点がありました。元のモデルのモデルカード自身も、この0.8Bのモデルは同じシリーズのほかのモデルより思考の堂々巡りに陥りやすいと注意しています。Astra は、この堂々巡りが二つの層の内部の、ある一つの方向の成分に結びついていると突き止め、その成分を取り除く形で重みを書き換えたとされます。

書き換えたのは二つの重みの行列(2テンソル)の一部、合計131,072個の重みで、モデル全体の約0.016%にあたります。ほかの重みは、元のモデルの特定の版と完全に同じだとモデルカードは説明しています。なお、この記事では書き換えの具体的な手順には立ち入りません。防御の判断に必要なのは、ごく一部の書き換えで振る舞いが変わったという事実と、その変更をどう確かめられるかのほうだからです。

公表された成績と、第三者による再実行の結果

ブログの公表値では、考える過程を出力する設定で、数学の試験問題集 MATH-500 の正答率が7.9%から48.1%に、小学校レベルの文章題を集めた GSM8K が13.8%から67.1%に、指示どおりに書けるかを測る IFEval が21.0%から62.3%に上がりました。出力の上限に達してしまった割合は93.0%から33.1%に下がったとされます。

モデルカードには、この公開用の重みを Hugging Face の担当者が作業記録から作り直し、MATH-500 の全500問をそれぞれ4回解かせて再評価した結果も載っています。それによると、書き換え後のモデルの正答率は51.0%で、出力の上限に達した割合は31.6%でした。元のモデルについては25問だけの簡易な確認で、正答率5.0%、上限に達した割合95%とされています。問題ごとの結果と出力の見本は、モデルの公開場所の評価用フォルダに置かれています。

ブログはさらに、別の小型モデル Gemma 3 270M で同じことを試した結果、数学の成績はほとんど動かなかったと報告しています。研究チームはここから、書き換えは障害を取り除くことはできても、モデルに無い能力を足すことはできないと述べています。今回の大きな伸びは、元のモデルがもともと持っていた力が、堂々巡りという障害で隠れていたためと読むのが自然です。

成績の数字を読むときの注意点

数字が大きく動いているため印象に残りますが、読み方には注意が要ります。まず、伸びの大部分は「堂々巡りで答えにたどり着けなかった問題が、答えまで届くようになった」ことによるものです。賢さそのものが上がったというより、壊れていた部分が直ったと見るほうが、公表された内容に近いと考えられます。

項目研究チームの公表値第三者による再実行読み方
MATH-500(書き換え後)48.1%51.0%(全500問を4回ずつ)近い値が再現されている
MATH-500(元のモデル)7.9%5.0%(25問だけの簡易確認)比較の土台は簡易な確認にとどまる
GSM8K と IFEval の結果67.1%と62.3%再実行の記載なし研究チームの自己申告
出力の上限に達した割合93.0%から33.1%へ31.6%(書き換え後)堂々巡りの減少が伸びの中心

次に、第三者による再実行は MATH-500 だけで、GSM8K と IFEval の数字は研究チームの公表値のままです。また、評価は考える過程を出力する特定の設定と、出力の上限を大きく取った条件で行われています。設定が変われば数字も変わりうるため、自社の用途で同じ伸びが得られるとは限りません。

さらに、モデルカードによると、ブログで評価したのは文章だけを扱う形に書き出したモデルで、公開されているのは画像も扱える完全版です。言語部分の重みはハッシュ値で同一と確かめられ、文章だけの入力では画像を読む部分は使われないと説明されています。画像を含む入力での振る舞いは評価されておらず、評価されていない使い方については何も保証されていないと受け止めるのが妥当です。

重みの検証。ハッシュ値と差分を公開するという透明性

このモデルで特に評価できるのは、検証のための情報の出し方です。モデルカードによると、Astra による書き換えは、作業記録の公開場所にビット単位で正確な差分として公開されています。公開されている重みは、その差分を元のモデルに当て直して作り直されたもので、作り直した各テンソル(重みの行列)が、ブログで評価したものと同じかを SHA-256(データの指紋を計算する代表的な方式)のハッシュ値で照合したと説明されています。

モデルカードには、元のモデルのどの版から出発したかを示す識別子と、変更された二つのテンソルそれぞれのハッシュ値が表として載っています。これにより、使う側は理屈の上では、元のモデルとの違いが本当にこの二か所だけなのか、手元の重みが公表されたものと同じなのかを確かめられます。ブログによると、作業記録の公開場所には、Astra に送った指示、応答と考えの要約、実行したコードとその出力、評価の根拠までが含まれています。

公開モデルの多くは、どのデータで、どの手順で、元のモデルから何を変えたのかを細かく示していません。今回のように出どころ・変更点・検証の手段をそろえて出すやり方は、モデルの供給網(サプライチェーン)の透明性を考えるうえで良い手本です。ただし、検証の情報があることと、使う側が実際に検証することは別です。ハッシュ値は照合して初めて意味を持ちます。

安全性の評価。注意付きとした根拠

当ラインでは、公開情報を読んだ範囲で次の事実を確かめ、このモデルを「注意付き」と判定しました。

安心材料は三つあります。一つ目は、ライセンスが Apache-2.0 で、利用の条件が明確なことです。二つ目は、重みが safetensors 形式だけで、読み込むと任意のプログラムが実行されうるピクル形式のファイルが無いことです。三つ目は、読み込みに独自のプログラムを必要としないことです。モデルの外側のコードを信頼しなければならない構成ではありません。加えて、前の章で見たとおり、変更点と検証の手段が公開されています。

注意を付けた理由は、これが個人の研究としての公開であり、実験の成果物だという点です。成績の多くは研究チームの自己申告で、第三者の再実行は一部の試験にとどまります。公開から日が浅く、利用の実績もまだありません。そして、問題が見つからなかったことは、安全の保証ではありません。精査は公開情報を読んだ範囲のもので、当ラインはモデルを取得・実行しておらず、ハッシュ値の照合も、有害な出力への耐性の確認もしていません。

研究としての公開であることと、利用の前提

このモデルは、研究チームのブログが「ごく初期の結果」と位置づける実験の一部です。ブログ自身も、能力はまだ限られていること、重みを読み取る試みが課題によっては失敗したこと、いくつかの実験は試行の回数が少ないことを、限界として挙げています。製品として保守される前提のモデルではなく、研究の再現と検証のための公開と受け止めるべきです。

元になった Qwen3.5-0.8B のモデルカードも、想定する用途を試作、特定の作業向けの追加学習、研究や開発としています。今回の書き換えは数学の堂々巡りを減らすことを狙ったもので、ほかの能力や安全面の振る舞いにどんな影響があったかは、公開情報からは十分に分かりません。指示に従う力を測る IFEval の数字は上がっていますが、有害な依頼を断る振る舞いが変わったかどうかは確かめられていない点に注意が要ります。

ライセンスの面では、モデル本体は Apache-2.0 です。作業記録の公開場所については、モデルカードに CC BY 4.0 と MIT の表示があります。社内で研究や検証に使う場合でも、どの部分にどのライセンスが掛かるかは法務部門と条文で確かめておくと安心です。

悪用されうるリスク。わずかな書き換えで振る舞いが変わる意味

ここからは推測を含みます。今回の研究は、性能を上げる方向の書き換えでした。しかし同じように、ごく一部の重みを狙って書き換える手法が、悪意のある改ざんにも使われうる可能性は否定できません。たとえば、特定の話題でだけ誤った答えを返す、特定の言葉を含む入力にだけ反応する、安全のための拒否を弱める、といった変更が考えられます。現時点で、この研究の手法がそうした目的に使われたという報告は確認できていません。

この種の改ざんが厄介なのは、普段の使い方ではほとんど違いが表に出ない可能性があることです。全体の0.016%の変更であれば、ファイルの大きさも形式も元のモデルと変わりません。一般的な試験の成績も大きくは動かないかもしれません。ブログでは、別の実験で、重みだけを見て「おもねる性格に仕込まれたモデル」を見分けようとして、補助の手がかりが無い段階では失敗したことも報告されています。重みを眺めるだけで異常を見抜くのは、研究の最前線でもまだ難しいということです。

もう一つの論点は、こうした書き換えをAIが担える点です。人の専門家でなくても、強力なAIに作業を任せれば狙った変更ができるようになるなら、改ざんの手間は下がる方向に向かうと考えられます。ただしこれも推測で、現時点で確認できる情報は、性能を上げる方向の研究結果に限られます。守る側にできるのは、手法の詳細を追うことではなく、どのような変更が加えられても気づける確認の仕組みを持つことです。

見た目では分からない改ざんと、モデルの供給網

企業が使う公開モデルは、元の提供元から直接取得されるとは限りません。誰かが変換した版、量子化(重みの精度を落として軽くする処理)した版、追加学習した版など、派生したモデルが数多く出回っています。名前が似ていても、中身が元のモデルと同じとは限りません。今回のモデルも、名前に元のモデルの名前が含まれていますが、重みは別物です。

このため、モデルの供給網では、ソフトウェアと同じ考え方が必要になります。ソフトウェアでは、部品表(SBOM)で使っている部品を把握し、配布物のハッシュ値や署名で改ざんの有無を確かめるのが一般的になりつつあります。モデルでも、どこから取得したか、どの版か、元のモデルから何が変わったかを記録して照合することが、改ざんへの基本的な備えになります。

OWASP(ウェブの安全性に取り組む国際的なコミュニティ)が示す大規模言語モデルの主なリスクにも、供給網の弱点や、データ・モデルの汚染が含まれています。今回のモデルは攻撃ではありませんが、こうしたリスクが机上の話ではないことを、研究の側から具体的に示した例として読むことができます。

社内でモデルを使う前に重みを確かめる手順

Weight-Space Programming に限らず、社外から取得したモデルを社内で使う前には、次の5段階で出どころと中身を確かめることをおすすめします。ここで挙げるのは確認の観点で、具体的な操作の方法は社内の技術担当者と決めてください。

STEP1
取得元と公開者を記録する

どのサイトの、どのアカウントが公開したモデルかを記録します。公式の提供元か、個人や第三者による派生版かを区別し、派生版なら元のモデルが何かも書き留めます。

STEP2
版を固定し、ハッシュ値を控える

取得した時点の版の識別子と、ファイルのハッシュ値を記録します。公開元がハッシュ値を示している場合は照合し、一致しなければ使いません。以後の更新で中身が変わっても気づけるようにします。

STEP3
ファイルの形式と付属物を確かめる

重みが safetensors のような安全な形式か、読み込み時に実行されるプログラムが含まれていないかを確かめます。独自のプログラムがある場合は、中身を読んでから判断します。

STEP4
元のモデルとの差分を確かめる

派生版の場合は、元のモデルとどの部分が違うのかを技術担当者が比べます。公開元が示す変更点と、実際の差分が食い違わないかを確かめます。説明の無い変更があれば、使用を見送ります。

STEP5
自社の用途で振る舞いを試す

隔離した検証用の環境で、自社の用途に近い入力を試し、有害な依頼への応じ方も確かめます。結果と判断の理由を記録し、承認を得てから利用を始めます。

この順番で進めると、成績の数字ではなく、出どころと中身の確かさをもとに判断できます。ハッシュ値が公開されていない派生版を使うかどうかは、用途の重要度に応じて社内で基準を決めておくと、議論が長引きません。

企業が取るべき対策

このモデルを使うかどうかにかかわらず、公開モデルを社内で扱う企業が整えておきたい対策は次の五つです。

一つ目は、モデルの台帳です。社内で使っているモデルの名前、取得元、版、ハッシュ値、用途、責任者を一覧にします。個人や部署が独自に取得したモデルも対象にしないと、何が動いているかを把握できません。二つ目は、取得元の制限です。公式の提供元や、社内で審査した公開場所からだけ取得する決まりにし、それ以外の派生版は申請と審査を必須にします。

三つ目は、ハッシュ値の照合と保管です。取得時に控えたハッシュ値を、配備のたびに照合します。社内の保管場所に置いたモデルも、書き換えられていないかを定期的に確かめます。四つ目は、振る舞いの定期的な確認です。決まった確認用の質問の組を用意し、更新や入れ替えのたびに回答の変化を比べます。わずかな書き換えは一般的な試験では表に出にくいため、自社の用途に合わせた確認が大切です。

五つ目は、社内規程への反映です。モデルの取得・審査・配備・廃棄の手順と、異常に気づいたときの連絡先を、情報セキュリティの規程やAIの利用規程に書き込みます。モデルをソフトウェアの部品と同じく、出どころと完全性を管理する対象として扱うことが、全体を通した考え方です。

調達と審査で確かめたい項目

社外のモデルを取り入れるときの審査で、最低限確かめたい項目を表にまとめます。今回のモデルが各項目をどう満たしているかも並べました。

確かめる項目見るべき点Weight-Space Programming の場合
公開者と出どころ公式の提供元か、派生版なら元のモデルは何か個人の研究による派生版。元は Qwen3.5-0.8B
ライセンス商用利用や再配布の条件Apache-2.0
ファイルの形式読み込み時に実行されるものが無いかsafetensors のみ。独自のプログラム無し
変更点の説明元のモデルから何を変えたかが書かれているか二つのテンソルの一部と明記
検証の手段ハッシュ値や差分が示されているか差分とハッシュ値を公開
成績の裏付け第三者の再評価があるか一つの試験だけ再実行あり

表のとおり、このモデルは透明性の面では多くの項目を満たしています。それでも、研究目的の派生版を業務にそのまま使ってよい理由にはなりません。透明性が高いことは、検証できるという意味であり、検証が済んだという意味ではないからです。

AIに任せる範囲と、人が決める範囲

今回の研究は、AIがモデルの重みを読み書きできる段階に近づいていることを示しました。将来、モデルの監査や修正をAIに任せたくなる場面も増えるでしょう。しかし、ブログの実験でも重みの読み取りは課題によって失敗しており、AIに判断させず、根拠を示させたうえで人が決めるという線引きが欠かせません。次のような運用は避けます。

  • 名前に有名なモデル名が入っているという理由だけで、派生版を公式のモデルと同じものとして扱う
  • 公表された成績の数字だけを根拠に、検証せずに業務へ組み込む
  • 公開されているハッシュ値を照合せず、透明性があるという印象だけで安心する
  • モデルの監査や改ざんの有無の判断を、AIの出力だけに任せて人が確かめない
  • 取得したモデルの版や取得元を記録せず、後から何が動いていたか説明できない状態にする

人が決めるべきなのは、どの取得元を認めるか、どの確認を済ませたら使ってよいか、異常に気づいたら誰がどう止めるかです。AIに確認作業を手伝わせる場合も、なぜ問題ないと判断したのかという根拠を書かせ、その根拠を人が確かめます。また、人が必ず確認する範囲を先に決めておくと、扱うモデルの数が増えても確認の抜けを防げます。

よくある質問

このモデルを業務で使ってもよいですか

研究の実験の成果物で、数学の堂々巡りを減らすことを狙ったものです。安全面の振る舞いへの影響は確かめられておらず、当ラインでは「注意付き」と判定しています。使う場合も、隔離した環境での検証から始め、研究や検証の用途にとどめるのが妥当です。

ハッシュ値が一致すれば安全と言えますか

ハッシュ値の一致が示すのは、手元の重みが公表されたものと同じだということだけです。公表された重みそのものが望ましい振る舞いをするかどうかは、別に確かめる必要があります。ハッシュ値は改ざんに気づくための道具であり、安全の証明ではありません。

自社のモデルが書き換えられていないかは、どう確かめればよいですか

取得時にハッシュ値を控えておき、配備のたびに照合するのが基本です。取得時の記録が無いモデルは、公式の提供元が示す値と照合するか、公式の提供元から取得し直すことを検討します。あわせて、確認用の質問の組で振る舞いの変化を定期的に比べます。

  • 本記事の内容は、2026年11月10日に確認した Hugging Face のモデルカードとファイル一覧、研究チームのブログ記事、元のモデルのモデルカードに基づきます。数値やファイル構成は今後の更新で変わる可能性があります
  • 成績の数字は研究チームの公表値と、モデルカードに記載された再実行の結果で、当ラインでは検証していません。モデルや関連するコードは取得・実行しておらず、ハッシュ値の照合もしていません

まとめ

Weight-Space Programming は、最先端の大規模言語モデルが学習を使わずに Qwen3.5-0.8B の重みの約0.016%を書き換え、数学の問題での堂々巡りを減らしたとされる研究用のモデルです。公表値では MATH-500 の正答率が7.9%から48.1%に上がり、別の担当者による再実行でも51.0%という近い値が出ています。当ラインでは、Apache-2.0 のライセンス、safetensors 形式だけの重み、独自のプログラムが無いこと、差分とハッシュ値の公開を確認した一方、個人の研究としての公開で成績の多くが自己申告であることから「注意付き」と判定しました。問題が見つからなかったことは安全の保証ではありません。

このモデルから企業が学ぶべきなのは、ごく一部の書き換えでモデルの振る舞いが大きく変わりうるという事実です。同じことが悪意のある改ざんに使われる可能性もあると考え、出どころの記録、ハッシュ値の照合、元のモデルとの差分の確認、自社の用途での振る舞いの確認を手順にしておくことが大切です。そのうえで、AIに判断させず、人が確認する範囲を先に決めておくことが、公開モデルと安全に付き合うための出発点になります。

出典(一次情報)

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。

あなたのWebサイトは、AIによる攻撃に耐えられますか?

AIを活用してWebサイト・Webサービスの脆弱性を診断し、発見した問題と推奨する修正方法をご報告します。

運営会社:株式会社デボノ

目次