ローカルLLMのガードレールは剥がせる：オープンウェイトモデルのリスク管理
はじめに
ChatGPTやClaudeのようなクラウドのAIサービスは、有害な使い方をガードレールと呼ばれる仕組みで抑えています。危険な依頼を拒否するようモデルを学習させ、その外側にも検査や監視をいくつも重ねる作りです。では、自社のサーバーにダウンロードして動かすオープンウェイトモデル（重み、つまり学習済みのパラメータが公開されたモデル）では、この安全性を誰がどう確保するのでしょうか。ローカルLLM（自社の環境で動かす大規模言語モデル）の導入検討がある程度進むと、リスク管理部門やセキュリティ審査から必ずこの論点が出ます。顧客データを外部のAPIに出せない金融機関などから受ける相談でも、避けて通れません。
先に答えると、オープンウェイトモデルにも安全のための学習は入っていて、配布されたままの状態なら有害な指示を拒否します。「オープンモデルにはガードレールがない」わけではありません。ただし、その安全学習は技術的に除去でき、除去されても提供元には止める手段がありません。変わるのはガードレールの有無ではなく、それを管理する主体です。
クローズドAPIと何が違い、安全学習の除去とは何をすることなのか。そこから規制の現状と、各国がオープンモデルを手放せない事情までを追い、最後に、ローカルLLMの導入で自社が引き受けることになるリスク管理の範囲を整理します。
対象読者:
- ローカルLLM・オープンウェイトモデルの導入を検討していて、社内のセキュリティ審査やコンプライアンスに説明する立場の方
- 「オープンなAIは危険なのか、安全なのか」という問いに、二元論ではない整理を持ちたい方
- 主権AI（ソブリンAI）やAIガバナンスの議論を、技術の構造から押さえたい方
記事のポイント:
- クローズドモデルとオープンウェイトモデルの違いを、「ガードレールの有無」ではなく「防御の層の数」として整理します
- 学習段階の安全対策は少量の追加学習や重みの編集で除去でき、公開された重みは回収できないという技術的事実を、悪用の手順には踏み込まずに説明します
- EU AI Actと日本のAI推進法・AI事業者ガイドラインの現状、主権AIとの関係、ローカルLLM導入時に自社へ移るリスク管理の範囲を示します
重みについてくるのは、防御のうち一層だけ
クラウドサービスのガードレールは、性質の違う層がいくつも重なってできています。
いちばん内側は、学習の段階でモデル自体に組み込まれる層です。人間のフィードバックによる強化学習（RLHF）や安全性に特化した追加学習で、危険な依頼を拒否する挙動をモデルの重みに覚え込ませます。モデルを人間の意図に沿わせるこの調整をアラインメント（alignment）と呼びます。
その外側では、推論のたびに働く仕組みが動いています。モデルに渡す指示文（システムプロンプト）で振る舞いを縛り、入力と出力を別の分類器で検査して、有害なやり取りを遮断します。さらに外側には契約と運用があります。利用規約で用途を制限し、悪用の兆候をアカウント単位で監視して、必要なら利用を停止します。APIの向こうでは、提供元がこの三層をまとめて運用しています。
オープンウェイトモデルをダウンロードしたとき、重みのファイルについてくるのは一層目だけです。QwenやKimiのような公開モデルにもアラインメントは施されていて、公式の配布版をそのまま動かせば有害な要求を拒否します。素のモデルが何でも答えるわけではないのは、この一層目が効いているからです。ただし二層目と三層目は提供元のサーバー上の仕組みと契約なので、重みには含まれません。動かす人が同等の仕組みを自分で組むことはできますが、それは義務ではなく選択になります。
つまりクローズドとオープンの違いは、ガードレールの有無ではなく、利用者が外せない層がいくつ残るかです。クローズドでは三層すべてが提供元の管理下にあります。オープンウェイトでは、手元に残った一層の扱いも含めて、すべてが動かす人の判断になります。
残った一層は、手元の操作で剥がせる
安全アラインメントの除去は、高度な攻撃者だけの操作ではありません。手法は大きく2通りに整理できて、どちらも研究で仕組みが示され、コミュニティで日常的に行われています。何が有害な出力を作れるようになるかではなく、なぜこの一層がそれほど脆いのかという構造として説明します。
1つは、少量の追加学習（ファインチューニング）でやり直す方法です。安全アラインメントは「浅い」ことが分かっていて、モデルが依頼を拒否するか応じるかは、応答の最初の数トークンでほぼ決まります。逆に言えば、拒否から入らずに依頼へ応じ始める例をいくつか見せて追加学習させれば、この冒頭の分岐を書き換えられます。Qiらが2023年に報告した実験では、10件ほどの例文と0.2ドル未満の費用で、アラインメント済みモデルの拒否挙動がほぼ機能しなくなりました。悪意のあるデータを用意する必要すらなく、業務データでの普通のファインチューニングでも安全挙動が意図せず劣化することが、あわせて確認されています。
もう1つは、追加学習を伴わず重みを直接編集する方法です。拒否する応答と応じる応答をそれぞれモデルに通して内部状態（活性）を集め、その平均の差をとると、「拒否する」という挙動がほぼ1本の方向（ベクトル）にまとまっていることが知られています（Arditi et al. 2024）。その方向の成分を各層の出力から差し引くだけで、再学習なしに拒否だけを選択的に消せます。コミュニティでabliterationと呼ばれる操作で、拒否を担う方向を焼き切るという語感の造語です（ablation「除去」に由来）。大がかりな計算資源も要りません。内部の特定の方向が特定の挙動を担うという性質は、プロンプトの例文をベクトル注入で置き換える検証が利用しているものと同じです。手法が公開され再現も容易なため、Hugging Faceには「uncensored（無検閲）」「abliterated（拒否方向を除去した）」を冠した改変版モデルが多数流通しています。
そして、公開された重みは回収できません。クローズドAPIなら、提供元は問題を見つけ次第モデルを差し替えられます。ファインチューニングをAPIで受け付ける場合も、学習データを事前に検査し、学習を終えたモデルの安全性を確かめてから顧客に渡せます。公開された重みではそのようなことはできません。
公開を規制すべきかという論争は、能力ベースの線引きへ
重みをいったん公開すると、安全対策を剥がされても後から回収できません。だからAI政策では、どのモデルを公開してよいのかが繰り返し争点になります。
公開に慎重な立場が重く見るのは、軍民両用（dual-use）の能力です。生物兵器の設計やサイバー攻撃の支援につながる能力を持つモデルは、重みが一度公開されると、その後にどんな対策を講じても行き渡った複製には届きません。
公開を擁護する陣営は、限界リスク（marginal risk）という考え方で反論します。悪用に必要な情報の多くは既にインターネット上で入手でき、モデルの公開がそこに上乗せするリスクは限定的だという主張です。加えて、外部の研究者が安全性を検証できるのは重みが公開されているモデルだけであり、オープン化は研究と安全性検証そのものを支えていると位置づけます。Metaや中国系ラボがこの立場です。
論争は「オープンか、クローズドか」の一律の線引きから、「そのモデルに何ができるか」という能力ベースの線引きに収斂しつつあります。EUのAI法（AI Act）は汎用AIモデル（GPAI: general-purpose AI model）への義務を2025年8月から適用し始めましたが、オープンソースライセンスで公開されるモデルには文書化義務の一部を免除しています。ただしこの免除は、学習時の計算量が FLOPs（浮動小数点演算の総回数）を超えるようなシステミックリスク級のモデルには適用されません。無償で公開しても、学習データの概要や著作権方針の公表義務は残ります。
日本は規制ではなく推進の枠組みを選びました。2025年に成立したAI推進法は罰則を持たず、事業者の自主的な取り組みを基本に置きます。実務の参照点は総務省・経済産業省の「AI事業者ガイドライン」で、2026年3月に第1.2版が公表されました。開発者・提供者・利用者という主体別の整理を取っており、第1.2版では同じ事業者が複数の主体を兼ねる場合の扱いが明示されています。オープンウェイトモデルを社内で動かしてファインチューニングする企業は、利用者であると同時に、開発者・提供者としての責務の一部を引き受けることになります。
各国がオープンウェイトを手放せない事情：主権AI
規制の議論が公開の全面禁止に向かわないもう一つの理由が、主権AI（Sovereign AI、ソブリンAI）です。国や地域が、自前の計算基盤・データ・人材・法制度のもとでAIを保有し運用できる状態を指します。動機は、海外の提供元による提供停止や条件変更に事業や行政が左右される依存リスク、機微なデータを国外のクラウドに置けないというデータ主権、自国語と自国文化をモデルに反映させる必要の3つに整理できます。
この言葉を積極的に広めたのはNVIDIAのJensen Huangで、各国にGPUデータセンターへの投資を促す営業の文脈と、経済安全保障の文脈が混ざったまま使われています。用語の出自は割り引いて読むとしても、動機そのものには実体があります。日本でも経済産業省のGENIACによる計算資源の支援のもとで国産モデルの開発が続き、デジタル庁は2026年3月、行政向けのAI基盤「源内」で国産7モデル（NTTのtsuzumi 2、ソフトバンクのSarashina、Preferred NetworksのPLaMoなど）を採択しました。行政データを扱う基盤に国内開発のモデルを並べる判断は、データ主権と依存リスクの文脈にあります。
フロンティア級のモデルをゼロから作れる組織は、世界でも一握りです。作れない国や企業にとって、公開された重みを自前のインフラで動かし、自分のデータでファインチューニングする道は、依存を減らす現実的な選択肢になります。安全学習が剥がせるという同じ性質が、ここでは「提供元の判断に縛られず、自分の用途に合わせて調整できる」という価値として現れます。量子化（重みの数値精度を落としてメモリ消費を減らす処理）などの有志コミュニティの工夫でローカルで動かす敷居も下がり続けており、オープンモデルの規制強化には、この主権AIの観点からの反対が繰り返し示されてきました。
ローカルLLMの導入で、考慮すべきもの
ここまでの整理を、導入する企業から見て並べ直します。クローズドAPIを使っているあいだ、防御の二層目と三層目は提供元の仕事でした。ローカルLLMに移すと、この二層は消えるのではなく、自社の設計項目に変わります。
どこまで組むかは、社内で使うか、外部の顧客に出すかで大きく変わります。社内の業務支援であれば、使うのは身元の分かる従業員です。誰がどの用途で使ってよいかを定めた利用規程と、入出力を残すログがあれば、提供元が担っていた悪用の監視をかなりの部分まで代替できます。外部提供では前提が変わります。不特定の利用者が触れるため、拒否を外したモデルをうっかり載せれば、有害な出力がそのまま顧客に届きます。入力と出力を検査するガード（別のモデルやルールベースのフィルタ）と悪用の監視が必須になり、どの基準で何を遮断するかも業務に合わせて自社で設計します。クローズドAPIが担っていた二層を、実質的に自前で作り直すことになります。
ファインチューニングを行うなら、管理はもう一段増えます。先に見たとおり悪意のないデータでの追加学習でも安全挙動は劣化するので、学習のたびに業務性能と安全挙動の両方を評価し直す運用が要ります。安全性の改善も、自動では反映されません。クローズドAPIなら、提供元がモデルを更新するたびに最新の対策が使う側へ行き渡ります。ダウンロードした重みは公開時点で固定されたファイルなので、提供元が改良版を出しても、こちらが入れ替えない限り古いままです。いつどのモデルへ乗り換えるかの判断と検証も自社に残ります。
自前になるのは安全対策だけではありません。性能の見え方にも同じ構図があります。クローズドAPIで測った精度は、モデルの重み単体ではなく、提供元が組んだharness（足回り。ツールの実行環境、検索、複数回サンプリングして選ぶ推論時の工夫、練り込まれたシステムプロンプトなど）込みの数字です。重みをそのまま動かすと同じモデルでもこの数字は出ず、ツールを繰り返し呼ぶエージェント的なタスクほど差が開きます。加えてローカルでは量子化して動かすことが多く、わずかな精度低下も乗ります。評価はAPIで、本番はローカルで、という進め方だと見込みが狂うので、性能を出すharnessも自前で組む前提で見積もります。
データを外に出さないという利点は確認に時間がかかりません。導入の可否を実際に分けるのは、この運用コストを引き受けられるかどうかです。
まとめ
オープンウェイトモデルの安全性は誰がどう確保するのか、という冒頭の問いに戻ります。配布されたままなら安全学習が働くので、どんな依頼にも応じるわけではありません。ただしその安全学習は少量の追加学習や重みの編集で除去でき、除去を提供元が止めることはできません。防御は一層だけになり、その一層の管理者は自社に変わります。
規制はこの構造を前提に、オープンか否かではなく能力ベースの線引きへ向かっています。各国が主権AIの動機でオープンウェイトを必要とし続ける以上、剥がせるモデルが出回る状況は今後も変わりません。リスク管理の主体は、モデルの提供元から、動かす企業と社会の手に移ってきています。
導入を検討しているなら、クローズドAPIを前提に作られた社内のAI利用ルールを開いて、「提供元がやってくれている前提」になっている項目に印を付けるところから始めてください。入出力の検査、悪用の監視、規約による用途の制限、安全性の更新あたりに印が並ぶはずです。その印の数が、ローカルLLMで自社が新たに設計する項目の数です。社内利用ならログと利用規程で足りる項目も、外部の顧客に出す構成では本番の品質で用意することになります。
