Glassbox LLM

Glassbox LLM は、特定の業務に特化させた小型のプライベートLLMを、監査機能つきで導入するパッケージです。文書の分類・抽出・審査補助のような定型度の高い業務では、汎用の大規模モデルは過剰であり、蒸留とファインチューニングで業務に特化させた小型モデルのほうが低いコストで速く動きます。

外部APIのLLMとのいちばんの違いは、モデルの内部状態に直接アクセスできることです。線形プローブによる出力の信頼度推定、SAE（スパースオートエンコーダ）で取り出した特徴の監視、内部状態への監査クエリ（Activation Oracles）など、APIの外からは実装できない検査を、推論と同時に、あるいは検収・定期監査の形で実行し、監査情報として出力に添えます。

LLMの出力は流暢で、間違っていても間違って見えません。出力の文面だけを監視する運用は、もっともらしい誤り（ハルシネーション）を素通しします。一方で、モデルの内部では、出力に現れない信号（真偽の兆候、想定外の挙動）を観測できることが分かってきました。私たちは、中身を検査できるLLMだけをリスクのある業務に置くべきだと考えており、それがGlassbox LLMの設計方針です。

外部APIのLLMでは、内部を見られないぶん監査を出力の文面に頼るしかありません。汎用の大規模モデルは、定型業務に使うにはコストと応答速度が見合いません。機密データを外部に送信できない業務では、そもそもAPI型のLLMを選べません。この3つの制約に対して、次の機能を提供します：

• 対象業務のデータで小型モデルを蒸留・ファインチューニングし、汎用モデルに頼らずに業務に必要な精度を出します。

• 生成と同時に内部状態を検査するハルシネーション検知で、出力の確からしさの推定値を1件ごとに付けて、疑わしい出力を人の確認に回します。

• 業務ルールに関わる内部の特徴を監視項目として設計し、出力の文面だけでは見えない逸脱の兆候をとらえます。

• ファインチューニング後の検収では、内部状態への問い合わせで想定外の挙動が残っていないかを検査します。

• オンプレミスまたはお客様のクラウド内で完結し、推論データも学習データも外部に送信しません。

業界ごとの適用イメージ

• クレジット

  審査資料の要約や定型チェックの補助に使い、出力の確からしさの推定値と監査ログを添えて、検証できる形で審査プロセスに組み込みます。

• 保険

  査定や照会応答の補助に、契約情報や健康情報のような機密データを外部に送信せずに使える閉域構成で導入します。

• 資産運用

  運用報告やリサーチ文書の下書きに使い、事実と食い違う可能性のある記述を内部状態の検査で拾って、人の確認に回します。

導入の進め方

1. 01

   要件整理

   目安2〜4週間

   対象業務と求める品質基準、データと実行環境の制約を確認し、適用できるか・どの程度の効果が見込めるかを整理します。導入を見送るべきという判断も含めてお出しします。

2. 02

   PoC構築

   目安1〜2か月

   お客様のデータで小型モデルと監査機能の試作を構築し、精度・応答速度・運用コストを実測します。本番導入の可否を、実測値をもとに判断できる状態にします。

3. 03

   本番導入と伴走

   目安2か月〜

   本番環境への組み込みと運用設計を行います。導入後もモデルの更新、監視項目の見直し、定期監査の運用を伴走して支援します。