業務特化プライベートLLM

Glassbox LLM

内部状態の解析に対応した、
業務特化型LLM。

業務に特化させた小型のプライベートLLMに、モデル内部の状態を使った監査機能を付けて提供するパッケージです。出力の文面だけでなく、モデル内部の状態も使って、1件ごとに確からしさの推定値を添えます。推定の精度は、PoCでお客様のデータを使って実測します。

仕組みを見る導入について相談する

Why

出力結果だけでは把握しにくいLLMの誤り

LLMは事実と異なる内容でも自然な文章を生成することがあり、出力結果だけでは誤りを判別しにくい場合があります。モデル内部の状態には、出力の正誤や挙動と関連する情報が含まれることが研究されています。Glassbox LLMでは内部状態の解析機能を備え、出力の検証と業務上のリスク管理を支援します。

モデル内部の検査に制約がある

一般的な外部APIの利用では、モデル内部の状態を直接検査することが難しく、監査は主に出力の文面に頼ることになります。もっともらしい誤りは、文面からは見分けにくくなります。

定型業務での処理コスト

文書の分類や抽出のような定型業務では、モデルの規模や利用量によって処理コストと応答速度が課題になることがあります。

機密データの取り扱い

外部への送信が制限される業務では、API型のLLMの導入に制約があります。

How

外部APIのLLMと、監査に使える情報を比較します

外部APIのLLM

Glassbox LLM

監査に利用できる情報

外部API：主に出力の文面と、提供元が出すログや確率

Glassbox LLM：出力に加えて、モデル内部の状態と、そこから推定した確からしさ

誤りの検出方法

外部API：出力の文面を人やルールで確認する

Glassbox LLM：生成と同時に内部状態を検査し、疑わしい出力を人の確認に回す。検知の精度はPoCで評価する

検収

外部API：出力のサンプルを確かめる

Glassbox LLM：内部状態への問い合わせで、想定外の挙動が残っていないかを検査する

データの送信先

外部API：API提供元の環境（プライベート環境を選べるサービスもある）

Glassbox LLM：オンプレミスまたはお客様のクラウド内で完結し、外部に送信しない

モデルの大きさ

外部API：汎用の大規模モデル

Glassbox LLM：対象業務に絞って調整した小型モデル

Glassbox LLM は、特定の業務に特化させた小型のプライベートLLMを、監査機能つきで導入するパッケージです。文書の分類・抽出・審査補助のような定型度の高い業務では、小型モデルを蒸留やファインチューニングで調整することで、業務の要件によっては処理コストや応答速度を改善できます。

外部APIのLLMとのいちばんの違いは、モデルの内部状態に直接アクセスできることです。線形プローブによる出力の信頼度推定、SAE（スパースオートエンコーダ）で取り出した特徴の監視、内部状態への監査クエリ（Activation Oracles）など、通常の外部APIだけでは実施しにくい検査を、推論と同時に、あるいは検収・定期監査の形で実行し、監査情報として出力に添えます。

Features

提供する機能

業務に特化した小型モデル

対象業務に絞って小型モデルを調整するため、汎用の外部APIより低いコストで速く応答します。

お客様の環境内で処理

お客様の環境の中で完結して動くため、機密データを外部に送信せずに使えます。

内部状態を用いた検査

APIでは取得できないモデルの内部状態を使い、出力だけでは分からない監査情報を付加します。

対象業務のデータで小型モデルを蒸留・ファインチューニングし、汎用モデルに頼らずに業務に必要な精度を出します。
生成と同時に内部状態を検査するハルシネーション検知で、出力の確からしさの推定値を1件ごとに付けて、疑わしい出力を人の確認に回します。
業務ルールに関わる内部の特徴を監視項目として設計し、出力の文面だけでは見えない逸脱の兆候を捉えます。
ファインチューニング後の検収では、内部状態への問い合わせで想定外の挙動が残っていないかを検査します。
オンプレミスまたはお客様のクラウド内で完結し、推論データも学習データも外部に送信しません。

Use cases

業界ごとの適用イメージ

クレジット: 審査資料の要約や定型チェックの補助に使い、出力の確からしさの推定値と監査ログを添えて、検証できる形で審査プロセスに組み込みます。
保険: 査定や照会応答の補助に、契約情報や健康情報のような機密データを外部に送信せずに使える閉域構成で導入します。
資産運用: 運用報告やリサーチ文書の下書きに使い、事実と食い違う可能性のある記述を内部状態の検査で拾って、人の確認に回します。

Process

PoCで精度・速度・費用を確かめ、本番導入を判断できます

01
要件整理

目安2〜4週間

対象業務と求める品質基準、データと実行環境の制約を確認し、適用できるか・どの程度の効果が見込めるかを整理します。導入を見送るべきという判断も含めてお出しします。
02
PoC構築

目安1〜2か月

お客様のデータで小型モデルと監査機能の試作を構築し、精度・応答速度・運用コストを実測します。本番導入の可否を、実測値をもとに判断できる状態にします。
03
本番導入と伴走

目安2か月〜

本番環境への組み込みと運用設計を行います。導入後もモデルの更新、監視項目の見直し、定期監査の運用を伴走して支援します。

内部状態の検査手法に関連する技術情報を技術ブログで公開しています。

対象業務や導入要件についてご相談ください

対象業務への適用可能性と期待効果を整理します。導入を見送るべき場合も、その理由を含めてお伝えします。通常3営業日以内に返信します。

相談する

内部状態の解析に対応した、業務特化型LLM。