予兆検知のアラートを毎月何社に出すか：担当者が確認できる件数から決める
はじめに
融資先の予兆検知モデルを入れると、毎月、担当者の手元に「要確認先」の一覧が届きます。担当先が50社ある渉外担当者にとって、一覧に載った先を本当に確認するとは、試算表を取り寄せ、資金繰りの見通しを聞き、必要なら訪問することを指します。通常の業務と並行してそこまでできるのは月に数社で、この記事では3〜5社の中ほどにあたる月4社を前提に置きます。
導入の打ち合わせでは、まず「スコアが何点を超えたら要確認にするか」が話題になります。閾値を決めれば件数は後からついてくる、という見込みです。ところが景気が悪くなると全社のスコアが一斉に上がるので、同じ閾値のままでは一覧が数倍に膨らみ、担当者はそのほとんどを深く確認できなくなります。
合成データの融資先2,000社で試すと、景気悪化局面ではスコア50点以上の先が平時の約3倍に増えました。一覧には悪化先の半分以上が載っていたのに、担当者が深く確認できた範囲で拾えたのは悪化先の4社に1社でした。件数の上限は、モデルの精度や閾値よりも先に決まっています。この記事では、その上限から逆算して要確認先の出し方を選ぶ手順を整理します。
対象読者:
- 融資先の期中モニタリングに予兆検知モデルを入れようとしている、地域金融機関の融資部・審査部・リスク管理部の方
- 「閾値を何点にするか」を決める立場にあり、景気が変わったときの運用まで見通しておきたい方
- 予兆検知モデルの評価指標（捕捉率・的中率）を、営業店の業務量と結びつけて説明したい方
記事のポイント:
- 要確認先の出し方を、固定閾値、担当者ごと上位k社、3か月前からの上昇幅、全体で上位N社の4つで比べ、景気悪化時にそれぞれ何が起きるかを整理します
- 担当者1人が月4社まで深く確認できるという前提で、平時と景気悪化局面の捕捉率・的中率・担当者ごとの件数の分布を合成データで比べます
- 件数の上限を先に業務側と合意し、閾値と上昇幅は候補の絞り込みに使い、上限を超えた件数を本部に報告する組み合わせを推奨します
ある担当者の今月の50社では、方式によって要確認先が入れ替わる
架空の支店の、ある担当者の今月の一覧から始めます。担当先は50社で、各社には今後6か月以内に悪化（延滞、条件変更の申出など）する見込みの高さを0〜100点で表したリスクスコアが毎月つきます。今月は景気が悪化している最中で、この担当者の50社のうち7社が、実際にその後6か月以内に悪化しました。表は、方式の違いが分かる11社を抜き出したもので、悪化した7社はすべて含めました。(d) の全体で上位N社は担当者単位で件数が決まらないので、ここでは外しています。
| 先 | 今月のスコア | 3か月前 | 上昇幅 | (a) 50点以上 | (b) 上位4社 | (c) 上昇幅 | (e) 推奨 | 6か月以内に悪化 |
|---|---|---|---|---|---|---|---|---|
| A社 | 96 | 87 | +10 | 入る | 入る | 入る | 入る | した |
| B社 | 96 | 87 | +9 | 入る | 入る | 入る | した | |
| C社 | 94 | 91 | +3 | 入る | 入る | 入る | した | |
| D社 | 90 | 95 | −5 | 入る | 入る | しない | ||
| E社 | 88 | 93 | −5 | 入る | しない | |||
| F社 | 86 | 71 | +15 | 入る | 入る | しない | ||
| G社 | 77 | 38 | +39 | 入る | 入る | 入る | した | |
| H社 | 62 | 66 | −3 | 入る | した | |||
| I社 | 52 | 21 | +30 | 入る | 入る | した | ||
| J社 | 43 | 51 | −7 | した | ||||
| K社 | 33 | 15 | +17 | 入る | しない |
この月、(a) のスコア50点以上で切る方式では、一覧が16社になりました。悪化した7社のうち6社が載っていますが、深く確認できるのは4社までです。一覧に優先順位がなければ、どの4社を見るかは担当者の手持ちの順番で決まり、16社から4社を選ぶなら悪化先に当たるのは平均で1.5社ほどにとどまります。
(b) の担当者ごとに上位4社を出す方式なら、確認しきれないことは起きません。拾えるのはA・B・Cの3社です。G社は3か月で38点から77点に上がっていますが、スコアがもっと高い先が6社あるので枠に入りません。I社も同じ理由で漏れます。
(c) は3か月前からの上昇幅で切る方式です。G社とI社を拾える一方、一覧は13社に増え、もともとスコアが低く少し上がっただけの先（K社など）も多く含まれます。(e) は後で説明する組み合わせで、上限4社のうち1枠を大きく上昇した先に割り当て、G社をA・B・Cと一緒に拾っています。
H社とJ社は、この月のスコアが3か月前より下がっていて、件数を4社に絞る方式ではどれも拾えませんでした。モデルの識別力の限界で、件数の出し方で救える先ではありません。1件ずつ見ると、方式の違いは「どの先を4社の枠に入れるか」の違いになって現れます。
要確認先の出し方は、何で切るかと、どの単位で件数をそろえるかで4通りある
要確認先の出し方は、何を基準に切るかと、件数を固定するかどうか、件数をそろえる単位をどこに置くかで分かれます。検討の場で挙がりやすい出し方を並べると、次の表になります。
| 方式 | 何で切るか | 件数の決まり方 | 景気が悪化したときに起きること |
|---|---|---|---|
| (a) 固定閾値 | スコアが50点以上 | スコアの分布しだいで月ごとに変わる | 全社のスコアが上がり、一覧が膨らむ。確認しきれない先が出る |
| (b) 担当者ごと上位k社 | 担当先の中でのスコア順 | 1人k社で固定 | 一覧の件数は変わらない。悪化先が増えても枠からあふれた先は出てこない |
| (c) 上昇幅 | 3か月前からのスコアの上昇幅 | 変化の大きさしだいで変わる | 景気の悪化が始まった数か月は全社が一斉に上がり、一覧が急増する |
| (d) 全体で上位N社 | 全店でのスコア順 | 全体でN社に固定、担当者ごとにはばらつく | 全体の件数は変わらないが、リスクの高い支店の担当者に件数が集中する |
(a) と (c) は件数が結果として決まる方式、(b) と (d) は件数を先に固定する方式です。(d) は (b) と同じく件数を固定しますが、そろえる単位が全体なので、担当者ごとの件数は担当先の顔ぶれで大きく変わります。
方式は、上限を超える頻度、深く確認できた先での捕捉率、景気悪化の見え方で比べる
まず見るのは、担当者1人あたりの件数が上限を超える月がどれだけあるかです。平均が上限以内でも、担当者によって件数の偏りがあれば、確認しきれない人が出ます。そのため平均だけでなく、担当者を件数の多い順に並べたときに上位1割の境目にあたる件数（90パーセンタイル）と、上限を超えた担当者・月の割合を見ます。
次に、深く確認できた先の中で、悪化先を何割拾えたかを見ます。ここでは捕捉率を「今後6か月以内に悪化した先のうち、深く確認した先に入っていた割合」、的中率を「深く確認した先のうち、実際に悪化した割合」と定義します。一覧に載っただけで深く確認されなかった先は、捕捉に数えません。予兆検知モデルの評価では一覧に載った割合で捕捉率を計算しがちですが、それでは担当者が確認しきれない分まで成果に含めてしまいます。
最後に、景気が悪化したとき、それが一覧の件数に表れ、本部が読み取れるかを確かめます。件数を固定すると担当者の負担は安定しますが、一覧の件数からは景気の変化が読み取れなくなります。
架空の2,000社で、悪化する先が平時の2.6倍に増える景気悪化局面を作る
8支店に担当者が5人ずつ、1人50社を担当する、計2,000社の架空の融資先を36か月追いました。データはすべて合成で、実在の金融機関や融資先の数字は使っていません。
各社には、もともとの信用力の差と、支店ごとの差（地域や業種の構成の違いを想定）を置きました。毎月、一部の先が「悪化の経路」に入り、そこから2〜9か月後に悪化します。経路に入った先のスコアは月を追って上がり、もともと信用力が弱い先ほど経路に入りやすくしてあります。スコアには月ごとの観測のぶれも加えました。
景気は15か月目から悪化し始め、20〜30か月目を底として、その後は回復します。景気が悪いあいだは全社のスコアが底上げされ、悪化の経路に入る率も上がります。今後6か月以内に悪化する先の割合は、平時（3〜14か月目）で2.4%、景気悪化局面（20〜30か月目）で6.3%でした。担当者1人あたりでは、平時に月1.2社、景気悪化局面に月3.1社が、その後6か月以内に悪化する計算です。
担当者が深く確認できるのは月4社までとしました。一覧が4社を超えた月は、一覧に優先順位がないものとして、4社をランダムに選んで深く確認します。残りは浅い確認にとどまり、捕捉には数えません。(a) の閾値は50点、(c) の上昇幅の基準は平時の一覧が平均で1人4社になる9.5点、(d) は全体で上位160社（40人×4社）としました。
図の灰色の範囲が景気悪化の期間です。固定閾値の一覧は、平時には平均で1人3社ほどでしたが、景気悪化局面では9社前後まで増えています。上昇幅の一覧は、悪化が始まった15〜20か月目に全社のスコアが一斉に上がるため、平均17社まで急増しました。スコアの水準が上がりきった後は上昇幅が落ち着き、一覧も縮みます。
平時と景気悪化局面の結果をまとめると、次のとおりです。
| 方式 | 局面 | 1人あたり件数（平均） | 同（上位1割の境目） | 上限超過の割合 | 捕捉率 | 的中率 |
|---|---|---|---|---|---|---|
| (a) 50点以上 | 平時 | 3.1 | 6.8 | 25% | 34.0% | 17.2% |
| 景気悪化 | 8.9 | 15.6 | 80% | 23.7% | 20.5% | |
| (a’) 50点以上、超えたらスコア順に4社 | 平時 | 2.4 | 4.0 | 25%（候補） | 37.2% | 18.8% |
| 景気悪化 | 3.6 | 4.0 | 80%（候補） | 35.3% | 30.6% | |
| (b) 担当者ごと上位4社 | 平時 | 4.0 | 4.0 | 0% | 42.9% | 12.9% |
| 景気悪化 | 4.0 | 4.0 | 0% | 36.8% | 28.9% | |
| (c) 上昇幅 | 平時 | 4.0 | 7.0 | 39% | 33.5% | 13.4% |
| 景気悪化 | 8.3 | 12.3 | 85% | 23.4% | 19.1% | |
| (d) 全体で上位160社 | 平時 | 4.0 | 8.6 | 34% | 32.5% | 14.3% |
| 景気悪化 | 4.0 | 8.1 | 36% | 27.5% | 30.4% | |
| (e) 上限4社＋閾値・上昇幅 | 平時 | 2.5 | 4.0 | 29%（候補） | 42.9% | 20.3% |
| 景気悪化 | 3.7 | 4.0 | 84%（候補） | 39.9% | 33.8% |
上限超過の割合は、担当者と月の組み合わせのうち一覧が4社を超えた割合です。(a’) と (e) は一覧そのものは4社を超えないので、候補が4社を超えた割合を示しました。(a’) は (a) と同じ候補から、上限を超えた月にスコアの高い順に4社だけ確認する方式で、(a) の確認先を担当者が無作為に選ぶという仮定を外した比較のために置いています。
固定閾値は景気悪化で一覧が約3倍になり、深く確認できた先での捕捉率は24%に落ちる
景気悪化局面の (a) では、悪化先の56%が一覧に載っていました。どの方式よりも高い割合ですが、担当者・月の80%で一覧が4社を超えていて、深く確認できた先で数えると捕捉率は23.7%です。一覧に悪化先が載っていても、確認する順番が決まっていないので、担当者の手元で取りこぼされます。
平時でも、(a) の一覧は担当者・月の4分の1で上限を超えていました。支店ごとのリスクの差があるため、平均が3社でも、リスクの高い先を多く持つ担当者には毎月6社、7社と届きます。逆に16%の担当者・月では、一覧が0社でした。閾値を1つ決めても、担当者ごとの負担はそろいません。
上限を超えた月に、スコアの高い順に4社まで確認するという決まりを足すと（表の (a’)）、結果はかなり変わります。景気悪化局面の捕捉率は35.3%まで戻り、(b) の36.8%に近づきました。固定閾値で困る原因の多くは、閾値の高さよりも、上限を超えたときの扱いを決めていないことにあります。
担当者ごとに件数を固定すると、急に悪化した先と景気の変化が一覧に出なくなる
(b) の担当者ごと上位4社は、どの局面でも担当者が全件を深く確認できます。平時の捕捉率は42.9%で、(e) と並んで表の中で最も高い水準でした。景気悪化局面でも36.8%を保ち、(a) を13ポイント上回っています。
代わりに、本当に悪化した先を取りこぼします。景気悪化局面では担当者1人あたり月3.1社が悪化に向かっていて、スコアの高い順に4社を選ぶと、そのうち4割弱しか枠に入りません。冒頭のG社のように急に悪くなった先は、もともとスコアが高い先に枠を取られます。
景気の変化も一覧から読み取れなくなります。一覧はいつでも1人4社なので、本部が件数の推移を見ても、平時と景気悪化局面の区別がつきません。的中率が12.9%から28.9%に上がったことは、事後に悪化先を数えるまで分かりません。
平時の (b) には別の問題もあります。悪化に向かう先が1人あたり月1.2社しかない時期に、毎月4社を深く確認させると、確認した先の9割近くが空振りになります。担当者が一覧を信用しなくなる原因になり、景気悪化局面で一覧が本当に必要になったときに確認が形だけになるおそれがあります。
全体で上位N社を選ぶと、リスクの高い支店の担当者に件数が偏る
(d) は、全店で上位160社を選ぶ方式です。全体の件数は平時の (b) と同じ1人平均4社ですが、件数の多い順で上位1割の境目にあたる担当者でも平時から8社を超え、最も多い担当者には16社が届きました。10%前後の担当者・月では1社も届きません。
本部から見ると、リスクの高い先にだけ確認の手間を集める合理的な方式に見えます。ところが、確認するのは担当者で、担当者の手間は支店をまたいで融通できません。上限を超えた担当者の分は確認されずに残り、捕捉率は平時32.5%、景気悪化局面27.5%と、いずれも (b) を下回りました。
全体で上位N社を選ぶ考え方が成り立つのは、本部の審査役や専門チームが支店をまたいで確認を引き受けられる場合です。その場合も、上限を決めるのがチームの人数に変わるだけで、上限から逆算する手順は変わりません。
確認できる件数を4社から6社に増やすと、景気悪化局面の捕捉率は37%から46%に上がる
ここまでは確認できる件数を月4社に固定してきました。この上限そのものを変えたときに捕捉率と的中率がどう動くかを、(b) の担当者ごと上位k社で見たのが次の図です。
kを1社増やすごとに、捕捉率は数ポイントずつ上がり、的中率は下がります。景気悪化局面では、kを4社から6社に増やすと捕捉率が36.8%から45.7%に上がりました。4社から2社に減らすと23.7%まで下がり、固定閾値で確認しきれなかった場合とほぼ同じ水準になります。
この図は、決裁者が「担当者の確認件数を2社増やすと、悪化先の捕捉がどれだけ増えるか」を判断する材料になります。景気悪化局面に限って本部の応援を入れる、他の業務を一時的に減らす、といった対策のほうが、モデルの改善を待つより早く捕捉率を上げられます。上限から考えると、捕捉率と的中率の数字を人員配置の問題として説明できます。
一覧の件数をどう決めても、確認できる件数が変わらない限り、捕捉率は図の曲線の上を動くだけです。誤りのコストから閾値を決める考え方は精度改善と閾値を経済的インパクトで比べる記事で扱いました。確認できる件数に上限がある現場では、閾値の議論より先にkの値を決め、そのkで何割拾えるかを見積もります。
件数の上限を先に営業店と合意し、閾値と上昇幅は候補の絞り込みに使う
ここまでの結果を踏まえて、私なら次の順番で決めます。
最初に、担当者1人が月に深く確認できる件数を、営業店と融資部で合意します。「深く確認する」の中身（試算表の取り寄せ、資金繰りの聴取、訪問など）を決めたうえで、それが月に何社できるかを営業店に答えてもらいます。この数字はモデルからは決められません。
そのうえで、固定閾値と上昇幅は、上限の中に入れる候補を絞るために使います。表の (e) がこの組み合わせです。候補はスコア50点以上か、3か月で21.5点以上（平時に1人あたり月1社ほどが該当する水準）上昇した先とし、担当者ごとに4社まで深く確認します。4社のうち1枠は上昇幅が最も大きい候補に割り当て、残りはスコアの高い順に埋めます。
この方式では、平時の捕捉率が (b) と同じ42.9%で、深く確認する件数は1人あたり平均2.5社に減りました。閾値に届く先がなければ枠を使い切らないので、的中率は20.3%と (b) の12.9%より高く、空いた時間は通常の期中管理に充てられます。景気悪化局面では捕捉率39.9%と (b) の36.8%を上回り、的中率も33.8%と最も高くなりました。乱数を変えて5回実行し直しても、景気悪化局面で (e) が (b) を1〜3ポイント上回る順序は同じでした。
景気悪化局面の数字を並べると、改善の内訳が分かります。(a) の23.7%から (a’) の35.3%への12ポイントは、上限を超えたときにスコア順に確認するという優先順位の決まりから来ています。(a’) と (b) の差は1.5ポイントで、(b) から (e) への3ポイントが、上昇幅の枠を足した分です。件数を先に決めることの効果の大半は、上限を超えたときの扱いを決めた分で、上昇幅の枠による上積みはその3ポイントにとどまります。
この差の大きさは、合成データの作り方に依存しています。今回のデータでは、悪化する先のスコアが月を追って段階的に上がるように作ったので、上昇幅を使う (e) に有利な構造になっています。実際の融資先で悪化前のスコアがどう動くかは、金融機関のデータで確かめるまで分かりません。ここでの数字は方式の違いがどこに出るかを示すためのもので、実在の金融機関で (e) の改善幅が再現されることを示したものではありません。
あわせて、候補が上限を超えた件数を、担当者別・支店別に毎月本部へ報告します。本部はこの報告から、(b) では見えなくなる景気の変化を読み取れます。合成データでは、候補の数は平時に1人平均3.4社、景気悪化局面に9.7社で、候補が上限を超えた担当者・月の割合は29%から84%に上がりました。上限超過が続く支店には本部から応援を出し、図のkを一時的に上げる、という判断をこの数字で行います。
妥協する点もあります。(e) でもH社やJ社のようにスコアが下がりながら悪化する先は拾えません。それはモデルの識別力の問題なので、入出金の動きなどスコアに入っていない情報を担当者が見る余地を、上限の外に残しておきます。また、上昇幅の枠を1つにしたのは今回の設定での選択で、上昇の大きい先が多い局面では2枠にする余地があります。枠の数を変えるときは、過去の局面で捕捉率を比べてから決めます。
決める前に、担当先数の分布と確認できる件数を自行のデータで確かめる
導入前に、自行のデータと業務で次を確かめておくと、上の手順をそのまま当てはめられます。
- 担当者1人あたりの担当先数と、その分布。支店や担当者によって担当先数やリスクの構成がどれだけ違うか
- 「深く確認する」の中身と、それが担当者1人で月に何社できるか。繁忙期や決算期でどれだけ変わるか
- 過去の景気悪化局面で、スコアの分布がどれだけ動いたか。固定閾値を置いた場合に一覧が何倍になったか
- 一覧が上限を超えたときに、どの順番で確認するかの決まりがあるか。なければ、スコア順か上昇幅の枠かを先に決める
- 上限超過の件数を誰が見て、何をきっかけに応援や上限の見直しを判断するか
過去データで捕捉率を検証するときは、各月の時点で手に入っていた情報だけでスコアを再現することが前提になります。時点がずれると「何か月前に気づけたか」が実際より長く出る問題は、予兆検知の検証で時点をそろえる記事で扱っています。そのうえで、今回の表と同じく、一覧に載った割合ではなく、上限の中で深く確認できた先での捕捉率を計算します。
まとめ
融資先の予兆検知で要確認先を何社にするかは、モデルの精度や閾値の前に、担当者が月に深く確認できる件数で上限が決まっています。合成データでは、固定閾値は景気悪化局面で一覧が約3倍に膨らみ、悪化先の半分以上を一覧に載せながら、深く確認できた先での捕捉率は24%にとどまりました。担当者ごとに件数を固定すれば確認しきれる代わりに、急に悪化した先が枠から漏れ、景気の変化も一覧から読み取れなくなります。
上限を先に業務側と合意し、閾値と上昇幅は上限の中に入れる候補の絞り込みに使い、上限を超えた候補の件数を本部に報告すれば、平時の空振りを減らしつつ景気悪化局面の捕捉率も保てます。導入を検討しているなら、まず営業店に「深く確認できるのは月に何社か」を聞き、その件数で過去の景気悪化局面を再現して、一覧が何倍に膨らむかと、上限の中で何割の悪化先を拾えたかを数えてみてください。上限を何社増やせば捕捉率がどれだけ上がるかが分かれば、応援の人員を手当てするかどうかもその数字で決められます。
