「40%」は本当に40%？ 当サイトの確率を答え合わせしました
「40%」と予想した結果は、本当に4割くらい起きていたのでしょうか。2021年以降のJ1・J2・J3、5,673試合の検証をもとに、当サイトの確率を答え合わせしました。帯ごとの表も、やさしく読み解いていきます。
当サイトでは、各試合の結果を「ホーム勝ち・引き分け・アウェイ勝ち」の3つの確率でお伝えしています。では、その確率は過去の試合で本当に「言葉どおり」だったのでしょうか。今回は、的中実績と検証のページに載せている表を使って、一緒に答え合わせをしてみましょう。
「当たった・外れた」だけでは分からない
予想を見るとき、まず気になるのは当たったかどうかだと思います。けれども確率で示す予想の場合、1試合の当たり外れからは、確率の付け方が良かったのか悪かったのかを判定できません。
たとえば、本命（いちばん確率の高い結果）に45%を付けた試合を考えてみます。これは「本命以外の結果が起きる見込みのほうが大きい」と言っているのと同じです。45%の本命が外れるのはごく普通のことで、外れただけでは予想が悪かったとは言えません。
反対に、本命が当たったからといって、付けた確率が正しかったとも限りません。1試合だけでは、どちらとも言えないのです。
確率の予想で問うべきこと
では、確率の予想は何で確かめればよいのでしょうか。確かめたいのは「40%と言ったことを集めると、そのうち4割くらいが本当に起きているか」です。
言った確率と、実際に起きた割合が合っていること。これを較正（キャリブレーション）と呼びます。1試合では確かめられませんが、同じくらいの確率を付けた場面をたくさん集めれば、合っているかどうかが見えてきます。
答え合わせの前提 ― 検証のやり方
表を読む前に、数字の作り方を説明しておきます。ここがあいまいだと、どんなにきれいな表も意味を持たないからです。
検証は walk-forward（ウォークフォワード）というやり方で行っています。各試合の予想に、その試合より前のデータしか使いません。同じ日に行われた別の試合の結果も使いません。過去の試合を後から「予想」すれば精度はいくらでも作れてしまうので、そこを断っています。
対象は2021年以降のJ1・J2・J3、5,673試合です。
当サイトの勝敗確率は、得点モデル（両チームに何点入りそうかを計算する統計モデル。ディクソン=コールズ型）だけから計算しています。0-0から大量得点まで全スコアの確率を出し、それを勝ち・引き分け・負けに足し上げたものです。Eloレーティング（クラブの強さを表す点数）、休養日、調子、移動距離は、確率の計算に使っていません。
帯ごとの答え合わせの表
次の表が、この5,673試合の検証から作った答え合わせです。
1試合には「ホーム勝ち・引き分け・アウェイ勝ち」の3つの確率があります。その一つひとつを、見積もった値の近いものどうしで帯にまとめ、帯ごとに「その結果が実際に起きた割合」を数えました。1試合から3件ずつ入るので、件数は試合数より多くなります。
「予測」はその帯に集まった確率をならした値、「実際」はその結果が本当に起きた割合、「件数」は帯に入った確率の数です。20件未満の帯は省いています。
| 予測 | 実際 | 件数 |
|---|---|---|
| 7% | 21% | 33 |
| 17% | 19% | 660 |
| 26% | 26% | 7,466 |
| 34% | 34% | 4,770 |
| 44% | 45% | 2,778 |
| 54% | 55% | 1,036 |
| 64% | 61% | 224 |
| 73% | 65% | 46 |
「予測」と「実際」の数字が近いほど、確率の言葉が合っていることになります。上から順に眺めるより、件数の欄から見ていくと読みやすくなります。
件数の多い真ん中の帯は、ほぼ一致している
まずは、件数の欄を見てみてください。いちばん多いのは26%の帯で7,466件、次が34%の帯で4,770件、その次が44%の帯で2,778件です。予測の大半は、20%〜50%の帯に入っています。
その帯で予測と実際を比べると、26%に対して26%、34%に対して34%、44%に対して45%です。54%の帯（1,036件）も、実際は55%でした。数がいちばん集まっているところで、言った確率と起きた割合がほぼ重なっています。
これは冒頭の話にもつながります。44%前後と見積もった結果は、実際に45%起きていました。言い換えれば、起きなかった場面のほうが多いということです。このくらいの確率の本命が外れても、確率の言葉としては合っているのです。
両端では、自信過剰のずれがある
続いて、表の上と下の端にも目を向けてみましょう。低い側では、7%と見積もった結果が実際には21%起きていました。17%の帯も実際は19%です。高い側では、64%の帯が実際は61%、73%の帯が実際は65%でした。
ずれの向きがそろっている点に注目してください。低い確率は言ったより起きやすく、高い確率は言ったより起きにくい。低い確率はより低く、高い確率はより高く、実際よりも強く言いすぎていたことになります。これを「自信過剰」と呼びます。
なぜそうなるのかは、この表からは分かりません。ここでは、ずれがあるという事実だけを書いておきます。当サイトで両端に近い確率を見たときは、この表のずれを思い出してください。
両端は件数が少ない
ただし、両端の帯は件数が少ないことにも注意が必要です。7%の帯は33件、73%の帯は46件しかありません。7,466件ある26%の帯と比べると、ずっと小さな集まりです。
件数が少ないと、たまたまの偏りで「実際」の割合が大きく動きます。両端のずれの大きさそのものは、幅を持って読む必要があります。
それでも、これらの帯を表から消すことはしません。省くのは20件未満の帯だけで、都合の悪いずれが出ている帯もそのまま載せています。
的中率とRPSは、見ているものが違う
確率の予想を採点する数字として、当サイトは的中率のほかにRPSを出しています。
的中率は、本命が当たったかどうかだけを見る数字です。検証での本命の的中率は45.5%でした。3択なので、何もしなければ約33%です。ただし的中率では、本命にどれだけの確率を付けていても、当たれば同じ「的中」です。本命以外の2つにどう確率を配ったかも、数字に表れません。
RPS（ランク確率スコア）は、3つの確率の付け方全体を採点する指標です。0が完璧で、低いほど良い予想です。起きた結果に高い確率を置いていたほど良くなり、起きなかった結果に高い確率を置いていたほど悪くなります。検証でのRPSは0.2212でした。
あわせて出している対数損失も、確率の付け方を採点する指標で、こちらも低いほど良い数字です。検証では1.0561でした。
的中率は本命が当たったかだけを、RPSは確率の付け方全体を見ている。この違いを押さえておくと、次の公開後の数字も読みやすくなります。
公開後の39件は、良く見えても証拠にしない
検証とは別に、締切前に公開して結果が確定した予想があります。こちらは全39件で、本命が当たったのは20件（51.3%）でした。検証の45.5%より高い数字です。
けれども、この数字をモデルの実力の証拠にはしません。39試合は3開催分にすぎず、実力を測れる数ではないからです。この件数では、運の振れ幅のほうが大きく出ます。
モデルの実力に近いのは、5,673試合の検証のほうです。公開後の予想は、100試合を超えたら実績として読めるようになります。良く見える数字だからこそ、件数を確かめてから読む。低く出ていたとしても、同じ理由で実力の証拠にはしません。
締切前に残しているから、誰でも答え合わせできる
当サイトの予想は締切前に記録し、後から書き換えません。外れた予想も消しません。
出した後で確率を直せるなら、答え合わせの一致はいくらでも作れてしまいます。書き換えずに残しているから、この答え合わせは当サイトの中だけの話で終わらず、第三者がやり直せます。公開後の予想が積み上がれば、「40%と言ったことが4割起きているか」を読者自身が確かめられるようになります。
この答え合わせで言えないこと
- 個々の試合の的中は約束できません。確率の言葉が合っていることと、ある1試合が当たることは別の話です。
- 直前の負傷者やスタメンは、確率に反映されていません。
- 過去データでの検証は、公開後の成績とは別物です。検証は前のデータだけを使って過去の試合に当てはめたもので、締切前に公開した予想の記録ではありません。その公開後の記録は、まだ39件です。
- 両端の帯は件数が少なく（7%の帯は33件、73%の帯は46件）、ずれの大きさは幅を持って読む必要があります。
- 表はJ1・J2・J3と、ホーム勝ち・引き分け・アウェイ勝ちをまとめたものです。どのカテゴリーの、どの結果でずれているのかは、この表だけでは読み取れません。
- 2021年以降の試合で合っていたことは、これから先も同じように合い続けることを約束するものではありません。
