J3とJ1が戦うカップ戦、リーグ戦だけで学んだ予想は通用するか
当サイトの予想はリーグ戦だけから学んでいます。カテゴリーをまたぐルヴァンカップの159試合で答え合わせをすると、比べたどの方法よりも良い結果でした。ただし、上のカテゴリーの勝ちを低めに見る偏りもあります。
ルヴァンカップでは、J3のクラブがJ1のクラブを迎えるような、カテゴリーをまたぐ試合が組まれます。当サイトの予想はリーグ戦だけから学んでいて、J3とJ1が直接戦った記録は持っていません。それでも、こうした試合の確率を出してよいのか。過去のルヴァンカップで答え合わせをしました。
なぜ気になるのか
当サイトの勝敗確率は、得点モデル(両チームに何点入りそうかを計算する統計モデル)だけから計算しています。モデルが学ぶのはJ1・J2・J3のリーグ戦で、直近およそ3年分(1100日)の試合です。
リーグ戦では、クラブは基本的に同じカテゴリーの相手としか戦いません。J3のクラブの「攻める力・守る力」はJ3の相手との試合から、J1のクラブの力はJ1の相手との試合から見積もられます。そのままでは、J3のクラブとJ1のクラブを同じ物差しで比べられるとは限りません。
答え合わせのやり方
対象は、2010年以降のルヴァンカップの全試合です。各試合の予想には、その日より前に終わった試合だけを使いました(walk-forward)。本番と同じ設定で、学習もリーグ戦だけです。
各クラブのカテゴリーは、その試合の日より前に、最後に出たJ1・J2・J3のリーグ戦で決めました。スコアは90分のものです。
比べる相手として、次のものを並べました。
- 当サイトのモデル(本番と同じもの)
- 同じモデルに、カップ戦も学習させたもの
- Eloレーティング(勝ち負けから計算する強さの点数。こちらはカップ戦からも学ぶ)
- 同じカテゴリーの組み合わせ(J3対J1など)の過去の成績
- リーグ全体の、ホーム勝ち・引き分け・アウェイ勝ちの割合(基準率)
採点はRPS(ランク確率スコア)です。0が完璧で、低いほど良い数字です。
結果:またぐ試合でも、どの比べる相手より良かった
| 組み合わせ | 試合 | 当サイトのモデル | カップ戦も学習 | Elo | 組み合わせの過去成績 | 基準率 |
|---|---|---|---|---|---|---|
| 同じカテゴリー | 795 | 0.2288 | 0.2287 | 0.2304 | 0.2337 | 0.2333 |
| 1つ違い | 120 | 0.2311 | 0.2326 | 0.2327 | 0.2326 | 0.2426 |
| J3対J1 | 39 | 0.1453 | 0.1376 | 0.1998 | 0.1823 | 0.2693 |
| J3が出る試合 | 75 | 0.2014 | 0.1998 | 0.2167 | 0.2146 | 0.2591 |
| またぐ試合すべて | 159 | 0.2101 | 0.2093 | 0.2247 | 0.2202 | 0.2491 |
「1つ違い」は2018年から、「J3が出る試合」は2024年からの試合です。J3のクラブがルヴァンカップに出るようになったのが2024年だからです。
カテゴリーをまたぐ159試合で、当サイトのモデルのRPSは0.2101でした。組み合わせの過去成績(0.2202)、Elo(0.2247)、基準率(0.2491)のどれよりも良い数字です。J3対J1の39試合でも、0.1453対基準率0.2693と大きく上回りました。
一方、カテゴリーが1つ違うだけの120試合では、比べる相手との差はわずかです。表の上から下へ、カテゴリーの差が大きい試合になるほど、モデルと比べる相手との差も開いています。
リーグ戦だけで学んでいるのに、なぜカテゴリーをまたげるのか。鍵は、およそ3年の学習期間の中で昇格・降格したクラブです。J3からJ2に上がったクラブは、J3の相手ともJ2の相手とも戦っています。そうしたクラブがカテゴリーどうしをつなぎ、J3とJ1を同じ物差しに乗せています。
ただし、はっきりした偏りがある
RPSは良くても、確率の置き方に偏りがないとは限りません。カテゴリーをまたぐ159試合を、上のカテゴリーの側から見て平均しました。
| 上のカテゴリーの勝ち | 引き分け | 下のカテゴリーの勝ち | |
|---|---|---|---|
| 当サイトのモデル | 50.4% | 25.4% | 24.2% |
| カップ戦も学習 | 53.0% | 23.9% | 23.1% |
| Elo | 43.1% | 24.2% | 32.7% |
| 実際 | 55.3% | 18.9% | 25.8% |
当サイトのモデルは、上のカテゴリーの勝ちを50.4%と見ていましたが、実際は55.3%でした。引き分けは25.4%と見て、実際は18.9%です。上のカテゴリーの勝ちを低めに、引き分けを高めに見る傾向があります。
Eloは、上のカテゴリーの勝ちを43.1%と見ていて、ずれがさらに大きくなっています。カップ戦からも学んでいるのに、上のカテゴリーの強さを低く見ていました。
当サイトでは、totoが売られずmini totoだけが売られる週の回ページで、カテゴリーの違うクラブどうしの試合に「カテゴリーの違う相手」と添え、この傾向を注記しています。
カップ戦も学習させれば良くなるか
同じモデルにカップ戦も学習させると、少し良くなりました。またぐ試合すべてで0.2101から0.2093、J3対J1で0.1453から0.1376です。偏りも、上のカテゴリーの勝ち53.0%・引き分け23.9%と、実際に近づいています。
それでも、当サイトの予想はリーグ戦だけで学ぶままにしています。試合数が少なく、差が誤差の範囲に収まるからです。また、カップ戦を学習に入れるとリーグ戦の予想も動きます。変えるなら、リーグ戦の予想の精度も測り直してからにします。
この検証で言えないこと
- J3が出るカップ戦は2024年からの75試合、J3対J1は39試合だけです。偏りの大きさは、幅を持って読む必要があります。
- 対象はルヴァンカップです。天皇杯の試合は含めていません。
- スコアは90分のものとして扱っています。延長戦を含んだ記録が1件も混ざっていないことまでは確かめていません。
- 直前の負傷者や先発メンバーは、確率に反映されていません。
- 過去の試合で合っていたことが、これから先も同じように合い続けるとは限りません。