条件を細かくするほど当たる罠

過学習は、過去の成績を説明できても次へ通じない状態

Googleの機械学習教材は、学習したデータへ過度に適合し、新しいデータにうまく対応できない状態を過学習として説明しています。競馬の手作業の予想ルールでも、結果を見て条件を足し続ければ似た問題が起こり得ます。以下は検証設計のための架空例で、特定の予想法の実績ではありません。

結果を見て仮説を思いつくこと自体は、分析の出発点になります。問題は、仮説を作るために使った過去のデータで、その仮説が既に確認されたかのように扱うことです。当たった理由の候補を見つける作業と、新しい対象でも成り立つかを確かめる作業を分けます。

ルールが単純でも、選び方が複雑なら注意する

最終的なルールが「ある人気帯だけ」という短い説明でも、その前に何百通りもの人気帯、期間、券種を試しているかもしれません。完成した条件の少なさだけで、過去へ合わせていないとは判断できません。どれだけ候補を比べ、どの結果を見て選んだかまで確認します。

反対に条件が多いだけで、必ず過学習だと断定することもできません。事前に根拠を持って定めた条件か、評価結果から継ぎ足した条件かで意味が違います。条件数を機械的に数えるより、作成と選択の履歴を残し、未使用の期間で再確認できる設計へつなげてください。

過去で一番良かった案と、将来に強い案は同じとは限りません。特に、悪い成績を見た後だけ例外を増やすと、振り返りでは説明が整っても、新しいレースを前にした判断手順が曖昧になります。対象を結果前に選べるかを一件ずつ確かめます。

架空例１：20件を5件へ絞って、的中率だけが上がる

架空の二十件に対し、一件百円の同じ券種を選んで四件が的中したとします。的中率は二十パーセントです。結果を見た後で条件を加え、当たった四件と外れた一件だけが残る五件に絞ると、見かけの的中率は八十パーセントになります。残した四件は、新しく予想して当てた結果ではありません。

表は左右にスクロールできます。

実際の競走成績ではありません。後から作った条件を事前に選べたとは仮定していません。

この表だけでは、残した五件の払戻も、次に同じ条件となる件数も分かりません。的中率が高くなったことから回収率が上がったと推定しないでください。例えば五件の購入五百円に対して払戻合計が四百円なら、四件当たっていても回収率は八十パーセントです。これは計算の例で実際の配当を示しません。

絞った理由を、着順を隠して説明できるか

選んだ条件が予想時点に確認できるものか、外れた対象を除くためだけの説明になっていないかを点検します。「この馬は特殊だった」と後から除く場合も、同じ理由に当てはまる他の対象へ一貫して適用してください。一件だけ都合よく除くと、どんな対象を扱う予想法なのかが変わります。

条件を絞ると、対象の競走場や季節が偏る可能性もあります。二十件中の五件が全て一つの開催に集まっていれば、独立した多くの状況で確かめた数字とはいえません。的中率の横へ件数、開催期間、購入総額、払戻総額を並べ、対象がどこまで狭まったかを見える形にします。

採用した案だけでなく、捨てた案も試行記録へ残す

試行記録には、条件の版、変更前後、変更のきっかけ、見た期間、比較した指標を残します。全ての途中案を公開記事へ長々と並べる必要はありませんが、良い結果だけを抜き出して作成経緯を消さないことが大切です。試した対象の範囲が分からなければ、偶然の上振れを選んだ可能性も確認できません。

表は左右にスクロールできます。

説明用の版名です。どの条件が有利かを勧める表ではありません。

閾値を一ずつ変えた場合も、変更を省略しないようにします。最初は七以上、次に八以上、九以上と試し、九が最も良かったなら、九だけを最初から決めた値として説明しません。判断に使った結果が同じなら、見た目の別表でも同じ期間を何度も使っています。

評価する指標も記録します。初めに回収率で比べ、悪ければ的中率へ切り替え、さらに一時期の最高値を採ると、良く見える指標を探す作業になります。何を優先し、どの指標を補助として確認するかを先に書き、変更する場合は理由と新しい評価の範囲を明記してください。

試行回数は、的中した回数とは別の記録です。一つのルールを百レース評価した場合と、百個のルールから一つを選んだ場合では、同じ百という数でも意味が違います。対象件数と探索した案の数を別の項目にして、公開する数字の背景を残します。

架空例２：探索で120％だった案が、次の期間では80％になる

一件百円を二十件ずつ選ぶという架空の比較を考えます。探索期間で案Ａの払戻が二千四百円、案Ｂが二千円なら、購入は各二千円なので回収率はＡ百二十パーセント、Ｂ百パーセントです。この結果を見てＡを採用した時点で、その探索期間はＡの選択に使われています。

表は左右にスクロールできます。

全て架空の金額です。将来の収益や、Bが常に優れることを示しません。

後の期間ではＡが八十パーセント、Ｂが百五パーセントになっています。ここから、過去で一番だったＡが次も一番とは限らないことは分かります。しかし二十件ずつの一例だけで、Ａは無価値、Ｂは必ず有利と断定することもできません。標本のばらつきや高配当への依存を別に確認する必要があります。

後の結果で選び直したら、次の確認はさらに後へ置く

後の表を見て今度はＢへ乗り換えると、その期間もＢの選択に使ったことになります。表の見出しをテストへ変えても、使い方は探索です。Ｂを選ぶ判断自体は記録できますが、選んだ後の確認には、まだ判断へ使っていない対象を用意してください。

Ａの両期間を合算すると購入四千円、払戻四千円で回収率百パーセントです。ただし、探索時に選び出した過程を隠して合計だけを示すと、全期間で事前に固定した案のように見えてしまいます。期間ごとの役割と、案をいつ固定したかを、合計と一緒に残します。

未使用期間へ進む前に、条件と評価手順を固定する

最終確認へ進む前に、対象の競走、候補の決め方、券種、配分、見送り、除外、集計期間を文章へ落とします。どの情報をいつ取得したものとして使うかも必要です。予想法の名前が同じでも、配分や除外を後から変更すれば別の成績になるため、選択ルールだけで固定済みとはしません。

Googleの教材は、学習・検証・テストの役割を分け、結果を繰り返し調整へ使うと未使用評価としての意味が弱まることを説明しています。競馬で将来の運用を想定する場合は、時間の前後関係も守ります。未来の成績を使って過去の案を選ぶ分割を、実際の予想の再現とは呼びません。

固定後に入力の誤りを見つけたときは、誤記の訂正なのか、成績を改善するための条件変更なのかを分けます。訂正の影響する全対象へ同じ手順を適用し、元の版と再計算後を残してください。外れた対象だけ訂正扱いにすることは、評価条件を変えることになります。

期間を何割に分ければ必ず正しい、という一律の比率はありません。対象数、季節性、開催のまとまり、仕様変更、予想を更新する頻度によって設計が変わります。短い期間を細かく分けただけで十分な検証件数が生まれるわけではないため、件数不足も結果として明示します。

条件を少し変えた比較も、追加の探索として区別する

ある閾値の近くで成績が大きく変わる場合は、その一点を選んだ理由を確認します。例えば九以上だけ高く、八以上も十以上も低いなら、結果が少数の対象へ依存していないかを調べる余地があります。ただし近隣の成績が似ているから将来も安定する、とまでは証明できません。

この確認で新しい最良の閾値を見つけて採用したなら、単なる説明ではなく追加の探索です。感度を調べた表と、採用を決めた表を同じものとして隠さず、どの結果から変更したかを記録します。未使用の最終確認へ進む直前まで、同じデータで最良値を探し続けないようにします。

条件を増やす前に、元の案が何を狙うものだったかへ戻ることも有用です。距離適性の仮説を調べていたのに、成績の悪い曜日だけ除き、最後には別の特徴を選んでいれば、元の問いと答えが変わっています。説明できる仮説ごとに版を分け、同じ目的の改善と無条件に扱わないでください。

結果が悪い期間を残すことも、読者が判断するための材料になります。最高の月だけを掲げるより、対象がなかった月、損失が続いた期間、少数の的中へ依存した時期を示した方が、どのような数字かを確かめられます。都合のよい部分を探す作業と、案の限界を説明する作業を分けます。

同じ結果を別の切り口で見直した場合も、対象そのものが新しくなったわけではありません。競走場ごとの表、月ごとの表、人気帯ごとの表を作ったなら、その比較から何を変えたかを記録します。表の枚数ではなく、意思決定へ使った結果の範囲を追うことが、探索の全体像を残す手掛かりになります。

検証を公開する際は、成績と探索の範囲をセットにする

公開する説明では、何通りをどう比較したか、どの期間で案を選んだか、その後にどの対象で確認したかを示します。全ての試行を数えられない過去の分析なら、不明と明記してください。記録がないことを、最初から一つの案だけを考えた証拠として扱わないようにします。

バックテストの数字は、作成過程を添えて初めて読みやすくなります。的中率、回収率、件数、金額、期間と一緒に、事前固定か結果後の探索かを示してください。高い数字だけから優れた予想法と断定せず、次の確認で同じ手順を繰り返せる状態を目指します。

過学習を意識した設計でも、馬券で利益が保証されることはありません。過去の対象と次の対象の違いも残ります。検証を丁寧に行う目的は購入を増やす理由を探すことではなく、どんな情報と手順で得られた成績か、その限界を自分と読者が判断できるようにすることです。