競馬の過去検証で起きるデータ漏洩

最初に、何時までの情報で予想する検証かを決める

scikit-learnの公式説明は、予測時点で利用できない情報をモデル作成に使うことをデータ漏洩として説明しています。競馬へ置き換えるなら、過去の競走を予想したことにする際、そのとき知れなかった結果や更新値を使っていないかを確かめます。ここでの競馬の例は、一般的な検証設計を説明するための架空例です。

発走より前の情報なら全て使える、とも限りません。予想を十五時に固定する検証なら、十五時五分に公表された情報はその案へ入れられません。発走が十五時十分でも、予想を確定した時点の条件を守る必要があります。予想時点を後から都合よく動かさないことが出発点です。

競走日と、入手できた時刻を別の項目にする

同じ日の情報にも、朝に公表されるもの、発走前に更新されるもの、結果後に確定するものがあります。日付だけで対象日以前という条件を付けても、同日の未来情報が残る可能性があります。対象の競走時刻、予想の締切、公表と入手の時刻を分けて記録してください。

表は左右にスクロールできます。

全て説明用の架空時刻です。実際の発売締切や結果確定の所要時間を示していません。

予想へ入れる条件は、結果を見る前に固定します。結果が悪かったから発走直前の更新を使ったことにすると、別の予想手順へ変わります。変更するなら新しい検証として版を分け、以前の結果と同じ条件の実績だと合算しないようにします。

架空例１：対象レースを含む通算勝率で、そのレースを予想してしまう

架空の馬Ａは対象レース前に二十走四勝でした。過去検証で使える通算勝率は四を二十で割った二十パーセントです。Ａが対象レースに勝った後の表を使うと、二十一走五勝になり、五を二十一で割った約二十三・八パーセントになります。結果を含めた値で、その結果を予想する形です。

表は左右にスクロールできます。

実在馬の成績ではありません。通算勝率を次走の勝つ確率と見なすものでもありません。

例えば通算勝率二十二パーセント以上を候補とする架空ルールなら、事前のＡは入らず、更新後のＡは入ります。閾値を変えていなくても、入力の時点が違うだけで選択が変わります。これは利益が出るルールの提案ではなく、対象の結果が選ぶための数値を動かすことを示す例です。

最新のプロフィールを、過去の全出走へ付けない

現在の通算成績を馬の識別情報と一緒に結合すると、過去の各出走へ同じ最新値が付く場合があります。対象レース一件だけでなく、その後の複数の結果まで混ざり得ます。馬の名前や識別子が一致したことは、時点の正しい結合ができた証拠ではありません。各対象の前で集計を切ります。

過去の出走履歴から作り直すなら、対象より前の履歴だけを使う条件を明記します。同じ日に複数の更新がある場合も、予想時点に使えた値を選びます。集計結果には対象の識別情報と締切時点を残し、後から最新表に置き換わっても元の入力を確認できるようにしてください。

この誤りを直した後に成績が下がっても、予想法の力が失われたと結論づける前に、検証が正しい時点へ戻ったと考えます。訂正前と訂正後の件数と指標を両方残し、過去に良かった数字だけを引き続き実績として使わないことが必要です。

着順や払戻は評価へ使い、候補を選ぶ入力へ戻さない

結果が確定した着順や払戻を、予想の評価に使うことは必要です。一方、それらを候補選びや配分を決める条件へ混ぜると、予想時点の再現ではなくなります。一つの表に入力と結果を持つ場合も、どの列を選択に使い、どの列を精算に使うかを明確に分けてください。

表は左右にスクロールできます。

検証設計の例です。特定のサービスの内部データ項目を示していません。

最終オッズや最終人気も、使う時点を確認します。後から分かる値で事前の買う・買わないを決めた場合、実際にその条件で選べたかが残ります。確定後の払戻で収支を精算することと、確定後の数値を選択条件へ使うことを、同じ結果データの利用として一括しません。

対象レースの上がり順位や通過順も、予想時点には結果です。過去走の情報として使う場合と、今から予想するレースの値として使う場合を区別します。列名が同じでも、何走目の何時点の情報かで役割が変わることを、集計の定義へ書きます。

結果を保存する場所があることと、入力へ使ってよいことは別です。モデルや手作業のルールへ渡す列を明示し、対象の着順を消しただけで漏洩を防げたとしないようにします。結果を材料に再計算された通算値や、後から付けた分類も点検します。

架空例２：欠損を埋める中央値にも、未来の情報が入る

学習期間にある架空の数値項目Ｘの観測値が二、四、六で、未来の評価期間には百、二百があるとします。学習期間だけの中央値は四ですが、全期間を混ぜると並びは二、四、六、百、二百となり、中央値は六です。Ｘは説明用の数値で、馬齢や独自ＡＩ指数を表していません。

欠損を中央値で埋めるときに全期間の六を使えば、評価期間の入力の分布が前処理の決定へ入ります。結果の着順を直接使っていなくても、未来を見た変換になります。学習期間で四と決めた変換を保存し、評価期間にはその同じ変換を適用するという役割の分け方が必要です。

同じ変換を使うことと、全期間で変換を決めることは違う

scikit-learnの公式説明も、前処理の値を学ぶのは学習データに限り、同じ変換を評価側へ適用することを案内しています。平均で割る処理や、項目を選ぶ処理でも同じ確認が必要です。前処理だから予想とは無関係とせず、どの期間からその値を決めたかを残してください。

この例は、中央値を使うこと自体を推奨するものではありません。欠損の理由や項目の性質によって、適した扱いは変わります。何で埋めるかという設計と、どの期間で埋める値を決めるかという時点の設計を分けるための例です。埋める前の欠損も追える形で残します。

時系列で期間をずらして再学習する場合も、各回の学習期間だけで前処理を決め直します。一度全期間で中央値を作ってから各期間へ分ける方法では、分割の見た目を整えても未来情報が残ります。日付で分けたという説明に加え、前処理の作成範囲も確認してください。

公表時刻と、自分の検証で入手できた時刻を記録する

情報が主催者から公表された時刻と、自分の仕組みが取得した時刻は同じとは限りません。架空の設定で十四時五十分に公表された値を十五時二分に取得したなら、十五時に案を固定する実運用ではその取得記録を使えません。公表済みだったことと、自分が使えたことを分けてください。

検証の目的が公表情報を即時に使える理想条件なのか、当時の取得記録まで再現する条件なのかも明記します。どちらの設計でも、その仮定を隠して同じ実績と扱わないことが必要です。実運用の再現を名乗るなら、取得の遅れや未取得も条件の一部として残します。

後から訂正された資料も、訂正版がいつ分かったかを確認します。現在正しい値であることと、その時点で利用できた値であることは別です。事実の訂正を記録しつつ、過去の予想入力を自動的に新しい値へ置き換えてしまわないようにします。

過去を再現するには、値だけでなく版と時点が必要です。同じ馬の最新表を開いたときに前回と値が変わるなら、どの版を使ったかを追えるようにします。元の記録を上書きするより、訂正前後を識別し、どちらで計算した成績かを明示してください。

時系列の分割だけで全てが解決するわけでもありません。未来の期間で作った通算値や前処理を持ったまま行だけ分ければ、漏洩は残ります。分割の日付と、各列を作成した情報の締切を両方確認し、行の順番と情報の時点を別の点検項目にします。

成績が良すぎると感じたら、対象一件の入力を逆にたどる

最初から全件の数字を眺めるより、対象の競走一件を選び、候補を決めた入力を一つずつたどる方法があります。どの資料のどの版から作り、何時に使えた値かを確認します。通算値なら、その中に対象や未来の結果が入っていないかを履歴へ戻して見ます。

• 予想の締切と対象競走を固定する。
• 候補の選択へ使った列だけを取り出す。
• 各列の公表・取得・集計の時点を確認する。
• 通算値や前処理に評価側の情報が入っていないかを点検する。
• 訂正後は全対象を同じルールで再計算し、旧版と分けて残す。

対象の識別情報が重複し、同じレースが学習と評価の両方へ入る場合も確認します。競走一件に複数の馬の行がある表なら、行だけ無作為に分けたときの関係にも注意が必要です。表の一行が馬なのか、競走なのか、購入一件なのかを先に決めてください。

良い成績は漏洩の証拠とは限らず、悪い成績なら漏洩がないともいえません。指標の大小だけで判定せず、利用可能な情報の流れを確認します。誤りを見つけた場合は、影響のある一件だけを除いて整えるより、同じ作り方をした全対象へ修正を適用してください。

公開する検証には、時点と訂正の扱いを添える

結果をまとめるときは、予想時点、使った情報の版、学習と評価の期間、前処理の作成範囲を記載します。最終的な回収率だけでは、未来を見ずに作った案かどうかは確認できません。元の入力と選択の記録へ戻れる識別情報を残すことが大切です。

漏洩を直した後は、訂正内容と指標の前後を分けて公開します。評価データを見てさらにルールを直したなら、その期間は新しいルールにとって完全な未使用評価ではなくなります。新しい確認期間を用意するなど、探索と最終確認の役割を見直してください。

時点の正しい検証ができても、今後の的中や利益を保証するわけではありません。出走条件や市場の変化、少数の高配当への依存など、別の問題は残ります。漏洩を防ぐ作業は、成績を大きく見せるためではなく、どんな条件で得た数字かを正確に示すために行います。