条件を大量に探す時の偶然の的中

条件を探すほど良い数字が見つかる理由

競馬データには距離、枠、人気、馬場、年齢、出走間隔など多くの項目があります。その組合せと閾値を多数変えて結果を見ると、再現する特徴がなくても一部がよく見える可能性を考える必要があります。

最後に選んだ条件の数字だけを公表すると、何も試さず最初から決めていた条件を一度確認したように読まれます。実際には多数の候補から良い結果を選んだという過程が隠れるため、数字の解釈が変わってしまいます。

最後の一条件ではなく探索全体を記録することが出発点です。探索すること自体を否定するのではありません。新しい候補を探す作業と、その候補が別のデータでも通じるかを確認する作業を分けるために履歴を残します。

多重検定と単なる成績の比較を区別する

統計的な検定では、ある仮定の下で珍しい結果かを調べ、一定の基準で判定します。多くの検定を行う場合、判定全体で誤って有意とする可能性を扱う問題が生じます。Rの公式文書にも複数比較への補正法が示されています。

一方、勝率や回収率が一番高かった条件を選ぶ探索は、明示的なp値を計算していない場合もあります。その時も良い結果を選んだことによる偏りは残りますが、全てを正式な検定を実施した記録と呼ぶ必要はありません。

何を試し、どの指標で一位を選んだかを記録します。有意という言葉を使う場合は検定と基準を明示し、単に回収率が高いことと同じ意味にはしません。統計の用語だけで検証済みの印象を加えないようにします。

架空例一：独立な20検定で少なくとも一つ誤る

計算学習用に、全ての帰無仮説が正しく、各検定が誤って有意とする確率を五パーセントとする理想的な設定を考えます。さらに検定間が独立と仮定します。一回で誤らない確率は九十五パーセントです。

二十回全てで誤らない確率は〇・九五を二十回掛けた値なので、少なくとも一度誤る確率は一からそれを引き、約六十四・二パーセントです。百回なら同じ仮定で約九十九・四パーセントになります。

これは競馬の実際の的中率を測った値ではありません。現実の条件は同じ出走を共有するなど独立でない場合があり、そのまま式の数値を適用できません。試行全体を考える理由を示すための、明記した仮定の下での算数です。

表は左右にスクロールできます。

独立性などを置いた説明用の理想例。実際の競馬条件の偶然の的中確率や利益を測定した表ではない。

p値は仮説が正しい確率ではない

ASAの二〇一六年公式発表は、p値が研究仮説の真である確率や、データが偶然だけで生じた確率を測るものではないと説明しています。閾値を通ったかだけで判断しないことや、透明な報告の必要性も示されています。

五パーセントの意味を逆向きに読まない

前の理想例の五パーセントは、正しい帰無仮説の下でその判定を誤る確率という設定です。有意になった条件が五パーセントの確率で誤りという意味ではありません。条件付きの向きを入れ替えないようにします。

p値が小さいことだけで効果が大きい、馬券の回収率が高い、将来利益が出るとはいえません。統計的な判定と実用的な大きさを分け、元の件数と差、推定の不確実性も合わせて確認してください。

架空例二：100条件から回収率155％を選んだ

第二の例では、百個の候補条件を探索し、最も良かった一条件が二十回の各百円の仮想購入で、購入額二千円、払戻合計三千百円だったとします。その条件の回収率は百五十五パーセントです。

この二十回は選び出すために使った記録なので、同じ数字を未使用の検証成績として見せることはできません。百条件の中から選んだ事実、他の条件の結果、対象件数と期間を残す必要があります。

百条件が重なり合う場合、前の独立な検定の式を使って実際に偶然だった確率を求めたことにはしません。正式な検定を行った設定でもありません。この例は良い成績を探索した後に、その一つだけを公表する問題を考えるための架空データです。

未使用の期間で固定した条件を確かめる

前の架空例で、条件を固定して次の二十回を別に確認した結果、仮想購入額二千円、払戻千二百円だったとします。この期間の回収率は六十パーセントです。探索期間の百五十五と同じ再現が確認できたとはいえません。

二期間を混ぜれば総購入四千円、総払戻四千三百円で百七・五パーセントですが、選択に使った成績を混ぜた数字は、未使用期間だけの評価ではありません。両期間を区別して示すことが必要です。

この結果一つで永久に無効と決めるのでもなく、件数や金額の変動、条件の変化を確認します。大切なのは探索と確認の数字を分けることです。架空の払戻例から実際の利益や必要な購入回数を推定しないでください。

検証を見て選び直すとその期間も探索へ入る

未使用の期間を見て条件を少し変更し、同じ期間でまた良い結果を選べば、そのデータは選択に使われています。最初は検証用だったという名称だけで、最後まで独立な確認の資料になるわけではありません。

いつ条件を固定したかを残す

閾値を三十日から二十八日へ変える、対象距離を絞る、最初の数回を外すなどの変更も履歴へ入れます。変更後の条件を確かめるには、さらに別の未使用部分を用意するなど、評価の設計を見直す必要があります。

何度も確認結果へ反応して最適化した後、最後に残った条件を最初から決めていたように書かないでください。版と固定日時、見たデータの範囲が分かれば、どこまで探索でどこから確認かを追えます。

比較の数には閾値と期間と指標の変更も含める

枠の八区分だけを八条件と数えていても、距離や馬場を組み合わせ、対象期間や人気の切り方を何度も変えたなら探索はそれより広い範囲です。公表した表の行数だけを試行数として保存しないようにします。

勝率で良くなければ複勝率、さらに回収率へ切り替えて良いものを選ぶ場合も、選択の自由度が増えます。どの指標を主に判断するかを先に決め、他は補足とするなど、役割を明示してください。

全ての操作を一つの正確な検定数へ容易に換算できない場合もあります。その限界を隠さず、探索した項目と変更を記録することが必要です。履歴が不明なまま少数の比較だけに補正を掛け、全探索へ対処したと説明しません。

補正法は目的と前提を確認して使う

Rの公式p.adjustの文書には、Bonferroni、Holm、BHなどの方法が示されています。何を抑える方法かが異なり、全て同じ意味の安全なp値を作るものではありません。複数の方法から一番都合のよい値だけを採用しないようにします。

単純なBonferroniの計算例として、百比較で未補正のp値が〇・〇〇三なら、百を掛けた〇・三になります。〇・〇五という判定基準では通らない計算ですが、仮説が三十パーセントの確率で正しいという意味ではありません。

補正した数値にも元の検定と比較範囲の前提が残ることが重要です。結果を見て比較の集合を小さくし、良かった条件だけで補正し直すと探索全体を反映しません。補正は未使用の検証や収支の確認の代わりにもなりません。

補正後に基準を通らなかったことも、効果が完全にゼロと証明された意味ではありません。確認できた根拠の強さと、分からない範囲を分けて報告します。

同じ馬や同じ競走の重なりを確認する

競馬の条件は同じ出走を共有しやすく、一頭が複数回の記録にも現れます。百条件を並べても百個の独立なデータを得たわけではありません。理想例の独立性を実際の集計へ黙って当てはめないようにします。

同じ競走内の勝敗も他馬と無関係ではありません。行の数だけを独立な試行数として扱うと、不確実性の評価が適切でない場合があります。記録の単位と重複、対象を共有する条件を確認してください。

依存関係をどこまで扱ったか分からないなら、その限界を結論へ残します。検定の名前や補正法を挙げただけで、実際のデータ構造に合った解析が終わったとはしません。方法の適用範囲を先に確認する必要があります。

期間を分ける時は未来の情報を入れない

探索より後の期間で検証するなら、候補を決めた時点で利用できた情報だけで条件を判定します。最終オッズや確定した結果を使い、購入前の予想が可能だったように見せないようにします。

同じ馬の後の記録が先の期間の特徴量へ混ざる場合や、全期間で平均や閾値を作ってから分割した場合も、未来の情報が入っていないか確認します。日付を二つに切るだけで自動的に検証が正しくなるわけではありません。

コースや制度、対象の構成が変わる時期も記録します。別期間で成績が違った場合、全て偶然か全て条件変更かと一つに決めず、どの前提が保たれていたかを点検してください。検証の設計と結果の解釈は別です。

良くなかった条件も探索履歴へ残す

条件名と定義、件数、指標、結果、変更した版を保存します。途中で削除した条件も、試した事実が分かる形にします。成功した一条件だけの表では、選ばれるまでの規模を読者が評価できません。

報告には探索期間と確認期間の境目、主指標、除外条件、未確認の限界を添えます。ASAの公式発表が示す透明な報告という考え方は、都合の良い数字だけを見せないための基本として使えます。

何も良い条件が見つからなかった結果も記録の一部です。流入や販売のために必ず有効な法則を作ることを目的にせず、確認できた範囲をそのまま示してください。架空の検証を実測の成功例へ見せることもできません。

探索で見つけた候補を確認済みと分けて使う

条件の大量探索から候補が見つかったら、定義と選択の理由を固定し、別のデータで何を確認するかを決めます。検証の結果を見て変更した場合は、新しい版の探索へ戻ったことを明示してください。

p値の閾値、補正後の数値、回収率、未使用期間の成績はそれぞれ異なる情報です。どれか一つが良かったから全ての再現性と実用性が証明されたとまとめず、対象と限界を残して比較します。

探索の発見と確認の結果を別に公表することが、競馬の多重検定とデータ分析で重要です。偶然よく見えた可能性を考えた上で根拠を積み上げ、未確認の法則を買い目の保証や予算を増やす理由へ変えないようにしましょう。