成功した予想法だけを見ると何が起きる？

問題は、残った成功の数字が正しくても全体を代表しないこと

当初の候補一覧を分母にすることが、この問題の入口です。現在読める二つの予想法が好成績でも、最初に二つだけ試したのか、百個の候補から二つが残ったのかで意味が変わります。残った二つの購入記録が正確なら、その期間の成績は事実です。ただし、それだけで『この方法で予想法を作れば一般に好成績になる』と範囲を広げることはできません。

生存者バイアスは、存続した対象だけを調べ、途中で消えた対象が比較から抜けることで生じます。競馬なら、不調で終了した連載、削除された検証ルール、更新されなくなった予想法などが候補です。ただし記録が消えた理由は不調とは限りません。運営上の事情や移転もあり得るため、消えたことだけで失敗と断定せず、可能な範囲で当時の記録を確認します。

原著掲載元CFA Instituteが公開する2010年の研究抄録は、ファンドのデータベース統合で、特定時点まで存続した対象が選ばれた構造を扱っています。後から収録した過去の履歴にも、存続による選別が隠れ得るという例です。これは金融分野の研究で、競馬予想の効果量を測ったものではありません。ここでは選別の構造を参照し、以下の競馬の架空例へ筆者が応用しています。

たとえば公開が続いた方法だけを年初からさかのぼって評価すると、当時は存在していたものの途中で停止した方法が初めからなかったように見えます。現在の一覧を使って過去の選択肢を再現してはいけない理由です。比較したい時点の候補を先に確定し、その後に残ったか消えたかを追う順序にすれば、結果から選ばれた集合を全体と取り違えにくくなります。

架空例1：残った2手法は170％でも、当初の10手法は66％

成功例の表と、最初からの候補全体の表を並べる

架空の検証者が、同じ期間に10種類の予想ルールを用意し、各ルールに1,000円ずつ使ったとします。ルールAの払戻は1,800円、Bは1,600円です。残る8ルールはそれぞれ400円しか戻らず、検証終了後に公開をやめました。後日、現在残るAとBだけのページを見ると、合計2,000円を購入して3,400円を払い戻した、回収率170％の記録を読むことになります。

表は左右にスクロールできます。

実在する予想サービスの実績ではない架空例。返還なし、税等の控除前。各手法へ実際に別枠で資金を使った設定です。

AとBの170％という計算を誤りと呼ぶ必要はありません。誤りになるのは、それを全10手法の結果や、検証者の全購入成績だと説明することです。全体では10,000円に対し6,600円が戻り、回収率66％、収支−3,400円です。失敗側を含めるだけで、候補全体が有望だったという読み方は大きく変わります。足した金額と対象数を表に出せば、どこから印象が変わったか追えます。

この合計は、10手法へ本当に別々に資金を使ったという設定に対応します。研究上の10候補を仮想計算しただけなら、10,000円を実際に失ったとは書けません。また、後日Aだけを選んだ利用者の収支とも違います。仮想候補全体の比較、検証者の実購入、後から参加した人の結果を区別し、分母の不足を直すために架空の損失を実損として加えないことも必要です。

残った方法が次も勝つと限らない理由を整理する

結果が良かった方法だけを残すと、偶然の好調も選ばれやすくなります。前節ではAとBに本当の優位性があったのか、短い期間の偶然だったのかを設定していません。どちらの説明も残るため、170％を次期の見込み回収率へそのまま使えません。残ったものを見るときほど、選別に使っていない新しい期間が必要になります。

多数のルールを試して最高値だけ選ぶことは、多くの試行から良い結果を選択する問題です。失敗したルールが消えて一覧に残らないことは、生存者を選ぶ問題です。両者は同時に起こり得ますが同じ名称で片付けず、何種類を試し、そのうち何が記録から落ちたかを分けて調べます。試した数が分からなければ、残る一件の珍しさを正確に評価する材料も不足します。

ルール同士が似ている場合には、10種類だから10個の独立した実験だったとも限りません。同じレースで同じ馬を多数含めば、的中と不的中が連動します。前節の購入額の合算には独立性を要しませんが、偶然の確率を計算する段階では依存関係が問題になります。候補数だけを使い、独立な当たりくじを何回引いたかと同じ計算をするのは避けます。

失敗を含めて集計したあとも、すべてが解決したとはしません。後からルールを修正した履歴、当時取得できなかった情報の利用、実際には買えない条件などが残ることがあります。生存者バイアスを直す作業は、検証の全問題を自動で直す処理ではありません。対象一覧を修復したうえで、各方法が事前に実行可能だったかを別に確認します。

架空例2：好調月だけを残す選択と、手法の生存は区別する

同じ一手法でも、公開する期間を選ぶと見える結果が変わる

独立した別の架空例として、一つの予想法を12か月続け、毎月1,000円ずつ購入したとします。好調だった6か月の払戻は月ごとに1,500円、不調だった6か月は月ごとに200円でした。好調な月だけ紹介すると、購入6,000円・払戻9,000円で回収率150％です。一方、12か月全体は購入12,000円・払戻10,200円で85％、収支−1,800円になります。

表は左右にスクロールできます。

返還のない架空例。各月の区分は結果を見てから付けたもので、事前に好調月を識別できた設定ではありません。

これは期間の好結果だけを選ぶ選択バイアスであり、予想法そのものが存続したかどうかによる狭義の生存者バイアスとは分けて呼びます。ただし悪い結果が公開対象から落ちるという点は共通です。『現在の方法だけ』『調子が良い月だけ』『特定の的中だけ』と、どの段階の選択が起きているかを調べると、欠けている分母を特定しやすくなります。

正当な理由で対象期間を限定する場合もあります。あらかじめ夏季だけ運用すると決めていたなら、そのルールに沿った夏季の集計は意味があります。しかし結果を見てから好調月を夏季戦略と名付ける場合とは違います。対象を決めた時点の記録があれば、この違いを確かめられます。期間名の見栄えではなく、条件がいつ決まったかを確認してください。

中止した方法も追えるよう、候補と版を先に記録する

対策は、試す前の候補一覧と、途中の変更履歴を保存することです。ルールの版を過去へ上書きしないようにします。距離条件、買う券種、金額配分、除外するレースを変えたなら、いつから何を変えたかを記します。同じ名称が続いていても、中身が変われば前後を同じ方法の連続実績として読めない場合があります。

1. 開始前：候補ID、ルールの全文、予定期間、対象レース、購入額の決め方を保存する。
2. 運用中：事前の買い目、実購入か仮想検証か、結果、欠測の有無を区別して残す。
3. 変更時：変更日・変更理由・新しい版を記録し、旧版の結果を新しい条件で無断再計算しない。
4. 終了時：中止日と理由、終了までの成績を保存し、候補一覧から削除しない。
5. 比較時：継続中・終了・不明を区別し、当初の候補と現在の候補の差を示す。

購入を見送ったレースは、予想がなかったのか、予算上限で購入しなかったのか、データ欠損で判定できなかったのかを分けます。後から的中した未購入レースだけ加えると、実際の収支に存在しない利益が入ります。仮想検証に加えるなら、見送り規則を含む別の検証として全対象を再現し、実購入の台帳とは別に表示します。

停止理由も一律に失敗と分類しません。成績悪化、予算上限、データ提供の終了、ルール統合などを区別します。結果と無関係に停止した方法まで悪い成績とみなせば、今度は逆方向にゆがめます。重要なのは失敗を多く数えることではなく、最初の対象がどこへ行ったかを追えることです。理由が確認できなければ不明のまま残します。

消えた予想法の記録が取れないときは、分からないと表示する

第三者のサイトを調べる場合、削除された方法の全記録を取り戻せないことがあります。その場合、失敗側の回収率を0％や残存側の平均で埋めてはいけません。どちらも実測していない値を入れることになるからです。『現在確認できた二手法の記録』と範囲を限定し、過去の候補総数や終了した方法の結果が不明なら、全体の成績を計算できないと書きます。

前節のような記録がないときは、まず公開時点の候補数、記事の日付、ルールの改訂告知などを手掛かりにします。移転しただけなら移転先で同じ方法の記録を確認できます。名称が似ていても同一ルールとは限らないため、条件と期間を照合します。断片的な情報だけで失敗額を逆算したり、削除を不正の証拠と断定したりしないでください。

不明な記録をゼロで埋めないことは、実績を読む側にも示す側にも共通します。取得できた範囲を正確に説明する方が、見せかけの全件集計より有用です。公開が少ない方法を候補から外す判断はできますが、それは情報不足を理由とする選択です。その方法の本当の成績が悪いと確認したこととは区別して、自分の判断メモに残します。

良く見えた方法は、新しい期間で条件を固定して確かめる

候補全体を調べたうえで気になる方法が残ったら、選択に使わなかった期間で観察します。対象レース、買い目の決め方、金額、終了日を先に決め、途中で不調になっても観察記録を消しません。購入を伴わない検証でもかまいませんが、仮想であることと実際の購入とは違う制約があることを表示します。過去の好成績を再掲載するだけでは、新しい確認にはなりません。

途中で実用上の問題が見つかれば、運用を止めること自体は合理的です。ただし停止前までの記録を残し、変更版を開始するなら別の開始点を作ります。不調のたびに過去を削除して最新版だけを比べると、対策の途中でも生存者だけを見る状態に戻ってしまいます。継続の義務ではなく、停止した判断も観察結果として保存するという意味です。

評価の結論も範囲付きにします。『この二手法はこの期間にこの成績だった』『当初の十候補を含めるとこの値だった』『他の候補は記録不明だった』と書けば、読者が別の問いへ勝手に広げにくくなります。次に採用する方法を選ぶ際も、公開中という事実だけで安全性や優位性を判断せず、予算の上限と見送り条件を先に置いて検討してください。