過剰適合とは

条件を少しずつ変えながら何十回も検証を繰り返すと、過去のデータでは驚くほど良い成績を出すルールが、必ず見つかります。けれどそれは、過去の偶然の値動きに、ルールのほうを合わせただけです。試験の過去問の答えを丸暗記したようなもので、新しい問題には通用しません。これを過剰適合(カーブフィッティング)といいます。

検証結果を見るときは、次の点を疑ってください。