アウトオブサンプルテスト、ウォークフォワードテストでバックテストでは見えないEAの優位性を暴く
------------------------------------------------
共感度99.9％！
今話題のFXマンガとは？？
↓
------------------------------------------------
◆はじめに◆
販売用EAにはバックテストなるものが大方付属されています。
しかしこのバックテストが大変曲者。
バックテストっていかにも優位性の統計学的証明って感じがするのですが、実はそれだけではEAの優位性を測ることは不可能なんです。
販売用EAにおいてバックテストがいいのは当たり前で・・・
と似たようなお話を別記事でも書いていますが、その続編となる記事を書きたいと思います♪
右肩上がりのバックテスト曲線は簡単に作れるということを念頭に置きましょう
「販売用EAにおいてバックテストがいいのは当たり前」
これは何回でも言いましょう。
”バックテストすら付いていないEA”
はもちろん論外です。
しかし、
優秀なバックテストがあるからといってEAの性能を測れる証明にもなっていないのも事実です。
それは何故か？？
そのバックテストが素晴らしいEAは、過剰最適化されている可能性があるからです。
過剰最適化すれば素晴らしく右肩上がりなバックテスト曲線を簡単に作ることができるんですよね。
まあその辺は開発ベースの話ではありますが、EAを買う立場としても知っておいてほしいのです。
とりあえず、
「右肩上がりのバックテスト曲線は誰でも作れる」
ということを念頭に置いておいてください。
「じゃー何のためのバックテストなんだ・・・」
という話になってしまいますが、現実を受け入れる必要はありそうです（＾＾；）
EAの真なる優位性を暴く方法
それではEAの真なる優位性を知る方法とは何かを考えてみましょう。
バックテストを見ても無駄だということはもう分かりましたね？？
事実、素晴らしいバックテスト曲線が掲示されていながらも、フォワードテストの再現性がないEAはたくさんあり、そんな机上の空論を体現したようなEAを掴まされてしまった方も多くいらっしゃる事でしょう。
それが何よりの証拠です。
しかし、EAの真なる優位性を暴く方法はあります。
それは厳格な再現性テストである、
- アウトオブサンプルテスト
- ウォークフォワードテスト
を実施することです。
しかしこれ、ロジックがブラックボックスだとできないテストなんですよね（爆）
「え～！その時点でロジックがブラックボックスの市販EAの優位性を暴くことができないじゃん！」
と思われた方が大半である事でしょう。
・
・
・
・
はい、その通りでございます(;・∀・)
ロジックが分からない以上は、信用できる優位性を測るデータはフォワード実績しかありません。
フォワード運用でロングランしているEAは優位性があると判断して良いと言えます。
フォワード運用というのは、アウトオブサンプルテストと同じことなのです。
それはどういう事か、詳しく見ていきましょう。
アウトオブサンプルテストとは？？
ストラテジー作成におけるアウトオブサンプルテストとは、一定期間で最適化したパラメーターをその最適化期間以外で通用するかどうかをテストするという方法です。
ストラテジーの堅牢性・再現性をテストする事ができます。
例えば、2005年から2015年までの10年間で最適化したパラメーターを用いて、その最適化期間とは別の期間でバックテストを取るという形になります。
上図の様に、最適化した期間を”インサンプル期間”、最適化期間以外の期間を”アウトオブサンプル期間”と言います。
インサンプル期間で利益が出る様にチューニングするのは当たり前ですね。
問題は、インサンプル期間で決定されたストラテジーが、アウトオブサンプル期間以外でも通用できるのかどうか
なのです。
フォワード運用はまさにアウトオブサンプルテストですね。
販売用に掲示しているバックテスト期間がインサンプル期間で、そのインサンプル期間以降で通用するかどうかを実際のフォワード運用で試している訳です。
フォワード運用にて、バックテストの収支が再現しないEAは、恐らくアウトオブサンプルテストでもボロボロでしょう。
ウォークフォワードテストとは？？
ウォークフォワードテストとは、アウトオブサンプルテストを連続して行う再現性テストです。
アウトオブサンプルテストはインサンプル期間とアウトオブサンプル期間を任意に決めて実施しますが、
「どこの期間をチョイスするか？」
という点で悩んでしまいます。
そこで、全ての期間を少しずつずらしながら、アウトオブサンプルテストを何回もやる訳です。
上図の様に、厳格な再現性テストであるアウトオブサンプルテストをここまで何回もやる事によってストラテジーの堅牢性・再現性が見えてきます。
バックテスト期間の全期間においてウォークフォワードテストを実施し、アウトオブサンプル期間を繋げて収支曲線を見ていきます。
その上で及第点が取れるEAはごくごく限られてきます。
バックテストは最適解！
バックテスト曲線というのはバックテスト期間内での最適パラメーターが導かれているので右肩上がりで当然です。
そこに落とし穴があります。
ごくごく限られたパラメーターでしかワークしないストラテジーでも、最適解を割り出せばバックテスト曲線は右肩上がりになります。
しかし、そんなストラテジーではウォークフォワードテストではワークしません。
バックテストの上でPFが高かろうが、高いスプレッドでも耐えうるものであろうが、ドローダウンが小さかろうが、綺麗な右肩上がりだろうが、
それらは最適解である故に未来では通用できない可能性を多いにはらんでいるのです。
ですので、
- アウトオブサンプルテスト
- ウォークフォワードテスト
といった厳格な再現性テストを実施していないEAはそれこそ危険であるということですね！
半年程度のフォワードテストも信用できない
よく、
「フォワードでも利益出てます！」
みたいな感じで打ち出しているEAを見かけますが、そのフォワード期間は３か月とか半年とかだったりします。
フォワードテストでの実績はアウトオブサンプルテストと同義なので、信用に値するデータではありますが、半年とかの短期での右肩上がりはまぐれでも出る事が多いんです（＾＾；）
なので、フォワード期間を見るのでしたら、やはり最低でも１年以上の運用期間は欲しい所ですね。
３年以上とかあると安心でしょう。
そこまで来るとかなりふるいにかけられますけどね。
３年以上で利益を出せているロングランEAは少ないです。
まあ気になるEAがあっても３年は手が出せないなんてのは現実的ではないですけどね（＾＾；）
EAを選ぶ立場としてできること
EAを選定するにあたり、やっぱり普遍的な優位性がある優秀なEAを選びたいじゃないですよね？
そこで、
「いいEAを選ぶためにバックテストを見る力をつけましょう！」
なんてのはあまり意味がなく、稚拙であることはお判りいただいたと思います。
バックテストなんてそのEAの特徴を知る事ができる程度ですね。
それでも特徴を知ることは大事なんでバックテストはそれはそれで必要なんですが・・・
それでは、ロジックブラックボックスの販売用EAを選ぶ者として出来る事とは何かを考えてみましょう。
有効なのは、
「EA作者に質問する」
ということです。
具体的には、
「EA制作過程でウォークフォワードテストでロジックの再現性を確認されていますか？」
という意図の質問です。
そんな質問をした結果で、返答がこない作者が多いとは思います（笑）
「めんどくさいヤツが質問してきた。無視！」
という感じですかね（＾＾；）
返答が来て、
「ウォークフォワードテストを実施して、ロジックの堅牢性・再現性を確認しています」
との事であれば、それが嘘でなければそのEAには価値があるということです。
でもウォークフォワードをやっているとか何とかは口では何とでも言えますし、もしそんな再現性テストを一切やっていなくても、
理屈をこねて
「そんなテストはやる必要はないと考えております」
とか何とか、そこもなんとでも言えます。
要はどれだけ信頼のおける作者かどうかを見極めることですね。
EA作者が発信している媒体(ブログやメルマガなど）があるならそれを読んで、きちんとした考え方ができる人かどうかを見極めましょう。
ロジックがブラックボックスのEAは基本的にロジックに関わるパラメーターは隠しています。
よって、アウトオブサンプルテストやウォークフォワードテストは不可能なので、購入者側で堅牢性を厳格に探る事は難しいのです。
それ故に、販売用EAの優位性を探るにはフォワード状況や作者の意図を見極めていくしかないんですね。
本当はロジックが分かっているEAを使う事が望ましいです。
でも市販EAを使うのなら、実際問題そうはいかないので、最終的には自分でロジックを作った方が早い、という結論に達したりするんですけどね（＾＾；）
プログラマーとして長けているだけの人には要注意
EAとはプログラムで成り立っています。
それ故に、プログラマー畑から
「どうやらEAは儲かるらしい」
という考えでシストレ界に参入してくる人も少なくないです。
しかしながら、プログラムとストラテジー開発におけるアイディアは全くの別物です。
巷では、
「プログラムとしては完璧なEAを作るが、相場の本質を分かっていない開発者」
が堂々とEA商品をリリースしています。
プログラマーとしては有能でも、相場を分かっていないのなら話になりません。
それに該当するEA作者なのかどうかは、販売ページの文言などを見て判断できたりもするので、注意して色々見た方がいいですね！
BBPは厳格な再現性テストをクリアしたストラテジーです
アウトオブサンプルテスト、ウォークフォワードテストといった厳格な再現性テストの重要性についてはもう十分お分かり頂いたことかと思います。
では、
「FX龍聖のリリースするBBPは、ウォークフォワードテストなどの再現性テストをきちんと行っているのか？？」
という問いは避けられないと思います。
もちろんBBPは、アウトオブサンプルテスト、ウォークフォワードテストなどの厳格な再現性テストはきちんと実施済みですのでご安心を＾＾
BBPEAは2015年の販売スタート以来、紆余曲折ありながらもしっかり利益を上げ続けているロングランEAなので、その時点でアウトオブサンプルテスト、ウォークフォワードテストにクリアしている事を証明している様なものです。
しかし私自身、BBPを開発した当初はアウトオブサンプルテストやウォークフォワードテストの存在は知らなかったんです（笑）
それでも直感でBBPの強さは感じていました。
リリースから３年経過した所で、フォワード運用も結果を出し続けている中、アウトオブサンプルテストやウォークフォワードテストを実施してみるとその観点でもやはり優秀だったというオチです（笑）
BBPは開発当初、基本売買ルールを設定した後にパラメーターを試行錯誤しながら追い込んで作ったのではなく、一発で右肩上がりの収支曲線が出ました。
これこそが良いストラテジーを作る秘訣です。
EAの最適化は何回もしてはいけなくて、もちろんウォークフォワードテストも同じです。
例え1回で良いバックテスト曲線が得られても、ウォークフォワードテストでダメだったらそのロジックは破棄すべきなのです。
BBPは何事も一発勝負を切り抜けてきたロジックなので、その再現性の高さは折り紙付きであると言えましょう。
もちろん好調不調の波はありますが、長期で機能するストラテジーとしての安心度はあると自負しています。
また別記事で、BBPEAのウォークフォワードテストに関して詳しく言及したいと思います。
より科学的観点でBBPの優位性を証明していきたいと思います！
ただ優位性をただ自己申告している様なFX情報商材が多いじゃないですか（笑）
あれこそ、消費者を小馬鹿にしているのです。
そんな科学的根拠もへったくれもないFX商材とは一線を画したBBPの再現性、今後も開発者自ら見守っていきたいと思います＾＾
よろしいですか？