بیش برازش یکی از خطرناک ترین خطاهای بک تست است، چون ظاهر آن معمولا جذاب و امیدوارکننده است: نمودار سود زیبا، پروفیت فکتور بالا و افت سرمایه کنترل شده. اما پشت این خروجی ممکن است استراتژی فقط گذشته را حفظ کرده باشد و در برابر داده تازه، بازار زنده و شرایط متفاوت دوام نیاورد.
در مدل سازی، تحلیل داده و تست استراتژی، هدف این است که الگوی قابل تکرار را از نویز جدا کنیم. بیش برازش وقتی رخ می دهد که استراتژی به جای یاد گرفتن منطق بازار، جزئیات تصادفی داده تاریخی را یاد می گیرد.
وقتی قوانین یک استراتژی آن قدر با داده های تاریخی هماهنگ می شوند که بیشتر نویز گذشته را توضیح می دهند تا یک الگوی تکرارشونده، با بیش برازش روبه رو هستیم.
استراتژی بیش برازش شده معمولا در گزارش تاریخی سودآور، دقیق و کم ریسک دیده می شود؛ اما روی داده جدید، بازار زنده یا یک دوره متفاوت همان کیفیت را تکرار نمی کند.
بهینه سازی اگر با فرضیه، نمونه کافی و اعتبارسنجی انجام شود مفید است. مشکل زمانی شروع می شود که هر تغییر قانون فقط برای بهتر کردن خروجی گذشته انجام شود.
معامله گر فکر می کند یک لبه قوی پیدا کرده، در حالی که ممکن است فقط ترکیبی از پارامترها را پیدا کرده باشد که روی یک بازه خاص خوش شانس بوده است.
فرض کنید یک ایده ساده دارید: ورود بعد از شکست مقاومت و خروج با حد سود دو برابر حد ضرر. بعد از چند بار تست، شروع می کنید فیلترهای بیشتری اضافه کنید: فقط سه شنبه ها، فقط بین ساعت خاص، فقط وقتی مقدار یک اندیکاتور عددی دقیق دارد، فقط وقتی کندل قبلی اندازه مشخصی دارد. اگر هر فیلتر فقط به این دلیل اضافه شده که نتیجه همان بازه تاریخی بهتر شود، ممکن است به جای ساختن یک سیستم قوی، گذشته را بیش از حد برازش کرده باشید.
راه درست این نیست که هر فیلتر را حذف کنیم؛ راه درست این است که برای هر قانون منطق بازار داشته باشیم و بعد بررسی کنیم آیا همان منطق روی داده خارج از نمونه، دوره های متفاوت و با هزینه واقعی معامله هم دوام دارد یا نه.
بیش برازش همیشه با یک خطای واضح دیده نمی شود. گاهی همه چیز در گزارش بک تست خوب است، اما چند نشانه نشان می دهد نتیجه باید با احتیاط بیشتری بررسی شود.
اگر استراتژی برای ورود نیاز به ده ها شرط ریز، ساعت خاص، اندیکاتورهای متعدد و استثناهای زیاد دارد، باید بررسی کنید این پیچیدگی واقعا منطق بازار دارد یا فقط برای بهتر شدن بک تست اضافه شده است.
استراتژی پایدار معمولا در اطراف پارامترهای اصلی هم عملکرد قابل قبول دارد. اگر تغییر یک عدد کوچک، سود را به زیان تبدیل کند، احتمال شکنندگی بالا است.
گاهی نتیجه در یک دوره روندی یا یک نماد خاص فوق العاده است، اما در بازار رنج، پرنوسان یا دوره های تازه کیفیت خود را از دست می دهد.
چند معامله بزرگ می توانند پروفیت فکتور، نرخ برد و سود نهایی را مصنوعی زیبا کنند. بدون نمونه کافی، قضاوت درباره لبه معاملاتی خطرناک است.
بیشتر مواقع بیش برازش از یک تصمیم بزرگ نمی آید؛ از مجموعه ای از تغییرات کوچک می آید که هر کدام خروجی گذشته را کمی بهتر می کنند، اما قابلیت تکرار استراتژی را کاهش می دهند.
اگر این رفتار در فرایند تست شما تکرار شود، بهتر است قبل از اعتماد به نتیجه نهایی، یک مرحله اعتبارسنجی مستقل برای استراتژی طراحی کنید.
اگر این رفتار در فرایند تست شما تکرار شود، بهتر است قبل از اعتماد به نتیجه نهایی، یک مرحله اعتبارسنجی مستقل برای استراتژی طراحی کنید.
اگر این رفتار در فرایند تست شما تکرار شود، بهتر است قبل از اعتماد به نتیجه نهایی، یک مرحله اعتبارسنجی مستقل برای استراتژی طراحی کنید.
اگر این رفتار در فرایند تست شما تکرار شود، بهتر است قبل از اعتماد به نتیجه نهایی، یک مرحله اعتبارسنجی مستقل برای استراتژی طراحی کنید.
اگر این رفتار در فرایند تست شما تکرار شود، بهتر است قبل از اعتماد به نتیجه نهایی، یک مرحله اعتبارسنجی مستقل برای استراتژی طراحی کنید.
اگر این رفتار در فرایند تست شما تکرار شود، بهتر است قبل از اعتماد به نتیجه نهایی، یک مرحله اعتبارسنجی مستقل برای استراتژی طراحی کنید.
هدف اعتبارسنجی این است که بفهمیم آیا استراتژی فقط با گذشته هماهنگ شده یا واقعا یک رفتار قابل تکرار در بازار را شکار می کند. این مرحله باید قبل از ریسک کردن روی حساب واقعی انجام شود.
بخشی از داده را برای طراحی و بهینه سازی استفاده کنید و بخش دیگر را دست نخورده نگه دارید. اگر استراتژی فقط روی داده آموزشی خوب است، هنوز قابل اعتماد نیست.
Out-of-Sample یعنی قوانین نهایی را روی دوره ای اجرا کنید که در زمان طراحی استراتژی دیده نشده است. این کار یکی از مهم ترین فیلترهای تشخیص بیش برازش است.
در تحلیل Walk-Forward، استراتژی روی یک بازه تنظیم و روی بازه بعدی آزمایش می شود. این چرخه نشان می دهد آیا روش شما در زمان حرکت بازار هم دوام دارد یا نه.
به جای انتخاب فقط بهترین عدد، اطراف آن را هم تست کنید. اگر چند محدوده نزدیک عملکرد مشابه دارند، نتیجه معمولا قابل اعتمادتر از یک نقطه جادویی است.
جلوگیری از بیش برازش بیشتر از اینکه یک تکنیک نرم افزاری باشد، یک انضباط تحقیقی است. اگر فرایند شما شفاف، قابل تکرار و قابل رد شدن باشد، احتمال فریب خوردن از گذشته کمتر می شود.
این کار باعث می شود نتیجه نهایی فقط بهینه ترین خروجی گذشته نباشد، بلکه نشانه ای از پایداری احتمالی استراتژی در آینده هم ارائه کند.
این کار باعث می شود نتیجه نهایی فقط بهینه ترین خروجی گذشته نباشد، بلکه نشانه ای از پایداری احتمالی استراتژی در آینده هم ارائه کند.
این کار باعث می شود نتیجه نهایی فقط بهینه ترین خروجی گذشته نباشد، بلکه نشانه ای از پایداری احتمالی استراتژی در آینده هم ارائه کند.
این کار باعث می شود نتیجه نهایی فقط بهینه ترین خروجی گذشته نباشد، بلکه نشانه ای از پایداری احتمالی استراتژی در آینده هم ارائه کند.
این کار باعث می شود نتیجه نهایی فقط بهینه ترین خروجی گذشته نباشد، بلکه نشانه ای از پایداری احتمالی استراتژی در آینده هم ارائه کند.
این کار باعث می شود نتیجه نهایی فقط بهینه ترین خروجی گذشته نباشد، بلکه نشانه ای از پایداری احتمالی استراتژی در آینده هم ارائه کند.
اگر بخواهیم مفهوم Overfitting را در عمل استفاده کنیم، باید آن را به چند سوال ساده در فرایند تست استراتژی تبدیل کنیم.
بیش برازش یعنی استراتژی آن قدر با داده های گذشته تنظیم شده که به جای یاد گرفتن یک الگوی پایدار، نویز همان گذشته را دنبال می کند و روی داده جدید ضعیف می شود.
نه. بهینه سازی وقتی خطرناک می شود که بدون فرضیه، بدون داده خارج از نمونه و فقط برای بهتر کردن خروجی گذشته انجام شود.
نشانه مهم این است که نتیجه بک تست بسیار خوب است، اما با تغییر کوچک پارامترها، تغییر دوره زمانی یا اجرای روی داده تازه به سرعت افت می کند.
قوانین را قبل از تست بنویسید، داده آموزشی و آزمایشی را جدا کنید، هزینه معامله را لحاظ کنید، نمونه کافی بگیرید و استراتژی را در شرایط مختلف بازار بسنجید.
بیش برازش فقط یکی از خطاهای تست استراتژی است. برای ساختن تصمیم بهتر، آن را کنار سوگیری های بک تست، تحقیق، معیارهای ارزیابی و تمرین کندل به کندل بررسی کنید.
برای شناخت خطاهایی مثل نگاه به آینده و انتخاب دوره زمانی جانبدارانه که کنار بیش برازش نتیجه تست را خراب می کنند.
سوگیری در بک تستبرای اینکه عددهای جذاب بک تست را با نگاه دقیق تری تفسیر کنید و فریب کیفیت ظاهری سود را نخورید.
پروفیت فکتوربرای تبدیل ایده معاملاتی به فرضیه، داده و شواهد قابل اعتماد پیش از اجرای واقعی.
قدرت تحقیق در بک تستبرای دیدن چارچوب کامل تست استراتژی، از تعریف بک تست تا تحلیل نتیجه و جلوگیری از خطاهای رایج.
آموزش کامل بک تستبرای تمرین کندل به کندل، ثبت تصمیم ها و بررسی استراتژی بدون دیدن آینده بازار.
شبیه ساز بک تست