Optimization يسمح بتجربة مجموعات مختلفة من الإعدادات للبحث عن نتائج وفق معيار محدد. هذه أداة مفيدة للبحث، لكنها تختلف عن مجرد اختبار مجموعة إعدادات واحدة.
المشكلة تظهر عندما يتم اختبار أعداد كبيرة من التركيبات ثم اختيار النتيجة التاريخية الأجمل وكأنها اكتشاف مستقل. قد تكون بعض النتائج متوافقة بدرجة كبيرة مع تفاصيل العينة الماضية بدل أن تمثل سلوكًا أكثر ثباتًا.
يُعرف هذا الخطر باسم Overfitting أو الإفراط في ملاءمة البيانات التاريخية.
نتيجة تاريخية أفضل لا تعني بالضرورة استراتيجية أكثر قوة.
كلما زادت القرارات التي اتخذتها بعد النظر إلى البيانات نفسها، أصبح من المهم اختبار ما إذا كانت النتيجة تستمر خارج العينة التي ساعدت على اختيار تلك القرارات.