Makine öğrenmesinde bir model oluşturmak istediğimizde, elimizdeki verileri iki gruba ayırırız: eğitim verisi ve test verisi. Eğitim verisi, modelin veriler arasındaki ilişkiyi öğrenmesi için kullandığımız veri kümesidir. Test verisi ise, modelin yeni ve görmediği veriler üzerinde ne kadar iyi tahmin yaptığını ölçmek için kullandığımız veri kümesidir.
Modelimizin amacı, eğitim verisindeki örüntüleri yakalamak ve test verisinde de genelleme yapabilmektir. Ancak bazen modelimiz bu amaca ulaşamaz ve iki tür problemle karşılaşabiliriz: aşırı öğrenme ve zayıf öğrenme.
Aşırı öğrenme, modelin eğitim verisinde çok yüksek bir doğruluk elde etmesine rağmen, test verisinde çok düşük bir doğruluk elde etmesi durumudur. Bu, modelin eğitim verisindeki gürültüyü veya rastgele değişimleri de öğrenerek veriyi ezberlemesi anlamına gelir. Bu durumda model, eğitim verisindeki özel durumlara çok fazla uyum sağlar ve yeni verilerde genelleme yapamaz. Aşırı öğrenme, modelin çok karmaşık olduğunda veya eğitim verisinin çok az veya tek tip olduğunda ortaya çıkar. Aşırı öğrenmeyi önlemek için, modelin karmaşıklığını azaltmak, eğitim verisini artırmak veya çeşitlendirmek, regularizasyon, dropout, erken durdurma gibi teknikler kullanılabilir.
Zayıf öğrenme, modelin hem eğitim verisinde hem de test verisinde çok düşük bir doğruluk elde etmesi durumudur. Bu, modelin verilerdeki temel örüntüleri yakalamak için çok basit olduğu anlamına gelir. Bu durumda model, veriler arasındaki ilişkiyi yeterince öğrenemez ve tahminleri gerçek değerlerden çok uzaklaşır. Zayıf öğrenme, modelin çok basit olduğunda veya verilerin çok karmaşık olduğunda ortaya çıkar. Zayıf öğrenmeyi önlemek için, modelin karmaşıklığını artırmak, farklı makine öğrenmesi algoritmaları denemek, verileri ön işleme veya dönüştürme gibi teknikler kullanılabilir.
En iyi uyum, modelin hem eğitim verisinde hem de test verisinde düşük bir hata oranı elde ettiği durumdur. Bu, modelin verilerdeki örüntüleri doğru bir şekilde öğrendiği ve yeni verilerde de genelleme yapabildiği anlamına gelir. En iyi uyum, modelin hem yanlılığını (bias) hem de varyansını (variance) en aza indirdiği durumdur. Yanlılık, modelin tahminlerinin gerçek değerlerden ne kadar farklı olduğunu gösterir. Varyans, modelin tahminlerinin farklı veri kümeleri için ne kadar değiştiğini gösterir. Modelin yanlılığını azaltmak için karmaşıklığını artırmak, modelin varyansını azaltmak için karmaşıklığını azaltmak gerekir. Bu iki uç arasında optimal bir denge bulmak, makine öğrenmesinin temel zorluklarından biridir.