Makine öğreniminde önyargı (bias), bir modelin öğrenme sürecini kolaylaştırmak amacıyla yaptığı basitleştirici varsayımlara atıfta bulunur. Bu önyargılar, modelin belirli bir problemi çözmek için veri setine genel bir yaklaşımla başlamasını sağlar. Ancak, bu tür varsayımlar her zaman yararlı olmayabilir ve hatta modelin performansını sınırlayabilir. Önyargı, özellikle denetimli öğrenme (supervised learning) süreçlerinde kritik bir rol oynar. Denetimli öğrenme, modelin girdi ve istenen çıktı çiftleriyle eğitildiği bir tekniktir; bu süreçte daha az önyargı genellikle daha doğru sonuçlar elde etmeye yardımcı olabilir çünkü model, verinin gerçek yapısına uygun şekilde öğrenir. Düşük önyargı, modelin veri setindeki gerçek ilişkileri ve paternleri daha iyi yakalamasına olanak tanır, bu da modelin genelleme yeteneğini artırır.
Önyargı ve varyans (variance) arasındaki denge, makine öğreniminde iyi bir model oluşturmanın temelidir. Önyargı-varyans açmazı (bias-variance tradeoff), bir modelin öğrenme performansını değerlendirmek için kullanılır. Yüksek önyargılı bir model, genellikle basit modellerdir ve eğitim verileri üzerinde düşük performans gösterir, yani düşük varyansa sahip olurlar. Örneğin, bir doğrusal regresyon modeli, doğrusal ilişkilere sahip veriyi iyi modelleyebilir ancak daha karmaşık ve doğrusal olmayan ilişkilerde başarısız olabilir. Bu, modelin fazla basitleştirici varsayımlar yaptığı durumdur. Diğer yandan, düşük önyargılı ve yüksek varyanslı modeller, daha karmaşık modellerdir ve eğitim verilerine aşırı uyum sağlayabilirler. Bu da genellikle aşırı öğrenme (overfitting) problemine yol açar; model eğitim verilerini mükemmel bir şekilde öğrenir ancak yeni, görülmemiş veriler üzerinde kötü performans gösterir.
Bu nedenle, bir modelin performansını optimize etmek ve genelleme kabiliyetini artırmak için önyargı ve varyans arasındaki denge dikkatlice ayarlanmalıdır. Örneğin, deste vektör makineleri (Support Vector Machines – SVM) ve rastgele ormanlar (Random Forests), bu dengeyi sağlama konusunda popüler yöntemlerdir. Denizilen doğru modeli bulmak, verinin doğasını anlamaktan ve uygun model karmaşıklığını seçmekten geçer. Sonuçta, makine öğreniminde başarılı olmanın anahtarı, veri seti, model seçimi ve önyargı-varyans açmazı arasındaki dengeyi doğru bir şekilde kurmakta yatar.