正則化為什么能防止過擬合

正則化防止過擬合的原理?

正則化防止過擬合原理是：任意丟棄神經(jīng)網(wǎng)絡層中的輸入，該層可以是數(shù)據(jù)樣本中的輸入變量或來自先前層的激活。 它能夠模擬具有大量不同網(wǎng)絡結構的神經(jīng)網(wǎng)絡，并且反過來使網(wǎng)絡中的節(jié)點更具有魯棒性。

正則化項是怎么發(fā)揮作用的?

正則化的主要作用是防止過擬合，對模型添加正則化項可以限制模型的復雜度，使得模型在復雜度和性能達到平衡。 常用的正則化方法有L1正則化和L2正則化。L1正則化和L2正則化可以看做是損失函數(shù)的懲罰項。所謂『懲罰』是指對損失函數(shù)中的某些參數(shù)做一些限制。 L1正則化的模型建叫做Lasso回歸，使用L2正則化的模型叫做Ridge回歸。

l1正則化和l2正則化有什么區(qū)別，為什么?

L1和L2正則化的目的都是使模型系數(shù)盡可能小，從而解決模型的過擬合問題。他們的區(qū)別在于，l1正則化限制模型系數(shù)的l1范數(shù)盡可能小；l2正則化限制模型系數(shù)的l2范數(shù)盡可能小。即，L1會趨向于產(chǎn)生少量的特征，而其他的特征都是0，而L2會選擇更多的特征，這些特征都會接近于0。