信息增益(Kullback–Leibler divergence)又叫做information divergence,relative entropy 或者KLIC。 在概率論和信息論中,信息增益是非對稱的,用以度量兩種概率分布P和Q的差異。信息增益描述了當使用Q進行編碼時,再使用P進行編碼的差異。通常P代表樣本或觀察值的分布,也有可能是精確計算的理論分布。Q代表一種理論,模型,描述或者對P的近似。
父主題
Top