逻辑斯谛回归和最大熵模型

二者都是对数线性模型

逻辑斯谛回归

是统计学中经典的分类方法

信息熵和信息增益

概念

1. 信息 信息是用来消除随机不确定性的东西

2. 熵 熵便是信息的期望值 熵是用来度量不确定性，当熵越大，概率说X=xi的不确定性越大，反之越小，在机器学期中分类中说，熵越大即这个类别的不确定性更大，反之越小

3. 信息增益 信息增益在决策树算法中是用来选择特征的指标，信息增益越大，则这个特征的选择性越好