机器学习-信息增益实战
5 E币
成为会员，免费下载资料
文件大小：1.2 MB
上传者：易百纳用户01878
时间：2023-06-19 18:06:00
下载量：1
信息增益是机器学习中用于特征选择的一种度量方法。在决策树算法中，特征选择是非常重要的步骤之一，它决定了决策树如何分割数据集。
信息增益的概念来源于信息论，它衡量了一个特征对于分类任务的贡献程度。在特征选择过程中，我们希望选择那些能够提供最大信息增益的特征。
信息增益的计算基于熵的概念。熵是衡量一个随机变量不确定性的度量，可以用来衡量数据集的混乱程度。熵的值越大，表示数据集的不确定性越高。
在特征选择过程中，我们将数据集按照不同特征的取值进行划分，然后计算每个划分的熵，然后将这些熵加权求和，得到使用该特征进行划分时的总熵。信息增益就是用数据集的熵减去使用该特征划分后的总熵。
展开》
折叠》
微信扫码分享
QQ好友
暂无数据
我上传的资料
