一、子集搜索与评价
我们将属性称为 “特征”(feature），对当前学习任务有用的属性称为 “相关特征”(relevant feature）、没什么用的属性称为 “无关特征”(irrelevant feature)．从给定的特征集合中选择出相关特征子集的过程，称为“特征选择”(feature selection).
有两个很紧张的缘故原由：减轻维数灾难标题、降低学习任务的难度.
“冗余特征”(redundant feature):所包含的信息能从其他特征中推演出来.冗余特征在很多时间不起作用，去除它们会减轻学习过程的负担.但偶然冗余特征会降低学习任务的难度.
“子集搜索”(subset search)：：
- “前向”(forward)搜索：初始将每个特征当做一个候选特征子集，然后从当前所有的候选子会合选择出最佳的特征子集；接着在上一轮选出的特征子会合添加一个新的特征，同样地选出最佳特征子集；最后直至选不出比上一轮更好的特征子集。
- “后向”(backward)搜索：初始将所有特征作为一个候选特征子集；接着实验去掉上一轮特征子会合的一个特征并选出当前最优的特征子集；最后直到选不出比上一轮更好的特征子集。
- “双向”(bidirectional)搜索：将前向搜索与后向搜索结合起来，即在每一轮中既有添加操作也有剔除操作。
“子集评价”(subset evaluation)：
给定数据集D，假定D中第i类样本所占的比例为．假定样本属性均为离散型.对属性子集A,假定根据其取值将D分成了V个子集,每个子会合的样本在A上取值雷同,属性子集A的信息增益:
将特征子集搜索机制与子集评价机制相结合,即可得到特征选择方法.
常见的特征选择方法大抵可分为三类:过滤式(filter)、包裹式(wrapper)和嵌入式(embedding).
二、过滤式选择
过滤式方法先对数据集进行特征选择,然后再训练学习器.
Relief (Relevant Features)设计了一个“相关统计量”来度量特征的紧张性.该统计量是一个向量,其每个分量分别对应于一个初始特征,最终只需指定一个阈值r,然后选择比T大的相关统计量分量所对应的特征即可;也可指定欲选取的特征个数k,然后选择相关统计量分量最大的k个特征.
Relief的关键是如何确定相关统计量．给定训练集{}，对每个示例,，Relief 先在的同类样本中寻找其最近邻，称为“猜中近邻”(near-hit)，再从的异类样本中寻找其最近邻,称为“猜错近邻”(near-miss)，然后,相关统计量对应于属性j的分量为
Relief是为二分类标题设计的,其扩展变体Relief-F能处置处罚多分类标题.其相关统计量对应于属性j的分量为：
三、包裹式选择
包裹式特征选择直接把最终将要利用的学习器的性能作为特征子集的评价准则.
包裹式特征选择比过滤式特征选择更好,盘算开销通常更大.
LVW (Las Vegas Wrapper)在拉斯维加斯方法(Las Vegas metnod)框架下利用随机计谋来进行子集搜索，并以最终分类器的误差为特征子集评价准则.
算法描述:
若有运行时间限制,则有大概给不出解.
四、 嵌入式选择与正则化
嵌入式特征选择是将特征选择过程与学习器训练过程融为一体,两者在同一个优化过程中完成,即在学习器训练过程中自动地进行了特征选择.
给定数据集我们考虑最简单的线性回归模型,以平方误差为损失函数,则优化目标为
当样本特征很多,而样本数相对较少时，上式很容易陷入过拟合.为了缓解过拟合标题,可对上式引入正则化项.
若利用范数正则化,则有“岭回归”(ridge regression)
采用范数，则有LASSO (Least Absolute Shrinkage andSelection Operator)
范数和范数正则化都有助于降低过拟合风险,比更易于得到“稀疏”(sparse)解，即它求得的w会有更少的非零分量.
L正则化标题的求解可利用近端梯度降落(Proximal Gradient Descent,简称PGD) .具体来说，令表示微分算子,对优化目标
若f(x可导，且f满意L-Lipschitz条件,即存在常数L>0使得
则在附近可将f(x)通过二阶泰勒展式近似为
最小值在如下 得到:
推广到正则化，加一个正则项求最小值：
得到每个分量的解：
五、稀疏表示与字典学习
为平常稠密表达的样本找到合适的字典，将样本转化为合适的稀疏表示形式，从而使学习任务得以简化,模型复杂度得以降低,通常称为“字典学习”(dictionary learning)（侧重于学得字典的过程）,亦称“稀疏编码”(sparse coding)（侧重于对样本进行稀疏表达的过程）.下面不做区分。
给定数据集，字典学习最简单的形式为
受LASSO的开导,我们可采用变量交替优化的计谋来求解式.
首先在第一步,我们固定住字典B,为每个样本找到相应的:
在第二步,我们固定住来更新字典B:
基于逐列更新计谋的KSVD:令表示字典矩阵B的第i列, 表示稀疏矩阵A的第i行，上式可重写为
六、压缩感知
现实，常对数据进行压缩，方便处置处罚，但在传递的时间，因为各种环境会出现信息损失，通过压缩感知来解决这个标题
假定我们以远小于奈奎斯特采样定理要求的采样率进行采样，即
这个信号是无法还原出原信号的
但现在假定可以，
压缩感知关注的是如何利用信号自己所具有的稀疏性,从部分观测样本中恢复原信号.
通常认为,压缩感知分为“感知丈量”和“重构恢复”这两个阶段.
- “感知丈量”关注如何对原始信号进行处置处罚以得到稀疏样本表示,这方面的内容涉及傅里叶变换、小波变换以及1字典学习、稀疏编码等,不少技能在压缩感知提出之前就已在信号处置处罚等范畴有很多研究;
- “重构恢复”关注的是如何基于稀疏性从少量观测中恢复原信号,这是压缩感知的精华,当我们谈到压缩感知时,通常是指该部分.
“限定等距性”(Restricted Isometry Property,简称RIP):
对巨细为n * m的矩阵A，若存在常数δk ∈（0,1）使得任意向量s和A的所有子矩阵Ak∈Rn*k有
则称A满意k限定等距性。通过下面优化近乎完美的从y中恢复出稀疏信号s，进而恢复x:
范数的最小化是一个NP难题，范数最小化在肯定条件下与最小化共解，则：
该式可以转化为LASSO的等价形式通过近端梯度降落求解，即“基寻踪去噪”。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
