速通 数据挖掘课程
大的分类
标签预测（分类） 和 数值预测（预测呀）
监督 非监督 是否 需要预先训练模型 然后预测
聚类：拿一个比一个，看看相似否，然后归一类
数据四种类型
数据属性有四种：标称属性、序数属性、区间标度属性、比率标度属性
标称属性的值代表某种类别、编码或状态，不必具有有意义的序。二进制属性是一种特殊的标称属性，只有两个类别或状态（有对称的和非对称的）
序数属性具有有意义的序，但连续值之间的大小是未知的，例如学生的成绩可以分为优、良、中、差四个等级
区间标度属性用相等的单位尺度度量，值是有序的，比如日期和温度。区间标度属性不存在零点，倍数没有意义，比如我们不会说2000年是1000年的两倍。
比率标度属性是具有固定零点的数值属性，有序且可以计算倍数，如长度、重量。
分这个是为了：后面在看到不同类型的数据采用不同类型的方法
箱式图
数据可视化
箱线图：分析多个属性数据的离散度差异性；
直方图：分析单个属性在各个区间的变化分布；
散点图：显示两组或多组数据的相关性分布。
相似度
相似度Similarity
- 度量两个数据对象有多相似
- 值越大就表示数据对象越相似
- 通常取值范围为 [0,1]
相异度Dissimillarity
- 度量两个数据对象的差别程度
- 值越小就表示数据越相似
- 最小相异度通常为0
邻近性Proximity
- 指相似度或者相异度
非对称的数据
只考虑那些生病的
相似性 聚类 推荐
user-images\1640413985821.png)
上确界距离是指每个属性数据差值绝对值的最大值
标称属性：相异度=（属性总数-匹配次数）/属性总数；
二进制属性：根据邻接表计算（非对称：相似度=杰卡德系数）；
区间：闵可夫斯基距离（h=1，曼哈顿距离，h=2，欧氏距离，h=3，上确界距离）
处理方法
丢失数据：忽略元组、手动填写遗漏值、自动填写
噪声数据：利用盒状图检测离群数据删除离群点
不一致数据：计算推理、替换
空缺值：代码实现
卡方测试（用来看两个离散数据特征相关性大不大的）
列一下，联列表，然后 450*300/1500=90
90就是期望
最后，观测值和期望代入，算出来这个值越大，说明这两个特征相关性越大。
连续属性的相关性评测
注意：模式集成、实体识别、数据冲突检测
关于数据冗余，使用相关性来解决
离散型数据：卡方测试
连续性数据：皮尔逊相关系数、协方差
降维
数据规约方法类似数据集的压缩，它通过维度的减少或者数据量的减少，来达到降低数据规模的目的，数据压缩（Data Compression）有无损与有损压缩。方法主要是下面两种：
维度规约（Dimensionality Reduction）：减少所需自变量的个数。代表方法为WT、PCA与FSS。
数量规约（Numerosity Reducton）：用较小的数据表示形式替换原始数据。代表方法为对数线性回归、聚类、抽样等。
又可以从这个角度来看
数据复杂性较高：采用主成分分析法降维
时间开销大：采用有放回或无放回的简单随机抽样来降数据，降低时间开销
存储开销大：通过降低数据质量，来降低数据规模
数据转化
1.数据规范化：将数据按比例缩放到一个具体区间
方法：最小-最大规范化、Z-得分正常化、小数定标规范化
2.离散化：部分数据挖掘算法只适用于离散数据
方法：等宽法、等频法、聚类法
关联规则
sup conf
支持度（Support）。支持度表示项集{X,Y}在总项集里出现的概率。表示A和B同时在总数I中发生的概率。Support(X->Y) = P(X,Y) / P(I) = P(X∩Y) / P(I) = num(X∩Y) / num(I)。 置信度 （Confidence）。置信度表示在先决条件X发生的情况下，由关联规则”X→Y“推出Y的概率。表示在发生X的项集中，同时会发生Y的可能性，即X和Y同时发生的个数占仅仅X发生个数的比例。Confidence(X->Y) = P(Y|X) = P(X,Y) / P(X) = P(X∩Y) / P(X)。
基础算法
依据支持度找出所有频繁项集。 找出频繁一项集的集合，该集合记作L1。L1用于找频繁二项集的集合L2。如此下去，直到不能找到频繁K项集。找每个Lk都需要一次数据库扫描。核心思想是：连接步和剪枝步。连接步是自连接，原则是保证前k-2项相同，并按照字典顺序连接。剪枝步，由先验原理，如果某个候选的非空子集不是频繁的，那么该候选肯定不是频繁的，从而可以将其删除。依据置信度产生关联规则。对于每个频繁项集L，产生L的所有非空子集。对于L的每个非空子集S，如果P（L）/P（S）大于最小置信度，则生成规则L-S。
Apriori原理简介
如果一个项集是频繁的，则它的所有子集一定也是频繁的。相反，如果一个项集是非频繁的，则它所有的超集也是非频繁的。
此原理基于支持度的反单调性(anti-monotone)：一个项集的支持度绝不会超过它的子集的支持度。
基于此原理，我们就能对项集进行 基于支持度的剪枝(support-based pruning)，不用计算支持度就能删除掉某些非频繁项集。
于是便出现了基于先验原理的Apriori算法。
贝叶斯
逻辑斯特回归
正则化
是为了
让w别那么大，不然会让扰动变大
L1 会让w取值要么是1 要么是0 稀疏编码——适合降低纬度（很多都是0
L2 岭回归 概率意义
正则化理论就是用来对原始问题的最小化经验误差函数（损失函数）加上某种约束，这种约束可以看成是人为引入的某种先验知识(正则化参数等价于对参数引入先验分布)，从而对原问题中参数的选择起到引导作用，因此缩小了解空间，也减小了噪声对结果的影响和求出错误解的可能，使得模型由多解变为更倾向其中一个解。
数值优化
熵
只能算离散的
求对数
开销大
所以 推出来 GINI指数（也是计算纯性的）
启发式算法
例如它常能发现很不错的解，但也没办法证明它不会得到较坏的解；它通常可在合理时间解出答案，但也没办法知道它是否每次都可以这样的速度求解
k-均值算法的基本原理是什么？
（1） K-means算法首先需要选择K个初始化聚类中心
（2） 计算每个数据对象到K个初始化聚类中心的距离，将数据对象分到距离聚类中心最近的那个数据集中，当所有数据对象都划分以后，就形成了K个数据集（即K个簇）
（3）接下来重新计算每个簇的数据对象的均值，将均值作为新的聚类中心
（4）最后计算每个数据对象到新的K个初始化聚类中心的距离，重新划分
（5）每次划分以后，都需要重新计算初始化聚类中心，一直重复这个过程，直到所有的数据对象无法更新到其他的数据集中。
优点：1）原理简单，收敛速度快;2）只需要调整k这一个参数;3）算法的原理简单，可解释性好
缺点：1）离群点和噪音点敏感;2）难确定k值;3）类别距离近k-means的效果不太好;4）初始值对结果影响较大，可能每次聚类结果都不一样;5）结果可能只是局部最优而不是全局最优。
选K
1、把样本的二维、三维散点图画出来，观察一下样本的分布，然后再决定k的值。如果维度大于三维，可以使用PCA降维到三维。
2、使用轮廓系数（Sihouette Coefficient）判断。
肘部法：肘部法所使用的聚类评价指标为：数据集中所有样本点到其簇中心的距离之和的平方。但是肘部法选择的并不是误差平方和最小的k，而是误差平方和突然变小时对应的k值。
轮廓系数法：轮廓系数是一种非常常用的聚类效果评价指标。该指标结合了内聚度和分离度两个因素。
