K-means

原理

首先随机选择k个初始点作为质心

1. 对每一个样本点,计算得到距离其最近的质心,将其类别标记为该质心对应的类别
2. 使用归类好的样本点,重新计算K个类别的质心
3. 重复上述过程,直到质心不发生变化

距离计算方法

在K-Means算法中,需要注意的是,对于距离的计算有很多中方法:

(1)闵可夫斯基距离( Minkowski )

\[d(x,y) = (\sum_{i=1}^n|x_i-y_i|^p)^{\frac{1}{p}}
\]

注意这里p=2时则为常用的欧氏距离。

(2) 余弦相似度( Cosine Similarity )

\[d(x,y) = cos(\theta) = \frac{x^Ty}{|x| \cdot|y| } = \frac{\sum_{i=1}^n x_iy_i}{\sqrt{\sum_{i=1}^n x_i^2} \sqrt{\sum_{i=1}^n y_i^2 }}
\]

(3) 皮尔逊相关系数 ( Pearson Coefficient )

\[p(x,y) = \frac{cov(x,y)}{\sigma_x \sigma_y} = \frac{\sum_{i=1}^n(x_i-\mu_x)(y_i-\mu_y)}{\sqrt{\sum_{i=1}^n(x_i-\mu_x)^2}\sqrt{\sum_{i=1}^n(y_i-\mu_y)^2}}
\]

sklearn中的k-mean方法

class sklearn.cluster.KMeans (n_clusters=8, init=’k-means++’,
n_init=10, max_iter=300, tol=0.0001,
precompute_distances=’auto’, verbose=0,
random_state=None, copy_x=True, n_jobs=None,
algorithm=’auto’)

n_clusters: 设置聚类的数量

init:设置初心质心的方法,可输入"k-means++","random"或者一个n维数组。这是初始化质心的方法,默认"k-means++"。输入k-means++":一种为K均值聚类选择初始聚类中心的聪明的办法,以加速收敛。如果输入了n维数组,数组的形状应该是(n_clusters,n_features)并给出初始质心。

random_state:控制每次质心随机初始化的随机数种子

n_init:整数,默认10,使用不同的质心随机初始化的种子来运行k-means算法的次数。最终结果会是基于Inertia来计算的n_init次连续运行后的最佳输出。等价于运行10次,选择最好一次的质心种子

max_iter:整数,默认300,单次运行的k-means算法的最大迭代次数

tol:浮点数,默认1e-4,两次迭代间Inertia下降的量,如果两次迭代之间Inertia下降的值小于tol所设定的值,迭代就会停下

precompute_distances: 是否余弦把所有点之间的距离计算出来,这样的好处是在后面只需要检索,不需要计算了,但是比较耗费内存。

一个例子:

from sklearn cluster import KMeans

model = Kmeans(n_cluster=3, max_iter=10)

model.cluster_centers_   #获取聚类中心
model.labels #获取样本所属类别
model.inertia # 查看总距离平方和,主要用来比较聚类效果

层级聚类AgglomerativeClustering

层次聚类的思想是通过层次化的自上而下,或者下而上来将相似的类别归到一起,最终实现聚类目的。具体流程如下:

1. 首先将所有样本都看做成是单独的类别,m个样本表示m 个类别
2. 计算类别之间的距离,然后将距离最短的两个类进行合并。
3. 重复2操作,直到类别个数为设置的聚类数k停止。

在层次聚类中,有两个点需要注意,第一是选择哪个作为类别的代表,二是两个类别的代表点如何计算距离。这其中,距离的计算选择比较多,例如上述K-Means聚类中提到的算法,都是可以的,但是关于类比代表的选择是需要多关注的,这个会影响聚类的效果,在实际应用中可以灵活选择。

关于代表点的选择有以下几种方法, 不同的代表点选择方法,也就代表了不同的类别融合方法

  1. 最小距离

    选择两个类之间距离最近的两个点作为代表点

  2. 最大距离

    选择两个类之间距离最远的点作为代表点

  3. 中心距离

    计算类别中的平均值,作为代表点

  4. 均值距离

    计算两个类别所有点之间的距离,求平均,然后平均值最小的进行融合

  5. 最小方差

    直接将几个类别俩俩混到一起,计算方差,方差小的两个类融合到一起

sklearn中的层次聚类

from sklearn.cluster import AgglomerativeClustering
model = AgglomerativeClustering(n_clusters=3,affinity="euclidean",
linkage="complete")
print("每个样本的举例",model.labels_)

这里有两个参数需要注意:

affinity: 主要表示距离计算的方法

linkage: 表示两个类别之间的融合方法,有些也可以理解为两个类中代表点的选择方法,常用的方法如下:

# ward 最小方差
# complete 最大距离
# average 平均距离
# single 最小距离

密度聚类 DBSCAN

密度聚类不同于上述的两种,密度聚类是不需要设置聚类的个数的,它可以自动找到聚类的个数,但是相应的,密度聚类需要其他参数的设置,这些设置会影响最终聚类的效果。

在理解密度聚类之前,需要理解几个概念:

  1. \(\epsilon\)邻域

  2. 核心对象(Core object)

  3. 密度直达( directly density-reachable)

  4. 密度可达( density-reahable)

假设样本空间一个点为 \(x\), 那么\(\epsilon\)邻域表示的是,以\(x\)为中心,\(\epsilon\)为半径的空间。如果这个空间内,样本的数量≥ minpts(预先设置的样本阈值)这个时候,\(x\)可以被称为这个空间的核心对象。同时,如果存在一个样本点\(x_i\),处于以\(x\)为核心对象的\(\epsilon\)邻域内,那么就称为密度直达。假设有n个核心对象\(x_1,x_2....x_n\), 如果有一条路径是的\(x_1\)通过多次 密度直达 到达\(x_n\), 那么就称为密度可达。

密度聚类算法原理

算法思路,注意这里这个方法不需要指定要最终要聚多少类别

  1. 首先要设置一个参数是邻域半径\(\epsilon\),其次是核心对象所需要的最小点个数minpts
  2. 确定核心对象,通过设置的邻域半径和最小点个数,可以找到所有满足要求的核心对象,并保存到一个列表\(\Omega\)中。
  3. 从列表\(\Omega\)随机选择一个核心对象\(x\),找到所有\(x\)密度可达的所有样本,组成一个类别,并且将已经归类的核心对象从\(\Omega\)中所找的的列表中删除。
  4. 重复步骤3 , 直到所有核心对象列表为空结束。

sklearn中的密度聚类


from sklearn.cluster import DBSCAN
model = DBScan(eps = 0.5, min_samples = 5, metric = "euclidean")
model.fit(X)
print(model.labels_)

这里eps就是上述的参数\(\epsilon\), min_samples就是上述的参数minpts, metric参数用来设置距离计算方法。

应用-压缩信息

聚类算法一个很大的应用就是信息压缩,可以将数据进行聚类,然后,使用类别中的一个样本代替全体样本。

机器学习Sklearn系列:(五)聚类算法的更多相关文章

  1. 机器学习:Python实现聚类算法(一)之AP算法

    1.算法简介 AP(Affinity Propagation)通常被翻译为近邻传播算法或者亲和力传播算法,是在2007年的Science杂志上提出的一种新的聚类算法.AP算法的基本思想是将全部数据点都 ...

  2. 机器学习:Python实现聚类算法(二)之AP算法

    1.算法简介 AP(Affinity Propagation)通常被翻译为近邻传播算法或者亲和力传播算法,是在2007年的Science杂志上提出的一种新的聚类算法.AP算法的基本思想是将全部数据点都 ...

  3. 机器学习算法总结(五)——聚类算法(K-means,密度聚类,层次聚类)

    本文介绍无监督学习算法,无监督学习是在样本的标签未知的情况下,根据样本的内在规律对样本进行分类,常见的无监督学习就是聚类算法. 在监督学习中我们常根据模型的误差来衡量模型的好坏,通过优化损失函数来改善 ...

  4. 机器学习:Python实现聚类算法(三)之总结

    考虑到学习知识的顺序及效率问题,所以后续的几种聚类方法不再详细讲解原理,也不再写python实现的源代码,只介绍下算法的基本思路,使大家对每种算法有个直观的印象,从而可以更好的理解函数中参数的意义及作 ...

  5. ML.NET技术研究系列-2聚类算法KMeans

    上一篇博文我们介绍了ML.NET 的入门: ML.NET技术研究系列1-入门篇 本文我们继续,研究分享一下聚类算法k-means. 一.k-means算法简介 k-means算法是一种聚类算法,所谓聚 ...

  6. 机器学习——详解经典聚类算法Kmeans

    本文始发于个人公众号:TechFlow,原创不易,求个关注 今天是机器学习专题的第12篇文章,我们一起来看下Kmeans聚类算法. 在上一篇文章当中我们讨论了KNN算法,KNN算法非常形象,通过距离公 ...

  7. 机器学习实战---K均值聚类算法

    一:一般K均值聚类算法实现 (一)导入数据 import numpy as np import matplotlib.pyplot as plt def loadDataSet(filename): ...

  8. 机器学习——利用K-均值聚类算法对未标注数据分组

    聚类是一种无监督的学习,它将相似的对象归到同一簇中.它有点像全自动分类.聚类方法几乎可以应用到所有对象,簇内的对象越相似,聚类的效果越好. K-均值(K-means)聚类算法,之所以称之为K-均值是因 ...

  9. 机器学习:Mean Shift聚类算法

    本文由ChardLau原创,转载请添加原文链接https://www.chardlau.com/mean-shift/ 今天的文章介绍如何利用Mean Shift算法的基本形式对数据进行聚类操作.而有 ...

  10. 机器学习(十)—聚类算法(KNN、Kmeans、密度聚类、层次聚类)

    聚类算法 任务:将数据集中的样本划分成若干个通常不相交的子集,对特征空间的一种划分. 性能度量:类内相似度高,类间相似度低.两大类:1.有参考标签,外部指标:2.无参照,内部指标. 距离计算:非负性, ...

随机推荐

  1. 【ORACLE】特殊的NULL

    NULL 是数据库中特有的数据类型 Oracle 中对空的描述 nullAbsence of a value in a column of a row. Nulls indicate missing, ...

  2. struts2 action 页面跳转

    struts2 action 页面跳转 标签: actionstruts2redirect 2013-11-06 16:22 20148人阅读 评论(0) 收藏 举报 (1)type="di ...

  3. Win7允许被ping

    我们可以通过命令行方式来执行入站 Ping 的规则是启用还是禁用,命令行如下: netsh firewall set icmpsetting 8 netsh firewall set icmpsett ...

  4. 跟我一起学extjs5(24--模块Form的自己定义的设计[2])

    跟我一起学extjs5(24--模块Form的自己定义的设计[2])         在本节中将要增加各种类型的字段,在增加字段的时候因为能够一行增加多个字段,因此层次结构又多了一层fieldcont ...

  5. java —— 内部类

    _ 普通内部类 静态内部类 局部内部类 匿名内部类 内部类 内部类是定义在另一个类中的类,定义内部类会起到的作用有以下三点: 1.内部类方法访问该类定义所在的作用域中的数据,包括私有的数据. 2.内部 ...

  6. python全栈开发-Day10 装饰器(闭合函数的应用场)

    一. 装饰器 装饰器就是闭包函数的一种应用场景 什么是闭包函数?我们再来回忆一下: 闭包函数: 定义在函数内部的函数,并且该函数包含对外部函数作用域(强调:对全局作用域名字的引用不算闭包)名字的引用, ...

  7. ANN实现

    ANN核心数据结构: typedef struct  {     int input_n;                  /* number of input units */     int h ...

  8. Session 起航 登录会话和注销请求 重定向和转发

    [LoginServlet] @WebServlet(name="loginServlet",urlPatterns = "/login") public cl ...

  9. 获取JS数组中所有重复元素

    //获取数组内所有重复元素,并以数组返回 //例:入参数组['1','2','4','7','1','2','2'] 返回数组:['1','2'] function GetRepeatFwxmmc(a ...

  10. 拒绝枯燥,有意思的 Loading 页面动效设计

    互联网时代,网络“提速”日益频繁,人们打开Web或软件的速度越来越快,一般页面缓冲和加载地过程也是几不可查.然而,在某些情况下,例如软件急需加载大量页面,首页急需加载大量内容,用户下载文件过大,甚至是 ...