数据挖掘总介与PageRank

说明，记录数据挖掘的博客都来源于coursera的公开课，目的也是为了自己总结，这些PPT都是截取的重要的概率和步骤。如果读者感兴趣可以参考https://class.coursera.org/mmds-001/lecture

上面会有视频资料和一些讲义

一、数据挖掘

数据挖掘包括上面几个分支，而今天集中在应用在Web中横梁网页重要性的pageRank算法。

二、链接分析

链接分析有如下算法：

其中的PageRank首先有两种衡量链接重要性的公式， 流模式和矩阵模式

AX = 人x， x是特征向量eigenvector, 人是特征值eigenvalue. 所以r是M的特征向量。 并且Mr<=1,因为M的最大特征向量是1.

M也叫转移矩阵，所以他是一个随机矩阵（对于强连通图，某列的和是1），反之，如果某列的和最多是1，即可能是0的转移矩阵称为亚随机矩阵(substochastic)

三、随机分布和power iteration

如何得到最后收敛的重要性衡量值r??使用power iteration. 其定义如下

四、PageRank会出现的两个问题

由于我们想要的结果是最后r正常收敛并且收敛的值能够正确的衡量各个网页节点的重要性。

 1.采集器陷阱， 出现的问题一是是不是会正常收敛？？

    从上面的结构可以看出最后转移矩阵不断的交换重要性，不能停止，不能判定谁更重要。采集器陷阱是一系列节点集合，他们没有出链指向集合之外，最后导致在计算时