大数据分析简介

https://item.jd.com/15350596.html

1. 大数据分析与数据分析的区别

大数据分析是指对无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的海量、高增长率和多样化的数据集合，采用新的处理模式以获得更强的决策力、洞察力和流程优化能力。

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息并形成结论，从而对数据进行详细研究和概括总结。

大数据分析的优势是能清楚地阐述数据采集和处理过程以及解读最终结果，同时提出模型的优化和改进之处，以利于提升大数据分析的商业价值。

大数据分析与数据分析的核心区别是处理的数据规模不同，由此导致两个方向的从业者的技能也不同。大数据分析与数据分析的根本区别是分析的思维与所用的工具的不同。

2. 机器学习和数据挖掘的联系与区别

从数据分析的角度来看，数据挖掘与机器学习（Machine Learning，ML）有很多相似之处，但不同之处也十分明显，例如，数据挖掘并没有机器学习探索人的学习机制这一科学发现任务。数据挖掘中的数据分析是针对海量数据进行的，从某种意义来说，机器学习的科学成分更重一些，而数据挖掘的技术成分更重一些。

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，并重新组织已有的知识结构，使之不断改善自身的性能。

数据挖掘是从海量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程。数据挖掘用到了大量的机器学习领域的数据分析技术，以及数据库领域的数据管理技术。

机器学习不仅涉及对人类认知学习过程的探索，还涉及对数据的分析处理。实际上，机器学习已经成为计算机数据分析技术的创新源头之一。由于几乎所有的学科都有数据分析任务，机器学习已经开始影响计算机科学的众多领域，甚至影响计算机科学之外的很多学科。机器学习是数据挖掘中的一种重要工具。然而，数据挖掘不仅要研究、拓展、应用一些机器学习方法，还要通过许多非机器学习技术解决数据仓储、大规模数据、数据噪声等实践问题。机器学习的涉及面很广，常用在数据挖掘上的方法是“从数据中学习”。但机器学习并不局限于数据挖掘，一些机器学习的子领域甚至与数据挖掘关系不大，如增强学习与自动控制等。

3. 统计学与机器学习的联系与区别

统计学和机器学习之间的界定一直很模糊。业界和学界曾一直认为机器学习只是为统计学披了一层光鲜的外衣。但事实上，统计学与机器学习存在区别，统计模型与机器学习也有所不同。机器学习和统计学的主要区别在于它们的目的：机器学习模型旨在实现尽可能准确的预测，而统计模型则旨在推断变量之间的关系。

首先，我们必须明白，统计学和统计建模是不一样的。统计学是对数据的数学研究，除非有数据，否则无法进行统计。统计模型是数据的模型，主要用于推断数据中不同变量间的关系，或预测未来值。通常情况下，两者相辅相成。机器学习通常会牺牲可解释性以获得强大的预测能力。例如，从线性回归到神经网络，尽管解释性变差，但是预测能力却大幅提高。

统计模型与机器学习在线性回归的应用上存在差异。尽管二者在回归分析中使用的方法相似，常被误认为属于同一类算法，但实际上并非如此。这种误解主要源于建模方法的相似性，但它们的目的不同。线性回归是一种统计方法，既可用于训练一个线性回归器，也可通过最小二乘法拟合一个统计回归模型。机器学习（此处特指监督学习）的目标是获得一个可重复用于预测的模型，通常不关注模型的可解释性，而更重视预测结果的准确性；统计建模则更侧重于探究变量之间的关系及其统计显著性，预测只是其附带功能。

4. 统计学与数据挖掘的联系与区别

统计学和数据挖掘有着共同的目标：发现数据中的结构。事实上，由于它们的目标相似，有人认为数据挖掘是统计学的分支。这种看法存在偏差，因为数据挖掘还应用了其他领域的思维、工具和算法，尤其是计算机科学技术，例如数据库技术和机器学习，而且数据挖掘关注的某些领域和统计学家关注的有很大差别。

5. 大数据分析的10种统计方法

数据分析师不完全是软件工程师，而应是编程、统计和批判性思维三者的结合体。统计学习是培养现代数据分析师的基础。下面分享10种统计方法，任何数据分析师都应该掌握，以更高效地处理大数据集。

1）线性回归

线性回归是一种通过拟合因变量和自变量之间的最佳线性关系来预测目标变量的方法。线性回归主要分为简单线性回归和多元线性回归。简单线性回归使用一个自变量，通过拟合一个最佳线性关系来预测因变量；而多元线性回归使用一个以上的自变量来预测因变量。

2）分类

分类是一种数据挖掘技术，用来将一个整体数据集分成几个类别，以便更准确地进行预测和分析。

3）重采样方法

重采样是从原始数据样本中反复抽样的方法，是一种非参数统计推断方法。重采样是在实际数据的基础上生成唯一的抽样分布。

4）子集选择

子集选择首先确定我们认为与响应有关的P个预测因子的一个子集，然后使用该子集的特征通过最小二乘法拟合模型。

5）特征缩减技术

通过对损失函数加入正则项，可在训练求解参数的过程中将影响较小的特征的系数衰减到0，只保留重要的特征。

6）降维

降维是将估计的P+1个系数减少为M+1个系数，其中M可以将主成分回归描述为从一组大的变量中导出低维度特征集的方法。

7）非线性回归

非线性回归是回归分析的一种形式，在这种分析中，观测数据通过模型参数和因变量的非线性组合函数建模，数据用逐次逼近法进行拟合。

8）树形方法

树形方法可以用于回归和分类问题，涉及将预测空间分层或分段为一些简单的区域。由于分割预测空间的分裂规则可以用树形总结，因此这类方法也被称为决策树方法。

9）支持向量机

支持向量机（Support Vector Machine，SVM）是一种分类技术，简单地说，就是寻找一个超平面以最好地将两类点与最大边界区分开。

10）无监督学习

无监督学习就是在无类别信息的情况下寻找到好的特征。