Hadoop 怎么了，大数据路在何方？

了解更多Greenplum技术干货，欢迎访问Greenplum中文社区网站

近期Hadoop消息不断，众说纷纭。本文以Hadoop的盛衰变化为楔子聊下大数据分析的发展现状和未来趋势。

15秒钟简缩版：

Hadoop

• 巅峰已过，正在成为遗留系统
• Hadoop 和分布式数据库在同一个赛道上，Hadoop 在这个赛道上目前并无优势

大数据

• 大数据市场是 SQL市场，是分布式数据库市场
• 基础分析如BI、交互查询等技术已经成熟
• 高级分析（机器学习）下沉，向数据库内嵌分析方向发展
• 高级分析（机器学习）主要问题不在分析而在数据本身

1. Hadoop 巅峰已过几多年，正在成为遗留系统

自2015年开始 Hadoop 暴露出诸多问题引起注意。随后 Gartner、IDG 等公司分析师、Hadoop用户和Hadoop和大数据圈内人士越来越多的反映出各种问题。

究其原因，主要如下：

• Hadoop 栈过于复杂，组件众多，集成困难，玩转代价过高
• Hadoop 创新速度不够（或者说起点过低），且缺乏统一的理念和管控，使得其众多组件之间的集成非常复杂
• 受到 Cloud 技术的冲击，特别是类 S3 对象存储提供了比 HDFS 更廉价、更易用、更可伸缩的存储，撬动了 Hadoop 的根基 HDFS
• 对 Hadoop 期望过高，Hadoop 发迹于廉价存储和批处理，而人们期望 Hadoop 搞定大数据所有问题，期望不匹配造成满意度很低
• 人才昂贵，且人才匮乏

Hadoop 巅峰已过成为行业事实，本文不打算在这个问题上继续论证。有兴趣的读者可以参考网上的诸多评论，甄选了一些笔者觉得有参考价值或沾边的文章罗列如下（从标题可以感觉到浓厚的萧瑟之气）：

• Hadoop还有没有前途？Hadoop发展历史和未来方向解读
• Hadoop 气数已尽：逃离复杂性，拥抱云计算
• 超越云计算：对数据库管理系统未来的思考
• Big Data Is Still Hard. Here’s Why
• Big Data Will Get By (but only with a little help from its friends)
• Cloudera and Hortonwork