数据湖中的 Lambda 架构与 Hadoop 技术应用
1. Lambda 架构应用实例
Lambda 架构在多个实际场景中得到了应用:
- Twitter :修改后的 Lambda 架构用于推文的情感分析。
- Groupon :有多个使用 Lambda 架构的用例。
- Crashlytics :处理移动分析,有效利用 Lambda 架构的批处理层和实时处理层进行有意义的分析。
- Stack Overflow :知名问答论坛,为登录用户推荐问题的模块使用了 Lambda 架构,投票等分析使用批处理视图。
- Flickr Magic View :修订后的 Lambda 架构结合批量和实时计算创建了魔法视图。
2. Kappa 架构
Kappa 架构是一种简化的 Lambda 架构,它移除了批处理层,只保留实时处理层。其主要目的是避免每次都从头计算批处理层,尽量在实时处理层完成所有工作。Lambda 架构的一个缺点是需要两次编写和执行相同的逻辑,而 Kappa 架构避免了这一点。
以下是 Kappa 架构和 Lambda 架构的对比:
| 架构 | 特点 |
| ---- | ---- |
| Kappa 架构 | 移除批处理层,仅保留实时处理层 |
| Lambda 架构 | 包含批处理层和实时处理层 |
从对比中可以明显看出,Kappa 架构缺少了 L
超级会员免费看
订阅专栏 解锁全文
1605

被折叠的 条评论
为什么被折叠?



