AI 助理
备案控制台
开发者社区 大数据 文章 正文

[已解决]大数据集群CPU告警问题解决

2023-12-26 199
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： [已解决]大数据集群CPU告警问题解决

大数据集群CPU告警问题解决

问题

6台机器的 CPU总是连续超过90%

思路

调整yarn资源

常见的是调整容器虚拟 CPU 内核

yarn.nodemanager.resource.cpu-vcores

根据集群具体的CPU核数规划

我另外调整了两个参数

最小容器虚拟 CPU 内核数量

yarn.scheduler.minimum-allocation-vcores

设置为2

原本是1，这样能减少并行的任务数

最大容器虚拟 CPU 内核数量

yarn.scheduler.maximum-allocation-vcores

设置为7

防止CPU超频告警

解决

目前集群稳定运行无告警！


文章标签：
云原生大数据计算服务 MaxCompute
大数据
容器
资源调度
关键词：
云原生大数据计算服务 MaxCompute集群
集群CPU
CPU集群
云原生大数据计算服务 MaxCompute cpu
大数据CPU
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程：基于MaxCompute的热门话题分析
Maynor
目录
相关文章
青云交（Java大数据AI云原生Python）
|
7月前
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计：揭秘MySQL集群架构负载均衡核心算法：从理论到Java代码实战，让你的数据库性能飙升！
本文聚焦 MySQL 集群架构中的负载均衡算法，阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法，分析各自优缺点及适用场景。并提供 Java 语言代码实现示例，助力直观理解。文章结构清晰，语言通俗易懂，对理解和应用负载均衡算法具有实用价值和参考价值。
青云交（Java大数据AI云原生Python）
451 14
大数据大厂之MySQL数据库课程设计：揭秘MySQL集群架构负载均衡核心算法：从理论到Java代码实战，让你的数据库性能飙升！
青云交（Java大数据AI云原生Python）
|
8月前
|
负载均衡 算法 关系型数据库
大数据新视界--大数据大厂之MySQL数据库课程设计：MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象，介绍多种负载均衡算法及故障排除步骤，包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法，如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
青云交（Java大数据AI云原生Python）
293 14
武子康
|
消息中间件 分布式计算 关系型数据库
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
武子康
287 0
zdl
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评：实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比，涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务，显著降低了运维成本，提供了强大的集成能力和弹性扩展，特别适合中小型团队和业务波动大的场景。文中还提出了改进建议，并探讨了与其他产品的联动可能性。总结指出，实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色，是大数据实时计算的优选方案。
zdl
572 56
武子康
|
存储 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细！（一）
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细！（一）
武子康
212 1
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细！（一）
游客nsyhaoxcmeiq6
|
SQL 存储 大数据
单机顶集群的大数据技术来了
大数据时代，分布式数仓如MPP成为热门技术，但其高昂的成本让人望而却步。对于多数任务，数据量并未达到PB级，单体数据库即可胜任。然而，由于SQL语法的局限性和计算任务的复杂性，分布式解决方案显得更为必要。esProc SPL作为一种开源轻量级计算引擎，通过高效的算法和存储机制，实现了单机性能超越集群的效果，为低成本、高效能的数据处理提供了新选择。
游客nsyhaoxcmeiq6
204 2
栈江湖
|
存储 负载均衡 监控
揭秘 Elasticsearch 集群架构，解锁大数据处理神器
Elasticsearch 是一个强大的分布式搜索和分析引擎，广泛应用于大数据处理、实时搜索和分析。本文深入探讨了 Elasticsearch 集群的架构和特性，包括高可用性和负载均衡，以及主节点、数据节点、协调节点和 Ingest 节点的角色和功能。
栈江湖
563 0
武子康
|
分布式计算 大数据 分布式数据库
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
武子康
263 5
武子康
|
SQL 分布式计算 NoSQL
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
武子康
335 4
武子康
|
资源调度 大数据 分布式数据库
大数据-158 Apache Kylin 安装配置详解 集群模式启动(二)
大数据-158 Apache Kylin 安装配置详解 集群模式启动(二)
武子康
245 2

热门文章

最新文章

  • 1
    开源大数据周刊-第90期
  • 2
    深入阿里云大数据IDE–MaxCompute Studio
  • 3
    大数据与机器学习：数字时代的强大动力
  • 4
    婺亿信息边秀武：气象行业最缺新技术，AI和大数据是行业发展加速器
  • 5
    一幅长文细学华为MRS大数据开发（五）—— MapReduce和Yarn
  • 6
    新风投携重金专投大数据！
  • 7
    MaxCompute 使用SQL进行同时在线问题分析
  • 8
    二叉查找树（通过外排思想处理大数据）
  • 9
    《Storm技术内幕与大数据实践》一第1章 绪论
  • 10
    阿里云 ODPS-Hologres刷新世界纪录，领先第二名23%
  • 1
    阿里云轻量应用服务器实例：通用型、多公网IP型、CPU优化、国际及容量型区别对比
    711
  • 2
    阿里云服务器配置选择方法：付费类型、地域及CPU内存配置全解析
    200
  • 3
    【紧急救援】MySQL CPU 100%！一套组合拳教你快速定位并解决！
    337
  • 4
    阿里云4核8G云服务器配置价格：热门ECS实例及CPU处理器型号说明
    643
  • 5
    阿里云ECS云服务器8核16G配置收费价格，多种ECS实例CPU及费用清单
    481
  • 6
    阿里云轻量应用服务器“CPU优化型”配置介绍、费用价格说明
    515
  • 7
    阿里云服务器ECS通用算力型u2a实例，CPU采用AMD EPYC处理器，睿频最高3.7 GHz
    595
  • 8
    【C位面对面】被低估的“通用算力”：为什么 AI 时代CPU 的需求“不降反增”?
    314
  • 9
    阿里云服务器4核8G配置：ECS实例规格、CPU型号及使用场景说明
    540
  • 10
    服务器核心组件：CPU 与 GPU 的核心区别、应用场景、协同工作
    1663

    • 相关课程

    更多
  • 大数据Impala教程
  • 大数据Spark2020最新课程（知识精讲与实战演练）第二阶段
  • 大数据Spark2020版（知识精讲与实战演练）第三阶段
  • 大数据Spark2020版（知识精讲与实战演练）第四阶段
  • 2020版大数据实战项目之DMP广告系统（第三阶段）
  • 2020版大数据实战项目之DMP广告系统（第五阶段）

    • 相关电子书

    更多
  • RDS SQL Server CPU高使用率性能优化
  • 智能告警：IT系统神经中枢
  • 《阿里云云拨测发布》PDF
    • 下一篇
    基于Python+Vue开发的口腔牙科预约管理系统