k8s+hdp集群问题集锦

最新推荐文章于 2026-05-22 16:40:33 发布
原创 最新推荐文章于 2026-05-22 16:40:33 发布 · 1k 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
分布式

当前文章被收录于：

分布式
1 篇文章 0 人学习
订阅专栏 查看详情

k8s问题集锦

  1. docker镜像目录，镜像版本，并发，ipvs，运行日志，网络，cgroup
  2. master node分离，etcd可用性及性能，keeplived，api-server
  3. 调度策略，资源策略，亲和性
  4. kubelet资源，fdcount，pod资源限制
  5. 有状态服务，双写导致脑裂
  6. java服务线程，句柄，gc异常，现场保护，雪崩

ambari+HDP问题

  1. 服务用户及权限，ranger部署
  2. hive数据库乱码
  3. livy使用账号操作hdfs权限
  4. hive资源分配YARN RM配置
01 搭建一个完整的K8S集群部署文档以及相关讲解.docx
02-24
kubernetes 二进制部署
kubeadm，k8s集群学习环境搭建
10-01
unbuntu16.04环境，kubeadm搭建k8s集群脚本，aliyun源 参考文档如下 1.https://time.geekbang.org/column/article/39724 2.https://my.oschina.net/u/2306127/blog/1843053 3.https://blog.csdn.net/somehow1002/article/details/78511829 4.https://www.aliyun.com/jiaocheng/198725.html 5.https://packages.cloud.google.com/apt/doc
服务器搭建系列之15：k8s安装hadoop集群，2022最新版本
cavellpotter的博客
02-14 4170
准备工作： 下载hadoop安装包，地址：hadoop官网 修改安装包中的对应文件内容 vim etc/hadoop/core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache License, Version 2.0 (the "Licen.
【云原生】Hadoop on k8s 环境部署
匠人精神，持之以恒！
09-24 5241
Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（Hadoop Distributed File System）、MapReduce（Hadoop2.0加入了YARN，Yarn是资源调度框架，能够细粒度的管理和调度任务，还能够支持其他的计算框架，比如spark）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。hdfs的高容错性、高伸缩性、高效性等优点让用户可以将Hadoop部署在低廉的硬件上，形成分布式系统。目前最新版本已经是3.x了，官方文档。
Unity多渠道APK打包：同一工程稳定输出不冲突安装包
最新发布
weixin_33736048的博客
05-22 763
Android应用多渠道分发是移动开发的基础场景，其核心在于解决包名唯一性、渠道可识别性与构建可重复性三大问题。原理上，Unity安卓打包本质是三阶段流程：生成Android工程、Gradle编译、APK签名，而包名冲突根源在生成阶段对PlayerSettings的强依赖。技术价值体现在规避人工配置失误、支撑CI/CD自动化、满足华为/小米等商店合规要求。典型应用场景包括应用宝、TapTap、B站等渠道独立包管理，以及AB测试、灰度发布等运营需求。本文聚焦Unity原生方案，通过BuildPlayerOpt
ambari集群修改ip地址
u011012217的博客
12-21 2904
ambari集群整体迁移，修改ip地址
k8s部署hadoop
小白白的博客
03-15 1718
配置和模板参考helm仓库：https://artifacthub.io/packages/helm/apache-hadoop-helm/hadoop。
探索高效运维新可能：ElasticAmbari - 一站式大数据管理平台
gitblog_00077的博客
04-01 349
探索高效运维新可能：ElasticAmbari - 一站式大数据管理平台 在大数据领域，管理和监控复杂的Hadoop生态系统是一个挑战。而正是为了解决这个问题而生的一个开源项目，它将Apache Ambari进行了增强，提供了更加弹性、易用且高效的集群管理体验。 项目简介 ElasticAmbari是由 ChengYingOpenSource 社区开发维护的，它的目标是简化Hadoop、HBase...
一文看懂 Cloudera 对 CDH/HDP/CDP 的产品支持策略
明哥的IT随笔
08-26 5324
一文看懂 Cloudera 对 CDH/HDP/CDP 的产品支持策略 前言 大家好，我是明哥。 熟悉大数据业界的小伙伴们都知道，Cloudera 在跟HortonWorks 合并后，便推出了新一代大数据平台 CDP，并正在逐步停止原有的大数据平台 CDH 和 HDP。 但具体到何时会彻底停止对 CDH 和 HDP 的维护，CDH/HDP 停止维护后现有用户该如何应对，以及 CDP 跟 CDH/HDP 的异同，或多或少都有些模式。 笔者希望通过本文，能彻底回答清楚小伙伴们的上述问题。以下是正文。 CDH/H
CDH /HDP 何去何从？
weixin_45906054的博客
03-17 1246
摘要：相信接触过大数据的很多人都可能听说过 CDH 和 HDP 两个平台，本文主要对这两个平台的未来路线做一些分析。Tips：点击「阅读原文」有惊喜！一、CDH/HDP 平台现状CDH/H...
【Flink on k8s】- 1 - Flink Kubernetes Operator 简介 2023
欢迎来到我的博客，一起探索代码里的世界！
03-22 1260
Flink Kubernetes Operator 可以与 Kubernetes 的其他功能和工具集成，可以帮助用户快速定位和解决问题。Flink Kubernetes Operator可以在Kubernetes上实现高可用性，以确保 Flink 集群的稳定性和可靠性。Flink Kubernetes Operator 可以快速地部署 Flink 集群，而无需手动配置和管理集群。Flink Kubernetes Operator可以将Flink集群与其他应用程序隔离，以避免资源争用和干扰。
k8s集群节点对接集群后iptables限制端口
lcm_linux的博客
08-18 3026
测试目的：先知381对接FI-C80，验证哪些Hadoop端口会对先知造成影响 测试环境：先知381对接CDH 测试步骤： 1、先知更换对接Hadoop集群 2、先知节点关闭访问的Hadoop集群所有端口（阻止IP访问） 3、先知节点上一一开通Hadoop集群的端口 4、验证先知流程 环境： 先知节点：172.27.231.103 配置集群节点： 172.27.234.31 qa-fic80-hdp01 172.27.234.43 qa-fic80-hdp02 172.27.234.51 qa-fic80-
基于K8S，spark访问hadoop集群的共享层hive表数据历险记
阿啄debugIT
07-07 2365
前言 由于Spark的抽象设计，我们可以使用第三方资源管理平台调度和管理Spark作业，比如Yarn、Mesos和Kubernetes。 基本原理 基本原理当我们通过spark-submit将Spark作业提交到Kubernetes集群时，会执行以下流程： Spark在Kubernetes pod中创建Spark driver Driver调用Kubernetes API创建executor pods，executor pods执行作业代码 计算作业结束，executor pods回收并清理
hadoop HDP docker镜像部署
11-01
hadoop HDP docker镜像部署
Centos7.5-Kubernetes的集群部署（超级详细版本）.docx
07-26
基于Centos7.5通过kubeadm部署最新版本的K8S（原创超级超级超级详细的集群部署文档）
使用HDP搭建并管理集群
10-18
使用集群管理工具HDP搭建hadoop集群，添加并管理相关的组件和服务
【Flink on k8s】- 15 - 将 flink on yarn 迁移到 flink on k8s
欢迎来到我的博客，一起探索代码里的世界！
12-12 961
维护 3 个 HDP 集群使用某云实时计算 Flink。
快速搭建K8s集群一键安装脚本及配置说明
pop_xiaohao的专栏
09-15 3379
简介： 采用kubeadm安装集群非常方便，只不过安装前还需要做些前置的系统配置，如果构建多个节点的集群会涉及到一些重复操作， 这时候最好编写成一个脚本快速的安装部署。 基础安装脚本，需要在每台机器上执行 #!/bin/bash echo "1、修改DNS配置如有需要" chattr -i /etc/resolv.conf cat <<EOF >> /etc/resolv.conf nameserver 10.139.0.246 nameserver 10.139.0.247
如何搭建k8s
weixin_28977419的博客
01-17 1430
前期准备 准备3台服务器 这里我选择通过VMware Workstaion来搭建3个虚拟机，每个配置2CPU和2G内存，如下图： 上图可以看出我已经设置了配置主机名与静态IP地址 角色 主机名 IP地址 master hdp01 192.168.183.113 slave hdp02 192.168.183.111 slave hdp03 192.168.183.112 （2）关闭防火墙 systemctl stop ...
k8s-kubernetes错误集锦总结-环境搭建篇
搞运维的万精油的博客
08-19 5322
k8s-kubernetes错误集锦 ① [root@centos7 k8s-auto]# kubectl get nodes The connection to the server localhost:8080 was refused - did you specify the right host or port? 上述错误，检查一下环境变量是否设置好了，检查步骤如下 env | grep -i kube 如果没有、为空或者路径不对，文件有误等等对正修正错误就可以了，添加方式如下 临时方式 ex
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值