重启CDH的方法以及问题解决

最新推荐文章于 2025-06-29 12:13:55 发布
原创 最新推荐文章于 2025-06-29 12:13:55 发布 · 1.3w 阅读 · 9 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#CDH
本文详细介绍了CDH重启过程中遇到的cloudera-scm-server死锁和pid文件存在的问题，以及由于端口7432被占用导致的数据库服务启动失败。解决方法包括删除残留的pid文件，关闭占用端口的进程，最终成功重启CDH并恢复服务。

重启CDH的方法如下：

service cloudera-scm-server-db restart
service cloudera-scm-server restart
service cloudera-scm-agent restart（这个还需要在每个slave上执行）



启动服务cloudera-scm-server时会遇到过一段时间自己挂掉，并返回cloudera-scm-server dead but pid file exists的问题。

以下为根源在cloudera-scm-server-db没有正常启动的情况。


【过程】

cloudera-scm-server启动后过一段时间自己挂掉

[html]  view plain  copy
  1. [root@gyvm-4 data]# service cloudera-scm-server start  
  2. Starting cloudera-scm-server:                              [  OK  ]  
  3. [root@gyvm-4 data]#   
  4. [root@gyvm-4 data]# service cloudera-scm-server status  
  5. cloudera-scm-server (pid  60761) is running...  
  6. [root@gyvm-4 data]# service cloudera-scm-server status  
  7. cloudera-scm-server (pid  60761) is running...  
  8. [root@gyvm-4 data]# service cloudera-scm-server status  
  9. cloudera-scm-server (pid  60761) is running...  
  10. [root@gyvm-4 data]# service cloudera-scm-server status  
  11. cloudera-scm-server dead but pid file exists  

这时候想要完整重启cloudera-scm server-db/server

发现cloudera-scm-server-db无法重启

[html]  view plain  copy
  1. [root@gyvm-4 data]# service cloudera-scm-server-db stop  
  2. waiting for server to shut down............................................................... failed  
  3. pg_ctl: server does not shut down  

无法停止server-db的原因是残留了一个pid文件，status显示不正确，删除该文件，通过status查看，server-db其实已经停止了。

[html]  view plain  copy
  1. [root@gyvm-4 data]# cd /var/lib/cloudera-scm-server-db/data  
  2. [root@gyvm-4 data]# service cloudera-scm-server-db status  
  3. pg_ctl: server is running (PID: 17378)  
  4. /usr/bin/postgres "-D" "/var/lib/cloudera-scm-server-db/data"  
  5. [root@gyvm-4 data]# rm postmaster.pid  
  6. rm: remove regular file `postmaster.pid'? y  
  7. [root@gyvm-4 data]# service cloudera-scm-server-db status  
  8. pg_ctl: no server running  

此时启动server-db，失败

[html]  view plain  copy
  1. [root@gyvm-4 data]# service cloudera-scm-server-db start  
  2. DB initialization done.  
  3. waiting for server to start...............................................................could not start server  

查看log，tcp/ip端口7432 被占用

[html]  view plain  copy
  1. [root@gyvm-4 cloudera-scm-server]# tail db.log   
  2. LOG:  could not bind IPv4 socket: Address already in use  
  3. HINT:  Is another postmaster already running on port 7432? If not, wait a few seconds and retry.  
  4. LOG:  could not bind IPv6 socket: Address already in use  
  5. HINT:  Is another postmaster already running on port 7432? If not, wait a few seconds and retry.  
  6. WARNING:  could not create listen socket for "*"  
  7. FATAL:  could not create any TCP/IP sockets  

杀掉占用该端口的进程

[html]  view plain  copy
  1. [root@gyvm-4 cloudera-scm-server]# netstat -ntp | grep 7432  
  2. tcp        0      0 192.168.1.17:7432           192.168.1.17:49784          ESTABLISHED 37118/postgres        
  3. tcp        0      0 192.168.1.17:7432           192.168.1.8:35818           ESTABLISHED 36807/postgres        
  4. tcp        0      0 192.168.1.17:7432           192.168.1.17:49779          ESTABLISHED 37060/postgres        
  5. tcp        0      0 192.168.1.17:49783          192.168.1.17:7432           ESTABLISHED 36306/java            
  6. tcp        0      0 192.168.1.17:7432           192.168.1.8:35813           ESTABLISHED 36778/postgres        
  7. tcp        0      0 192.168.1.17:49779          192.168.1.17:7432           ESTABLISHED 36306/java            
  8. tcp        0      0 192.168.1.17:49784          192.168.1.17:7432           ESTABLISHED 36306/java            
  9. tcp        0      0 192.168.1.17:49778          192.168.1.17:7432           ESTABLISHED 36306/java            
  10. tcp        0      0 192.168.1.17:7432           192.168.1.17:49778          ESTABLISHED 37059/postgres        
  11. tcp        0      0 192.168.1.17:7432           192.168.1.8:35814           ESTABLISHED 36779/postgres        
  12. tcp        0      0 192.168.1.17:7432           192.168.1.8:35817           ESTABLISHED 36804/postgres        
  13. tcp        0      0 192.168.1.17:7432           192.168.1.17:49783          ESTABLISHED 37117/postgres        
  14. [root@gyvm-4 cloudera-scm-server]# kill -9 37118  

再次开启server-db，成功，启动server，成功。

[html]  view plain  copy
  1. [root@gyvm-4 data]# service cloudera-scm-server-db start  
  2. DB initialization done.  
  3. waiting for server to start.... done  
  4. server started  
  5.   
  6. [root@gyvm-4 data]# service cloudera-scm-server start  
  7. Starting cloudera-scm-server:                              [  OK  ]  

此时，cloudera管理界面可以正常访问。

 

【结论】

究其原因，是cloudera-server-db没有正常启动，但是残留了pid文件postmaster.pid。

所以查看cloudera-server-db状态时，显示有误，返回cloudera-server-db是启动的状态。

在此基础上，每次启动cloudera-server就会失败。

而cloudera-server-db启动失败的原因是该服务需要的端口号被占用。

断电后CDH集群艰难重启之路
dymkkj的专栏
04-12 4443
1.问题描述 运维在凌晨断电重启服务器后，因未忘记将测试环境集群CDH关闭，导致CDH的 server/agent集群，Zookeeper集群，hdfs集群，yarn无法重启，监控指标全部消失，症状如下 cdh各个节点无状态 agent启动失败 zookeeper 启动顺序 CDH server agent zookeeper集群 hdfs集群 yarn集群 启动CDH集群 启动server后发现没问题，但是启动server所在的agent时，老是出错，启动后很快退出，查看日志
CDH集群和CM集群安全停止和启动
BlogPan的专栏
08-29 1813
当遇到停电或停电通知情况时一般需要停止CDH集群和CM服务，本文将详细介绍如何安全启停CDH集群和CM服务。
cdh集群的重启过程
热门推荐
十色花的博客
06-29 1万+
集群以cdh-5.9.0搭建，主节点在服务未停的情况下重启，重启后如何启动cdh服务？ 进入cm目录cd /opt/cm-5.9.0/etc/init.d查看状态./cloudera-scm-server status重启server./cloudera-scm-server restart查看server状态./cloudera-scm-server statusserver状态稳定后，重启ag...
CDH不断自动重启 服务无法正常启用
dbbwws的博客
03-08 590
根据具体情况来说，后台一直写入日志，应该是某个模块没有初始化成功 ，那么这个问题具体的原因应该在结尾去找，直接去结尾看最后一个报错。显示有一个什么jetty报错 直接百度这个模块 发现这个是cdh通过web展示的重要模块 ，那么看他给他出的建议和报错。发现不是root用户的权限 chmod 777 这个文件 然后再次重启 完美解决这个问题。他说这个文件没权限 那应该是启动用户的问题 使用ls -l查看权限设置。后台一直在输入日志，且根据日志报错找不到明显的原因。
记一次惊险的CDH6.3.2集群断电后重启的过程
quantam的博客
10-11 548
用navicat打开数据后发现确实在metastore库下是没有CM_VERSION这张表的，但是在scm下有，然后我就自己在metastore库里面建一个一样的，不知道有没有用。终于启动起来了，然后登录http://xxx:7180/cmf/home 去看哪些服务没起的就手动起就完了。当时我记得配数据库的时候是用scm的，不知为啥变成metastore了，现在改回来。查看服务是否启动，显然结果是failed。
解决cdh的yarn脑裂问题
最新发布
lijian972的博客
06-29 153
结局yarn 脑裂问题
CDH 升级pyspark带来的问题
只是甲的博客
06-11 6740
文章目录一.问题描述二.解决方案2.1 删除spark2.2 重启整个集群2.3 重新添加spark服务 一.问题描述 最近在自学pyspark，想本地通过pycharm来编辑pyspark脚本，运行的时候，提示没有pyspark模块，于是通过pycharm安装了pyspark(最新版本)。 而且这个安装到了远程服务器上，真的坑 奈何我安装的是CDH 6.3.1版本，然后spark版本是 2.4.0-cdh6.3.1，然后最新版本是3.0.2的 新的pyspak程序，都未记录到 History Serve
记一次CDH集群 无法找到主机的NTP 服务,或该服务未响应时钟偏差请求
激进的蜗牛
12-09 5929
为了单纯来看问题怎么解决的伙伴,先给出解决方法:重启agent 解决过程如下 CDH的NTP服务报错是很常见的问题.一般情况下,出现无法找到主机的NTP服务,或该服务未响应时钟偏差请求错误都是因为NTP服务异常,可以运行systemctl status ntpd查看NTP进程,执行systemctl restart ntpd 可重启该进程. 最近集群出现类似错误,报错如标题,...
CDH环境下 Flink On Yarn 任务中文乱码问题解决
weixin_42900056的博客
07-19 3417
Flink On Yarn 任务中文乱码问题解决问题描述问题解决1. Linux的环境变量设置字符集2. 修改MapReduce的环境变量3 CM界面,修改Yarn配置(mapred-site.xml)4 非CDH环境解决参考 问题描述 在Flink通过kudu-client方式插入CDH上的Kudu表数据中，包含中文数据，本地idea执行是正常的，但是服务器上执行就乱码。进一步排查发现，使用Flink的StandaloneCluster模式运行该程序写入数据正常，使用PerJobOnYarn模式则乱码，初
CDH 常用指令及问题处理
骑着蜗牛绕地球
03-23 5056
1.常用指令 ## 主节点启动server systemctl start cloudera-scm-server ## 从节点启动agent systemctl start cloudera-scm-agent ## 停止 systemctl stop cloudera-scm-server systemctl stop cloudera-scm-agent service supervisord stop systemctl disable cloudera-scm-server # 关闭开机启动
CDH重启cloudera-scm-agent报错：No socket could be created — ((‘127.0.0.1’, 9001): [Errno 98] Address alre
大模型大数据攻城狮的专栏
08-22 869
这通常意味着另一个进程已经在监听相同的IP地址和端口号，导致。在启动时无法创建HTTP服务器的套接字，原因是地址。
CDH云服务器开关机
互联网知识分享
05-22 639
特别注意：有些云服务器 每次启动后 /etc/hsots文件会添加一个本地的ip地址，造成域名重复，所以启动后，第一件事情，检查下这个文件。选择关机不收费，其实会收取磁盘的钱，但ip地址，会释放条，下次启动的话，公有IP可能会变化，到时候本地的windo要改动下。需要注意的是启动顺序和关闭顺序，确保没有其它节点没依然该节点，该节点就可以进行开和关。需要注意的是启动顺序和关闭顺序，确保没有其它节点没依然该节点，该节点就可以进行开和关。（1）启动服务节点：hadoop102。（3）查看Server启动日志。
Cloudera Manager5.15.0安装教程，每步附图，超详细
qq_26578763的博客
07-28 2567
一、系统配置 1.hostname 在所有机器进行操作 1)规划主机名 server cmserver.ifoton.com.cn agent agent1.ifoton.com.cn agent2.ifoton.com.cn 2)设置主机名 hostname cmserver.ifoton.com.cn hostnamectl set-hostname cmserver.ifoton.com.cn hostnamectl set-icon-name cmserver.ifoton.com.cn
cdh6.x命令行启动与关闭
mrye的博客
12-01 1898
关闭所有cloudera-scm-agent节点 # 使用root用户 # 在所有节点上执行 service cloudera-scm-agent stop # 查看是否关闭 service cloudera-scm-agent status 关闭cloudera-scm-server节点 # 使用root用户 # 在cloudera-scm-server节点上执行 service cloudera-scm-server stop # 查看是否关闭 service cloudera-sc.
解决无法停止CDH Supervisord服务的问题
PixelCoder的博客
09-14 565
您可以通过检查进程状态、强制终止进程、检查配置文件和日志文件，以及重启Supervisord服务来解决此问题。CDH Supervisord是一种常用的进程管理工具，用于管理和监控在CDH（Cloudera Distribution for Hadoop）集群上运行的各种进程。最后，如果您尝试了上述所有方法仍无法停止Supervisord服务，您可以尝试重启Supervisord服务。如果无法停止Supervisord服务，可能是由于配置文件或日志文件中的问题导致的。替换为您要停止的实际进程的名称。
Centos8安装CDH解决不兼容问题
Gscsd的博客
12-04 4504
Cenots8解决CDH不兼容问题
CDH 主机准备就绪，无法继续问题
TURING.DT
04-13 2200
今天处理一个CDH问题，由于各种原理，CDH装的一半的时候退出了，导致再次进入添加主机界面，无法进行下一步， 解决方法，重启CDH server端服务器，等待5分钟后登录下，在管理界面删除对应的主机，之后再重新添加主机就好了。 管理员在2009年8月13日编辑了该文章文章。 -->
CDH起datanode服务时遇到的异常及解决方法
Tinson写字的地方
02-15 1677
报错内容 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid dfs.datanode.data.dir /opt/dfs/dn: ExitCodeException exitCode=1: chmod: changing permissions of `/opt/dfs/dn’: Operation not permitte...
CDH WebUI无响应问题记录
Hiwes的博客
04-21 2359
CDH居然他娘的不显示状态了，原来要这么办！
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值