BigData Learning day 3 hadoop伪分布式系统安装

最新推荐文章于 2026-07-02 23:17:06 发布
原创 最新推荐文章于 2026-07-02 23:17:06 发布 · 270 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
BigData

当前文章被收录于：

BigData
4 篇文章 0 人学习
订阅专栏 查看详情
本文详细介绍了在Linux环境下配置JDK与Hadoop环境变量的过程，通过终端验证JDK与Hadoop版本，以及Hadoop伪分布式安装步骤。包括SSH密钥生成与授权，解决权限拒绝问题，修改sshd_config文件，最后提供了实验楼课程链接供进一步参考。

 

--------------------------------Day 2  linux安装---------------------------

配置好jdk环境变量，hadoop环境变量

在终端输入java -version 和hadoop version查看jdk和hadoop版本

hadoop伪分布式安装

cd ～

ssh-keygen -t rsa

将生成的公钥信息保存在authorized_key中    ==> cp id_rsa.puba  authorized_key

进行ssh免登录测试时报 permission on denied，please  try again。

vi /etc/ssh/sshd_config 加上这三行

RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_key

然后进行hadoop配置可参考实验楼

https://www.shiyanlou.com/courses/237/labs/764/document

标签
#hadoop #linux
hive数据导入的六种方式
tuzhg的博客
12-16 5829
1、加载本地文件到hive表中: load data local inpath '/home/tuzhigang/test.txt'  into test_table; 2、加载HDFS文件到hive表中: load data inpath 'path/test.txt' into test_table 3、加载数据覆盖表中已有的数据: load data local inpath '/hom...
BigData Learning day 5 hadoop hive环境搭建
tuzhg的博客
12-02 3015
参考实验楼里面很详细 https://www.shiyanlou.com/courses/38/labs/766/document 配置hive-site.xm的时候可以把他移动到/home/Code文件夹中然后下载下来直接移动到 $HIVE_HOME/conf中 配置好所有东西后 schematool -dbType mysql -initSchema 查看是否初始化成功，如果不能报...
BigData Learning day 1 hadoop生态系统
tuzhg的博客
11-26 363
Data Managment: Oozle、Chukwa、Flume、zookeeper Data Access:Hive、Pig、Mahout、Avto、Sqoop Data Processing: MapReduce、YARN Data Storage: HDFS、HBASE Hive包括的四种数据类型：表（table）、外部表（External Table）、分区（partition...
Ubuntu26.04 搭建 Hadoop 3.5.0 完全分布式
桃李不言下自成蹊
07-02 278
本文介绍Ubuntu26.04搭建Hadoop 3.5.0完全分布式集群的过程，涉及3个节点（lihaozhe01/02/03）。先完成系统配置（源、时区、IP、防火墙等），安装Python、Java、Zookeeper等依赖并配置环境变量，再配置Zookeeper集群，最后修改Hadoop核心配置文件，搭建高可用的HDFS和YARN集群。
将windows中HDFS-javaAPI文件打包，在linux的hadoop平台运行
weixin_38383877的博客
06-26 297
打进 Jar 包，编译时保留、打包剔除集群执行用 hadoop jar 命令时，程序运行依赖的 Hadoop 核心包（hadoop-common、hadoop-hdfs、mapreduce、yarn 等）全部由集群服务自带，运行时自动加载，不用打入自己的业务 Jar。hadoop jar 读取 Jar 内部 META-INF/MANIFEST.MF 里的 Main-Class 属性，如果配置了，命令行可以省略主类全名，直接传业务参数。不是具体异常，代表 Maven 打包进程被系统 / IDE 强制终止，
Hadoop数据库
2401_86886131的博客
07-01 167
您的答案： 1.Ambari，它是一个基于Web的工具，用于配置、管理和监控Hadoop。创建一个名为goods_t的表，包含两个字段goods_id和goods_status，数据类型为string，按cat_id string进行分区，按goods_status列聚类和goods_id排序，划分成两个桶。创建分区，在数据库DB中创建一个分区表goods，包含goods_id和goods_status两个字段，数据类型为string，分区为cat_id，数据类型为string，以“\t”为分隔符。
5-搭建Hadoop完全分布式集群
最新发布
KASH_SHADOW的博客
07-02 117
说明：因为都是内网搭建的，对外还有一个服务器的，那个服务器有防火墙，由它来访问内网集群，如果内网内开启防火墙，内网集群通讯会出现很多问题。注意：在企业开发时，通常单个服务器的防火墙时关闭的。分别输入命令：vi /etc/sysconfig/network-scripts/ifcfg-ens33。解压，输入命令：tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/配置文件都放在 /opt/module/hadoop-3.1.3/etc/hadoop/ 目录下。
Linux 【08-grep命令超详细教程】
qq_16313575的博客
07-01 280
Linux grep (global regular expression) 命令用于查找文件里符合条件的字符串或正则表达式。 grep 指令用于查找内容包含指定的范本样式的文件，如果发现某文件的内容符合所指定的范本样式，预设 grep 指令会把含有范本样式的那一列显示出来。若不指定任何文件名称，或是所给予的文件名为 -，则 grep 指令会从标准输入设备读取数据。
Linux 系统编程 06：信号机制
x1649545783的博客
07-01 510
本文介绍了Linux系统编程中的信号机制，包括信号的核心概念、生命周期、产生方式、捕捉与处理、阻塞与未决信号集、可重入函数等。信号是操作系统向进程发送的异步通知事件，分为常规信号和实时信号。文章详细讲解了信号的处理策略、标准信号注册函数sigaction、信号阻塞与未决信号集的操作，以及SIGCHLD异步回收子进程的实战应用。此外，还总结了面试高频考点和常见易错点，强调信号处理函数应使用可重入函数，避免数据错乱。信号机制是异步事件处理的基础，对编写健壮的后台和嵌入式程序至关重要。
跨平台配置指南：Windows/Mac/Linux 下 OpenClaw 代理配置差异与实操
这家伙很懒，什么都没有留下
06-30 482
用环境变量，别折腾 YAML。Windows 用 PowerShell，永久生效用Mac 用 Zshexport写入~/.zshrcsource后生效Linux 用 Bashexport写入~/.bashrcsource后生效Docker 全平台一致：在的中配置，不用管宿主机是什么系统。
用网线，与麒麟linux相互拷贝
natural_Caduceus
06-29 470
如果文件较大或包含敏感数据：强烈建议使用SCP，因为它是加密传输，且 Win11 原生支持，操作最简便。如果只是临时传几个小文件，且不想处理 SSH 权限：使用更加轻量快捷。图形化需求：如果你更喜欢拖拽操作，也可以在 Win11 上下载WinSCP或FinalShell，通过输入和麒麟账号密码，直接可视化地把文件拖到 Win11 本地。
第2章 Linux 的心脏——Kernel（内核）
lonelyxxyo的博客
06-30 354
这是整个 Linux 最重要的概念之一。程序不能直接控制硬件。所以。它必须：向Kernel申请。例如：我要打开文件可以然后：Kernel读取。再返回。程序↓↓Kernel↓SSD以后。open()read()write()close()这些。都是：系统调用。几乎所有软件。每天都在用。只是：你感觉不到。Kernel（内核）是操作系统最核心的部分。所有程序都必须通过 Kernel 才能操作硬件。
【程序运行】完整梳理应用程序从加载到 CPU 执行全流程，对比 C/Java/Python、Windows/Linux 底层差异
常无欲以观其妙，常有欲以观其徼
06-29 811
本文作者，资深底层技术爱好者，专注计算机体系结构、操作系统内核与编程语言实现原理。长期在 CSDN 分享硬核技术文章，致力于用通俗语言讲透计算机背后的运行逻辑。本文核心思想基于作者的两篇前置文章，强烈建议配合阅读：《深入CPU与操作系统的底层骗局，彻底吃透程序运行本质》《从CPU权限控制看懂Linux、Windows、鸿蒙的本质区别》你每天双击图标、敲命令、启动服务，少说几十次——为什么有些软件拷过去就能用，有些必须“安装”？为什么C语言指针能随便改内存，Java却死活不让你碰？
Linux 特殊权限详解（SUID / SGID / Sticky Bit）
jkzyx123的博客
07-02 416
执行文件时，以文件所有者身份运行进程在该目录下创建的文件，自动继承目录的 group目录中用户只能删除自己创建的文件Linux 三大特殊权限本质是三种控制模型：SUID →身份切换（提权）SGID →组继承（协作）Sticky →删除约束（保护）
麒麟linux制作安装包
natural_Caduceus
06-29 227
deb 是系统级托管：安装写入系统目录、菜单注册、卸载自动清文件；绿色包是手动放目录，deb 内部已经封装了全部文件，安装 = 自动解压部署。deb 完全能把所有程序（sh 脚本 + 依赖二进制 / 资源）全部打进安装包。是 Linux 公认放整包软件的目录，安装 deb 后自动释放到。第二步的bin就是你可以执行的二进制所在的文件夹。：纯脚本 + 跨平台二进制，打包出来 deb。，不用额外解压，安装完菜单直接出图标。，安装完菜单图标一键启动。，解决之前架构报错。
ubuntu系统安装mattermost过程_设置分区挂载永久生效---Linux工作笔记0075
添柴程序猿的专栏
06-30 74
本文摘要：介绍了在Ubuntu系统上挂载第二块500G硬盘的完整步骤，包括分区创建（使用fdisk工具）、格式化为ext4文件系统、创建挂载点并临时挂载。同时说明了如何通过编辑/etc/fstab实现永久挂载（建议使用UUID方式）。此外还包含了为Mattermost应用创建PostgreSQL数据库及用户的操作流程：创建名为mattermostdb的数据库并指定所属用户，通过psql命令行修改用户密码。最后提示安装完成后可直接创建管理员账户使用。全文提供了从磁盘挂载到数据库配置的一站式操作指南。
Kali linux 安装中文输入法
weixin_45345143的博客
06-30 49
本文介绍了在Kali Linux系统中安装和配置中文输入法的方法。首先通过终端执行apt-get clean && apt-get update更新软件包列表，然后使用apt-get install ibus ibus-pinyin安装ibus框架和拼音输入法。安装完成后，通过im-config命令配置输入法系统，最后运行ibus-setup进行ibus输入法的具体设置。这些步骤帮助用户在Kali Linux中实现中文输入功能。
不用公网 IP，把 Windows 和 Linux 服务器放进同一个局域网：Tailscale 组网实战
HBLOG
06-30 369
Tailscale 最吸引人的地方不是功能有多复杂，而是它把原本很麻烦的组网过程简化了。以前想从 Windows 安全访问一台远程 Linux 服务器，可能要考虑：公网 IP；动态域名；路由器端口映射；VPN 服务器；防火墙规则；WireGuard 密钥配置。使用 Tailscale 后，基本流程只剩下：在 Linux 上安装并登录；在 Windows 上安装并登录；使用 Tailscale IP 或设备名称连接。
Minikube 运行k8s job 及 service
hopsky的博客
07-01 216
【代码】Minikube 运行k8s job 及 service。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值