记录搭建hadoop集群的过程

Linux(CentOS-7.6-x64位)基础配置, 虚拟机平台VmWare15
CentOS-7.6-x64镜像下载: https://www.aliyundrive.com/s/72Xg449t6i8 提取码: 32rm 

VmVare15安装包下载带序列号:VmVare15安装包下载带激活序列号资源-CSDN文库 

 

 

 

点击关闭,点击完成,即可

 如何查看自己的计算机的处理器(CPU)数和内核数?

 (487条消息) CentOS7.6的详细安装步骤_岁月轻扰的博客-CSDN博客

配置镜像文件:

 点击开启此虚拟机,键盘上的上下箭头按键可以进行选择,选中第一个后,敲回车就开始安装了。

剩下的参考这个博客:(我安装的是没有桌面的,这个博客安装的是有桌面的,适当参考)

 (487条消息) 使用 VMware 创建一个新的虚拟机_vmware创建虚拟机_汪小霜的博客-CSDN博客

 剩下的配置文件主要是参考博客:

(486条消息) 大数据软件安装配置教程[Linux, JDK, MySQL, Hadoop, ZooKeeper, Hive, Flume, Kafka, HBase-Phoenix, Scala, Spark等等]_大数据安装_hellosrc | remake的博客-CSDN博客

 依次点击确定,确定。

vi  /etc/sysconfig/network-scripts/ifcfg-ens33 

后来又修改了一下IPADDR:(需要重启reboot后,虚拟机ip地址才会改过来)

输入命令:reboot(重启虚拟机),之后发现主机名改过来了

vi /etc/hosts 

windows的hosts文件也配置一下:位置在 C:\WINDOWS\System32\drivers\etc下

 中途,我又去下载安装了个xshell7,有需要的链接放这里了:

Xshell 最新激活破解教程(持续更新~) - 哔哩哔哩 (bilibili.com)

本机ping不通虚拟机的ip地址:192.168.125.11

通过参考以下博客解决了问题:

(512条消息) 本地ping不上虚拟机地址? 只需简单几步即可_本地ping不通虚拟机_稚皓君的博客-CSDN博客

 

 yum下载 相关必备的软件包

yum install -y rsync 
yum install -y gcc 
yum install -y gcc-c++  
yum install -y vim 
yum install -y wget 
yum install -y perl  
yum install -y ntp 
yum install -y ntpdate 
yum install -y net-tools  
yum install -y lrzsz  
yum install -y libaio  
yum install vixie-cron(报错说:没有可用软件包 vixie-cron,网上查说命令是这个yum install cronie)
yum install crontabs

yum的使用介绍参考:

(515条消息) yum和vim须掌握的常用操作_yum install vim -y_今年依旧去年春的博客-CSDN博客

要完整克隆两台虚拟机,搭建hadoop分布式集群参考的博客:

(515条消息) 搭建Hadoop分布式集群的详细教程_hadoop完全分布式集群搭建全过程_木木子v的博客-CSDN博客

 

 同样,修改hadoop02,hadoop03两台虚拟机上的ip地址、hostname

vi  /etc/sysconfig/network-scripts/ifcfg-ens33 

 然后重启hadoop02和hadoop03

通过Xshell分别连接hadoop01、hadoop02和hadoop03

但是使用xshell连接服务器时,出现了“WARNING! The remote SSH server rejected X11 forwarding request.”,意思是“远程SSH服务器拒绝X11转发请求。”(我没解决这个问题,警告而已又不影响使用,但先在这做个笔记万一以后用到呢)

(515条消息) 解决“WARNINGThe remote SSH server rejected X11 forwarding request.“警告_远程ssh服务器拒绝了x11转发请求_SoloVersion的博客-CSDN博客

 使用vim编辑器打开network网络配置文件,命令如下:

        vim /etc/sysconfig/network

hadoop01的

 hadoop02和hadoop03的只需要把HOSTNAME更改成对应的主机名

这里有个小插曲是:xshell怎么设置右键粘贴

后来又改了一下,上边的图懒得改了,上下两张图结合着看吧

 好了,接着完成剩下的内容。

三台虚拟机互相ping一下,看有没有问题,正常来说都能ping通才对,我试过了都能ping通。

配置SSH免密登录

hadoop01上执行命令:ssh-keygen -t rsa

通过分别执行ssh-copy-id hadoop01(给自己做免密登录)、ssh-copy-id hadoop02 和 ssh-copy-id hadoop03两条命令

分别做自己的免密登录和hadoop02、hadoop03的免密登录

同样

hadoop02上执行命令:ssh-keygen -t rsa

通过分别执行ssh-copy-id hadoop02、ssh-copy-id hadoop01 和 ssh-copy-id hadoop03两条命令

分别做自己的免密登录和hadoop01、hadoop03的免密登录

同样

hadoop03上执行命令:ssh-keygen -t rsa

通过分别执行ssh-copy-id hadoop03、ssh-copy-id hadoop01 和 ssh-copy-id hadoop02两条命令

分别做自己的免密登录和hadoop01、hadoop02的免密登录

未完待续…………

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/353604.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

ChatGPT热度不减!华为宣布入局,盘古GPT能否大杀四方!

ChatGPT热度不减 六月份了,朋友们,来到六月份了已经,ChatGPT的热度依旧不减,各大论坛网站的榜单上还飘着ChatGPT相关话题的文章,且排名靠前。由此可见,这ChatGPT这股子热潮还得持续一段时间呢。 而且ChatG…

三国志战略版:Daniel_新晋减伤战法-奇计良谋

一、战法介绍 战法定位:稳定且有针对性的群体减伤战法。 同类效果: 稳定的群体减伤战法:八门金锁阵、抚辑军民、暂避其锋、锋矢阵、藤甲兵、御敌屏障。 稳定群体减伤战法往往可以极大提升一个队伍的强度,如今一线群体减伤战法中…

英雄打怪

英雄类 package LOLDemo;/*** ClassName: Hero* Description: * 自定义一个英雄类* 0.英雄类中加入“经验值”,“等级”,“攻击力”等属性变量,加入“击打”方法,击打的目标是怪物,击打的结果是怪物的生命值-英雄攻击力* …

【游戏逆向】RPG游戏自动打怪之取得最近怪物

RPG游戏辅助想要自动打怪,首要的任务就是需要获得最近的怪物,否则打怪的顺序会非常混乱。 想要取得最近怪物信息 要2个步骤 第一步 计算出所有怪物的距离 第二步 对所有怪物的距离进行判断,筛选出距离最近的 第一步怪物距离计算 如果是以2D的平面来看 2个点的距…

英雄杀-如何通关挑战

对于很多英雄杀的新手玩家来说,挑战,几乎很难一次通关,我也是,一般没超过十关。 我给大家分享一下我最近的通关方法,仅供参考: 第一种思路: 杨延昭: 有两个前提: 第一、…

javaweb session与cookie

Cookie Cookie是本地的存储数据,是键值对 注意一定要使用resp.addCookie才能返回cookie cookie修改 修改的话也是调用addCookie,对相同key的进行修改,作用于set-cookie响应头。 可以新建cookie,add进去,也可以在用户传…

行为型设计模式03-观察者模式

🧑‍💻作者:猫十二懿 🏡账号:CSDN 、个人博客 、Github 🎊公众号:猫十二懿 观察者模式 1、观察者模式介绍 观察者模式是一种行为型设计模式,也被称为发布-订阅模式,它定…

【虹科案例】虹科数字化仪在激光雷达大气研究中的应用

01 莱布尼茨研究所使用激光雷达进行大气研究 图 1:在 Khlungsborn 的 IAP 办公室测试各种激光器 大气研究使用脉冲激光束通过测量大气中 100 公里高度的多普勒频移和反向散射光来测量沿光束的温度和风速。返回的光信号非常微弱,会被阳光阻挡&#xff0c…

XML入库后空白字符丢失问题

最近项目上在做电子病历,使用的是第三方的电子病历组件,该病历组件是利用XML来组织数据的。界面上渲染出来的效果如下图: XML渲染后的界面 对应的后台数据(已做简化处理)是如下XML格式的,其中的空格部分是…

前端入门学习

封装axios axios的基础使用 axios基础使用方法: axios.create({config}) //创建axios实例 axios.get(url,{config}) //get请求 axios.post(url, data,{config}) //post请求 axios.interceptors.request.use() // 请求拦截器 axios.interce…

赛尔号什么时候支持html5,赛尔号:这几只精灵必须拥有!无关强度,只因经典情怀!...

赛尔号这款游戏有着比较老的资历,很多玩家从还是小学生的时候就开始玩起了这个游戏,然后便一直玩到大学,甚至毕业工作。因此,赛尔号不仅仅是一款简单的网页游戏,更是一款充满了情怀的游戏。 那么,接下来的小…

赛尔号星球大战服务器维修,赛尔号星球大战11月29日更新公告

赛尔号星球大战11月29日新增了什么玩法?服务器的维护时间是多少?来看看9k9k小编rayxx带来的赛尔号星球大战11月29日更新公告。 11月29号下午15点至17点更新公告: 1、精灵 新增了两种精灵:亚兰洛(火系),星吉拉(普通系)。 通过有缘人进行精灵繁…

4399知名游戏-赛尔号图鉴的爬取

4399知名游戏-赛尔号图鉴的爬取 面向对象: 1.疫情居家无聊之人 2.python略懂一点点就行 头文件引入: 如果没有下面的头文件不要慌,打开你的python终端pip install 包名即可 from bs4 import BeautifulSoup import requests import json …

容器技术 — Cgroups 与 Namespaces 支撑实现的操作系统虚拟化

目录 文章目录 目录操作系统虚拟化(容器技术)的发展历程ChrootCgroupsCgroup SubsystemsCgroup FilesystemCgroup HierarchyCgroups 的操作规则Cgroups 的代码实现 NamespacesUTS namespacePID namespaceIPC namespaceMount namespaceNetwork namespaceU…

使用geoserver发布shp和tiff数据

一、安装并启动geoserver服务 1.1 下载geoserver 进入官网下载 由于geoserver是使用Java语言开发的,所以运行需要java的环境,不同geoserver的版本号对java的版本要求不同,所以选择版本时需注意对应java的版本要求,由于我本地安…

javascript回到顶部

如图: 数字从1到100,滚动后点击章鱼哥便可以回到顶部。 HTML内容不多只有一个a标签内容有一个图片和100个h1标签,但要看清楚是给它设置好了id的,当然不设置id也行但有时候对小白不太友好。 为了使点击图片更加贴合整个页面所以需要…

一段简单的网页返回顶部和返回底部代码(html+css+jquery)

最近用到了返回顶部和底部功能&#xff0c;找了找&#xff0c;查了查&#xff0c;改了改&#xff0c;最终实现效果大概这样子。 以下是相关代码&#xff1a; html部分&#xff1a; <div id"backtotop" class"backtotop"><div class"bt-box…

网页回到顶部的js代码实现

背景 还是给老板写他的个人主页&#xff0c;用到了一个小功能&#xff0c;随手记录下 代码 控制样式的 css 代码如下 /* 回到顶部实现代码的css */ .back-to-top {display: none;/* 默认是隐藏的&#xff0c;这样在第一屏才不显示 */position: fixed;/* 位置是固定的 */bott…

HTML5 回到顶部

图片&#xff1a; html <!DOCTYPE html> <html><head><meta charset"utf-8" /><title>回到顶部</title><link rel"stylesheet" type"text/css" href"css/try.css" /><script src"j…

JS返回顶部代码

2019独角兽企业重金招聘Python工程师标准>>> <!-- 回到顶部 --> <div><span style"font-size:14px"><p id"back-to-top"><a href"#top"><span><img src"public/images/top.jpg" ti…