4 hadoop集群配置案例

在这里插入图片描述
在这里插入图片描述

3)配置集群

(1)核心配置文件,core-site.xml

cd $HADOOP_HOME/etc/hadoop
vim core-site.xml

文件内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><!-- 指定NameNode的地址 --><property><name>fs.defaultFS</name><value>hdfs://hadoop102:8020</value></property><!-- 指定hadoop数据的存储目录 --><property><name>hadoop.tmp.dir</name><value>/opt/module/hadoop-3.1.3/data</value></property><!-- 配置HDFS网页登录使用的静态用户为atguigu --><property><name>hadoop.http.staticuser.user</name><value>atguigu</value></property>
</configuration>

(2)HDFS配置文件,hdfs-site.xml

vim hdfs-site.xml

文件内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><!-- nn web端访问地址--><property><name>dfs.namenode.http-address</name><value>hadoop102:9870</value></property><!-- 2nn web端访问地址--><property><name>dfs.namenode.secondary.http-address</name><value>hadoop104:9868</value></property>
</configuration>

(3)YARN配置文件,yarn-site.xml

vim yarn-site.xml

文件内容如下:

<configuration><!-- 指定MR走shuffle --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 指定ResourceManager的地址--><property><name>yarn.resourcemanager.hostname</name><value>hadoop103</value></property><!-- 环境变量的继承 --><property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property>
</configuration>

(4)MapReduce配置文件,mapred-site.xml

vim mapred-site.xml

文件内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><!-- 指定MapReduce程序运行在Yarn上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

2. 在集群上分发配置好的Hadoop配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

3. 去103和104上查看文件分发情况

cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/1618068.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

远程桌面同步本地计算机,微软更新远程桌面应用现在终于可以在本地和远程计算机上复制文件...

远程桌面连接是许多专业用户和开发者必备的功能&#xff0c;通过远程桌面服务可以直接连接远程计算机并可以直接操作。 系统自带的远程桌面连接程序微软已经很久没有更新&#xff0c;因为微软现在主要通过应用商店发布新版本远程桌面应用。 比如在刚刚发布的远程桌面应用新版本…

解决 vscode 登录微软账户同步设置 出现“vscode.dev 关闭了连接“ 问题

我的电脑最近重装了系统&#xff0c;之前的软件都删除了&#xff0c;在重新安装vscode之后想同步之前的设置、主题时出现了问题。 我的解决方法是 在当前页面 输入 https://vscode.dev 看能不能打开。 如果能打开&#xff0c;再次点击vscode登录账号同步设置 我之前使用微软账…

跨设备同步保存密码

跨设备同步保存密码 文章目录 跨设备同步保存密码前言一、密码管理方式二、跨设备存储密码1、采用Keepass存储密码2、Keepass连接坚果云 三、小记&#xff1a; 前言 现在网络平台越来越多&#xff0c;除了可以直接通过手机登陆的方式&#xff0c;其次就需要使用到账号和密码。账…

【WIN问题】微软Microsoft onenote/store 无法连接网络无法同步解决

问题描述 将近1个月没有使用PC端的微软笔记&#xff0c;手机app正常使用。登录PC端记录笔记后&#xff0c;Ctrl s 保存时OneNote提示&#xff1a;无法同步&#xff0c;网上看了很多博客推荐的方法&#xff0c;尝试无果&#xff01; 后面发现 Microsoft store 也不能登录&…

【太多网工对NAT还存在这4种误解!你是其中一个吗?】

NAT是解决公网地址不够用大家最熟悉的网络技术之一&#xff0c;而NAT最依赖的是NAT translation表项&#xff0c;至于NAT的概念和背景这里不再解释&#xff0c;网络上有很多关于此的类似介绍&#xff0c;自己搜索即可。下面主要是针对大家对NAT的一些误解进行分析。 1 误解一…

PC主流同步软件评测

因为一个要把超过13G的众多零散文件同步到webdav网盘的需求&#xff0c;将市面上一些知名的同步软件试用测试了一番&#xff0c;最终发现只有Syncovery满足需求 先把参与测试的同步软件列一下&#xff1a; GoodSync、FreeFileSync、微软SyncToy、KLS Backup、SecondCopy、Sma…

Ansible 生成硬件报告

生成硬件报告 创建一个名为 /home/greg/ansible/hwreport.yml 的 playbook &#xff0c;它将在所有受管节点上生成含有以下信息的输出文件 /root/hwreport.txt &#xff1a; 清单主机名称 以 MB 表示的总内存大小 BIOS 版本 磁盘设备 vda 的大小 磁盘设备 vdb 的大小 输出文件中…

并发编程基础知识篇--进程和线程的区别

进程和线程 进程 在一个操作系统中&#xff0c;每个独立执行的程序都可称之为一个进程&#xff0c;也就是“正在运行的程序”。目前大部分计算机上安装的都是多任务操作系统&#xff0c;即能够同时执行多个应用程序&#xff0c;最常见的有Windows、Linux、Unix等。比如在Wind…

Compose - 容器组合项

一、弹窗 Dialog var showDialog by remember { mutableStateOf(false) } Column {Button(onClick { showDialog !showDialog }) {Text(text "点击弹窗")}if (showDialog) {Dialog(onDismissRequest { showDialog false }, //消失回调properties DialogPropert…

机器学习策略——优化深度学习系统

正交化&#xff08;Orthogonalization&#xff09; 老式电视机&#xff0c;有很多旋钮可以用来调整图像的各种性质&#xff0c;对于这些旧式电视&#xff0c;可能有一个旋钮用来调图像垂直方向的高度&#xff0c;另外有一个旋钮用来调图像宽度&#xff0c;也许还有一个旋钮用来…

代理模型

代理模型 仿真计算时不使用流体力学、固体力学的知识进行有限元、有限体积仿真&#xff0c;而是通过事先的训练数据&#xff08;输入与输出&#xff09;建立起代理模型&#xff08;黑匣子&#xff09;&#xff0c;给定代理模型输入则会得到输出。 最重用的代理模型有多项式响…

Tableau可视化入门实践-1

目录 Tableau 介绍基础统计图形条形图堆积图直方图饼图环形图 Tableau 介绍 Tableau是一款功能强大的数据可视化和业务智能工具&#xff0c;被广泛应用于各行各业的数据分析和决策支持领域。 Tableau提供了直观友好的用户界面&#xff0c;无需编程和复杂的数据处理技能&#x…

互联网之子:亚伦·斯沃茨

介绍一部人物纪录片——互联网之子。 讲述亚伦斯沃茨 的短暂但是辉煌的一生。 主角介绍 亚伦斯沃茨&#xff0c;1986118&#xff0d;2013111&#xff0c;程序员、作家、政治组织策划人和积极行动主义者。他年仅14岁就参与创造RSS 1.0规格&#xff0c;在程式设计圈当中声名大噪…

威尔克姆教程:他他米的偏移系数及分割线

他他米的偏移系数及分割线 他他米的条纹有向左和向右两个方向 他他米偏移系数只能在0到1之间调&#xff0c;他又以0.5为中心。0.5以下条纹是向左的&#xff0c;0.5以上条纹是向右的 例如: 条纹是向左的&#xff0c;偏移系数是A:0.25 B:0.25 条纹是向右的&#xff0c;偏移系数…

威尔克姆绣花软件wilcome2.0t怎么安装教程?及解压密码获取

威尔克姆E2.0T怎么安装&#xff1f;威尔克姆是国际使用最广泛的绣花软件&#xff0c;E2.0T版本是在2013年是时候推出的版本&#xff0c;收到广大绣花制版师的欢迎&#xff0c;本文就给大家介绍一下软件的安装方法&#xff0c;本方法适用于xp win7 win8 win10&#xff0c;32位和…

威尔克姆 E2.0T系统驱动装不了

威尔克姆E2T安装第二个驱动时无响应&#xff1f; 往下看​​​ 左键双击这里 输入cmd 右键单击cmd后&#xff0c;点击以管理员身份运行 点击文件管理上方的倒三角查看第二步驱动安装包所在的路径在哪个盘............ 我的是在D盘 在命令提示符cmd中输入 d: 后&#xf…

PCI设备和PCI桥的配置空间(header_type0、header_type1)和配置命令(type0、type1)详解

1、PCI典型拓扑 2、type0和type1 名称含义Bus Number设备所在总线号Device Number设备分配到的设备号Function Number功能号&#xff0c;有的设备是支持多个功能的&#xff0c;最多8种功能Register Number要访问的寄存器地址 (1)type0和type1的区别&#xff1a;AD[1:0]是00代表…

她是计算机系公认的系花 却只喜欢打游戏,我选择了计算机专业,自以为自己不是系花就是班花,结果扎心了...

我叫曾小晓&#xff0c;今年大一了&#xff0c;选择了男生居多的计算机专业&#xff0c;一是想着这样很有利于选男友&#xff0c;二是幻想被班里的男生宠幸的感觉&#xff01;然后理所当然的成为系花、或是班花&#xff01;结果却让我扎心了&#xff01;想法总是美好的&#xf…

乱码的解决_小晓_同学__新浪博客

乱码问题的由来: 1.浏览器发送以本机平台字符编码的中文数据(GB2312).例如中文字符 "中"->(0xd6d0); 2.如果在web容器中接受数据时没有指定编码,web容器使用默认编码ISO-8859-1得到数据,由于0xd6d0在ISO-8859-1中找不到对应字符,所以显示乱码. 以post在接受数据之…