Doris安装

Apache Doris 由百度大数据部研发(之前叫百度 Palo,2018 年贡献到 Apache 社区后, 
更名为 Doris ),在百度内部,有超过 200 个产品线在使用,部署机器超过 1000 台,单一 
业务最大可达到上百 TB
Apache Doris 是一个现代化的 MPP(Massively Parallel Processing,即大规模并行处理) 
分析型(OLAP)数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。 
Apache Doris 的分布式架构非常简洁,易于运维,并且可以支持 10PB 以上的超大数据集。
Apache Doris 可以满足多种数据分析需求,例如固定历史报表,实时数据分析,交互式数据分析和探索式数据分析等。

在这里插入图片描述

doris安装

安装前准备

  • Linux 操作系统版本需求
linux系统版本
CentOS7.1及以上
Ubunto16.04及以上
  • 软件需求
AB
软件版本
Java1.8及以上
GCC4.82及以上
  • 操作系统环境要求
    设置系统最大文件打开句柄数 ==>启动一个程序的时候,打开文件的数量就是句柄数
1.打开文件
security  /sɪˈkjʊərəti/
vi /etc/security/limits.conf 
2.在文件最后添加下面几行信息(注意* 也要赋值进去)* soft nofile 65535 
* hard nofile 65535 
* soft nproc 65535 
* hard nproc 65535ulimit -n 65535 临时生效修改完文件后需要重新启动虚拟机
重启永久生效,也可以用 。如果不修改这个句柄数大于等于60000,回头启动doris的be节点的时候就会报如下的错
File descriptor number is less than 60000. Please use (ulimit -n) to set a value equal or greater than 60000
W1120 18:14:20.934705  3437 storage_engine.cpp:188] check fd number failed, error: Internal error: file descriptors limit is too small
W1120 18:14:20.934713  3437 storage_engine.cpp:102] open engine failed, error: Internal error: file descriptors limit is too small
F1120 18:14:20.935087  3437 doris_main.cpp:404] fail to open StorageEngine, res=file descriptors limit is too small

时钟同步

Doris 的元数据要求时间精度要小于5000ms,所以所有集群所有机器要进行时钟同步,避免因为时钟问题引发的元数据不一致导致服务出现异常。

如何时间同步??
首先安装 ntpdate   
# ntpdate是一个向互联网上的时间服务器进行时间同步的软件
[root@Linux01 doris]# yum install ntpdate -y然后开始三台机器自己同步时间[root@Linux01 ~]# ntpdate ntp.sjtu.edu.cn美国标准技术院时间服务器:time.nist.gov(192.43.244.18)
上海交通大学网络中心NTP服务器地址:ntp.sjtu.edu.cn(202.120.2.101)
中国国家授时中心服务器地址:cn.pool.ntp.org(210.72.145.44# 将当前时间写入bios,这样才能永久生效不变,不然reboot后还会恢复到原来的时间
clock -w 

关闭交换分区(swap)

交换分区是linux用来当做虚拟内存用的磁盘分区;
linux可以把一块磁盘分区当做内存来使用(虚拟内存、交换分区);
Linux使用交换分区会给Doris带来很严重的性能问题,建议在安装之前禁用交换分区;

1、查看 Linux 当前 Swap 分区
free -m
2、关闭 Swap 分区
swapoff -a[root@linux01 app]# free -mtotal        used        free      shared  buff/cache   available
Mem:           5840         997        4176           9         666        4604
Swap:          6015           0        6015
[root@linux01 app]# swapoff -a3.验证是否关闭成功
[root@linux01 app]# free -m   total        used        free      shared  buff/cache   available
Mem:           5840         933        4235           9         671        4667
Swap:             0           0           0

安装FE

  1. 去官网下载源码包,官网地址:https://doris.apache.org

选择你要下载的版本
在这里插入图片描述
在这里插入图片描述
2. 上传到linux
3. 解压
4. 修改配置文件

-- 去自己的路劲中找到fe.conf文件
vi /opt/app/doris/fe/conf/fe.conf 
#配置文件中指定元数据路径: 注意这个文件夹要自己创建
meta_dir = /opt/data/dorisdata/doris-meta
#修改绑定 ip(每台机器修改成自己的 ip) 
priority_networks = 192.168.17.0/24 
  1. 分发集群
#!bashfor i in 2 3 doscp /et/profile linux0$i:/etc/profile
scp -r /opt/app/doris/ linux0$i:/opt/app/done
  1. 启动
进入到fe的bin目录下执行
[root@doitedu01 bin]# ./start_fe.sh --daemon

安装BE

在这里插入图片描述
进入到be的conf目录下修改配置文件
在这里插入图片描述

vi be.conf  #配置文件中指定数据存放路径: 
storage_root_path = /opt/data/dorisdata/bedata#修改绑定 ip(每台机器修改成自己的 ip) 
priority_networks = 192.168.17.0/24 

使用Mysql客户端连接

mysql -h doitedu01 -P 9030 -uroot这个只是用了mysql的客户端去连接doris的fe,不是启动的mysql哦!!!并且第一次进去的话,是不需要密码的
解释:
-h  连接地址
-P  端口号
-u  账号
-p  密码--这个可以设置可以不设置啦,正常生产过程中都会设置一个相对比较复杂的密码,学习的时候就无所谓了
--如果想设置,下面的命令就可以
SET PASSWORD FOR 'root' = PASSWORD('123456');

fe启动完成后可以查看fe的运行状态

SHOW PROC '/frontends'\G;

添加 BE 节点

ALTER SYSTEM ADD BACKEND "linux01:9050"; 
ALTER SYSTEM ADD BACKEND "linux02:9050"; 
ALTER SYSTEM ADD BACKEND "linux03:9050";

查看 BE 状态

SHOW PROC '/backends';Alive 为 false 表示该 BE 节点还是死的

添加环境变量

#doris_fe
export DORIS_FE_HOME=/opt/app/doris1.1.4/fe
export PATH=$PATH:$DORIS_FE_HOME/bin#doris_be
export DORIS_BE_HOME=/opt/app/doris1.1.4/be
export PATH=$PATH:$DORIS_BE_HOME/bin

启动BE

启动 BE(每个节点) 
/opt/app/doris/be/bin/start_be.sh --daemon 启动后再次查看BE的节点
mysql -h doitedu01 -P 9030 -uroot -p 123456
SHOW PROC '/backends'; 
Alive 为 true 表示该 BE 节点存活。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/142798.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

深入理解hashmap底层实现原理

目录 总体介绍 HashMap元素的存储 在hashmap中添加元素 HashMap的扩容机制 HashMap的线程安全性 1.添加和删除元素时存在不安全性 2.进行扩容操作时存在不安全性 3.哈希冲突存在不安全性 4.线程之间的不可见性导致安全问题 总体介绍 HashMap是我们用于元素映射使用频率最…

RK3588平台开发系列讲解(项目篇)YOLOv5部署测试

平台内核版本安卓版本RK3588Linux 5.10Android 12文章目录 一、YOLOv5环境安装二、YOLOv5简单使用2.1、获取预训练权重文2.2、YOLOv5简单测试2.3、转换为rknn模型2.4、部署到 RK 板卡三、airockchip/yolov5简单测试3.1、转换成rknn模型并部署到板卡沉淀、分享、成长,让自己和他…

HTML编码问题导致的乱码

今天一个学弟问了一个问题&#xff0c;它写的HTML代码打开显示的是乱码。 然后就给我发来了代码。 就一个HTML文件和一个文件夹&#xff0c;打开一看&#xff0c;很简单的代码。 <!DOCTYPE html> <html lang""> <head><meta charset"UTF…

URL和HTML编码

URL和HTML编码 在呈现HTML页面时,有时候需要显示一些特殊的字符,例如”<”和”&”,因为它们是HTML专用字符,因此需要一些技巧.例如要想显示AT&T,在代码中必须写成AT&amp;T。同样URL中的,&,/等字符也为专用字符,所以如果需要在URL参数中使用它们,也必须对这些…

简单的Html编码转换工具

一、前言 因为项目经常会碰Html转码&#xff0c;特别是返回的xml报文&#xff0c;总是显示&# 十六进制的编码&#xff0c;查中文的时候特别不方便&#xff0c;所以就做了一个简单的C#桌面应用程序。 二、涉及软件 Visual Studio 2019 Preview 三、使用框架 .NET Fram…

怎么设置html代码中的编码格式,html怎么设置编码

在html中&#xff0c;可以使用meta标签来设置编码&#xff0c;语法格式“”。meta标签提供了HTML文档的元数据&#xff0c;元数据不会显示在客户端&#xff0c;但是会被浏览器解析&#xff1b;而charset属性用于定义文档的字符编码。 本教程操作环境&#xff1a;windows7系统、…

Unicode编码对应的HTML 、JS 、CSS码

平时写代码很少用到HTML的特殊字符&#xff0c;最常用的可能是 了&#xff0c;但有时在移动端为了节省时间&#xff0c;可能会用这些字符实现某种特殊效果&#xff0c;现整理如下&#xff1a; 使用方法&#xff1a; 这些字符属于unicode字符集&#xff0c;所以&#xff0c;你…

HTML之编码规范

HTML之编码规范 img 标签要写 alt 属性单标签不要写闭合标签自定义属性要以 data-开头td 要在 tr 里面&#xff0c;li 要在 ul/ol 里面ul/ol 的直接子元素只能是 lisection 里面要有标题标签使用 section 标签增强 SEO行内元素里面不可使用块级元素每个页面要写要用 table 布局…

【HTML 教程】HTML 字符编码

作者 | 阮一峰 简介 网页包含了大量的文字&#xff0c;浏览器必须知道这些文字的编码方法&#xff0c;才能把文字还原出来。 一般情况下&#xff0c;服务器向浏览器发送 HTML 网页文件时&#xff0c;会通过 HTTP 头信息&#xff0c;声明网页的编码方式。 Content-Type: text/ht…

HTML编码规范

本篇文章是基于王叨叨大佬师父维护的文档梳理的&#xff0c;有兴趣可以去看一下原文HTML编码规范。 1. 缩进与换行 【建议】 使用 2 个空格作为一个缩进层级&#xff0c;不允许使用tab字符 解释&#xff1a; ​ 具体项目&#xff0c;可以使用2个空格&#xff0c;也可以使用…

HTML 编码(字符集)总结,你了解了多少

Web 浏览器必须知道要使用哪个字符集&#xff0c;才能正确显示 HTML 页面。 文章目录 Web 浏览器必须知道要使用哪个字符集&#xff0c;才能正确显示 HTML 页面。前言一、HTML charset 属性二、字符集之间的差异ASCII 字符集ANSI 字符集 (Windows-1252)ISO-8859-1 字符集UTF-8 …

【HTML基础笔记】之【常用编码】

HTML 常用编码 4.1 HTML 实体编码 HTML实体编码&#xff0c;也即HTML中的转义字符。 在 HTML 中&#xff0c;某些字符是预留的&#xff0c;例如在 HTML 中不能使用小于号<和大于号>&#xff0c;这是因为浏览器会误认为它们是标签。如果希望正确地显示预留字符&#xf…

CTR预估之DNN系列模型:FNN/PNN/DeepCrossing

前言 在上一篇文章中 CTR预估之FMs系列模型:FM/FFM/FwFM/FEFM&#xff0c;介绍了FMs系列模型的发展过程&#xff0c;开启了CTR预估系列篇章的学习。FMs模型是由线性项和二阶交互特征组成&#xff0c;虽然有自动学习二阶特征组合的能力&#xff0c;一定程度上避免了人工组合特征…

SQL SERVER DATEPART函数

定义&#xff1a; DATEPART函数返回指定日期的指定部分。 语法&#xff1a; DATEPART(datepart,date) 参数&#xff1a; ①datepart 参数可以是下列的值&#xff1a; datepart缩写年(Year)YEAR, YY, YYYY季度(Quarter)Q, QQ, QUARTER月(Month)M, MM, MONTH年中的日(Day of year…

DATEPART SQL函数

This article explores the DATEPART SQL function and its use in writing t-SQL queries. In the previous article, SQL Convert Date Functions and Formats, we explored various data formats and convert them using SQL Convert function. 本文探讨了DATEPART SQL函数…

mysql datepart_SQL Server DATEPART() 函数用法

用法&#xff1a; DATEPART() 函数用于返回日期/时间的单独部分&#xff0c;比如年、月、日、小时、分钟等等。返回的类型为整型。若要返回字符型可以用DATENAME()函数&#xff0c;可用于时间日期之间的拼接&#xff0c;用法和DATEPART()类似 语法&#xff1a; DATEPART(datepa…

mysql datepart_表达式中datepart函数用法及其与sqlserver depart函数、Mysql week函数的差异...

Wyn Reports支持丰富的函数&#xff0c;这些函数是实现各种计算需求的表达式的基础。 DatePart函数一个日期类函数&#xff0c;返回一个 Integer 值&#xff0c;其中包含给定 Date 值的指定部分(年&#xff0c;月&#xff0c;日&#xff0c;时&#xff0c;分&#xff0c;秒&…

DatePart 函数

DatePart 函数 适用于: Microsoft Office Access 2007 全部显示 全部隐藏 返回变量型&#xff08;整型&#xff09;&#xff0c;其中包含给定日期的指定部分。 语法 DatePart(interval, date [, firstdayofweek] [, firstweekofyear] ) DatePart 函数的语法包含以下参数 &…

sql学习---datepart函数的使用

DATEPART 返回代表指定日期的指定日期部分的整数。 语法 DATEPART ( datepart ,date ) 参数 datepart 是指定应返回的日期部分的参数。下表列出了 Microsoft SQL Server™ 识别的日期部分和缩写。 如图&#xff1a; 另外补充&#xff1a; 当 group by datepart (yyyy,date), da…

datepart函数用法及其与sqlserver depart函数、Mysql week函数的差异

Wyn Reports支持丰富的函数&#xff0c;这些函数是实现各种计算需求的表达式的基础。DatePart函数一个日期类函数&#xff0c;返回一个 Integer 值&#xff0c;其中包含给定 Date 值的指定部分&#xff08;年&#xff0c;月&#xff0c;日&#xff0c;时&#xff0c;分&#xf…