apache doris数据库搭建（一）

业界资讯 2023-07-16 08:17:55 阅读次数: 0

1.Doris 介绍

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。

Apache Doris 最早是诞生于百度广告报表业务的 Palo 项目，2017 年正式对外开源，2018 年 7 月由百度捐赠给 Apache 基金会进行孵化，之后在 Apache 导师的指导下由孵化器项目管理委员会成员进行孵化和运营。目前 Apache Doris 社区已经聚集了来自不同行业数百家企业的 400 余位贡献者，并且每月活跃贡献者人数也超过 100 位。 2022 年 6 月，Apache Doris 成功从 Apache 孵化器毕业，正式成为 Apache 顶级项目（Top-Level Project，TLP）

Apache Doris 如今在中国乃至全球范围内都拥有着广泛的用户群体，截止目前， Apache Doris 已经在全球超过 2000 家企业的生产环境中得到应用，在中国市值或估值排行前 50 的互联网公司中，有超过 80% 长期使用 Apache Doris，包括百度、美团、小米、京东、字节跳动、腾讯、网易、快手、微博、贝壳等。同时在一些传统行业如金融、能源、制造、电信等领域也有着丰富的应用。

2.使用场景

如下图所示，数据源经过各种数据集成和加工处理后，通常会入库到实时数仓 Doris 和离线湖仓（Hive, Iceberg, Hudi 中），Apache Doris 被广泛应用在以下场景中。
在这里插入图片描述

  • 报表分析

  • 实时看板 （Dashboards）

  • 面向企业内部分析师和管理者的报表

  • 面向用户或者客户的高并发报表分析（Customer Facing
    Analytics）。比如面向网站主的站点分析、面向广告主的广告报表，并发通常要求成千上万的 QPS
    ，查询延时要求毫秒级响应。著名的电商公司京东在广告报表中使用 Apache Doris ，每天写入 100 亿行数据，查询并发QPS 上万，99 分位的查询延时 150ms。

  • 即席查询（Ad-hoc Query）：面向分析师的自助分析，查询模式不固定，要求较高的吞吐。小米公司基于 Doris构建了增长分析平台（Growing Analytics，GA），利用用户行为数据对业务进行增长分析，平均查询延时 10s，95分位的查询延时 30s 以内，每天的 SQL 查询量为数万条。

  • 统一数仓构建 ：一个平台满足统一的数据仓库建设需求，简化繁琐的大数据软件栈。海底捞基于 Doris 构建的统一数仓，替换了原来由
    Spark、Hive、Kudu、Hbase、Phoenix 组成的旧架构，架构大大简化。

  • 数据湖联邦查询：通过外表的方式联邦分析位于 Hive、Iceberg、Hudi 中的数据，在避免数据拷贝的前提下，查询性能大幅提升。

3.技术概述

Doris整体架构如下图所示，Doris 架构非常简单，只有两类进程

  • Frontend（FE），主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。
  • Backend（BE），主要负责数据存储、查询计划的执行。

这两类进程都是可以横向扩展的，单集群可以支持到数百台机器，数十 PB 的存储容量。并且这两类进程通过一致性协议来保证服务的高可用和数据的高可靠。这种高度集成的架构设计极大的降低了一款分布式系统的运维成本。
在这里插入图片描述在使用接口方面，Doris 采用 MySQL 协议，高度兼容 MySQL 语法，支持标准 SQL，用户可以通过各类客户端工具来访问 Doris，并支持与 BI 工具的无缝对接。

在存储引擎方面，Doris 采用列式存储，按列进行数据的编码压缩和读取，能够实现极高的压缩比，同时减少大量非相关数据的扫描，从而更加有效利用 IO 和 CPU 资源。

Doris 也支持比较丰富的索引结构，来减少数据的扫描：

  • Sorted Compound Key Index，可以最多指定三个列组成复合排序键，通过该索引，能够有效进行数据裁剪，从而能够更好支持高并发的报表场景
  • Z-order Index ：使用 Z-order 索引，可以高效对数据模型中的任意字段组合进行范围查询
  • Min/Max ：有效过滤数值类型的等值和范围查询
  • Bloom Filter ：对高基数列的等值过滤裁剪非常有效
  • Invert Index ：能够对任意字段实现快速检索

在存储模型方面，Doris 支持多种存储模型，针对不同的场景做了针对性的优化：

  • Aggregate Key 模型：相同 Key 的 Value 列合并，通过提前聚合大幅提升性能
  • Unique Key 模型：Key 唯一，相同 Key 的数据覆盖，实现行级别数据更新
  • Duplicate Key 模型：明细数据模型，满足事实表的明细存储

Doris 也支持强一致的物化视图，物化视图的更新和选择都在系统内自动进行，不需要用户手动选择，从而大幅减少了物化视图维护的代价。

在查询引擎方面，Doris 采用 MPP 的模型，节点间和节点内都并行执行，也支持多个大表的分布式 Shuffle Join，从而能够更好应对复杂查询。
在这里插入图片描述Doris 查询引擎是向量化的查询引擎，所有的内存结构能够按照列式布局，能够达到大幅减少虚函数调用、提升 Cache 命中率，高效利用 SIMD 指令的效果。在宽表聚合场景下性能是非向量化引擎的 5-10 倍。
在这里插入图片描述Doris 采用了 Adaptive Query Execution 技术， 可以根据 Runtime Statistics 来动态调整执行计划，比如通过 Runtime Filter 技术能够在运行时生成 Filter 推到 Probe 侧，并且能够将 Filter 自动穿透到 Probe 侧最底层的 Scan 节点，从而大幅减少 Probe 的数据量，加速 Join 性能。Doris 的 Runtime Filter 支持 In/Min/Max/Bloom Filter。

在优化器方面 Doris 使用 CBO 和 RBO 结合的优化策略，RBO 支持常量折叠、子查询改写、谓词下推等，CBO 支持 Join Reorder。目前 CBO 还在持续优化中，主要集中在更加精准的统计信息收集和推导，更加精准的代价模型预估等方面。

4.下载 Doris

Doris 运行在 Linux 环境中，推荐 CentOS 7.x 或者 Ubuntu 16.04 以上版本，同时你需要安装 Java 运行环境（JDK最低版本要求是8），要检查你所安装的 Java 版本，请运行以下命令：

java -version

接下来，下载 Doris 稳定版本1.2.5二进制版本，然后解压。

wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-1.2.5-bin-x86_64.tar.xz

操作如下图
在这里插入图片描述 使用如下命令进行解压

tar xvf apache-doris-1.2.5-bin-x86_64.tar.xz

操作如下图
在这里插入图片描述

5.配置 Doris

配置 FE

我们进入到 apache-doris-1.2.5-bin-x86_64/fe 目录

cd apache-doris-1.2.5-bin-x86_64/fe/

操作如下图
在这里插入图片描述
修改 FE 配置文件 conf/fe.conf ，这里我们主要修改两个参数：priority_networks 及 meta_dir ，如果你需要更多优化配置，请参考 FE 参数配置说明，进行调整。

  1. 添加 priority_networks 参数
priority_networks= 192.168.50.186/24

使用如下命令进行添加：

 vim conf/fe.conf #编辑
 :wq #保存退出

在这里插入图片描述

注意：

这个参数我们在安装的时候是必须要配置的，特别是当一台机器拥有多个IP地址的时候，我们要为 FE 指定唯一的IP地址。

这里本机节点 IP 是 192.168.50.186，那么我们可以通过掩码的方式配置为 192.168.50.186/24。

  1. 添加元数据目录
meta_dir=/data/doris-meta

首先本机选择在data目录下进行创建，使用如下命令：

mkdir -p /data/doris-meta #创建元数据目录
cd /data/doris-meta #进入已经创建好目录进行验证
pwd #查看目录结构

操作如下图所示：
在这里插入图片描述
然后进入fe目录并且在对应fe.conf文件中添加meta_dir= /data/doris-meta，具体操作命令如下：

cd /data/apache-doris-1.2.5-bin-x86_64/fe/
vim conf/fe.conf #编辑
:wq #保存退出

操作如下图所示：
在这里插入图片描述
注意：
这里你可以不配置，默认是在你的Doris FE 安装目录下的 doris-meta，

单独配置元数据目录，需要你提前创建好你指定的目录

启动 FE

在 FE 安装目录下执行下面的命令，来完成 FE 的启动。

./bin/start_fe.sh --daemon

查看 FE 运行状态

你可以通过下面的命令来检查 Doris 是否启动成功

curl http://192.168.50.186:8030/api/bootstrap

这里 IP 和 端口分别是 FE 的 IP 和 http_port（默认8030），如果是你在 FE 节点执行，直接运行上面的命令即可。

如果返回结果中带有 “msg”:“success” 字样，则说明启动成功。

你也可以通过 Doris FE 提供的Web UI 来检查，在浏览器里输入地址

http:// fe_ip:8030

可以看到下面的界面，说明 FE 启动成功
在这里插入图片描述
注意：

这里我们使用 Doris 内置的默认用户 root 进行登录，密码是空
这是一个 Doris 的管理界面，只能拥有管理权限的用户才能登录，普通用户不能登录。

连接 FE

我们下面通过 MySQL 客户端来连接 Doris FE，下载免安装的 MySQL 客户端

解压刚才下载的 MySQL 客户端，在 bin/ 目录下可以找到 mysql 命令行工具。然后执行下面的命令连接 Doris。

mysql -uroot -P9030 -h192.168.50.186

操作如下图所示：
在这里插入图片描述
注意：

  1. 这里使用的 root 用户是 doris 内置的默认用户，也是超级管理员用户，具体的用户权限查看 权限管理
  2. -P ：这里是我们连接 Doris 的查询端口，默认端口是 9030，对应的是fe.conf里的 query_port
  3. -h ： 这里是我们连接的 FE IP地址，如果你的客户端和 FE 安装在同一个节点可以使用127.0.0.1。

执行下面的命令查看 FE 运行状态

show frontends\G;

然后你可以看到类似下面的结果：
在这里插入图片描述 如果 IsMaster、Join 和 Alive 三列均为true，则表示节点正常。

加密连接 FE

Doris支持基于SSL的加密连接，当前支持TLS1.2，TLS1.3协议，可以通过以下配置开启Doris的SSL模式： 修改FE配置文件conf/fe.conf，添加enable_ssl = true即可。

接下来通过mysql客户端连接Doris，mysql支持五种SSL模式：

1.mysql -uroot -P9030 -h127.0.0.1与mysql --ssl-mode=PREFERRED -uroot -P9030 -h127.0.0.1一样，都是一开始试图建立SSL加密连接，如果失败，则尝试使用普通连接。

2.mysql --ssl-mode=DISABLE -uroot -P9030 -h127.0.0.1，不使用SSL加密连接，直接使用普通连接。

3.mysql --ssl-mode=REQUIRED -uroot -P9030 -h127.0.0.1，强制使用SSL加密连接。

4.mysql --ssl-mode=VERIFY_CA --ssl-ca=ca.pem -uroot -P9030 -h127.0.0.1，强制使用SSL加密连接，并且通过指定CA证书验证服务端身份是否有效。

5.mysql --ssl-mode=VERIFY_CA --ssl-ca=ca.pem --ssl-cert=client-cert.pem --ssl-key=client-key.pem -uroot -P9030 -h127.0.0.1，强制使用SSL加密连接，双向验证。

注意： --ssl-mode参数是mysql5.7.11版本引入的，低于此版本的mysql客户端请参考这里。

Doris开启SSL加密连接需要密钥证书文件验证，默认的密钥证书文件位于Doris/fe/mysql_ssl_default_certificate/下。密钥证书文件的生成请参考密钥证书配置。

停止 FE 节点

Doris FE 的停止可以通过下面的命令完成

./bin/stop_fe.sh

配置 BE

我们进入到 apache-doris-1.2.5-bin-x86_64/be 目录

cd /data/apache-doris-1.2.5-bin-x86_64/be

修改 BE 配置文件 conf/be.conf ，这里我们主要修改两个参数：priority_networks 及 storage_root ，如果你需要更多优化配置，请参考 BE 参数配置说明，进行调整。

  1. 添加 priority_networks 参数
priority_networks=192.168.50.186/24

使用如下命令：

 vim conf/be.conf #编辑
 :wq #保存退出

操作如下图所示
在这里插入图片描述在这里插入图片描述
注意：

这个参数我们在安装的时候是必须要配置的，特别是当一台机器拥有多个IP地址的时候，我们要为 BE 指定唯一的IP地址。

  1. 配置 BE 数据存储目录
storage_root_path=/data/data_dir

使用如下命令：

 mkdir -p /data/data_dir
 vim conf/be.conf #编辑
 :wq #保存退出

操作如下图所示
在这里插入图片描述在这里插入图片描述

注意：

默认目录在 BE安装目录的 storage 目录下。
BE 配置的存储目录必须先创建好

  1. 配置 JAVA_HOME 环境变量
    注意： 本服务器已经配置，如果需要配置教程，请查看笔者的JDK安装文章
    由于从 1.2 版本开始支持 Java UDF 函数，BE 依赖于 Java 环境。所以要预先配置 JAVA_HOME 环境变量，也可以在 start_be.sh 启动脚本第一行添加 export JAVA_HOME=your_java_home_path 来添加环境变量。
  2. 安装 Java UDF 函数
    安装Java UDF 函数因为从1.2 版本开始支持Java UDF 函数，需要从官网下载 Java UDF 函数的 JAR 包放到 BE 的 lib 目录下，否则可能会启动失败。

启动 BE

在 BE 安装目录下执行下面的命令，来完成 BE 的启动。

./bin/start_be.sh --daemon

注意： 启动如果提示Please set vm.max_map_count to be 2000000 under root using ‘sysctl -w vm.max_map_count=2000000’. 和 Please set the maximum number of open file descriptors to be 65536 using ‘ulimit -n 65536’. 请执行如下命令：

sysctl -w vm.max_map_count=2000000
ulimit -n 65536

For example, if your CPU does not support AVX2, you need to rebuild the Doris BE with: USE_AVX2=0 sh 请执行命令下载：wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-1.2.5-bin-x86_64-noavx2.tar.xz 下载 noavx2 版本，切记提前查看自己的cpu是否支持 AVX2 指令
操作如下图所示：
在这里插入图片描述
注意： 在没有添加BE节点采用navicat、datagrip等工具进行链接会报 [HY000][1105] errCode = 2, detailMessage = There is no scanNode Backend available… and 1 duplicate reports 错误。这时候需要添加BE节点到集群；切记这时候命令行是可正常操作和连接的。

添加 BE 节点到集群

通过MySQL 客户端连接到 FE 之后执行下面的 SQL，将 BE 添加到集群中

ALTER SYSTEM ADD BACKEND "192.168.50.186:9050";

命令解释

ALTER SYSTEM ADD BACKEND "be_host_ip:heartbeat_service_port";

be_host_ip：这里是你 BE 的 IP 地址，和你在 be.conf 里的 priority_networks 匹配
heartbeat_service_port：这里是你 BE 的心跳上报端口，和你在 be.conf 里的 heartbeat_service_port 匹配，默认是 9050。

查看 BE 运行状态

你可以在 MySQL 命令行下执行下面的命令查看 BE 的运行状态。

SHOW BACKENDS\G

结果如下：

*************************** 1. row ***************************
              BackendId: 10003
                Cluster: default_cluster
                     IP: 192.168.50.186
          HeartbeatPort: 9050
                 BePort: 9060
               HttpPort: 8040
               BrpcPort: 8060
          LastStartTime: 2023-06-26 15:58:19
          LastHeartbeat: 2023-06-26 15:58:38
                  Alive: true
   SystemDecommissioned: false
  ClusterDecommissioned: false
              TabletNum: 0
       DataUsedCapacity: 0.000
          AvailCapacity: 458.121 GB
          TotalCapacity: 491.151 GB
                UsedPct: 6.73 %
         MaxDiskUsedPct: 6.73 %
     RemoteUsedCapacity: 0.000
                    Tag: {
    
    "location" : "default"}
                 ErrMsg:
                Version: doris-1.2.5-rc01-Unknown
                 Status: {
    
    "lastSuccessReportTabletsTime":"2023-06-26 15:58:27","lastStreamLoadTime":-1,"isQueryDisabled"
:false,"isLoadDisabled":false}
HeartbeatFailureCounter: 0
               NodeRole: mix
1 row in set (0.10 sec)

1 row in set (0.10 sec)

注意： 这时候可以用navicat选择mysql等工具连接进行管理操作了

  1. Alive : true表示节点运行正常

停止 BE 节点

Doris BE 的停止可以通过下面的命令完成

./bin/stop_be.sh

创建数据表

  1. 创建一个数据库
create database demo;
  1. 创建数据表
use demo;

CREATE TABLE IF NOT EXISTS demo.example_tbl
(
    `user_id` LARGEINT NOT NULL COMMENT "用户id",
    `date` DATE NOT NULL COMMENT "数据灌入日期时间",
    `city` VARCHAR(20) COMMENT "用户所在城市",
    `age` SMALLINT COMMENT "用户年龄",
    `sex` TINYINT COMMENT "用户性别",
    `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
    `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
    `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
    `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
    "replication_allocation" = "tag.location.default: 1"
);

这时候可以给表中添加对应的数据，navicat连接如下图所示：
在这里插入图片描述

修改数据库密码

使用如下命令进行修改数据库密码：

ALTER USER root IDENTIFIED BY "12345";

已经修改无法登陆，密码为12345，输入密码登录成功
在这里插入图片描述在这里插入图片描述

在这里插入图片描述
本片搭建到此结束，下篇在此基础上进行搭建集群模式，其实很简单的。

猜你喜欢

转载自blog.csdn.net/weixin_43114209/article/details/131395344
今日推荐
面壁智能发布 Eurux-8x22B 开源大模型 —— 堪称「理科状元」
开源日报 | 谷歌扶持鸿蒙上位；开源Rabbit R1；Docker加持的安卓手机；微软的焦虑和野心；海尔电器把开放平台关了
中国码农的“35岁魔咒”
蘭雅 CorelDRAW 插件 2024.5.1 国际劳动节版，免费下载
Arc Browser for Windows 1.0 正式 GA
90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！
周排行
OOP第二次作业
java web 乱码问题
android 禁止scrollview 因控件变化自动滚动到底的方法
mysql服务解压版的安装(5.7)
centos7 nginx+tomcat配置https 安装免费SSL Let’s Encrypt
使用Mosquitto遗嘱机制实现感知客户端上下线功能的方法
面向对象之------多态与多态性
开发Teams Tabs应用程序
C# 希尔排序
第2章 Jupyter Notebooks
每日归档
更多
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022