Apache Doris：一款高性能的实时数据仓库

news/2025/2/25 10:39:05

Apache Doris 是一款基于 MPP 架构的高性能、实时分析型数据库。它以高效、简单和统一的特性著称，能够在亚秒级的时间内返回海量数据的查询结果。Doris 既能支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。

在这里插入图片描述

Apache Doris 最初是百度广告报表业务的 Palo 项目，现在已经成为了 Apache 顶级项目。

截至目前，Apache Doris 已经在全球超过 5000 家中大型企业的生产环境中得到应用。在中国市值或估值排行前 50 的互联网公司中，有超过 80% 长期使用 Apache Doris，包括百度、美团、小米、京东、字节跳动、阿里巴巴、腾讯、网易、快手、微博等。同时，在金融、消费、电信、工业制造、能源、医疗、政务等传统行业也有着丰富的应用。

在中国，几乎所有的云厂商，如阿里云、华为云、天翼云、腾讯云、百度云、火山引擎等，都在提供托管的 Apache Doris 云服务。

应用场景

企业数据源经过各种数据集成和加工处理后，通常会进入实时数据仓库 Doris 和离线湖仓（如 Hive、Iceberg 和 Hudi），广泛应用于 OLAP 分析场景，如下图所示：

在这里插入图片描述

Apache Doris 主要应用于以下场景：

  • 实时数据分析：
    • 实时报表与实时决策： 为企业内外部提供实时更新的报表和仪表盘，支持自动化流程中的实时决策需求。
    • 交互式探索分析： 提供多维数据分析能力，支持对数据进行快速的商业智能分析和即席查询（Ad Hoc），帮助用户在复杂数据中快速发现洞察。
    • 用户行为与画像分析： 分析用户参与、留存、转化等行为，支持人群洞察和人群圈选等画像分析场景。
  • 湖仓融合分析：
    • 湖仓查询加速： 通过高效的查询引擎加速湖仓数据的查询。
    • 多源联邦分析： 支持跨多个数据源的联邦查询，简化架构并消除数据孤岛。
    • 实时数据处理： 结合实时数据流和批量数据的处理能力，满足高并发和低延迟的复杂业务需求。
  • 半结构化数据分析：
    • 日志与事件分析： 对分布式系统中的日志和事件数据进行实时或批量分析，帮助定位问题和优化性能。

整体架构

Apache Doris 采用 MySQL 协议，高度兼容 MySQL 语法，支持标准 SQL。用户可以通过各类客户端工具访问 Apache Doris，并支持与 BI 工具无缝集成。在部署 Apache Doris 时，可以根据硬件环境与业务需求选择存算一体架构或存算分离架构。

存算一体架构

Apache Doris 存算一体架构精简且易于维护。它包含以下两种类型的进程：

  • Frontend (FE)： 主要负责接收用户请求、查询解析和规划、元数据管理以及节点管理。
  • Backend (BE)： 主要负责数据存储和查询计划的执行。数据会被切分成数据分片（Shard），在 BE 中以多副本方式存储。

整体架构和技术特点

在生产环境中，可以部署多个 FE 节点以实现容灾备份。每个 FE 节点都会维护完整的元数据副本。FE 节点分为以下三种角色：

角色功能
MasterFE Master 节点负责元数据的读写。当 Master 节点的元数据发生变更后，会通过 BDB JE 协议同步给 Follower 或 Observer 节点。
FollowerFollower 节点负责读取元数据。当 Master 节点发生故障时，可以选取一个 Follower 节点作为新的 Master 节点。
ObserverObserver 节点负责读取元数据，主要目的是增加集群的查询并发能力。Observer 节点不参与集群的选主过程。

FE 和 BE 进程都可以横向扩展。单个集群可以支持数百台机器和数十 PB 的存储容量。FE 和 BE 进程通过一致性协议来保证服务的高可用性和数据的高可靠性。存算一体架构高度集成，大幅降低了分布式系统的运维成本。

存算分离架构

从 3.0 版本开始，可以选择存算分离部署架构。Apache Doris 存算分离版使用统一的共享存储层作为数据存储空间。存储和计算分离后，用户可以独立扩展存储容量和计算资源，从而实现最佳性能和成本效益。存算分离架构分为以下三层：

  • 元数据层： 负责请求规划、查询解析以及元数据的存储和管理。
  • 计算层： 由多个计算组组成。每个计算组可以作为一个独立的租户承担业务计算。每个计算组包含多个无状态的 BE 节点，可以随时弹性伸缩 BE 节点。
  • 存储层： 可以使用 S3、HDFS、OSS、COS、OBS、Minio、Ceph 等共享存储来存放 Doris 的数据文件，包括 Segment 文件和反向索引文件等。

存算分离整体架构和技术特点

Apache Doris 的核心特性包括：

  • 高可用性： Apache Doris 的元数据和数据均采用多副本存储，并通过 Quorum 协议同步数据日志。当大多数副本完成写入后，即认为数据写入成功，从而确保即使少数节点发生故障，集群仍能保持可用性。Apache Doris 支持同城和异地容灾，能够实现双集群主备模式。当部分节点发生异常时，集群可以自动隔离故障节点，避免影响整体集群的可用性。

  • 高兼容性： Apache Doris 高度兼容 MySQL 协议，支持标准 SQL 语法，涵盖绝大部分 MySQL 和 Hive 函数。通过这种高兼容性，用户可以无缝迁移和集成现有的应用和工具。Apache Doris 支持 MySQL 生态，用户可以通过 MySQL 客户端工具连接 Doris，使得操作和维护更加便捷。同时，可以使用 MySQL 协议对 BI 报表工具与数据传输工具进行兼容适配，确保数据分析和数据传输过程中的高效性和稳定性。

  • 实时数仓： 基于 Apache Doris 可以构建实时数据仓库服务。Apache Doris 提供了秒级数据入库能力，上游在线联机事务库中的增量变更可以秒级捕获到 Doris 中。依靠向量化引擎、MPP 架构及 Pipeline 执行引擎等加速手段，可以提供亚秒级数据查询能力，从而构建高性能、低延迟的实时数仓平台。

  • 湖仓一体： Apache Doris 可以基于外部数据源（如数据湖或关系型数据库）构建湖仓一体架构，从而解决数据在数据湖和数据仓库之间无缝集成和自由流动的问题，帮助用户直接利用数据仓库的能力来解决数据湖中的数据分析问题，同时充分利用数据湖的数据管理能力来提升数据的价值。

  • 灵活建模： Apache Doris 提供多种建模方式，如宽表模型、预聚合模型、星型/雪花模型等。数据导入时，可以通过 Flink、Spark 等计算引擎将数据打平成宽表写入到 Doris 中，也可以将数据直接导入到 Doris 中，通过视图、物化视图或实时多表关联等方式进行数据的建模操作。

快速体验

如果想要快速体验 Apache Doris，可以使用 Docker 进行快速部署。首先，创建 docker-compose.yaml 文件并且复制以下内容到 docker-compose.yaml 文件中，并将 DORIS_QUICK_START_VERSION 替换为指定的 Doris 版本，例如 3.0.1。

version: "3"
services:
  fe:
    image: apache/doris.fe-ubuntu:${DORIS_QUICK_START_VERSION}
    hostname: fe
    environment:
     - FE_SERVERS=fe1:127.0.0.1:9010
     - FE_ID=1
    network_mode: host
  be:
    image: apache/doris.be-ubuntu:${DORIS_QUICK_START_VERSION}
    hostname: be
    environment:
     - FE_SERVERS=fe1:127.0.0.1:9010
     - BE_ADDR=127.0.0.1:9050
    depends_on:
      - fe
    network_mode: host

然后使用 docker-compose 命令启动集群：

docker-compose -f ./docker-compose.yaml up -d

最后使用 MySQL 客户端连接集群，并检查集群状态：

## 检查 FE 状态，确定 Join 与 Alive 列均为 true
mysql -uroot -P9030 -h127.0.0.1 -e 'SELECT `host`, `join`, `alive` FROM frontends()'
+-----------+------+-------+
| host      | join | alive |
+-----------+------+-------+
| 127.0.0.1 | true | true  |
+-----------+------+-------+

## 检查 BE 状态，确定 Alive 列为 true
mysql -uroot -P9030 -h127.0.0.1 -e 'SELECT `host`, `alive` FROM backends()'
+-----------+-------+
| host      | alive |
+-----------+-------+
| 127.0.0.1 |     1 |
+-----------+-------+

接下来可以运行一些查询示例，运行查询
使用 MySQL 客户端连接集群

mysql -uroot -P9030 -h127.0.0.1

创建数据库与测试表：

create database demo;

use demo; 
create table mytable
(
    k1 TINYINT,
    k2 DECIMAL(10, 2) DEFAULT "10.05",    
    k3 CHAR(10) COMMENT "string column",    
    k4 INT NOT NULL DEFAULT "1" COMMENT "int column"
) 
COMMENT "my first table"
DISTRIBUTED BY HASH(k1) BUCKETS 1;

插入测试数据：

insert into mytable values
(1,0.14,'a1',20),
(2,1.04,'b2',21),
(3,3.14,'c3',22),
(4,4.35,'d4',23);

执行以下 SQL 语句可以查看到已导入的数据：

MySQL [demo]> select * from demo.mytable;
+------+------+------+------+
| k1   | k2   | k3   | k4   |
+------+------+------+------+
|    1 | 0.14 | a1   |   20 |
|    2 | 1.04 | b2   |   21 |
|    3 | 3.14 | c3   |   22 |
|    4 | 4.35 | d4   |   23 |
+------+------+------+------+
4 rows in set (0.10 sec)

Apache Doris 还支持本地单机以及集群安装模式，具体参考官方文档：

https://doris.apache.org/zh-CN/docs/3.0/gettingStarted/what-is-apache-doris


http://www.niftyadmin.cn/n/5865393.html

相关文章

数字IC后端设计实现OCC(On-chip Clock Controller)电路介绍及时钟树综合案例

数字IC后端设计实现OCC(On-chip Clock Controller)电路介绍及时钟树综合案例

数字IC后端时钟树综合专题（OCC电路案例分享） 复杂时钟设计时钟树综合(clock tree synthesis)常见20个典型案例 1、什么是OCC？ 片上时钟控制器(On-chip Clock Controllers ，OCC)，也称为扫描时钟控制器(Scan Clock Con…
阅读更多...
我与Linux的爱恋:了解信号量+共享内存+消息队列的应用

我与Linux的爱恋:了解信号量+共享内存+消息队列的应用

​ ​ 🔥个人主页：guoguoqiang. 🔥专栏：Linux的学习 文章目录 信号量共享内存应用---Server&Client通信client.ccserver.ccnamepipe.hppShm.hpp 消息队列——实现Client&ServerCom.hppClient.ccServer.cc 信号量 信号量…
阅读更多...
用Deepseek直接在word中完成论文的润色（中-中，中-英， 英-中）

用Deepseek直接在word中完成论文的润色（中-中，中-英， 英-中）

最近，各行各业仿佛掀起了一场“Deepseek接入大赛”——从大公司到小微企业，从手机助手到扫地机器人，似乎不接入Deepseek都不好意思说自己是“智能体”了。就连我家楼下的自动售货机都开始“思考”该给我推荐什么零食了（虽然它最后…
阅读更多...
MybatisPlus-扩展功能-枚举处理器

MybatisPlus-扩展功能-枚举处理器

在Mybatis里有一个叫TypeHandler的类型处理器，我们常见的PO当中的这些成员变量的数据类型，它都有对应的处理器，因此它就能自动实现这些Java数据类型与数据库类型的相互转换。 它里面还有一个叫EnumOrdinalTypeHandler的枚举处理器&#xff0…
阅读更多...
项目——仿RabbitMQ实现消息队列

项目——仿RabbitMQ实现消息队列

1.项目介绍 曾经在学习Linux的过程中，我们学习过阻塞队列 (BlockingQueue) 。 当时我们说阻塞队列最大的用途, 就是用来实现生产者消费者模型。 生产者消费者模型是后端开发的常用编程方式， 它存在诸多好处： 解耦合支持并发支持忙闲不均削峰…
阅读更多...
ArcGIS Pro中创建最低成本路径的详尽教程

ArcGIS Pro中创建最低成本路径的详尽教程

一、引言 在地理信息系统（GIS）的应用场景中，路径分析扮演着至关重要的角色。而最低成本路径分析，则是路径分析中的一种高级应用，它综合考虑了地形、植被、土地利用类型等多种因素，通过加权计算得出一条从起…
阅读更多...
rust笔记9-引用与原始指针

rust笔记9-引用与原始指针

Rust 中的指针类型和引用类型是理解其内存管理机制的关键部分。& 引用和 * 原始指针在底层原理上确实都可以认为是指针，它们都存储了某个内存地址，并指向该地址处的数据。然而，它们在安全性、使用方式和编译器支持上有显著的区别。下面我会详细解释它们的异同点，帮助你…
阅读更多...
6层高速PCB设计入门第1~10讲

6层高速PCB设计入门第1~10讲

第一讲 课程介绍 无痛入门！6层高速PCB设计！_哔哩哔哩_bilibili 第二讲 逻辑派原理图分析 开发板资料文档：https://wiki.lckfb.com/zh-hans/fpga-ljpi/ 最需要注意的信号就是FPGA与DDR3、HDMI交互的信号，其次是GD32读写TF Card的…
阅读更多...
最新文章

Copyright @ 2022~2023