产品简介

产品概述

基本概念

集群架构

产品优势

应用场景

购买指南

计费概述

续费说明

到期与欠费说明

退费说明

配置变更计费说明

快速入门

通过控制台使用腾讯云数据仓库 TCHouse-D

通过客户端使用腾讯云数据仓库 TCHouse-D

操作指南

集群操作

监控和告警配置

账户权限管理

数据管理

查询管理

配置管理

节点管理

日志分析

SQL 工作区

开启资源隔离

开发指南

数据表设计

数据导入

数据导出

基础功能

查询优化

生态扩展功能

API 文档

History

Introduction

API Category

Making API Requests

Cluster Operation APIs

Database and Table APIs

Cluster Information Viewing APIs

Hot-Cold Data Layering APIs

Database and Operation Audit APIs

User and Permission APIs

Resource Group Management APIs

Data Types

Error Codes

云上生态

为子账号授予 CAM 策略

查询加速腾讯云 DLC

实践教程

基本功能使用

高级特性使用

资源规格选型及调优建议

命名规范及库表限制

表设计与数据导入

查询调优

建议规避的用法

通过 JDBC 方式公网访问 TCHouse-D

性能测试

TPC-H 性能测试

SSB 性能测试

TPC-DS 性能测试

常见问题

常见操作问题

常见报错

联系我们

词汇表

产品协议

服务等级协议

隐私政策

数据处理和安全协议

数据表和数据模型

PDF

聚焦模式

字号

最后更新时间： 2024-06-27 10:54:20

本文档主要从逻辑层面，描述 Doris 的表和数据模型，以帮助用户更好地应对不同的业务场景。
数据表
在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。表是具有相同模式的同质数据的集合。 一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段，可以根据实际情况采用不同的数据类型（如整形、字符串、布尔型等）。
从 OLAP 场景看，Column 可以分为两大类：Key 和 Value。Key 表示维度列，value 表示指标列。
数据模型
Doris 的数据模型主要分为3类：Aggregate、Unique 和 Duplicate。
Aggregate 模型
我们以实际的例子来说明什么是聚合模型，以及如何正确的使用聚合模型。
示例1：导入数据聚合
假设业务有如下数据表模式：
ColumnName
Type
AggregationType
Comment
user_id
LARGEINT
-
用户 ID
date
DATE
-
数据导入日期
city
VARCHAR(20)
-
用户所在城市
age
SMALLINT
-
用户年龄
sex
TINYINT
-
用户性别
last_visit_date
DATETIME
REPLACE
用户最后一次访问时间
cost
BIGINT
SUM
用户总消费
max_dwell_time
INT
MAX
用户最大停留时间
min_dwell_time
INT
MIN
用户最小停留时间
如果转换成建表语句则如下（省略建表语句中的 Partition 和 Distribution 信息）：
CREATE TABLE IF NOT EXISTS example_db.expamle_tbl
(
    `user_id` LARGEINT NOT NULL COMMENT "用户id",
    `date` DATE NOT NULL COMMENT "数据导入日期时间",
    `city` VARCHAR(20) COMMENT "用户所在城市",
    `age` SMALLINT COMMENT "用户年龄",
    `sex` TINYINT COMMENT "用户性别",
    `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
    `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
    `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
    `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);
可以看到，这是一个典型的用户信息和访问行为的事实表。 在一般星型模型中，用户信息和访问行为一般分别存放在维度表和事实表中。这里我们为了更加方便的解释 Doris 的数据模型，将两部分信息统一存放在一张表中。
表中的列按照是否设置了 AggregationType，分为 Key (维度列) 和 Value（指标列）。没有设置 AggregationType 的，如 user_id、date、age 、sex 称为 Key，而设置了 AggregationType 的称为 Value。
当我们导入数据时，对于 Key 列相同的行会聚合成一行，而 Value 列会按照设置的 AggregationType 进行聚合。 AggregationType 目前有以下四种聚合方式：
1. SUM：求和，多行的 Value 进行累加。
2. REPLACE：替代，下一批数据中的 Value 会替换之前导入过的行中的 Value。
3. MAX：保留最大值。
4. MIN：保留最小值。
假设我们有以下导入数据（原始数据）：
user_id
date
city
age
sex
last_visit_date
cost
max_dwell_time
min_dwell_time
10000
2017-10-01
北京
20
0
2017-10-01 06:00:00
20
10
10
10000
2017-10-01
北京
20
0
2017-10-01 07:00:00
15
2
2
10001
2017-10-01
北京
30
1
2017-10-01 17:05:45
2
22
22
10002
2017-10-02
上海
20
1
2017-10-02 12:59:12
200
5
5
10003
2017-10-02
广州
32
0
2017-10-02 11:20:00
30
11
11
10004
2017-10-01
深圳
35
0
2017-10-01 10:00:15
100
3
3
10004
2017-10-03
深圳
35
0
2017-10-03 10:20:22
11
6
6
我们假设这是一张记录用户访问某商品页面行为的表。我们以第一行数据为例，解释如下：
数据
说明
10000
用户 ID，每个用户唯一识别 ID
2017-10-01
数据入库时间，精确到日期
北京
用户所在城市
20
用户年龄
0
性别男（1 代表女性）
2017-10-01 06:00:00
用户本次访问该页面的时间，精确到秒
20
用户本次访问产生的消费
10
用户本次访问，驻留该页面的时间
10
用户本次访问，驻留该页面的时间（冗余）
那么当这批数据正确导入到 Doris 中后，Doris 中最终存储如下：
user_id
date
city
age
sex
last_visit_date
cost
max_dwell_time
min_dwell_time
10000
2017-10-01
北京
20
0
2017-10-01 07:00:00
35
10
2
10001
2017-10-01
北京
30
1
2017-10-01 17:05:45
2
22
22
10002
2017-10-02
上海
20
1
2017-10-02 12:59:12
200
5
5
10003
2017-10-02
广州
32
0
2017-10-02 11:20:00
30
11
11
10004
2017-10-01
深圳
35
0
2017-10-01 10:00:15
100
3
3
10004
2017-10-03
深圳
35
0
2017-10-03 10:20:22
11
6
6
可以看到，用户 10000 只剩下了一行聚合后的数据。而其余用户的数据和原始数据保持一致。这里先解释下用户 10000 聚合后的数据：
前5列没有变化，从第6列 last_visit_date 开始：
2017-10-01 07:00:00：因为 last_visit_date 列的聚合方式为 REPLACE，所以 2017-10-01 07:00:00 替换了 2017-10-01 06:00:00 保存了下来。
说明
 在同一个导入批次中的数据，对于 REPLACE 这种聚合方式，替换顺序不做保证。如在这个例子中，最终保存下来的，也有可能是 2017-10-01 06:00:00。而对于不同导入批次中的数据，可以保证，后一批次的数据会替换前一批次。
35：因为 cost 列的聚合类型为 SUM，所以由 20 + 15 累加获得 35。
10：因为 max_dwell_time 列的聚合类型为 MAX，所以 10 和 2 取最大值，获得 10。
2：因为 min_dwell_time 列的聚合类型为 MIN，所以 10 和 2 取最小值，获得 2。
经过聚合，Doris 中最终只会存储聚合后的数据。换句话说，即明细数据会丢失，用户不能够再查询到聚合前的明细数据了。
示例2：保留明细数据
接示例1，我们将表结构修改如下：
ColumnName
Type
AggregationType
Comment
user_id
LARGEINT
-
用户 ID
date
DATE
-
数据导入日期
timestamp
DATETIME
-
数据导入时间，精确到秒
city
VARCHAR(20)
-
用户所在城市
age
SMALLINT
-
用户年龄
sex
TINYINT
-
用户性别
last_visit_date
DATETIME
REPLACE
用户最后一次访问时间
cost
BIGINT
SUM
用户总消费
max_dwell_time
INT
MAX
用户最大停留时间
min_dwell_time
INT
MIN
用户最小停留时间
即增加了一列 timestamp，记录精确到秒的数据导入时间。
同时，将AGGREGATE KEY设置为AGGREGATE KEY(user_id, date, timestamp, city, age, sex)
导入数据如下：
user_id
date
timestamp
city
age
sex
last_visit_date
cost
max_dwell_time
min_dwell_time
10000
2017-10-01
2017-10-01 08:00:05
北京
20
0
2017-10-01 06:00:00
20
10
10
10000
2017-10-01
2017-10-01 09:00:05
北京
20
0
2017-10-01 07:00:00
15
2
2
10001
2017-10-01
2017-10-01 18:12:10
北京
30
1
2017-10-01 17:05:45
2
22
22
10002
2017-10-02
2017-10-02 13:10:00
上海
20
1
2017-10-02 12:59:12
200
5
5
10003
2017-10-02
2017-10-02 13:15:00
广州
32
0
2017-10-02 11:20:00
30
11
11
10004
2017-10-01
2017-10-01 12:12:48
深圳
35
0
2017-10-01 10:00:15
100
3
3
10004
2017-10-03
2017-10-03 12:38:20
深圳
35
0
2017-10-03 10:20:22
11
6
6
那么当这批数据正确导入到 Doris 中后，Doris 中最终存储如下：
user_id
date
timestamp
city
age
sex
last_visit_date
cost
max_dwell_time
min_dwell_time
10000
2017-10-01
2017-10-01 08:00:05
北京
20
0
2017-10-01 06:00:00
20
10
10
10000
2017-10-01
2017-10-01 09:00:05
北京
20
0
2017-10-01 07:00:00
15
2
2
10001
2017-10-01
2017-10-01 18:12:10
北京
30
1
2017-10-01 17:05:45
2
22
22
10002
2017-10-02
2017-10-02 13:10:00
上海
20
1
2017-10-02 12:59:12
200
5
5
10003
2017-10-02
2017-10-02 13:15:00
广州
32
0
2017-10-02 11:20:00
30
11
11
10004
2017-10-01
2017-10-01 12:12:48
深圳
35
0
2017-10-01 10:00:15
100
3
3
10004
2017-10-03
2017-10-03 12:38:20
深圳
35
0
2017-10-03 10:20:22
11
6
6
我们可以看到，存储的数据，和导入数据完全一样，没有发生任何聚合。这是因为，这批数据中，因为加入了 timestamp 列，所有行的 Key 都不完全相同。也就是说，只要保证导入的数据中，每一行的 Key 都不完全相同，那么即使在聚合模型下，Doris 也可以保存完整的明细数据。
示例3：导入数据与已有数据聚合
接示例1。假设现在表中已有数据如下：
user_id
date
city
age
sex
last_visit_date
cost
max_dwell_time
min_dwell_time
10000
2017-10-01
北京
20
0
2017-10-01 07:00:00
35
10
2
10001
2017-10-01
北京
30
1
2017-10-01 17:05:45
2
22
22
10002
2017-10-02
上海
20
1
2017-10-02 12:59:12
200
5
5
10003
2017-10-02
广州
32
0
2017-10-02 11:20:00
30
11
11
10004
2017-10-01
深圳
35
0
2017-10-01 10:00:15
100
3
3
10004
2017-10-03
深圳
35
0
2017-10-03 10:20:22
11
6
6
我们再导入一批新的数据：
user_id
date
city
age
sex
last_visit_date
cost
max_dwell_time
min_dwell_time
10004
2017-10-03
深圳
35
0
2017-10-03 11:22:00
44
19
19
10005
2017-10-03
长沙
29
1
2017-10-03 18:11:02
3
1
1
那么当这批数据正确导入到 Doris 中后，Doris 中最终存储如下：
user_id
date
city
age
sex
last_visit_date
cost
max_dwell_time
min_dwell_time
10000
2017-10-01
北京
20
0
2017-10-01 07:00:00
35
10
2
10001
2017-10-01
北京
30
1
2017-10-01 17:05:45
2
22
22
10002
2017-10-02
上海
20
1
2017-10-02 12:59:12
200
5
5
10003
2017-10-02
广州
32
0
2017-10-02 11:20:00
30
11
11
10004
2017-10-01
深圳
35
0
2017-10-01 10:00:15
100
3
3
10004
2017-10-03
深圳
35
0
2017-10-03 11:22:00
55
19
6
10005
2017-10-03
长沙
29
1
2017-10-03 18:11:02
3
1
1
可以看到，用户 10004 的已有数据和新导入的数据发生了聚合。同时新增了10005用户的数据。
数据的聚合，在 Doris 中有如下三个阶段发生：
1. 每一批次数据导入的 ETL 阶段。该阶段会在每一批次导入的数据内部进行聚合。
2. 底层 BE 进行数据 Compaction 的阶段。该阶段，BE 会对已导入的不同批次的数据进行进一步的聚合。
3. 数据查询阶段。在数据查询时，对于查询涉及到的数据，会进行对应的聚合。
数据在不同时间，可能聚合的程度不一致。例如一批数据刚导入时，可能还未与之前已存在的数据进行聚合。但是对于用户而言，用户只能查询到聚合后的数据。即不同的聚合程度对于用户查询而言是透明的。用户需始终认为数据以最终的完成的聚合程度存在，而不应假设某些聚合还未发生。
Unique 模型
在某些多维分析场景下，用户更关注的是如何保证 Key 的唯一性，即如何获得 Primary Key 唯一性约束。因此，我们引入了 Unique 的数据模型。该模型本质上是聚合模型的一个特例，也是一种简化的表结构表示方式。举例说明：
ColumnName
Type
IsKey
Comment
user_id
BIGINT
Yes
用户 ID
username
VARCHAR(50)
Yes
用户昵称
city
VARCHAR(20)
No
用户所在城市
age
SMALLINT
No
用户年龄
sex
TINYINT
No
用户性别
phone
LARGEINT
No
用户电话
address
VARCHAR(500)
No
用户住址
register_time
DATETIME
No
用户注册时间
这是一个典型的用户基础信息表。这类数据没有聚合需求，只需保证主键唯一性。（这里的主键为 user_id + username）。那么我们的建表语句如下：
CREATE TABLE IF NOT EXISTS example_db.expamle_tbl
(
    `user_id` LARGEINT NOT NULL COMMENT "用户id",
    `username` VARCHAR(50) NOT NULL COMMENT "用户昵称",
    `city` VARCHAR(20) COMMENT "用户所在城市",
    `age` SMALLINT COMMENT "用户年龄",
    `sex` TINYINT COMMENT "用户性别",
    `phone` LARGEINT COMMENT "用户电话",
    `address` VARCHAR(500) COMMENT "用户地址",
    `register_time` DATETIME COMMENT "用户注册时间"
)
UNIQUE KEY(`user_id`, `username`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);
而这个表结构，完全同等于以下使用聚合模型描述的表结构：
ColumnName
Type
AggregationType
Comment
user_id
BIGINT
-
用户 ID
username
VARCHAR(50)
-
用户昵称
city
VARCHAR(20)
REPLACE
用户所在城市
age
SMALLINT
REPLACE
用户年龄
sex
TINYINT
REPLACE
用户性别
phone
LARGEINT
REPLACE
用户电话
address
VARCHAR(500)
REPLACE
用户住址
register_time
DATETIME
REPLACE
用户注册时间
及建表语句：
CREATE TABLE IF NOT EXISTS example_db.expamle_tbl
(
    `user_id` LARGEINT NOT NULL COMMENT "用户id",
    `username` VARCHAR(50) NOT NULL COMMENT "用户昵称",
    `city` VARCHAR(20) REPLACE COMMENT "用户所在城市",
    `age` SMALLINT REPLACE COMMENT "用户年龄",
    `sex` TINYINT REPLACE COMMENT "用户性别",
    `phone` LARGEINT REPLACE COMMENT "用户电话",
    `address` VARCHAR(500) REPLACE COMMENT "用户地址",
    `register_time` DATETIME REPLACE COMMENT "用户注册时间"
)
AGGREGATE KEY(`user_id`, `username`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);
即 Unique 模型完全可以用聚合模型中的 REPLACE 方式替代。其内部的实现方式和数据存储方式也完全一样。这里不再继续举例说明。
Duplicate 模型
在某些多维分析场景下，数据既没有主键，也没有聚合需求。因此，我们引入 Duplicate 数据模型来满足这类需求。举例说明。
ColumnName
Type
SortKey
Comment
timestamp
DATETIME
Yes
日志时间
type
INT
Yes
日志类型
error_code
INT
Yes
错误码
error_msg
VARCHAR(1024)
No
错误详细信息
op_id
BIGINT
No
负责人 ID
op_time
DATETIME
No
处理时间
建表语句如下：
CREATE TABLE IF NOT EXISTS example_db.expamle_tbl
(
    `timestamp` DATETIME NOT NULL COMMENT "日志时间",
    `type` INT NOT NULL COMMENT "日志类型",
    `error_code` INT COMMENT "错误码",
    `error_msg` VARCHAR(1024) COMMENT "错误详细信息",
    `op_id` BIGINT COMMENT "负责人id",
    `op_time` DATETIME COMMENT "处理时间"
)
DUPLICATE KEY(`timestamp`, `type`)
DISTRIBUTED BY HASH(`type`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);
这种数据模型区别于 Aggregate 和 Unique 模型。数据完全按照导入文件中的数据进行存储，不会有任何聚合，即使两行数据完全相同也都会保留。 而在建表语句中指定的 DUPLICATE KEY，只是用来指明底层数据按照那些列进行排序。在 DUPLICATE KEY 的选择上，我们建议适当的选择前 2-4 列就可以。这种数据模型适用于既没有聚合需求，又没有主键唯一性约束的原始数据的存储。
聚合模型的局限性
Aggregate 模型 & Unique 模型
这里我们针对 Aggregate 模型（包括 Unique 模型），来介绍下聚合模型的局限性。
在聚合模型中，模型对外展现的，是最终聚合后的数据。也就是说，对于任何还未聚合的数据（例如说两个不同导入批次的数据），必须通过某种方式保证对外展示的一致性。
假设表结构如下：
ColumnName
Type
AggregationType
Comment
user_id
LARGEINT
-
用户 ID
date
DATE
-
数据导入日期
cost
BIGINT
SUM
用户总消费
假设存储引擎中有如下两个已经导入完成的批次的数据：
batch 1
user_id
date
cost
10001
2017-11-20
50
10002
2017-11-21
39
batch 2
user_id
date
cost
10001
2017-11-20
1
10001
2017-11-21
5
10003
2017-11-22
22
可以看到，用户 10001 分属在两个导入批次中的数据还没有聚合。但是为了保证用户只能查询到如下最终聚合后的数据：
user_id
date
cost
10001
2017-11-20
51
10001
2017-11-21
5
10002
2017-11-21
39
10003
2017-11-22
22
我们在查询引擎中加入了聚合算子，来保证数据对外的一致性。
另外，在聚合列（Value）上，执行与聚合类型不一致的聚合类查询时，要注意语意。例如我们在如上示例中执行如下查询：
SELECT MIN(cost) FROM table;
得到的结果是 5，而不是 1。
同时，这种一致性保证，在某些查询中，会极大的降低查询效率。
我们以最基本的 count(*) 查询为例：
SELECT COUNT(*) FROM table;
在其他数据库中，这类查询都会很快的返回结果。因为在实现上，我们可以通过如导入时对行进行计数，保存 count 的统计信息，或者在查询时仅扫描某一列数据，获得 count 值的方式，只需很小的开销，即可获得查询结果。但是在 Doris 的聚合模型中，这种查询的开销非常大。
我们以刚才的数据为例：
batch 1
user_id
date
cost
10001
2017-11-20
50
10002
2017-11-21
39
batch 2
user_id
date
cost
10001
2017-11-20
1
10001
2017-11-21
5
10003
2017-11-22
22
因为最终的聚合结果为：
user_id
date
cost
10001
2017-11-20
51
10001
2017-11-21
5
10002
2017-11-21
39
10003
2017-11-22
22
所以，select count(*) from table; 的正确结果应该为 4。但如果我们只扫描 user_id 这一列，如果加上查询时聚合，最终得到的结果是 3（10001, 10002, 10003）。而如果不加查询时聚合，则得到的结果是 5（两批次一共5行数据）。可见这两个结果都是不对的。
为了得到正确的结果，我们必须同时读取 user_id 和 date 这两列的数据，再加上查询时聚合，才能返回 4 这个正确的结果。也就是说，在 count(  ) 查询中，Doris 必须扫描所有的 AGGREGATE KEY 列（这里就是 user_id 和 date），并且聚合后，才能得到语意正确的结果。当聚合列非常多时，count(  ) 查询需要扫描大量的数据。
因此，当业务上有频繁的 count(  ) 查询时，我们建议用户通过增加一个**值恒为 1 的，聚合类型为 SUM 的列来模拟 count(  )**。如刚才的例子中的表结构，我们修改如下：
ColumnName
Type
AggregateType
Comment
user_id
BIGINT
-
用户 ID
date
DATE
-
数据导入日期
cost
BIGINT
SUM
用户总消费
count
BIGINT
SUM
用于计算 count
增加一个 count 列，并且导入数据中，该列值恒为 1。则 select count(*) from table; 的结果等价于 select sum(count) from table;。而后者的查询效率将远高于前者。不过这种方式也有使用限制，就是用户需要自行保证，不会重复导入 AGGREGATE KEY 列都相同的行。否则，select sum(count) from table; 只能表述原始导入的行数，而不是 select count(*) from table; 的语义，前者值会错误的增大。
另一种方式，就是 将如上的  count  列的聚合类型改为 REPLACE，且依然值恒为 1。那么 select sum(count) from table; 和 select count(*) from table; 的结果将是一致的。并且这种方式，没有导入重复行的限制。
Duplicate 模型
Duplicate 模型没有聚合模型的这个局限性。因为该模型不涉及聚合语意，在做 count(*) 查询时，任意选择一列查询，即可得到语意正确的结果。
最佳实践
因为数据模型在建表时就已经确定，且无法修改。所以，选择一个合适的数据模型非常重要。
数据模型选择
Doris 数据模型目前分为三类:：AGGREGATE KEY，UNIQUE KEY，DUPLICATE KEY。三种模型中数据都是按KEY进行排序。
Aggregate 模型
Aggregate 模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据量和查询的计算量，非常适合有固定模式的报表类查询场景。但是该模型对 count( * ) 查询很不友好。同时因为固定了 Value 列上的聚合方式，在进行其他类型的聚合查询时，需要考虑语意正确性。
Aggregate Key 相同时，新旧记录进行聚合，目前支持的聚合函数有SUM，MIN，MAX，REPLACE。
CREATE TABLE site_visit
(
    siteid      INT,
    city        SMALLINT,
    username    VARCHAR(32),
    pv BIGINT   SUM DEFAULT '0'
)
AGGREGATE KEY(siteid, city, username)
DISTRIBUTED BY HASH(siteid) BUCKETS 10;
Unique 模型
Unique 模型针对需要唯一主键约束的场景，Unique key 相同时，新记录覆盖旧记录，可以保证主键唯一性约束。适用于有更新需求的分析业务。目前 Unique key  实现上和 Aggregate key 的 REPLACE 聚合方法一样，二者本质上相同。但是无法利用 ROLLUP 等预聚合带来的查询优势（因为本质是 REPLACE，没有 SUM 这种聚合方式）。
注意
 Unique 模型仅支持整行更新，如果用户既需要唯一主键约束，又需要仅更新部分列（例如将多张源表的列合并后导入到一张 doris 表的情形），则可以考虑使用 Aggregate 模型，同时将非主键列的聚合类型设置为 REPLACE_IF_NOT_NULL。具体的用法可以参考 数据模型。
CREATE TABLE sales_order
(
    orderid     BIGINT,
    status      TINYINT,
    username    VARCHAR(32),
    amount      BIGINT DEFAULT '0'
)
UNIQUE KEY(orderid)
DISTRIBUTED BY HASH(orderid) BUCKETS 10;
Duplicate 模型
Duplicate 模型相同的行不会合并，适合任意维度的 Ad-hoc 查询。虽然无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势（列裁剪、向量执行等）。
CREATE TABLE session_data
(
    visitorid   SMALLINT,
    sessionid   BIGINT,
    visittime   DATETIME,
    city        CHAR(20),
    province    CHAR(20),
    ip          varchar(32),
    brower      CHAR(20),
    url         VARCHAR(1024)
)
DUPLICATE KEY(visitorid, sessionid)
DISTRIBUTED BY HASH(sessionid, visitorid) BUCKETS 10;
大宽表与 Star Schema（星形模型）
业务方建表时，为了和前端业务适配，通常不对维度信息和指标信息加以区分，而将 Schema 定义成大宽表。对于 Doris 而言， 这类大宽表的性能不尽如人意：
Schema 中字段数比较多，聚合模型中可能 key 列比较多，导入过程中需要排序的列会增加。
维度信息更新会反应到整张表中，而更新的频率直接影响查询的效率。
使用过程中，建议用户尽量使用 Star Schema 区分维度表和指标表。频繁更新的维度表也可以放在 MySQL 外部表中。而如果只有少量更新， 可以直接放在 Doris 中。在 Doris 中存储维度表时，可对维度表设置更多的副本，提升 Join 的性能。

帮助和支持

本页内容是否解决了您的问题？

您也可以联系销售或提交工单以寻求帮助。

填写满意度调查问卷，共创更好文档体验。

文档反馈

ColumnName	Type	AggregationType	Comment
user_id	LARGEINT	-	用户 ID
date	DATE	-	数据导入日期
city	VARCHAR(20)	-	用户所在城市
age	SMALLINT	-	用户年龄
sex	TINYINT	-	用户性别
last_visit_date	DATETIME	REPLACE	用户最后一次访问时间
cost	BIGINT	SUM	用户总消费
max_dwell_time	INT	MAX	用户最大停留时间
min_dwell_time	INT	MIN	用户最小停留时间

数据	说明
10000	用户 ID，每个用户唯一识别 ID
2017-10-01	数据入库时间，精确到日期
北京	用户所在城市
20	用户年龄
0	性别男（1 代表女性）
2017-10-01 06:00:00	用户本次访问该页面的时间，精确到秒
20	用户本次访问产生的消费
10	用户本次访问，驻留该页面的时间
10	用户本次访问，驻留该页面的时间（冗余）

user_id	date	timestamp	city	age	sex	last_visit_date	cost	max_dwell_time	min_dwell_time
10000	2017-10-01	2017-10-01 08:00:05	北京	20	0	2017-10-01 06:00:00	20	10	10
10000	2017-10-01	2017-10-01 09:00:05	北京	20	0	2017-10-01 07:00:00	15	2	2
10001	2017-10-01	2017-10-01 18:12:10	北京	30	1	2017-10-01 17:05:45	2	22	22
10002	2017-10-02	2017-10-02 13:10:00	上海	20	1	2017-10-02 12:59:12	200	5	5
10003	2017-10-02	2017-10-02 13:15:00	广州	32	0	2017-10-02 11:20:00	30	11	11
10004	2017-10-01	2017-10-01 12:12:48	深圳	35	0	2017-10-01 10:00:15	100	3	3
10004	2017-10-03	2017-10-03 12:38:20	深圳	35	0	2017-10-03 10:20:22	11	6	6

ColumnName	Type	IsKey	Comment
user_id	BIGINT	Yes	用户 ID
username	VARCHAR(50)	Yes	用户昵称
city	VARCHAR(20)	No	用户所在城市
age	SMALLINT	No	用户年龄
sex	TINYINT	No	用户性别
phone	LARGEINT	No	用户电话
address	VARCHAR(500)	No	用户住址
register_time	DATETIME	No	用户注册时间

ColumnName	Type	SortKey	Comment
timestamp	DATETIME	Yes	日志时间
type	INT	Yes	日志类型
error_code	INT	Yes	错误码
error_msg	VARCHAR(1024)	No	错误详细信息
op_id	BIGINT	No	负责人 ID
op_time	DATETIME	No	处理时间

ColumnName	Type	AggregateType	Comment
user_id	BIGINT	-	用户 ID
date	DATE	-	数据导入日期
cost	BIGINT	SUM	用户总消费
count	BIGINT	SUM	用于计算 count

tencent cloud

腾讯云数据仓库 TCHouse-D

数据表和数据模型

数据表

数据模型

Aggregate 模型

示例1：导入数据聚合

示例2：保留明细数据

示例3：导入数据与已有数据聚合

Unique 模型

Duplicate 模型

聚合模型的局限性

Aggregate 模型 & Unique 模型

Duplicate 模型

最佳实践

数据模型选择

Aggregate 模型

Unique 模型

Duplicate 模型

大宽表与 Star Schema（星形模型）

帮助和支持