血缘分析数据库表

<< Click to Display Table of Contents >>

当前位置:  血缘分析 

血缘分析数据库表

复制链接

1. 存储表的位置

血缘分析数据库表存储位置与是否在【系统设置> 数据库连接配置 】中配置血缘分析数据库有关。如果配置了,血缘分析数据库表会存储在该库。如果没有配置,但是在【数据空间配置 > 共享文件配置> 数据库连接配置】处配置了数据库,则会存储到该数据库。如果这两个数据库都未配置,则会存储到系统内置的数据库。

2. 存储表结构信息

LINEAGE_RESOURCE

资源节点表,记录了血缘关系中每个节点的详细信息,节点对应的可能是一个物理资源(报告、数据集、数据源等),也可能是一个虚拟资源(组件、数据表等)。

字段名

数据类型

字段中文

字段描述

id

字符串 varchar(64)

ID

血缘节点的ID,UUID,唯一标识一个资源节点。

name

字符串 varchar(512)

名称

数据集、组件、数据源、报告、数据表的名称。

path

字符串 varchar(512)

路径

如果当前节点是数据集、数据源、报告等资源,该字段存储的是相对于bihome的物理路径;如果当前节点是数据表,存储的是数据库名/{模式名}/表名;如果当前节点是组件,存储的是报告的ID;如果当前节点是自定义SQL,存储的是数据集的ID。

type

整数 int(11)

类型

类型:数据集、数据源、组件、报告、数据库表或SQL语句。

detail_type

整数 int(11)

详细类型

资源具体类型:数据集、数据源、组件、报告的具体类型。

extra_data

字符串 varchar(30000)

附加数据

附加属性,存放一些不会作为查询条件的信息。

例如:对于Chart组件的markType。

DATA_SOURCE

字符串 varchar(512)

数据来源

V11.0.2新增,资源的来源,主要应用于Data Fabric集群。值为Dashboard节点的集群ID。默认值为LOCALHOST,表示是当前集群的资源。

UPDATE_TIME

整数 bigint

最后更新时间

V11.0.2新增,数据最后更新时间。

 

LINAGE_DASHBOARD_RELATION

LINEAGE_EXPERIMENT_RELATION

LINEAGE_QUERY_RELATION

LINEAGE_METRIC_RELATION

LINEAGE_PORTAL_RELATION

节点关系表,记录了各个节点之间的依赖关系,其中:

报告到数据集(数据源)之间的依赖关系存储在LINEAGE_DASHBOARD_RELATION中;

实验到数据集的依赖关系存储在LINEAGE_EXPERIMENT_RELATION中;

门户和报告之间的依赖关系存储在LINEAGE_PORTAL_RELATION中;

数据集到数据源之间的依赖关系存储在LINEAGE_QUERY_RELATION中;

指标和指标,指标和数据集之间的依赖关系存储在LINEAGE_METRIC_RELATION中。

字段名

数据类型

字段中文

字段描述

id

字符串 varchar(64)

ID

资源节点ID

depend_id

字符串 varchar(64)

被依赖资源节点的ID

被依赖资源节点的ID,可能是间接依赖,对于A->B->C->D,会存储 A->B,A->C,A->D,B->C,B->D,C->D。

depend_type

整数 int(11)

被依赖资源节点的类型

被依赖资源节点的类型。

upper_id

字符串 varchar(64)

上级资源节点的ID

相对于depend_id来说,被依赖资源的直接上级资源节点的ID。

对于A->B->C->D,在存储A->D的关系时,upper_id存储的是C的id。

child_id 和 upper_id 相同时,表示的关系如下:

A -> B -> C

存储A和C的依赖关系时,child_id和upper_id都是B。

存储A和B的依赖关系时,child_id和upper_id都是空值。

child_id

字符串 varchar(64)

下级资源节点的ID

相对于id来说,通过哪个直接的子节点依赖于depend_id。

对于A -> B -> C -> D,在存储A->D的关系时,child_id存储的是B的id。

child_id 和 upper_id 相同时,表示的关系如下:

A -> B -> C

存储A和C的依赖关系时,child_id和upper_id都是B。

存储A和B的依赖关系时,child_id和upper_id都是空值。

type

整数 int

资源类型

id字段对应的资源节点的类型。

update_time

整数 bigint

更新时间

该行数据的最后更新时间,主要用于删除旧的记录。

DATA_SOURCE

字符串 varchar(512)

数据来源

V11.0.2新增,资源的来源,主要应用于Data Fabric集群。值为Dashboard节点的集群ID。默认值为LOCALHOST,表示是当前集群的资源。

 

LINEAGE_RESOURCE_COLUMN

列信息表,主要记录了报告上创建的列和数据集上创建的列信息。

字段名

数据类型

字段中文

字段描述

id

字符串 varchar(64)

ID

列ID,UUID,唯一标识一个资源节点。

resource_id

字符串 varchar(64)

资源ID

LINEAGE_RESOURCE表中,报告或者数据集的ID。

owner_id

字符串 varchar(64)

资源ID

LINEAGE_RESOURCE表中,报告或者数据集的ID,对于报告来说,需要和数据集ID一块确定一个列。对于数据集,resource_id和 owner_id是相等的。

col_name

字符串 varchar(150)

列名称

对应数据集页面元数据区域列名称。

col_view

字符串 varchar(150)

列别名

对应数据集页面元数据区域列别名。

data_type

整数 int

数据类型

列的数据类型:整数、字符串、日期等。

col_type

整数 int

列类型

列类型:普通列、计算列、日期表达式、拆分列、去空格、值映射等。

dim

整数 smallint

是否是维度

是否是维度列。

update_time

整数bigint

最后更新时间

V11.0.2新增,数据最后更新时间。

data_source

字符串varchar(512)

数据来源

V11.0.2新增,资源的来源,主要应用于Data Fabric集群。值为Dashboard节点的集群ID。默认值为LOCALHOST,表示是当前集群的资源。

visible

smallint

是否可见

V11.0.2新增,对应元数据上列的隐藏状态

LINEAGE_COLUMN_RELATION

列依赖关系表,存储报告和数据集之间列的依赖关系。自服务数据集之间列的依赖关系。

字段名

数据类型

字段中文

字段描述

resource_id

字符串 varchar(64)

资源ID

LINEAGE_RESOURCE表中,组件或者数据集的ID。

column_id

字符串 varchar(64)

列ID

对应LINEAGE_RESOURCE_COLUMN表中的ID。

depend_type

短整数 smallint

依赖的类型

dependType有三个取值,表示依赖的三种形式。

1 :表示是直接依赖一个复杂类型的资源(自服务、组合)的某个列。

2 :表示间接依赖一个简单类型的数据集的某个列。

3: 表示直接依赖于一个简单类型的数据集的某个列 。

 

update_time

整数bigint

最后更新时间

V11.0.2新增,数据最后更新时间。

data_source

字符串varchar(512)

数据来源

V11.0.2新增,资源的来源,主要应用于Data Fabric集群。值为Dashboard节点的集群ID。默认值为LOCALHOST,表示是当前集群的资源。

LINEAGE_SCRIPT_META_COLUMN

用于描述使用到的数据库列,数据库列是指数据库表中定义的列。数据来源于SQL数据集,如果是物理表,存储的是元数据列(BCol),如果是SQL,存储的是基于SQL解析出来的数据库列。

字段名

数据类型

字段中文

字段描述

id

字符串 varchar(64)

ID

列ID,UUID,唯一标识一个资源节点。

resource_id

字符串 varchar(64)

资源ID

LINEAGE_RESOURCE表中,报告或者数据集的ID。

conn_id

字符串 varchar(64)

依赖的类型

dependType有三个取值,表示依赖的三种形式。

1 :表示是直接依赖一个复杂类型的资源(自服务、组合)的某个列。

2 :表示间接依赖一个简单类型的数据集的某个列。

3 :表示直接依赖于一个简单类型的数据集的某个列 。

catalog_name

字符串 varchar(150)

数据库名称

数据库名称

schema_name

字符串 varchar(150)

表结构模式名称

表结构模式名称

table_name

字符串 varchar(150)

表(视图)名称

表(视图)名称

column_name

字符串 varchar(150)

列名称

列名称

variant

整数 bit

该列是否是参数

该列是否是一个包含参数的列

cause

整数 smallint

作用范围

当前列使用到了SQL的哪个子句上

type

整数 smallint

字段来源

1:从SQL中解析

2:直接选择物理表,物理表上的字段

update_time

整数bigint

最后更新时间

V11.0.2新增,数据最后更新时间。

data_source

字符串varchar(512)

数据来源

V11.0.2新增,资源的来源,主要应用于Data Fabric集群。值为Dashboard节点的集群ID。默认值为LOCALHOST,表示是当前集群的资源。

LINEAGE_META_COLUMN_RELATION

用于描述元数据列和数据库列的依赖关系,元数据列是指数据集上通过刷新数据定义的列,数据库列是指数据库表中定义的列。

字段名

数据类型

字段中文

字段描述

meta_col_id

字符串 varchar(64)

元数据列ID

数据集上元数据列的ID,对应于LINEAGE_RESOURCE_COLUMN的id。

sql_col_id

字符串 varchar(64)

数据表列ID

数据库表上定义的列的ID,对应于LINEAGE_SCRIPT_META_COLUMN的id。

update_time

整数 bigint

最后更新时间

V11.0.2新增,数据最后更新时间。

data_source

字符串varchar(512)

数据来源

V11.0.2新增,资源的来源,主要应用于Data Fabric集群。值为Dashboard节点的集群ID。默认值为LOCALHOST,表示是当前集群的资源。

LINEAGE_LOCK

血缘初始化时,记录执行初始化操作的节点以及初始化的结果。

说明:

LINEAGE_LOCK只在数据库系统中有,文件系统中没有。

字段名

数据类型

字段中文

字段描述

node

字符串

节点IP

C节点IP地址。

finished

短整型

是否完成初始化

是否完成初始化。

create_time

整型

初始化开始的时间

初始化开始的时间。

LINEAGE_SCRIPT

用于记录SQL数据集中输入的SQL脚本。

字段名

数据类型

字段中文

字段描述

resource_id

字符串

资源ID

LINEAGE_RESOURCE表中,数据集的ID,目前只支持SQL数据集。

type

短整型

脚本类型

目前只支持SQL数据集,所以type只有一个取值 1,表示是SQL脚本

script

字符串 longtext

SQL内容

SQL编辑器中输入的SQL脚本的内容

script_trunc

字符串 varchar(1300)

SQL内容

存储截断后的SQL,用于监控报表“仪表盘所依赖的数据集信息统计”展示的SQL。

update_time

整数 bigint

最后更新时间

V11.0.2新增,数据最后更新时间。

data_source

字符串varchar(512)

数据来源

V11.0.2新增,资源的来源,主要应用于Data Fabric集群。值为Dashboard节点的集群ID。默认值为LOCALHOST,表示是当前集群的资源。

LINEAGE_CLUSTER_INFO

只有license为fabirc时,该表才会存储数据。该表主要用于记录连接到当前Fabric集群的Dashboard集群信息,以及Dashboard心跳信息、状态等。

字段名

数据类型

字段中文

字段描述

cluster_id

字符串

Dashboard集群的id

Dashboard集群的id

last_heartbeat_time

整数 bigint

最近一次心跳时间

Dashboard集群最近一次向fabric集群发送心跳的时间

last_heartbeat_host

字符串

最近一次心跳的服务器

Dashboard集群最近一次向fabric集群发送心跳的服务器ip

create_time

整数 bigint

创建时间

该行记录的创建时间

disabled

整数

是否被禁用

当前时间距离LAST_HEARTBEAT_TIME超过心跳间隔时间(fabric.lineage.heartbeat.interval)的两倍时,该行记录的DISABLED会被更新为1

removed

整数

是否被删除

当前时间距离LAST_HEARTBEAT_TIME超过同步间隔时间(fabric.lineage.sync.interval)的两倍时,该行记录的DISABLED会被更新为1

update_time

整数

更新时间

当前数据的最后更新时间

LINEAGE_FABRIC_ASSET

只有license为fabirc时,该表才会存储数据。该表主要存储资产的相关信息。

字段名

数据类型

字段中文

字段描述

resource_id

字符串

资源ID

资产对应的资源ID

open_path

字符串

最近一次心跳时间

Dashboard集群最近一次向fabric集群发送心跳的时间

type

整数

类型

资产的类型

detail_type

整数

详细类型

资产依赖的资源的类型

update_time

整数 bigint

更新时间

当前数据的最后更新时间

LINEAGE_SYNC_HISTORY

只有license为fabirc时,该表才会存储数据。该表主要存储Dashboard集群向Fabric集群同步血缘的信息。

字段名

数据类型

字段中文

字段描述

id

字符串

ID

该行记录的唯一标识

cluster_id

字符串

集群ID

Dashboard集群ID

update_time

整数 bigint

更新时间

改行记录的最后更新时间

sync_time

整数 bigint

同步时间

本次同步开始时间

sync_host

字符串

同步服务器IP

本次负责同步血缘数据的Dashboard集群的节点IP

target_host

字符串

目标服务器IP

本次负责同步血缘数据的Fabric集群的节点IP

sync_state

整数 smallint

同步状态

本次同步的状态

error_info

字符串

错误信息

本次同步出现错误时的错误信息

detail_info

字符串 longtext

详细信息

本次同步的详细信息

cost

整数

时间开销

本次同步花费的时间

3.血缘表的主键和索引

表名

字段

主键&索引类型

索引名称

LINEAGE_CLUSTER_INFO

CLUSTER_ID

主键

PK_LINEAGE_C_I_{random}

LINEAGE_COLUMN_RELATION

RESOURCE_ID

COLUMN_ID

DEPEND_TYPE

主键

PK_LINEAGE_C_R_{random}

DATA_SOURCE

普通索引

LINEAGE_C_R_DSI_{random}

UPDATE_TIME

LINEAGE_C_R_UTI_{random}

DEPEND_TYPE

LINEAGE_C_R_DTI_{random}

LINEAGE_DASHBORD_RELATION

ID

DEPEND_ID

CHILD_ID

UPPER_ID

主键

PK_LINEAGE_D_R_{random}

CHILD_ID

普通索引

LINEAGE_D_R_CI_{random}

DEPEND_ID

LINEAGE_D_R_DI_{random}

ID

LINEAGE_D_R_II_{random}

UPPER_ID

LINEAGE_D_R_UI_{random}

DATA_SOURCE

LINEAGE_D_R_DSI_{random}

UPDATE_TIME

LINEAGE_D_R_UTI_{random}

LINEAGE_EXPERIMENT_RELATION

ID

DEPEND_ID

CHILD_ID

UPPER_ID

主键

PK_LINEAGE_E_R_{random}

CHILD_ID

普通索引

LINEAGE_E_R_CI_{random}

DEPEND_ID

LINEAGE_E_R_DI_{random}

ID

LINEAGE_E_R_II_{random}

UPPER_ID

LINEAGE_E_R_UI_{random}

DATA_SOURCE

LINEAGE_E_R_DSI_{random}

UPDATE_TIME

LINEAGE_E_R_UTI_{random}

LINEAGE_FABRIC_ASSET

RESOURCE_ID

主键

LINEAGE_F_A_UI_{random}

UPDATE_TIME

普通索引

LINEAGE_F_A_UTI_{random}

OPEN_PATH

TYPE

唯一索引

PK_LINEAGE_F_A_{random}

LINEAGE_LOCK

NODE

主键

unique_index

LINEAGE_META_COLUMN_RELATION

META_COL_ID

SQL_COL_ID

主键

PK_LINEAGE_M_C_R_{random}

DATA_SOURCE

普通索引

LINEAGE_M_C_R_DSI_{random}

SQL_COL_ID

LINEAGE_M_C_R_SCI_{random}

UPDATE_TIME

LINEAGE_M_C_R_UTI_{random}

LINEAGE_METRIC_RELATION

ID

DEPEND_ID

CHILD_ID

UPPER_ID

主键

 

CHILD_ID

普通索引

 

DEPEND_ID

 

ID

 

UPPER_ID

 

DATA_SOURCE

 

UPDATE_TIME

 

LINEAGE_PORTAL_RELATION

ID

DEPEND_ID

CHILD_ID

UPPER_ID

主键

PK_LINEAGE_P_R_{random}

CHILD_ID

普通索引

LINEAGE_P_R_CI_{random}

DEPEND_ID

LINEAGE_P_R_DI_{random}

ID

LINEAGE_P_R_II_{random}

UPPER_ID

LINEAGE_P_R_UI_{random}

DATA_SOURCE

LINEAGE_P_R_DSI_{random}

UPDATE_TIME

LINEAGE_P_R_UTI_{random}

LINEAGE_QUERY_RELATION

ID

DEPEND_ID

CHILD_ID

UPPER_ID

主键

PK_LINEAGE_Q_R_{random}

CHILD_ID

普通索引

LINEAGE_Q_R_CI_{random}

DEPEND_ID

LINEAGE_Q_R_DI_{random}

ID

LINEAGE_Q_R_II_{random}

UPPER_ID

LINEAGE_Q_R_UI_{random}

DATA_SOURCE

LINEAGE_Q_R_DSI_{random}

UPDATE_TIME

LINEAGE_Q_R_UTI_{random}

LINEAGE_RESOURCE

ID

主键

LINEAGE_R_UI_{random}

PATH

普通索引

LINEAGE_R_PI_{random}

DETAIL_TYPE

NAME

PATH

TYPE

唯一索引

PK_LINEAGE_R_{random}

LINEAGE_RESOURCE_COLUMN

ID

主键

PK_LINEAGE_R_C_{random}

UPDATE_TIME

普通索引

LINEAGE_R_C_DSI_{random}

DATA_SOURCE

LINEAGE_R_C_UTI_{random}

COL_NAME

OWNER_ID

RESOURCE_ID

唯一索引

LINEAGE_R_C_UI_{random}

LINEAGE_SCRIPT

RESOURCE_ID

主键

PK_LINEAGE_S_{random}

DATA_SOURCE

普通索引

LINEAGE_S_DSI_{random}

UPDATE_TIME

LINEAGE_S_UTI_{random}

LINEAGE_SCRIPT_META_COLUMN

ID

主键

PK_LINEAGE_S_M_C_{random}

CONN_ID

普通索引

LINAGE_S_M_C_CII_{random}

CATALOG_NAME

LINAGE_S_M_C_CAI_{random}

COLUMN_NAME

LINAGE_S_M_C_CNI_{random}

DATA_SOURCE

LINAGE_S_M_C_DSI_{random}

RESOURCE_ID

LINAGE_S_M_C_RTI_{random}

SCHEMA_NAME

LINAGE_S_M_C_SNI_{random}

TABLE_NAME

LINAGE_S_M_C_TNI_{random}

UPDATE_TIME

LINAGE_S_M_C_UTI_{random}

RESOURCE_ID

CONN_ID

CATALOG_NAME

SCHEMA_NAME

TABLE_NAME

COLUMN_NAME

唯一索引

LINAGE_S_M_C_UI_{random}

LINEAGE_SYNC_HISTORY

ID

主键

PK_LINEAGE_S_H_{random}

4.表字段值说明

4.1LINEAGE_RESOURCE表中的type与detail_type字段值

 

type

名称

detailType

名称

1

报告

22016

收藏的报告

21248

分享的报告

16640

报告

16642

即席分析

16643

大屏报告

2

组件

1

图表

2

3

交叉表

4

图片

5

日期过滤

6

列表过滤

7

范围过滤

8

组件

9

文本

10

仪表

11

文本参数

14

下拉参数

15

选项卡

16

自由式表格

17

填报参数

18

20

过滤容器

21

树状过滤

22

列表参数

23

提交

24

组(用于在自由式布局合并组件)

26

网页

27

定制组件

28

轮播

3

数据集

16897

SQL数据集

16905

Excel数据集

16904

组合数据集

16910

自服务数据集

16902

内嵌数据集

16900

数据集市数据集

16907

Mongo数据集

16899

定制数据集

16912

多维数据集

156

Neo4j数据集

2021

流式数据集

2023

RESTful数据集

4

物理表

18435

数据库表

18436

视图

18438

多维数据集Cube

18442

Kylin的Cube

18439

属性视图

18440

分析视图

18441

计算视图

0

Hana的数据库表

5

自定义语句

1

SQL脚本

5

2

SQL存储过程

3

Mongo管道语句

4

RESTful JSON查询语句

6

数据源

0

Generic

1

Oracle

2

DB2

3

SQL Server

4

MySQL

5

Derby

6

Informix

7

Sybase

8

Access

9

Vertical

10

Yonghong

11

Hive

12

Mongo

13

Spark

14

Postgresql

15

Hana

16

Kylin

17

Max Compute

18

Kingbase

19

Impala

20

HBase

21

Presto

22

AnalyticDB

23

Essbase

24

SAP BW

25

SSAS

27

Teradata

28

GBase

29

Transwarp

30

Sparking

32

HuaWeiCloud DWS

33

GaussDB 200

34

FusionInsight ELK

35

FusionInsight HD

36

ELASTIC SEARCH

37

GREENPLUM

40

ThunderEngine

41

GaussDB 100

42

DaMeng

43

Thunder Engine

44

Neo4j

45

Clickhouse

46

TBDS

47

TBDS OLAP

48

CTSDB

49

RESTful

8

集市文件夹

8

集市文件夹

9

定时任务

17154

定时任务

10

实验

20480

实验

11

组合报告

16644

组合报告

12

网页

17696

网页组件

13

卡片

16648

卡片

14

物理表(数据模型)

18435

数据库表

18436

视图

18438

多维数据集Cube

18442

Kylin的Cube

18439

属性视图

18440

分析视图

18441

计算视图

0

Hana的数据库表

15

基础指标

16649

基础指标

21

衍生指标

16652

衍生指标

22

复合指标

16651

复合指标

 

4.2LINEAGE_RESOURCE_COLUMN表中的data_type字段值

data_type

类型

中文描述

2

STRING

字符串

3

BOOLEAN

布尔

4

FLOAT

浮点数

5

DOUBLE

浮点数

7

CHAR

字符

8

BYTE

字节

9

SHORT

短整型

10

INTEGER

整型

11

LONG

长整型

12

DATE_TIME

时间戳

13

DATE

日期

14

TIME

时间

4.3LINEAGE_RESOURCE_COLUMN表中的col_type字段值

col_type

中文描述

9

日期列

10

计算列

11

维度列(脚本对象)

12

度量列(脚本对象)

43

简单动态计算列(脚本对象)

45

定制的动态计算列(脚本对象)

90

数据分箱列(范围)

178

从属计算列

531

非雷达图标记字段(脚本对象)

545

维度列(脚本对象,图表专用)

596

参数列

614

过滤列

1500

分组列(脚本对象,用于图表分组)

1501

度量组

1502

地图列

1503

数据分箱列(分组)

1507

日期转换列

1508

数字转换列

1512

值映射列

1513

缺失值填充列

1514

去空格列

1515

拆分列

1517

MDX维度列

1518

MDX度量列

1527

Hana、Kylin度量列

1802

动态计算列

1803