<< Click to Display Table of Contents >> 血缘分析数据库表复制链接 |
1. 存储表的位置
血缘分析数据库表存储位置与是否在【系统设置> 数据库连接配置 】中配置血缘分析数据库有关。如果配置了,血缘分析数据库表会存储在该库。如果没有配置,但是在【数据空间配置 > 共享文件配置> 数据库连接配置】处配置了数据库,则会存储到该数据库。如果这两个数据库都未配置,则会存储到系统内置的数据库。
2. 存储表结构信息
•LINEAGE_RESOURCE
资源节点表,记录了血缘关系中每个节点的详细信息,节点对应的可能是一个物理资源(报告、数据集、数据源等),也可能是一个虚拟资源(组件、数据表等)。
字段名 |
数据类型 |
字段中文 |
字段描述 |
---|---|---|---|
id |
字符串 varchar(128) |
ID |
血缘节点的ID,UUID,唯一标识一个资源节点。 |
name |
字符串 varchar(128) |
名称 |
数据集、组件、数据源、报告、数据表的名称。 |
path |
字符串 varchar(512) |
路径 |
如果当前节点是数据集、数据源、报告等资源,该字段存储的是相对于bihome的物理路径;如果当前节点是数据表,存储的是数据库名/{模式名}/表名;如果当前节点是组件,存储的是报告的ID;如果当前节点是自定义SQL,存储的是数据集的ID。 |
type |
整数 int(11) |
类型 |
类型:数据集、数据源、组件、报告、数据库表或SQL语句。 |
detail_type |
整数 int(11) |
详细类型 |
资源具体类型:数据集、数据源、组件、报告的具体类型。 |
extra_data |
字符串 varchar(128) |
附加数据 |
附加属性,存放一些不会作为查询条件的信息。 ➢例如:对于Chart组件的markType。 |
•LINAGE_DASHBOARD_RELATION
•LINEAGE_EXPERIMENT_RELATION
•LINEAGE_QUERY_RELATION
节点关系表,记录了各个节点之间的依赖关系,其中:
报告到数据集(数据源)之间的依赖关系存储在LINEAGE_DASHBOARD_RELATION中;
实验到数据集的依赖关系存储在LINEAGE_EXPERIMENT_RELATION中;
数据集到数据源之间的依赖关系存储在LINEAGE_QUERY_RELATION中。
字段名 |
数据类型 |
字段中文 |
字段描述 |
---|---|---|---|
id |
字符串 varchar(128) |
ID |
资源节点ID |
depend_id |
字符串 varchar(128) |
被依赖资源节点的ID |
被依赖资源节点的ID,可能是间接依赖,对于A->B->C->D,会存储 A->B,A->C,A->D,B->C,B->D,C->D。 |
depend_type |
整数 int(11) |
被依赖资源节点的类型 |
被依赖资源节点的类型。 |
upper_id |
字符串 varchar(128) |
上级资源节点的ID |
相对于depend_id来说,被依赖资源的直接上级资源节点的ID。 对于A->B->C->D,在存储A->D的关系时,upper_id存储的是C的id。 child_id 和 upper_id 相同时,表示的关系如下: A -> B -> C 存储A和C的依赖关系时,child_id和upper_id都是B。 存储A和B的依赖关系时,child_id和upper_id都是空值。 |
child_id |
字符串 varchar(128) |
下级资源节点的ID |
相对于id来说,通过哪个直接的子节点依赖于depend_id。 对于A -> B -> C -> D,在存储A->D的关系时,child_id存储的是B的id。 child_id 和 upper_id 相同时,表示的关系如下: A -> B -> C 存储A和C的依赖关系时,child_id和upper_id都是B。 存储A和B的依赖关系时,child_id和upper_id都是空值。 |
type |
字符串 varchar(128) |
资源类型 |
id字段对应的资源节点的类型。 |
update_time |
整数 bigint |
更新时间 |
该行数据的最后更新时间,主要用于删除旧的记录。 |
•LINEAGE_RESOURCE_COLUMN
列信息表,主要记录了报告上创建的列和数据集上创建的列信息。
字段名 |
数据类型 |
字段中文 |
字段描述 |
---|---|---|---|
id |
字符串 varchar(128) |
ID |
列ID,UUID,唯一标识一个资源节点。 |
resource_id |
字符串 varchar(128) |
资源ID |
LINEAGE_RESOURCE表中,报告或者数据集的ID。 |
owner_id |
字符串 varchar(128) |
资源ID |
LINEAGE_RESOURCE表中,报告或者数据集的ID,对于报告来说,需要和数据集ID一块确定一个列。对于数据集,resource_id和 owner_id是相等的。 |
col_name |
字符串 varchar(128) |
列名称 |
对应数据集页面元数据区域列名称。 |
col_view |
字符串 varchar(128) |
列别名 |
对应数据集页面元数据区域列别名。 |
data_type |
整数 int(11) |
数据类型 |
列的数据类型:整数、字符串、日期等。 |
col_type |
整数 int(11) |
列类型 |
列类型:普通列、计算列、日期表达式、拆分列、去空格、值映射等。 |
dim |
整数 smallint(6) |
是否是维度 |
是否是维度列。 |
•LINEAGE_COLUMN_RELATION
列依赖关系表,存储报告和数据集之间列的依赖关系。自服务数据集之间列的依赖关系。
字段名 |
数据类型 |
字段中文 |
字段描述 |
---|---|---|---|
resource_id |
字符串 varchar(128) |
资源ID |
LINEAGE_RESOURCE表中,组件或者数据集的ID。 |
column_id |
字符串 varchar(128) |
列ID |
对应LINEAGE_RESOURCE_COLUMN表中的ID。 |
depend_type |
短整数 tinyint |
依赖的类型 |
dependType有三个取值,表示依赖的三种形式。 •1 :表示是直接依赖一个复杂类型的资源(自服务、组合)的某个列。 •2 :表示间接依赖一个简单类型的数据集的某个列。 •3: 表示直接依赖于一个简单类型的数据集的某个列 。
|
•LINEAGE_SCRIPT_META_COLUMN
用于描述使用到的数据库列,数据库列是指数据库表中定义的列。数据来源于SQL数据集,如果是物理表,存储的是元数据列(BCol),如果是SQL,存储的是基于SQL解析出来的数据库列。
字段名 |
数据类型 |
字段中文 |
字段描述 |
---|---|---|---|
id |
字符串 varchar(128) |
ID |
列ID,UUID,唯一标识一个资源节点。 |
resource_id |
字符串 varchar(128) |
资源ID |
LINEAGE_RESOURCE表中,报告或者数据集的ID。 |
conn_id |
字符串 varchar(128) |
依赖的类型 |
dependType有三个取值,表示依赖的三种形式。 •1 :表示是直接依赖一个复杂类型的资源(自服务、组合)的某个列。 •2 :表示间接依赖一个简单类型的数据集的某个列。 •3 :表示直接依赖于一个简单类型的数据集的某个列 。 |
catalog_name |
字符串 varchar(1000) |
数据库名称 |
数据库名称 |
schema_name |
字符串 varchar(1000) |
表结构模式名称 |
表结构模式名称 |
table_name |
字符串 varchar(1000) |
表(视图)名称 |
表(视图)名称 |
column_name |
字符串 varchar(1000) |
列名称 |
列名称 |
variant |
整数 int(11) |
该列是否是参数 |
该列是否是一个包含参数的列 |
cause |
整数 int(11) |
作用范围 |
当前列使用到了SQL的哪个子句上 |
•LINEAGE_META_COLUMN_RELATION
用于描述元数据列和数据库列的依赖关系,元数据列是指数据集上通过刷新数据定义的列,数据库列是指数据库表中定义的列。
字段名 |
数据类型 |
字段中文 |
字段描述 |
meta_col_id |
字符串 varchar(128) |
元数据列ID |
数据集上元数据列的ID,对应于LINEAGE_RESOURCE_COLUMN的id。 |
sql_col_id |
字符串 varchar(128) |
数据表列ID |
数据库表上定义的列的ID,对应于LINEAGE_SCRIPT_META_COLUMN的id。 |
•LINEAGE_LOCK
血缘初始化时,记录执行初始化操作的节点以及初始化的结果。
➢说明:
LINEAGE_LOCK只在数据库系统中有,文件系统中没有。
字段名 |
数据类型 |
字段中文 |
字段描述 |
node |
字符串 |
节点IP |
C节点IP地址。 |
finished |
短整型 |
是否完成初始化 |
是否完成初始化。 |
create_time |
整型 |
初始化开始的时间 |
初始化开始的时间。 |
•LINEAGE_SCRIPT
用于记录SQL数据集中输入的SQL脚本。
字段名 |
数据类型 |
字段中文 |
字段描述 |
resource_id |
字符串 |
资源ID |
LINEAGE_RESOURCE表中,数据集的ID,目前只支持SQL数据集。 |
type |
短整型 |
脚本类型 |
目前只支持SQL数据集,所以type只有一个取值 1,表示是SQL脚本 |
script |
字符数组 |
脚本内容 |
SQL编辑器中输入的SQL脚本的内容 |
3.血缘表的主键和索引
表名 |
字段 |
主键&索引类型 |
索引名称 |
---|---|---|---|
LINEAGE_RESOURCE |
id |
主键 |
|
Type detail_type Name path |
唯一索引 |
resource_name_index |
|
path |
普通索引 |
resource_path_index |
|
LINE-AGE_RELATION |
Id |
主键 |
|
LINE-AGE_DASHBORD_RELATION LINE-AGE_QUERY_RELATION LINE-AGE_CONNEC-TION_RELATION |
Id depend_id depend_type upper_id child_id |
主键 |
db_unique_index query_unique_index connection_unique_index |
depend_id |
普通索引 |
{table-name}_depend_id_index |
|
id |
{tablename}_id_index |
||
upper_id |
{table-name}_upper_id_index |
||
update_time |
{tablename}_update_time_index |
||
LINE-AGE_SCRIPT_META_COLUMN |
resource_id conn_id catalog_name schema_name table_name column_name |
主键 |
|
resource_id |
普通索引 |
resource_id_index |
|
table_name column_name |
table_column_index |
||
conn_id |
conn_id_index |
||
LINE-AGE_META_COLUMN_RELATION |
meta_col_id sql_col_id |
主键 |
|
LINEAGE_RESOURCE_COLUMN |
id |
主键 |
|
resource_id owner_id col_name |
唯一索引 |
column_name_index |
|
LINEAGE_COLUMN_RELATION |
resource_id column_id |
主键 |
|
LINEAGE_LOCK |
node |
主键 |
unique_index |
4.表字段值说明
4.1LINEAGE_RESOURCE表中的type与detail_type字段值
4.2LINEAGE_RESOURCE_COLUMN表中的data_type字段值
data_type |
类型 |
中文描述 |
---|---|---|
2 |
STRING |
字符串 |
3 |
BOOLEAN |
布尔 |
4 |
FLOAT |
浮点数 |
5 |
DOUBLE |
浮点数 |
7 |
CHAR |
字符 |
8 |
BYTE |
字节 |
9 |
SHORT |
短整型 |
10 |
INTEGER |
整型 |
11 |
LONG |
长整型 |
12 |
DATE_TIME |
时间戳 |
13 |
DATE |
日期 |
14 |
TIME |
时间 |
4.3LINEAGE_RESOURCE_COLUMN表中的col_type字段值
col_type |
中文描述 |
---|---|
9 |
日期列 |
10 |
计算列 |
11 |
维度列(脚本对象) |
12 |
度量列(脚本对象) |
43 |
简单动态计算列(脚本对象) |
45 |
定制的动态计算列(脚本对象) |
90 |
数据分箱列(范围) |
178 |
从属计算列 |
531 |
非雷达图标记字段(脚本对象) |
545 |
维度列(脚本对象,图表专用) |
596 |
参数列 |
614 |
过滤列 |
1500 |
分组列(脚本对象,用于图表分组) |
1501 |
度量组 |
1502 |
地图列 |
1503 |
数据分箱列(分组) |
1507 |
日期转换列 |
1508 |
数字转换列 |
1512 |
值映射列 |
1513 |
缺失值填充列 |
1514 |
去空格列 |
1515 |
拆分列 |
1517 |
MDX维度列 |
1518 |
MDX度量列 |
1527 |
Hana、Kylin度量列 |
1802 |
动态计算列 |
1803 |