5分钟迁移关系型数据库到图数据库

392 0 0

作者:华为云开发者社区

本文分享自华为云社区《5分钟迁移关系型数据库到图数据库》，作者： RiverSide 。

以往开发者会使用关系型数据库如MySQL对领域数据进行存储，这类关系型数据库诞生较早，但并不适合存储关联度较大的数据，如社交关系网络。随着高关联度数据的存储及分析的需求随数据量日益增长，将海量关联数据存入图数据库中进行深度挖掘分析是大势所趋。华为云图引擎服务（Graph Engine Service）是国内首个商用的、拥有自主知识产权的国产分布式原生图引擎。广泛应用于社交应用、企业关系分析、风控、推荐、反欺诈等具有丰富关系数据的场景。

由于关系型数据库和如GES的图数据库天然存在的异构性，将已有的关系型数据库中的数据存储至图数据库中仍存在较多的难点。本文借助Apache Hop及GES插件，提供了多数据源通用、可视化、开箱即用的数据转换工程，可将多种关系型数据库迁移至GES图数据库中。转换工作流复用度高，可通过输入不同的元数据文件与数据源连接，使转换工作流完成多个数据源的迁移任务。

支持的数据源

借助Apache Hop的能力，支持MySQL，PostgreSQL，Oracle，MS SqlServer等多种关系型数据库，具体列表参见：Database Plugins :: Apache Hop

数据要求

已经建立好GES图模型，属性名与表中的字段名相同
对单个标签来说，所有属性都在同一张表中
数据源中的数据符合图模型中对应数据类型的要求（如GES中date类型为yyyy-mm-dd hh:mm:ss，若数据源中的date类型不合要求，应在数据源转为相应格式的字符串类型）

节点唯一性问题

在图数据库中不允许存在两个索引值相同的节点，因此需要确保节点的全局唯一性，即节点id。通常情况下，可以将表中具有唯一性约束的字段，如表的主键映射为对应节点数据的id。在关系型数据库（如MySQL）中，不同的表属于不同的命名空间，即不同表中的主键可以相同的值。因此在这种情况下，需要改变相应的映射规则。如通过将表名与主键拼接的方式生成新的节点id，以确保节点的全局唯一性。

在转换过程中，需要将指定的id映射关系生成为以下格式的csv：标签名，表名，节点id对应字段，终点id对应字段。此处若标签对应的是点数据，则终点id为空。

如在TPC-H数据集中，表数据转换为一条简单的关系及其起点终点，需要指明的信息如下：

对于Order标签的节点，数据源中对应的表名为orders；采用主键o_orderkey作为节点id。
对于Supplier标签的节点，数据源中对应的表名为supplier；采用主键s_suppkey作为节点id。
对于supply标签的边，数据源中对应的表名为lineitem；起点为Supplier，对应表lineitem表中外键l_suppkey作为起点id；终点为Order，对应外键l_orderkey作为终点id。需要注意的是，边的起点与终点的id映射需要与对应标签的节点id映射对应，如例子中的lineitem表的外键l_suppkey对应的正是supplier表中的s_suppkey，它们的值为一一对应的关系。