CN110765206A

CN110765206A - 一种数据同步系统、方法、装置、设备及存储介质

Info

Publication number: CN110765206A
Application number: CN201910999995.XA
Authority: CN
Inventors: 李德良
Original assignee: Guangdong Genius Technology Co Ltd
Current assignee: Guangdong Genius Technology Co Ltd
Priority date: 2019-10-21
Filing date: 2019-10-21
Publication date: 2020-02-07

Abstract

本发明适用计算机技术领域，提供了数据同步系统、方法、装置、设备及存储介质，同步管理平台接收源数据库到目标数据库的数据同步任务，将所述数据同步任务对应的同步任务配置推送至数据同步节点，数据同步节点根据所述同步任务配置和所述源数据库的日志，从所述源数据库中读取需要同步的源数据，将所述源数据放入到消息队列服务器，当检测到订阅者订阅的所述源数据时，从所述消息队列服务器获取所述源数据，将所述源数据写入到订阅者设置的目标数据库，从而通过消息队列服务器实现不同平台系统间的数据同步，减少与目标数据库和源数据库之间的交互，保证数据库中数据的安全。

Description

一种数据同步系统、方法、装置、设备及存储介质

技术领域

本发明属于计算机技术领域，尤其涉及一种数据同步系统、方法、装置、设备及存储介质。

背景技术

由于电商平台版本更新迭代较快，且数据量较大，在新老版本切换时，用于存储数据的关联数据库之间需要进行同步，而普通的数据同步方法，需要对数据库表进行直接操作，并且不能实时地将数据同步到不同的项目数据库当中，且每次同步时都需要频繁地跟数据库进行交互，影响数据库数据的存储效率，并且同步的过程中计算机程序代码是从上往下执行的，如果计算机程序代码中间发生故障会影响整个数据同步的过程。

发明内容

本发明的目的在于提供一种数据同步系统、方法、装置、设备及存储介质，旨在解决由于现有电商平台同步时与数据库交互频繁，导致同步效率不高的问题。

一方面，本发明提供了一种数据同步系统，所述系统包括同步管理平台、数据同步节点以及消息队列服务器，其中：

所述同步管理平台，用于接收源数据库到目标数据库的数据同步任务，将所述数据同步任务对应的同步任务配置推送至所述数据同步节点；

所述数据同步节点，用于根据所述同步任务配置和所述源数据库的日志，从所述源数据库中读取需要同步的源数据，将所述源数据放入到所述消息队列服务器，当检测到订阅者订阅的所述源数据时，从所述消息队列服务器获取所述源数据，将所述源数据写入到订阅者设置的目标数据库。

另一方面，本发明提供了一种基于上述数据同步系统的数据同步方法，包括：

根据所述同步管理平台发送的同步任务配置和源数据库的日志，数据同步节点从所述源数据库中读取需要同步的源数据，将所述源数据放入到消息队列服务器；

当检测到订阅者订阅的所述源数据时，数据同步节点从所述消息队列服务器获取所述源数据，将所述源数据写入到订阅者设置的目标数据库。

另一方面，本发明还提供了基于上述数据同步系统的数据同步装置，包括：

数据发布单元，用于根据所述同步管理平台发送的同步任务配置和源数据库的日志，数据同步节点从所述源数据库中读取需要同步的源数据，将所述源数据放入到消息队列服务器；以及

数据写入单元，用于当检测到订阅者订阅的所述源数据时，数据同步节点从所述消息队列服务器获取所述源数据，将所述源数据写入到订阅者设置的目标数据库。

另一方面，本发明还提供了同步设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。

另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。

本发明提供的数据同步系统包括同步管理平台和数据同步节点，同步管理平台接收源数据库到目标数据库的数据同步任务，将所述数据同步任务对应的同步任务配置推送至数据同步节点，数据同步节点根据所述同步任务配置和所述源数据库的日志，从所述源数据库中读取需要同步的源数据，将所述源数据放入到消息队列服务器，当检测到订阅者订阅的所述源数据时，从所述消息队列服务器获取所述源数据，将所述源数据写入到订阅者设置的目标数据库，从而通过消息队列服务器实现不同平台系统间的数据同步，减少与目标数据库和源数据库之间的交互，保证数据库中数据的安全。

附图说明

图1是本发明实施例一提供的数据同步系统的结构示意图；

图2是本发明实施例一提供的数据同步系统的结构示意图；

图3是本发明实施例二提供的数据同步方法的实现流程图；

图4是本发明实施例三提供的数据同步装置的结构示意图；以及

图5是本发明实施例四提供的同步设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一提供的数据同步系统的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

在本发明实施例中，数据同步系统1包括同步管理平台11、数据同步节点12以及消息队列服务器13，其中：

同步管理平台11用于接收源数据库到目标数据库的数据同步任务，将数据同步任务对应的同步任务配置推送至数据同步节点12；

数据同步节点12用于根据同步任务配置和源数据库的日志，从源数据库中读取需要同步的源数据，将源数据放入到消息队列服务器13，当检测到订阅者订阅的所述源数据时，从消息队列服务器13获取源数据，将源数据写入到订阅者设置的目标数据库。

在本发明实施例中，用户通过同步管理平台11对每次的数据同步进行统一配置，对数据同步过程进行监控。同步管理平台11在接收源数据库到目标数据库的数据同步任务后，将数据同步任务对应的同步任务配置推送至数据同步节点12。其中，同步任务可以是电商平台商品价格、商品描述等数据同步任务，同步任务配置可以是待同步数据、执行同步的时间等。数据同步节点12根据同步任务配置和源数据库的日志，从源数据库中捕捉、读取需要同步的源数据，进一步地可对读取的源数据进行处理，将源数据进行标准化(转换成对应的可处理数据类型)，之后将源数据放入到消息队列服务器13。当检测到订阅者订阅的源数据时，数据同步节点12从消息队列服务器13获取源数据，将源数据写入到订阅者设置的目标数据库。在将源数据写入到订阅者设置的目标数据库之前，可通过数据同步节点12对源数据进行数据过滤，添加数据库的事务处理，还可以通过异构类型转换把要同步的源数据转换成目标数据库支持的数据格式，显著提高系统的稳定性和可扩展性，最后再把源数据中的数据字段映射到对应的数据表中，最终把源数据写入到目标数据库中。

优选地，如图2所示，数据同步系统1还包括本地缓存服务器14，用于在数据同步节点12将源数据放入到消息队列服务器13时，对数据同步节点12要放入到消息队列服务器13的源数据进行缓存，将缓存的源数据推送至消息队列服务器13，从而实现从源数据库到消息队列服务器的数据快速写入。

优选地，数据同步系统1还包括外部缓存服务器15，用于在数据同步节点将源数据写入到订阅者设置的目标数据库时，对从消息队列服务器13获取的源数据进行缓存，将缓存的源数据写入到订阅者设置的目标数据库，从而实现从消息队列服务器到目标数据库的数据快速写入。

优选地，数据同步节点12还用于对传送的文件流进行检测，以监测文件流当中是否有需要进行同步的文件，当检测到订阅者订阅的同步文件时，将同步文件发送到目标文件中。具体在，在同步时，数据同步节点12对同步文件进行识别，区分这些文件的格式，再通过文件传输发送一个新的文件流把要同步的文件发送到目标文件中，从而实现文件的同步。

在本发明实施例中，通过消息队列服务器实现不同平台系统间的数据同步，减少了与目标数据库和源数据库之间的交互，保证了数据库中数据的安全，通过外部缓存服务器可以支持大量的数据同时同步，另外，通过订阅发布机制保证了同步数据通过过程的实时性。

在本发明实施例中，数据同步系统的各组成部分可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。

实施例二：

图3示出了本发明实施例二提供的数据同步方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤S301中，根据同步管理平台发送的同步任务配置和源数据库的日志，数据同步节点从源数据库中读取需要同步的源数据，将源数据放入到消息队列服务器。

本发明实施例适用于实施例一中的数据同步系统，该数据同步系统包括同步管理平台、数据同步节点以及消息队列服务器。同步管理平台在接收源数据库到目标数据库的数据同步任务后，将数据同步任务对应的同步任务配置推送至数据同步节点，这样，数据同步节点可根据同步任务配置和源数据库的日志，从源数据库中读取需要同步的源数据，将源数据放入到消息队列服务器。

用户通过同步管理平台对每次的数据同步进行统一配置，对数据同步过程进行监控。同步管理平台在接收源数据库到目标数据库的数据同步任务后，将数据同步任务对应的同步任务配置推送至数据同步节点。其中，同步任务可以是电商平台商品价格、商品描述等数据同步任务，同步任务配置可以是待同步数据、执行同步的时间等。数据同步节点根据同步任务配置和源数据库的日志，从源数据库中捕捉、读取需要同步的源数据，进一步地可对读取的源数据进行处理，将源数据进行标准化(转换成对应的可处理数据类型)，之后将源数据放入到消息队列服务器。

在步骤S302中，当检测到订阅者订阅的源数据时，数据同步节点从消息队列服务器获取源数据，将源数据写入到订阅者设置的目标数据库。

在本发明实施例中，在将源数据写入到订阅者设置的目标数据库之前，可通过数据同步节点对源数据进行数据过滤，添加数据库的事务处理，还可以通过异构类型转换把要同步的源数据转换成目标数据库支持的数据格式，显著提高系统的稳定性和可扩展性，最后再把源数据中的数据字段映射到对应的数据表中，最终把源数据写入到目标数据库中。

当数据同步系统还包括本地缓存服务器时，优选地，在将源数据放入到消息队列服务器时，将数据同步节点要放入到消息队列服务器的源数据缓存到本地缓存服务器，将缓存的源数据推送至消息队列服务器，从而实现从源数据库到消息队列服务器的数据快速写入。

当数据同步系统还包括外部缓存服务器时，优选地，在将源数据写入到订阅者设置的目标数据库时，将从消息队列服务器获取的源数据缓存到外部缓存服务器，将缓存的所述源数据写入到订阅者设置的目标数据库，从而实现从消息队列服务器到目标数据库的数据快速写入。

进一步优选地，数据同步节点对传送的文件流进行检测，当检测到订阅者订阅的同步文件时，将同步文件发送到目标文件中，从而实现文件的同步。

实施例三：

图4示出了本发明实施例三提供的数据同步装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例适用于实施例一中的数据同步系统，本发明实施例提供的数据同步装置4包括：

数据发布单元41，用于根据所述同步管理平台发送的同步任务配置和源数据库的日志，数据同步节点从所述源数据库中读取需要同步的源数据，将所述源数据放入到消息队列服务器；以及

数据写入单元42，用于当检测到订阅者订阅的所述源数据时，数据同步节点从所述消息队列服务器获取所述源数据，将所述源数据写入到订阅者设置的目标数据库。

在本发明实施例中，数据同步装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。各单元的具体实现方式可参考实施例一的对应描述，在此不再赘述。

实施例四：

图5示出了本发明实施例四提供的同步设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例的同步设备5包括处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52。该处理器50执行计算机程序52时实现上述数据同步方法实施例中的步骤，例如图3所示的步骤S301至S302。或者，处理器50执行计算机程序52时实现上述各装置实施例中各单元的功能，例如图4所示单元41至42的功能。

在本发明实施例中，同步管理平台接收源数据库到目标数据库的数据同步任务，将所述数据同步任务对应的同步任务配置推送至数据同步节点，数据同步节点根据所述同步任务配置和所述源数据库的日志，从所述源数据库中读取需要同步的源数据，将所述源数据放入到消息队列服务器，当检测到订阅者订阅的所述源数据时，从所述消息队列服务器获取所述源数据，将所述源数据写入到订阅者设置的目标数据库，从而通过消息队列服务器实现不同平台系统间的数据同步，减少与目标数据库和源数据库之间的交互，保证数据库中数据的安全。

本发明实施例的同步设备可以为计算设备。该同步设备5中处理器50执行计算机程序52时实现数据同步方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。

实施例五：

在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述数据同步方法实施例中的步骤，例如，图1所示的步骤S301至S302。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图4所示单元41至42的功能。

本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种数据同步系统，其特征在于，所述系统包括同步管理平台、数据同步节点以及消息队列服务器，其中：

2.如权利要求1所述的数据同步系统，其特征在于，所述系统还包括：

本地缓存服务器，用于在所述数据同步节点将所述源数据放入到消息队列服务器时，对所述数据同步节点要放入到所述消息队列服务器的所述源数据进行缓存，将缓存的所述源数据推送至所述消息队列服务器。

3.如权利要求1所述的数据同步系统，其特征在于，所述系统还包括：

外部缓存服务器，用于在所述数据同步节点将所述源数据写入到订阅者设置的目标数据库时，对从所述消息队列服务器获取的所述源数据进行缓存，将缓存的所述源数据写入到订阅者设置的目标数据库。

4.如权利要求1所述的数据同步系统，其特征在于，所述数据同步节点还用于对传送的文件流进行检测，当检测到订阅者订阅的同步文件时，将所述同步文件发送到目标文件中。

5.一种基于权利要求1所述数据同步系统的数据同步方法，其特征在于，包括：

6.如权利要求5所述的数据同步方法，其特征在于，所述数据同步系统还包括本地缓存服务器，将所述源数据放入到消息队列服务器的步骤包括：

将所述数据同步节点要放入到所述消息队列服务器的所述源数据缓存到所述本地缓存服务器，将缓存的所述源数据推送至所述消息队列服务器。

7.如权利要求5所述的数据同步方法，其特征在于，所述数据同步系统还包括外部缓存服务器，将所述源数据写入到订阅者设置的目标数据库的步骤包括：

将从所述消息队列服务器获取的所述源数据缓存到所述外部缓存服务器，将缓存的所述源数据写入到订阅者设置的目标数据库。

8.如权利要求5所述的数据同步方法，其特征在于，还包括：

所述数据同步节点对传送的文件流进行检测，当检测到订阅者订阅的同步文件时，将所述同步文件发送到目标文件中。

9.一种基于权利要求1所述数据同步系统的数据同步装置，其特征在于，包括：

10.一种同步设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求5至8任一项所述方法的步骤。

11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求5至8任一项所述方法的步骤。