CN110633313A - 一种基于多数据源的数据传输方法及装置 - Google Patents

Abstract

本发明公开了一种基于多数据源的数据传输方法及装置，此方法包括：设置软件压缩包以及用于封装软件压缩包的执行文件，运行执行文件；接收第一数据获取请求，根据所述第一数据获取请求确定对应的数据源接口类型和目标数据源，确定与所述数据源接口类型对应的数据源接口配置信息，根据所述数据源接口配置信息构建第二数据获取请求，将所述第二数据获取请求发送至所述目标数据源，将从所述目标数据源获取的数据发送至所述第一数据获取请求的发送方。本方法可以使用户方便的访问不同类型的数据源的数据，有效兼容不同类型的数据源的数据。

Description

一种基于多数据源的数据传输方法及装置

技术领域

本发明涉及互联网技术领域，尤其涉及一种基于多数据源的数据传输方法及装置。

背景技术

随着互联网的发展，互联网各类型的业务大量增加，新类型的数据源也不断增加，访问不同数据源的方式也越来越多，访问成本也逐渐增大。

发明内容

为了解决上述技术问题，本发明提供了一种基于多数据源的数据传输方法及装置。

本发明提供的基于多数据源的数据传输方法，包括：

设置软件压缩包以及用于封装所述软件压缩包的执行文件，所述软件压缩包包括接口配置文件，所述接口配置文件包括N个数据源接口配置信息，不同的数据源接口配置信息对应于不同的数据源类型；其中，N为大于1的整数；

运行所述执行文件；

接收第一数据获取请求，根据所述第一数据获取请求确定对应的数据源接口类型和目标数据源，确定与所述数据源接口类型对应的数据源接口配置信息，根据所述数据源接口配置信息构建第二数据获取请求，将所述第二数据获取请求发送至所述目标数据源，将从所述目标数据源获取的数据发送至所述第一数据获取请求的发送方。

上述基于多数据源的数据传输方法还具有以下特点：

所述第一数据获取请求中包括以下内容：

数据源标识，

查询条件，所述查询条件包括以下两种查询方式：查询语句和查询文件，所述查询文件包括文件地址，所述文件地址对应的文件包括多个查询语句。

上述基于多数据源的数据传输方法还具有以下特点：

所述方法还包括：定时检测各数据源接口的软件是否更新，在检测到数据源接口的软件更新后，与所述数据源接口通信获得最新版本的软件，根据所述最新版本的软件更新相应数据源接口配置信息。

上述基于多数据源的数据传输方法还具有以下特点：

所述方法还包括：记录所述第一数据获取请求中的查询方式，还记录以下信息中的一种以上：所述第一数据获取请求的发送方的标识、接收所述第一数据获取请求的时间、所述目标数据源的标识、从所述目标数据源获取的数据的类型；

在接收到接收第一数据获取请求后，根据记录的内容优化所述第一数据获取请求中的查询语句。

上述基于多数据源的数据传输方法还具有以下特点：

所述优化所述第一数据获取请求中的查询语句包括以下方式中的一种：

对于mysql类数据源增加对主键的使用；

对于列式存储的数据，规避选择命令的操作；

针对索引式数据源，设置查询语句为根照主键接索引顺序访问数据。

上述基于多数据源的数据传输方法还具有以下特点：

所述数据源接口配置信息包括以下信息：数据源类型标识、数据源地址、端口、用户名，或者，还包括以下信息中的至少一种：密码、过滤正则。

本发明提供的基于多数据源的数据传输装置，包括：

设置模块，用于设置软件压缩包以及用于封装所述软件压缩包的执行文件，所述软件压缩包包括接口配置文件，所述接口配置文件包括N个数据源接口配置信息，不同的数据源接口配置信息对应于不同的数据源类型；其中，N为大于1的整数；

执行模块，用于运行所述执行文件；

第一接收模块，用于接收第一数据获取请求；

转换模块，用于根据所述第一数据获取请求确定对应的数据源接口类型和目标数据源，确定与所述数据源接口类型对应的数据源接口配置信息，根据所述数据源接口配置信息构建第二数据获取请求；

第一发送模块，用于将所述第二数据获取请求发送至所述目标数据源；

第二接收模块，用于接收从所述目标数据源获取的数据；

第二发送模块，用于将从所述目标数据源获取的数据发送至所述第一数据获取请求的发送方。

上述基于多数据源的数据传输装置还具有以下特点：

所述第一数据获取请求中包括以下内容：

数据源标识，

查询条件，所述查询条件包括以下两种查询方式：查询语句和查询文件，所述查询文件包括文件地址，所述文件地址对应的文件包括多个查询语句。

上述基于多数据源的数据传输装置还具有以下特点：

本装置还包括：

检测模块，用于定时检测各数据源接口的软件是否更新；

更新模块，用于在所述检测模块检测到数据源接口的软件更新后，与所述数据源接口通信获得最新版本的软件，根据所述最新版本的软件更新相应数据源接口配置信息。

上述基于多数据源的数据传输装置还具有以下特点：

本装置还包括：

记录模块，用于记录所述第一数据获取请求中的查询方式，还记录以下信息中的一种以上：所述第一数据获取请求的发送方的标识、接收所述第一数据获取请求的时间、所述目标数据源的标识、从所述目标数据源获取的数据的类型；

优化模块，用于在所述第一接收模块接收到接收第一数据获取请求后，根据记录的内容优化所述第一数据获取请求中的查询语句。

上述基于多数据源的数据传输装置还具有以下特点：

所述优化模块，还用于使用以下方法中的一种在所述第一数据获取请求中的查询语句：

对于mysql类数据源增加对主键的使用；

对于列式存储的数据，规避选择命令的操作；

针对索引式数据源，设置查询语句为根照主键接索引顺序访问数据。

上述基于多数据源的数据传输装置还具有以下特点：

所述数据源接口配置信息包括以下信息：数据源类型标识、数据源地址、端口、用户名，或者，还包括以下信息中的至少一种：密码、过滤正则。

本方法可以使用户方便的访问不同类型的数据源的数据，有效兼容不同类型的数据源的数据。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是实施例中基于多数据源的数据传输方法的流程图；

图2是实施例中基于多数据源的数据传输装置的结构图；

图3是具体实施例中基于多数据源的数据传输方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

如图1所示，基于多数据源的数据传输方法包括：

步骤101，设置软件压缩包以及用于封装软件压缩包的执行文件，软件压缩包包括接口配置文件，接口配置文件包括N个数据源接口配置信息，不同的数据源接口配置信息对应于不同的数据源类型；其中，N为大于1的整数；

步骤102，运行执行文件；

步骤103，接收第一数据获取请求，根据第一数据获取请求确定对应的数据源接口类型和目标数据源，确定与数据源接口类型对应的数据源接口配置信息，根据数据源接口配置信息构建第二数据获取请求，将第二数据获取请求发送至目标数据源，将从目标数据源获取的数据发送至第一数据获取请求的发送方。

其中，数据源的类型可以是以下类型中的一种：mysql、hive、prestodb、kylin、clickhouse、elasticsearch、influxdb。

本方法可以使用户可以方便的访问不同类型的数据源的数据，有效兼容不同类型的数据源的数据。

步骤101中，数据源接口配置信息包括以下信息：数据源类型标识、数据源地址、端口、用户名，或者，还包括以下信息中的至少一种：密码、过滤正则。例如：数据源接口配置信息依次包括以下参数：数据源类型标识、数据源地址、端口、用户名、密码、过滤正则。

步骤103中，第一数据获取请求中包括数据源标识和查询条件，其中，查询条件包括以下两种查询方式：查询语句和查询文件。在具体的查询过程中，查询语句较短时，一般使用查询语句的方式，查询语句较长时，使用查询文件的方式。查询文件包括文件地址，文件地址对应的文件包括多个查询语句。第一数据获取请求中还包括用户名。

此方法还包括：定时检测各数据源接口的软件是否更新，在检测到数据源接口的软件更新后，与数据源接口通信获得最新版本的软件，根据最新版本的软件更新相应数据源接口配置信息。此处的数据源接口的软件的更新，并不是整个软件包的更新。执行本方法时的软件涉及软件压缩包(例如jar格式的压缩包)和执行文件。进行数据更新时，只影响软件压缩包中的部分内容，并不影响执行文件。软件压缩包中包括核心代码和接口配置文件，核心代码是用于实现对接口配置文件的各种具体操作的抽象逻辑。进行更新时，只对软件压缩包的全部内容或部分内容进行下载和更新，无需更改执行文件，可以无需对一些未变更的复杂参数进行更新，例如IP、端口、用户名、密码等参数，可以有效节省更新时的数据处理量。

此方法还包括：记录第一数据获取请求中的查询方式，还记录以下信息中的一种以上：第一数据获取请求的发送方的标识、接收第一数据获取请求的时间、目标数据源的标识、从目标数据源获取的数据的类型。在接收到接收第一数据获取请求后，根据记录的内容优化第一数据获取请求中的查询语句。其中，优化第一数据获取请求中的查询语句包括以下方式中的一种：

方式一，对于mysql类数据源增加对主键的使用。此方式一可以快速定位数据。

方式二，对于列式存储的数据，规避选择命令的操作；此方式二可以减少对数据的全量访问。

方式三，针对索引式数据源，设置查询语句为根照主键接索引顺序访问数据。此方式一可以加速定位速度。

本方法还可以实现审计的功能，本方法接收到用户输入的信息后，将用户输入的信息以及查询结果发送(例如采用HTTP get请求的方式发送)到中央处理设备进行存储，在后续出现错误时，可以根据已存储的历史信息进行问题排查。采用HTTP get请求的方式发送时，使用http接口，通过http接口接收GET请求，此请求中的接口信息包括：数据源标识(jdbcDatasource)、用户的查询内容(jdbcQuery)、该请求的发起用户(jdbcUser)、用户查询结果保存的位置(jdbcResultFile)，还可以包括用于表示用户请求参数是否正确的标识(args)。

如图2所示，基于多数据源的数据传输装置，包括：

设置模块，用于设置软件压缩包以及用于封装软件压缩包的执行文件，软件压缩包包括接口配置文件，接口配置文件包括N个数据源接口配置信息，不同的数据源接口配置信息对应于不同的数据源类型；其中，N为大于1的整数；

执行模块，用于运行执行文件；

第一接收模块，用于接收第一数据获取请求；

转换模块，用于根据第一数据获取请求确定对应的数据源接口类型和目标数据源，确定与数据源接口类型对应的数据源接口配置信息，根据数据源接口配置信息构建第二数据获取请求；

第一发送模块，用于将第二数据获取请求发送至目标数据源；

第二接收模块，用于接收从目标数据源获取的数据；

第二发送模块，用于将从目标数据源获取的数据发送至第一数据获取请求的发送方。

其中，数据源的类型可以是以下类型中的一种：mysql、hive、prestodb、kylin、clickhouse、elasticsearch、influxdb。

第一数据获取请求中包括以下内容：

数据源标识，

查询条件，此查询条件包括以下两种查询方式：查询语句和查询文件，查询文件包括文件地址，文件地址对应的文件包括多个查询语句。在具体的查询过程中，查询语句较短时，一般使用查询语句的方式，查询语句较长时，使用查询文件的方式。第一数据获取请求中还包括用户名。

数据源接口配置信息包括以下信息：数据源类型标识、数据源地址、端口、用户名，或者，还包括以下信息中的至少一种：密码、过滤正则。例如：数据源接口配置信息依次包括以下参数：数据源类型标识、数据源地址、端口、用户名、密码、过滤正则。

本装置还包括：

检测模块，用于定时检测各数据源接口的软件是否更新；

更新模块，用于在检测模块检测到数据源接口的软件更新后，与数据源接口通信获得最新版本的软件，根据最新版本的软件更新相应数据源接口配置信息。

本装置还包括：

记录模块，用于记录第一数据获取请求中的查询方式，还记录以下信息中的一种以上：第一数据获取请求的发送方的标识、接收第一数据获取请求的时间、目标数据源的标识、从目标数据源获取的数据的类型；

优化模块，用于在第一接收模块接收到接收第一数据获取请求后，根据记录的内容优化第一数据获取请求中的查询语句，还用于使用以下方法中的一种在第一数据获取请求中的查询语句：

对于mysql类数据源增加对主键的使用；

对于列式存储的数据，规避选择命令的操作；

针对索引式数据源，设置查询语句为根照主键接索引顺序访问数据。

下面通过具体实施例进行详细说明。

具体实施例

如图3所示，具体方法包括：

设置软件压缩包以及用于封装软件压缩包的执行文件，软件压缩包包括接口配置文件，接口配置文件包括3个数据源接口配置信息，不同的数据源接口配置信息对应于不同的数据源类型；3个数据源接口配置信息对应的数据源类型分别为mysql、hive、prestodb。

运行执行文件。

用户A输入第一数据获取请求，此第一数据获取请求中指示获取第一数据源中的包含第一关键字的相关内容。

本软件收到第一数据获取请求后，检测软件压缩包是否需要更新，在需要更新时，执行更新，将最新的核心代码和配置文件更新到软件压缩包，在不需要更新时，则不执行更新处理。

处理第一数据获取请求，检查此第一数据获取请求是否合理，第一数据获取请求中的目标数据源的连通性是否正常。

在检测均符合要求后，根据第一数据获取请求确定对应的数据源接口类型为mysql，并确定目标数据源，确定与数据源接口类型对应的数据源接口配置信息，根据数据源接口配置信息构建第二数据获取请求，将第二数据获取请求发送至目标数据源，将从目标数据源获取的数据发送至第一数据获取请求的发送方。在检测不符合要求时，通知第一数据获取请求的发送方，检测不符合要求的相关信息。

通过http GET请求的方式，将第一数据获取请求以及查询结果发送到中央处理设备进行存储。

同理，用户B输入第三数据获取请求，此第三数据获取请求中指示获取第二数据源中的包含第二关键字的相关内容。

本软件收到第三数据获取请求后，检测软件压缩包是否需要更新，在需要更新时，执行更新，将最新的核心代码和配置文件更新到软件压缩包，在不需要更新时，则不执行更新处理。

处理第三数据获取请求，检查此第三数据获取请求是否合理，第三数据获取请求中的目标数据源的连通性是否正常。

在检测均符合要求后，根据第三数据获取请求确定对应的数据源接口类型为hive，并确定目标数据源，确定与数据源接口类型对应的数据源接口配置信息，根据数据源接口配置信息构建第四数据获取请求，将第四数据获取请求发送至目标数据源，将从目标数据源获取的数据发送至第三数据获取请求的发送方。在检测不符合要求时，通知第三数据获取请求的发送方，检测不符合要求的相关信息。

通过http GET请求的方式，将第三数据获取请求以及查询结果发送到中央处理设备进行存储。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (12)

1.一种基于多数据源的数据传输方法，其特征在于，包括：

设置软件压缩包以及用于封装所述软件压缩包的执行文件，所述软件压缩包包括接口配置文件，所述接口配置文件包括N个数据源接口配置信息，不同的数据源接口配置信息对应于不同的数据源类型；其中，N为大于1的整数；

运行所述执行文件；

接收第一数据获取请求，根据所述第一数据获取请求确定对应的数据源接口类型和目标数据源，确定与所述数据源接口类型对应的数据源接口配置信息，根据所述数据源接口配置信息构建第二数据获取请求，将所述第二数据获取请求发送至所述目标数据源，将从所述目标数据源获取的数据发送至所述第一数据获取请求的发送方。

2.如权利要求1所述的基于多数据源的数据传输方法，其特征在于，

所述第一数据获取请求中包括以下内容：

数据源标识，

查询条件，所述查询条件包括以下两种查询方式：查询语句和查询文件，所述查询文件包括文件地址，所述文件地址对应的文件包括多个查询语句。

3.如权利要求1所述的基于多数据源的数据传输方法，其特征在于，

所述方法还包括：定时检测各数据源接口的软件是否更新，在检测到数据源接口的软件更新后，与所述数据源接口通信获得最新版本的软件，根据所述最新版本的软件更新相应数据源接口配置信息。

4.如权利要求2所述的基于多数据源的数据传输方法，其特征在于，

所述方法还包括：记录所述第一数据获取请求中的查询方式，还记录以下信息中的一种以上：所述第一数据获取请求的发送方的标识、接收所述第一数据获取请求的时间、所述目标数据源的标识、从所述目标数据源获取的数据的类型；

在接收到接收第一数据获取请求后，根据记录的内容优化所述第一数据获取请求中的查询语句。

5.如权利要求4所述的基于多数据源的数据传输方法，其特征在于，

所述优化所述第一数据获取请求中的查询语句包括以下方式中的一种：

对于mysql类数据源增加对主键的使用；

对于列式存储的数据，规避选择命令的操作；

针对索引式数据源，设置查询语句为根照主键接索引顺序访问数据。

6.如权利要求4所述的基于多数据源的数据传输方法，其特征在于，

所述数据源接口配置信息包括以下信息：数据源类型标识、数据源地址、端口、用户名，或者，还包括以下信息中的至少一种：密码、过滤正则。

7.一种基于多数据源的数据传输装置，其特征在于，包括：

设置模块，用于设置软件压缩包以及用于封装所述软件压缩包的执行文件，所述软件压缩包包括接口配置文件，所述接口配置文件包括N个数据源接口配置信息，不同的数据源接口配置信息对应于不同的数据源类型；其中，N为大于1的整数；

执行模块，用于运行所述执行文件；

第一接收模块，用于接收第一数据获取请求；

转换模块，用于根据所述第一数据获取请求确定对应的数据源接口类型和目标数据源，确定与所述数据源接口类型对应的数据源接口配置信息，根据所述数据源接口配置信息构建第二数据获取请求；

第一发送模块，用于将所述第二数据获取请求发送至所述目标数据源；

第二接收模块，用于接收从所述目标数据源获取的数据；

第二发送模块，用于将从所述目标数据源获取的数据发送至所述第一数据获取请求的发送方。

8.如权利要求7所述的基于多数据源的数据传输装置，其特征在于，

所述第一数据获取请求中包括以下内容：

数据源标识，

查询条件，所述查询条件包括以下两种查询方式：查询语句和查询文件，所述查询文件包括文件地址，所述文件地址对应的文件包括多个查询语句。

9.如权利要求7所述的基于多数据源的数据传输装置，其特征在于，

还包括：

检测模块，用于定时检测各数据源接口的软件是否更新；

更新模块，用于在所述检测模块检测到数据源接口的软件更新后，与所述数据源接口通信获得最新版本的软件，根据所述最新版本的软件更新相应数据源接口配置信息。

10.如权利要求8所述的基于多数据源的数据传输装置，其特征在于，

还包括：

记录模块，用于记录所述第一数据获取请求中的查询方式，还记录以下信息中的一种以上：所述第一数据获取请求的发送方的标识、接收所述第一数据获取请求的时间、所述目标数据源的标识、从所述目标数据源获取的数据的类型；

优化模块，用于在所述第一接收模块接收到接收第一数据获取请求后，根据记录的内容优化所述第一数据获取请求中的查询语句。

11.如权利要求10所述的基于多数据源的数据传输装置，其特征在于，

所述优化模块，还用于使用以下方法中的一种在所述第一数据获取请求中的查询语句：

对于mysql类数据源增加对主键的使用；

对于列式存储的数据，规避选择命令的操作；

针对索引式数据源，设置查询语句为根照主键接索引顺序访问数据。

12.如权利要求10所述的基于多数据源的数据传输装置，其特征在于，

所述数据源接口配置信息包括以下信息：数据源类型标识、数据源地址、端口、用户名，或者，还包括以下信息中的至少一种：密码、过滤正则。

Images