CN101447997B - 一种数据处理方法、服务器及数据处理系统 - Google Patents

Abstract

本发明公开了一种数据处理方法、服务器及数据处理系统，该方法用于客户/服务器C/S系统中，包括：客户端通过与服务器建立的上传服务连接向所述服务器批量上传数据加载任务；所述服务器接收完所述批量上传的数据加载任务后断开与所述客户端之间的上传服务连接，并启动加载服务执行所述接收的数据加载任务。实施本发明，客户端可将需要加载的数据打包批量传送至服务器，服务器在接收完毕后断开与客户端的连接，启动新的加载服务独立完成的数据的加载，从而使服务器加载数据时不会受到客户端不稳定因素的影响，提高了数据加载的稳定性。

Description

一种数据处理方法、服务器及数据处理系统

技术领域

本发明涉及数据处理领域，尤其涉及一种数据处理方法、服务器及数据处理系统。

背景技术

ETL：(Extraction-Transformation-Loading，中文名称为数据抽取、转换和加载)是指将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

目前，常见ETL工具，通常是采用客户端与服务器建立连接后，客户端利用连接后的通讯在服务器执行加载命令。并利用进度算法实现客户端的加载进度显示。

但是，在实现本发明的过程中，发明人发现，现有的客户/服务器(Client/Server，C/S)系统的在线加载方式中，客户端和服务器端之间是通过常连接进行加载，服务器的加载时刻依赖于系统客户端的正常运行，存在着不可避免的加载出错隐患。特别是当数据量较大，加载时间较长的情况下，若系统的客户端出现断电、死机、断网等多种意外状况时，服务器的数据加载过程将受到影响甚至破坏。最后结果轻则数据加载失败，重则导致系统内原有数据遭到毁灭性破坏。

发明内容

本发明实施例所要解决的技术问题在于，提供一种数据处理方法、服务器及数据处理系统。

为了解决上述技术问题，本发明实施例提供了一种数据处理方法，用于C/S系统中，包括：

客户端获取服务器加载标识位的状态，当所述加载标识位的状态为“否”时，所述客户端通过与所述服务器建立的上传服务连接向所述服务器批量上传数据加载任务，当所述加载标识位的状态为“是”时，所述客户端与所述服务器建立监控连接，对所述服务器执行数据加载任务的进度进行监控；

所述服务器接收完所述批量上传的数据加载任务后断开与所述客户端之间的上传服务连接，并启动加载服务执行所述接收的数据加载任务；

其中，所述数据加载任务中包括指示所述服务器如何进行加载的加载逻辑，以便所述服务器根据所述加载逻辑执行所述数据加载任务。

相应地，本发明实施例还提供了一种服务器，用于C/S系统中，该服务器包括：

接收单元，用于当客户端判断加载标识位的状态为“否”时，与客户端建立上传服务连接，并通过所述上传服务连接接收所述客户端批量上传的数据加载任务，当客户端判断所述加载标识位的状态为“是”时，与客户端建立监控连接，并通过所述监控连接接受所述客户端对执行所述数据加载任务的进度监控，其中所述数据加载任务中包括指示所述服务器如何进行加载的加载逻辑，以便所述服务器根据所述加载逻辑执行所述数据加载任务；

加载单元，用于接收所述批量上传的数据加载任务完毕后断开与所述客户端之间的上传服务连接，并启动加载服务执行所述接收的数据加载任务；

加载标识位设置单元，用于当所述服务器执行数据加载任务时设置加载标识位为“是”，当所述服务器执行完所述数据加载任务时设置加载标识位为“否”。

本发明实施例还提供了一种数据处理系统，该系统为C/S系统，包括：客户端和服务器，

所述客户端包括：

获取单元，用于获取所述服务器加载标识位的状态，当所述加载标识位的状态为“否”时，与所述服务器建立上传服务连接，当所述加载标识位的状态为“是”时，与所述服务器建立监控连接，对所述服务器执行数据加载任务的进度进行监控；

上传单元，用于通过与所述服务器建立的所述上传服务连接向所述服务器批量上传数据加载任务；

所述服务器包括：

接收单元，用于通过所述上传服务连接接收所述客户端批量上传的数据加载任务；

加载单元，用于接收所述批量上传的数据加载任务完毕后断开与所述客户端之间的上传服务连接，并启动加载服务执行所述接收的数据加载任务。

实施本发明实施例，能将ETL过程中处理时间较长的数据加载交由稳定的服务器处理，降低因客户端的不稳定因素导致数据加载失败的隐患。

附图说明

图1是本发明方法实施例一的流程示意图；

图2是本发明方法实施例一的具体流程示意图；

图3是本发明系统实施例的结构示意图；

图4是图3所示系统实施例中客户端的又一结构示意图；

图5是图3所示系统实施例中服务器的又一结构示意图。

具体实施方式

本发明实施例中，在C/S系统的数据加载过程中，通过客户端批量上传数据加载任务，服务器接收所述数据加载任务后断开与客户端的连接并启动加载服务执行所述接收的数据加载任务，将原来处理时间较长的数据加载交由稳定的服务器处理，降低因客户端的不稳定因素导致数据加载失败的隐患。其中，上述的C/S系统是指支持C/S模式的系统。C/S模式是一种软件系统体系结构，通过它可以充分利用两端硬件环境的优势，将任务合理分配到Client端和Server端来实现，降低了系统的通讯开销。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

图1是本发明方法实施例一的流程示意图，包括：

100，客户端通过与服务器建立的上传服务连接向所述服务器批量上传数据加载任务。

其中，批量上传数据加载任务，可以是将一个或多个数据加载任务打包后上传，也可以是顺序的上述一个或多个数据加载任务。所述数据加载任务中包括加载相应数据所需的各个参数、条件、变量，即在数据加载任务中包括了指示服务器如何进行加载的加载逻辑，服务器根据这些加载逻辑进行相应的判断以便执行具体的数据加载动作。

如，在客户端可以将表1中的4个数据加载任务打包后上传给服务器。

表1：

任务序号	是否加载	加载方式	文件格式	加载库表	文件路径
						任务1	是	追加	TXT	A	C:/data1/a.txt
任务2	是	追加	TXT	B	C:/data2/b.txt
						任务3	否	追加	RAR	C	C:/data3/c.rar
任务4	是	替换	ZIP	D	C:/data4/d.zip

上表例子中，共有4个加载任务，在这些加载任务中指定了需要加载的数据所在文件的路径，已经加载到数据库哪个对应的库表中，加载逻辑包括是否加载、加载方式以及文件格式等。

101，服务器接收完所述批量上传的数据加载任务后断开与所述客户端之间的上传服务连接，并启动加载服务执行所述接收的数据加载任务。

如，服务器收到如表1所示的加载任务后，断开与客户端之间的上传服务连接，并启动加载服务执行所述接收的数据加载任务，即启用新的加载服务分别执行表1中的数据加载任务。如对于任务1，服务器首先根据“是否加载”标识判断是否需要进行加载，当判断为需要进行加载时，根据“加载方式”等标识，获知，本次加载是要将根据路径C:/data1/a.txt获得的加载数据a.txt，以追加的方式，加载到加载库表A中的相应位置。在服务器上可以还配置有相关的其他信息，以使服务器可以根据数据加载任务中的信息执行相应的加载任务。

需要说明的是，在现有技术中，上述这些判断过程是由客户端完成的，客户端在获得相应的判断结果后再在与服务器建立的上传服务连接中不断发送命令通知服务器执行具体的操作。而在本发明实施例中，客户端上传加载任务后不需要在执行该加载任务的内容，而是由服务器根据加载任务进行判断等处理，直到完成最后的数据加载动作。

需要说明的是，服务器接收完所有的加载任务后会自动断开与客户端之间的上传服务连接，以避免由于客户端的不稳定因素造成服务器执行加载任务时失败。

具体的，可通过SAS的‘X COMMAND’技术实启动服务器的加载服务去完成数据加载任务，并自动关闭与客户端之间的上传服务连接。

在本发明的其它实施例中，也可利用其它的技术启动服务器的加载服务去完成数据加载任务，并自动关闭与客户端之间的上传服务连接。这应为本领域普通技术人员所熟知，此处不做一一举例。

图2是本发明方法实施例一的具体流程示意图，包括：

200，客户端获取所述服务器加载标识位的状态，

201，判断所述加载标识位的状态是否为“否”，判断为是时，与所述服务器建立上传服务连接，并批量上传数据加载任务，否则，与所述服务器建立监控连接，对所述服务器执行数据加载任务的进度进行监控。

需要说明的是，所述加载标识位由服务器进行设置，其初始状态为“否”，在本方法实施例中，约定加载标识位为“否”时表示服务器正在执行加载任务，加载标识位为“是”时表示服务器没有执行加载任务。

在其它实施例中，加载标识位的状态也可以其它形式表示，例如“0”和”1”或“Y”和“N”。

202，服务器接收客户端批量上传的数据加载任务。

203，服务器接收完数据加载任务完闭后断开与客户端之间的上传服务连接并启动加载服务执行所述接收的加载任务。

具体的，可通过SAS的‘X COMMAND’技术启动服务器的加载服务去完成数据加载任务，并自动关闭与客户端之间的上传服务连接。在其它实施例中，也可利用其它数据库技术启动服务器的加载服务去完成数据加载任务，并自动关闭与客户端之间的上传服务连接。

需要说明的是，在服务器启动加载服务执行所述接收的加载任务时，将设置所述加载标识位为“是”，而在加载任务执行完毕后，所述服务器将设置所述加载标识位为“否”。

同时，服务器还将根据执行所述加载任务的进度生成加载进度表，所述加载进度表用于显示所述服务器执行所述加载任务的进度，以使客户端可通过与服务器建立监控服务连接以达到对所述服务器执行加载任务的进度进行监控的目的。如，在服务器执行加载任务时，可向需要上传数据加载任务(或称加载任务)的客户端显示如表2所示的加载进度表。这样客户端也可以根据该加载进度表中所显示的情况，确定何时上传下一个批量数据加载任务。

表2：

任务序号

加载进度

剩余时间/秒

任务1	■■■■■■■■■■■■■■■■■■■■100％	0
			任务2	■■■■■■■■■■■■■■■■□□□□80％	40
任务3	■■■■■■■■■■□□□□□□□□□□50％	140
			任务4	■■□□□□□□□□□□□□□□□□□□10％	180

加载进度表也可以仅显示加载的任务序号和加载进度等。当然，加载进度表也可以有其他表现形式和内容，这些表现形式和内容应为本领域普通技术人员所熟知，此处不做一一赘述。

图3是本发明系统实施例的结构示意图，该系统为支持C/S模式的C/S系统，其包括：

客户端1，用于通过与服务器建立的上传服务连接向服务器批量上传数据加载任务；

服务器2，用于接收所述客户端1批量上传数据加载任务，接收完毕后断开与所述客户端1之间的上传服务连接并启动加载服务执行所述接收的数据加载任务。

其中，客户端1包括：

上传单元11，用于通过与服务器2建立的上传服务连接向服务器2批量上传数据加载任务；

服务器2包括：

接收单元21，用于通过所述上传服务连接接收所述客户端1批量上传的数据加载任务；

加载单元22，用于接收所述批量上传的数据加载任务完毕后断开与所述客户端1之间的上传服务连接，并启动加载服务执行所述接收的数据加载任务。

实施本实施例时，客户端1中的上传单元11将需要加载的数据及加载所述数据所需的各个参数、条件、变量打包成数据加载任务批量通过上传服务连接上传至服务器2，服务器2的接收单元21通过所述上传服务连接接收客户端1批量上传的数据加载任务，接收完毕后，加载单元22将断开服务器2与客户端1之间的上传服务连接，并启动加载服务执行所述接收的数据加载任务。

需要说明的是，其它实施例中，一个数据处理系统中可包括多个如本发明系统实施例中的客户端，服务器可同时接收多个客户端批量上传的数据加载任务并进行数据加载。

由上可知，实施本发明系统实施例，可将数据加载由服务器单独处理，即加载数据时不需要与客户端保持连线，避免由于客户端的不稳定因素造成服务器加载数据失败。

参见图4，所述客户端1还可包括：

获取单元12，用于获取所述服务器加载标识位的状态，当所述加载标识位的状态为“否”时，与所述服务器建立上传服务连接，并批量上传所述数据加载任务；

当所述加载标识位的状态为“是”时，与所述服务器建立监控连接，对所述服务器执行数据加载任务的进度进行监控。

本发明系统实施例中，客户端通过获取单元21，可获知服务器当前是否处于加载状态，并可根据服务器的状态分别进行批量上传数据加载任务或监控服务器加载数据的操作。

参见图5，所述服务器2还可包括：

加载标识位设置单元23，用于当所述服务器执行数据加载任务时设置加载标识位为“是”，当所述服务器执行完所述数据加载任务时设置加载标识位为“否”。

进度表单元24，用于所述服务器根据执行数据加载任务的进度生成加载进度表。

本发明系统实施例中，服务器2通过加载标识位设置单元23设置加载标识位的状态，以达到控制服务器2与客户端1之间建立上传服务连接的目的。

同时，服务器2还通过进度表单元24，可根据服务器2执行数据加载任务的进度生成加载进度表，以使客户端1可即时了解当前服务器2加载数据的进度。

本发明服务器实施例、以及系统实施例中的相关信息和动作的细节与前述方法实施例中的一致，在此不再详述。

需要说明的是，本发明实施例中所列的方法、系统以及服务器等可用于需要进行数据加载的各银行业务中，如银行的审计系统的相应业务中。当然也可以用于其他需要进行数据加载的环境中，不应将本段的上述解释理解为对本发明实施例的限制。

综上所述，实施本发明实施例，客户端可将需要加载的数据打包批量传送至服务器，服务器在接收完毕后断开与客户端的连接，启动新的加载服务独立完成的数据的加载，从而使服务器加载数据时不会受到客户端不稳定因素的影响，提高了数据加载的稳定性。同时，服务器通过设置加载标识位的状态可控制客户端是否能上传加载数据任务，并且服务器在加载状态下还能生成加载进度表供客户端查询加载数据的进度，方便了客户端的操作。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (8)

1.一种数据处理方法，用于客户/服务器C/S系统中，其特征在于，包括：

客户端获取服务器加载标识位的状态，当所述加载标识位的状态为“否”时，所述客户端通过与所述服务器建立的上传服务连接向所述服务器批量上传数据加载任务，当所述加载标识位的状态为“是”时，所述客户端与所述服务器建立监控连接，对所述服务器执行数据加载任务的进度进行监控；

所述服务器接收完所述批量上传的数据加载任务后断开与所述客户端之间的上传服务连接，并启动加载服务执行所述接收的数据加载任务；

其中，所述数据加载任务中包括指示所述服务器如何进行加载的加载逻辑，以便所述服务器根据所述加载逻辑执行所述数据加载任务。

2.如权利要求1所述的方法，其特征在于，所述服务器接收完所述批量上传的数据加载任务后断开与所述客户端之间的连接，并启动加载服务执行所述接收的数据加载任务的同时，还包括：

所述服务器设置所述加载标识位的状态为“是”。

3.如权利要求2所述的方法，其特征在于，还包括：

当所述接收的数据加载任务执行完毕后，所述服务器设置所述加载标识位的状态为“否”。

4.如权利要求3所述的方法，其特征在于，所述服务器接收完所述批量上传的数据加载任务后断开与所述客户端之间的连接，并启动加载服务执行所述接收的数据加载任务的同时，还包括：

所述服务器根据执行所述数据加载任务的进度生成加载进度表，所述加载进度表用于显示所述服务器执行所述数据加载任务的进度。

5.如权利要求4所述的方法，其特征在于，所述启动加载服务执行所述接收的数据加载任务包括：

通过SAS的X命令实现启动加载服务执行所述接收的数据加载任务。

6.一种服务器，所述服务器用于C/S系统中，其特征在于，包括：

接收单元，用于当客户端判断加载标识位的状态为“否”时，与客户端建立上传服务连接，并通过所述上传服务连接接收所述客户端批量上传的数据加载任务，当客户端判断所述加载标识位的状态为“是”时，与客户端建立监控连接，并通过所述监控连接接受所述客户端对执行所述数据加载任务的进度监控，其中所述数据加载任务中包括指示所述服务器如何进行加载的加载逻辑，以便所述服务器根据所述加载逻辑执行所述数据加载任务；

加载单元，用于接收所述批量上传的数据加载任务完毕后断开与所述客户端之间的上传服务连接，并启动加载服务执行所述接收的数据加载任务；

加载标识位设置单元，用于当所述服务器执行数据加载任务时设置加载标识位为“是”，当所述服务器执行完所述数据加载任务时设置加载标识位为“否”。

7.如权利要求6所述的服务器，其特征在于，还包括：

进度表单元，用于所述服务器根据执行数据加载任务的进度生成加载进度表。

8.一种数据处理系统，所述系统为C/S系统，其特征在于，包括客户端和服务器，

所述客户端包括：

获取单元，用于获取所述服务器加载标识位的状态，当所述加载标识位的状态为“否”时，与所述服务器建立上传服务连接，当所述加载标识位的状态为“是”时，与所述服务器建立监控连接，对所述服务器执行数据加载任务的进度进行监控；

上传单元，用于通过与所述服务器建立的所述上传服务连接向所述服务器批量上传数据加载任务，其中所述数据加载任务中包括指示所述服务器如何进行加载的加载逻辑，以便所述服务器根据所述加载逻辑执行所述数据加载任务；

所述服务器包括：

接收单元，用于通过所述上传服务连接接收所述客户端批量上传的数据加载任务；

加载单元，用于接收所述批量上传的数据加载任务完毕后断开与所述客户端之间的上传服务连接，并启动加载服务执行所述接收的数据加载任务；

加载标识位设置单元，用于当所述服务器执行数据加载任务时设置加载标识位为“是”，当所述服务器执行完所述数据加载任务时设置加载标识位为“否”。

Images