CN110019092B - 数据存储的方法、控制器和系统 - Google Patents

Abstract

本申请提供了一种数据存储的方法，使得主集群的控制器不需要进行合并操作，避免了在执行合并的过程中带来很大的带宽压力以及IO压力，提高了系统性能。该方法包括：接收第二控制器发送的合并后的文件、第一序列号和第一标识信息，第一序列号为合并后的文件中的第一数据的序列号，第一标识信息用于指示合并后的文件在备集群内的区域号为第一区域号；根据第一序列号，确定合并后文件中最后一个写入的数据的序列号；比较合并后的文件中最后一个写入的数据的序列号和未合并的文件中最后一个写入的数据的序列号；当未合并的文件中最后一个写入的数据的序列号小于该合并后的文件中最后一个写入的数据的序列号时，删除未合并的文件；存储合并后的文件。

Description

数据存储的方法、控制器和系统

技术领域

本申请涉及存储领域，并且更具体地，涉及一种数据存储的方法、控制器和系统。

背景技术

在跨可用区域(Availability Zone，AZ)双活架构下，主集群对用户设备提供读写服务，备集群只用于备份主集群的数据，以用于在主集群发生故障丢失数据时，向主集群发送备份的数据从而恢复数据，备集群不对用户设备提供读写服务。在主集群和备集群之间，通过同步数据预写式日志(Write-Ahead Logging，WAL)来实现数据同步。主备集群均采用分布式存储系统(Hadoop Database，HBase)，主备集群根据数据WAL分别生成各自的meta和HFile，并且分别执行HFile的合并compaction操作。由于在执行compaction的过程中会带来很大的带宽压力以及短时间的IO压力和计算压力，导致HBase性能大幅下降。主集群对用户设备提供读写服务，但是主集群在执行compaction的过程中会带来很大的带宽压力以及短时间的IO压力，并且compaction的执行会消耗计算能力，导致HBase性能大幅下降，影响了用户体验。

发明内容

本申请提供一种数据存储的方法、控制器和系统，主集群的控制器接收备集群的控制器发送的合并后的文件，主集群的控制器删除原来存储在主集群的控制器上的未合并的文件，该未合并的文件已包括备集群的控制器发送的合并后的文件，主集群的控制器不需要进行的合并操作，因此，避免了在执行compaction的过程中带来很大的带宽压力以及短时间的IO压力，改善了用户体验，提升了系统性能。

第一方面，提供了一种数据存储的方法，该方法应用于集群系统，该系统包括主集群和备集群，该方法由第一控制器执行，该第一控制器为该主集群的控制器，第二控制器为该备集群的控制器，该方法包括：

接收该第二控制器发送的合并后的文件、第一序列号和第一标识信息，该第一序列号为该合并后的文件中的第一数据的序列号，该第一标识信息用于指示该合并后的文件在该备集群内的区域号为第一区域号；根据该第一序列号，确定该合并后的文件中最后一个写入的数据的序列号；比较该合并后的文件中最后一个写入的数据的序列号和未合并的文件中最后一个写入的数据的序列号，该未合并的文件为该主集群内区域号是该第一区域号的文件；当该未合并的文件中最后一个写入的数据的序列号小于该合并后的文件中最后一个写入的数据的序列号时，删除该未合并的文件；在该主集群内，存储该合并后的文件。

因此，该主集群的第一控制器在接收到该备集群的第二控制器发送的合并后的文件、第一序列号和第一标识信息后，根据该第一序列号，确定该合并后的文件中最后一个写入的数据的序列号，再比较该合并后的文件中最后一个写入的数据的序列号和未合并的文件中最后一个写入的数据的序列号，当该未合并的文件中最后一个写入的数据的序列号小于该合并后的文件中最后一个写入的数据的序列号时，删除该未合并的文件，在该主集群内，存储该合并后的文件。该第一控制器不需要进行的合并操作，因此，避免了在执行compaction的过程中带来很大的带宽压力以及短时间的IO压力和计算能力的消耗，进而提高了主集群的性能，改善了用户体验。

结合第一方面，在第一方面的某些实现方式中，该方法还包括：在该主集群内，将该合并后的文件的区域号设置为该第一区域号。

此时，通过将该合并后的文件的区域号设置为该第一区域号，建立起第一区域与该合并后的文件的关联，以便于根据该第一区域号查找文件。

结合第一方面，在第一方面的某些实现方式中，该第一序列号为该合并后的文件中的最后一个写入的数据的序列号。

结合第一方面，在第一方面的某些实现方式中，在该接收第二控制器发送的合并后的文件、第一序列号和第一标识信息之前，该方法还包括：生成第一日志，该第一日志包括该主集群内的区域号为该第一区域号的第一区域的信息，该第一区域的信息包括该第一区域关联的该未合并的文件；向该第二控制器发送该第一日志。

此时，主集群的控制器在生成包括该主集群内的区域号为该第一区域号的第一区域的信息的该第一日志时，向该备集群的第二控制器发送该第一日志，用于该第二控制器获取该第一区域的信息，根据该第一区域的信息，关联备集群内的区域号为该第一区域号的第一区域和备集群内的该未合并的文件，从而保持该第一区域在主集群和备集群信息的一致。

结合第一方面，在第一方面的某些实现方式中，在该接收第二控制器发送的合并后的文件、第一序列号和第一标识信息之前，该方法还包括：生成第二日志，该第二日志包括该未合成的文件的数据；向该第二控制器发送该第二日志；根据该未合成的文件的数据，生成该未合并的文件。

第二方面，提供了一种数据存储的方法，该方法应用于集群系统，该系统包括主集群和备集群，该方法由第二控制器执行，该第二控制器为该备集群的控制器，该第一控制器为该主集群的控制器，该方法包括：

当该备集群内的第一区域内未合并的文件的个数达到第一阈值时，将该未合并的文件合并以得到合并后的文件，并记录第一序列号，该第一序列号为该合并后的文件中的第一数据的序列号；向该第一控制器发送合并后的文件、第一序列号和第一标识信息，该第一标识信息用于指示该合并后的文件在该备集群内的区域号为第一区域号。

因此，在备集群内的第一区域内对该未合并的文件合并以得到合并后的文件，并记录第一序列号，向该主集群的该第一控制器发送合并后的文件、第一序列号和第一标识信息，通过将并后的文件、第一序列号和第一标识信息发送给主集群的控制器，从而避免了主集群进行合并操作。因此，避免了在执行compaction的过程中带来很大的带宽压力以及短时间的IO压力和对计算能力的消耗，进而提高了主集群的性能，改善了用户体验。

结合第二方面，在第二方面的某些实现方式中，该方法还包括：

接收该第一控制器发送的第一日志，该第一日志包括该主集群内的区域号为该第一区域号的第一区域的信息，该第一区域的信息包括该第一区域关联的该未合并的文件；回放该第一日志，获取该第一区域的信息；根据该第一区域的信息，关联备集群内的区域号为该第一区域号的第一区域和备集群内的该未合并的文件。

结合第二方面，在第二方面的某些实现方式中，该方法还包括：接收该第一控制器发送的第二日志，该第二日志包括该未合成的文件的数据；根据该未合成的文件的数据，生成该未合并的文件。

第三方面，提供了一种控制器，该控制器应用于集群系统，该系统包括主集群和备集群，该控制器为第一控制器，该第一控制器为该主集群的控制器，第二控制器为该备集群的控制器，该控制器包括：

接收模块，用于接收该第二控制器发送的合并后的文件、第一序列号和第一标识信息，该第一序列号为该合并后的文件中的第一数据的序列号，该第一标识信息用于指示该合并后的文件在该备集群内的区域号为第一区域号；处理模块，用于根据该第一序列号，确定该合并后的文件中最后一个写入的数据的序列号；该处理模块还用于比较该合并后的文件中最后一个写入的数据的序列号和未合并的文件中最后一个写入的数据的序列号，该未合并的文件为该主集群内区域号是该第一区域号的文件；该处理模块还用于当该未合并的文件中最后一个写入的数据的序列号小于该合并后的文件中最后一个写入的数据的序列号时，删除该未合并的文件；存储模块，用于在该主集群内，存储该合并后的文件。

结合第三方面，在第三方面的某些实现方式中，该处理模块还用于：在该主集群内，将该合并后的文件的区域号设置为该第一区域号。

结合第三方面，在第三方面的某些实现方式中，该第一序列号为该合并后的文件中的最后一个写入的数据的序列号。

结合第三方面，在第三方面的某些实现方式中，该处理模块还用于生成第一日志，该第一日志包括该主集群内的区域号为该第一区域号的第一区域的信息，该第一区域的信息包括该第一区域关联的该未合并的文件；该控制器还包括：发送模块，用于向该第二控制器发送该第一日志。

结合第三方面，在第三方面的某些实现方式中，该处理模块还用于生成第二日志，该第二日志包括该未合成的文件的数据；该发送模块还用于向该第二控制器发送该第二日志；该存储模块还用于根据该未合成的文件的数据，生成该未合并的文件。

第四方面，提供了一种数据存储的控制器，该控制器应用于集群系统，该系统包括主集群和备集群，该控制器为第二控制器执行，该第二控制器为该备集群的控制器，该第一控制器为该主集群的控制器，该控制器包括：

处理模块：用于当该备集群内的第一区域内未合并的文件的个数达到第一阈值时，将该未合并的文件合并以得到合并后的文件，并记录第一序列号，该第一序列号为该合并后的文件中的第一数据的序列号；发送模块，用于向该第一控制器发送合并后的文件、第一序列号和第一标识信息，该第一标识信息用于指示该合并后的文件在该备集群内的区域号为第一区域号。

结合第四方面，在第四方面的某些实现方式中，该控制器还包括：

接收模块，用于接收该第一控制器发送的第一日志，该第一日志包括该主集群内的区域号为该第一区域号的第一区域的信息，该第一区域的信息包括该第一区域关联的该未合并的文件；该处理模块还用于回放该第一日志，获取该第一区域的信息；该处理模块还用于根据该第一区域的信息，关联备集群内的区域号为该第一区域号的第一区域和备集群内的该未合并的文件。

结合第四方面，在第四方面的某些实现方式中，该接收模块还用于接收该第一控制器发送的第二日志，该第二日志包括该未合成的文件的数据；该处理模块还用于根据该未合成的文件的数据，生成该未合并的文件。

第五方面，提供了一种系统，该系统包括如第三方面和第三方面任一中实现方式中的控制器和如第四方面和第四方面任一中实现方式中的控制器。

第六方面，提供了一种控制器，包括处理器、存储器和接口，所述接口用于与第二控制器通信，所述存储器用于存储计算机程序代码，所述计算机程序代码包括指令，当所述处理器执行所述指令时，所述控制器执行第一方面或第一方面的任一可选的实现方式中的方法。

第七方面，提供了一种控制器，包括处理器、存储器和接口，所述接口用于与第一控制器通信，所述存储器用于存储计算机程序代码，所述计算机程序代码包括指令，当所述处理器执行所述指令时，所述控制器执行第二方面或第二方面的任一可选的实现方式中的方法。

第八方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当控制器的至少一个处理器执行所述计算机执行指令时，控制器执行第一方面或第一方面的任一可选的实现方式中的方法。

第九方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当存储器的至少一个处理器执行所述计算机执行指令时，控制器执行第二方面或第二方面的任一可选的实现方式中的方法。

第十方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机执行指令，所述计算机执行指令存储在计算机可读存储介质中，控制器的至少一个处理器可以从所述计算机可读存储介质读取该计算机执行指令，所述至少一个处理器执行所述计算机执行指令使得控制器执行第一方面或第一方面的任一可选的实现方式中的方法。

第十一方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机执行指令，所述计算机执行指令存储在计算机可读存储介质中，存储器的至少一个处理器可以从所述计算机可读存储介质读取该计算机执行指令，所述至少一个处理器执行所述计算机执行指令使得存储器执行第二方面或第二方面的任一可选的实现方式中的方法。

附图说明

图1是根据本申请的一种数据存储的方法和控制器的系统架构图。

图2是图1中的控制器11的结构示例图。

图3是根据本申请的一种数据存储的方法的示意性流程图。

图4是根据本申请的一种数据存储的方法的示意性流程图。

图5是根据本申请的一种数据存储的方法的示意性流程图。

图6是根据本申请的控制器的示意性框图。

图7是根据本申请的控制器的示意性框图。

图8示出了本申请提供的装置的示意性框图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

图1是根据本申请的一种数据存储的方法和控制器的系统架构图100。该系统为跨AZ双活架构系统，如图1所示，系统100包括用户设备10、一个主集群控制器11和一个备集群控制器12。主集群控制器11和备集群控制器12可以是一种计算设备，如服务器、台式计算机等等。在主集群控制器11和备集群控制器12上安装有写入系统以及应用程序。主集群控制器11可以接收来自用户设备的输入输出(I/O)请求。主集群控制器11还可以存储I/O请求中携带的数据，并且将该数据写入持久化存储设备中。主集群对用户设备提供读写服务，备集群只用于备份主集群的数据，以用于在主集群发生故障丢失数据时，向主集群发送备份的数据从而恢复数据，备集群不对用户设备提供读写服务。在主集群和备集群之间，通过同步数据预写式日志(Write-Ahead Logging，WAL)来实现数据同步。

在图1中，仅示出了主集群控制器11和备集群控制器12，并没有示出主集群和备集群的其它设备，但是在主集群中可能还包括其他设备如服务器、计算机等，备集群中也可能还包括其他设备如服务器、计算机等。

主集群和备集群可以采用分布式存储系统Hbase。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。用户设备在写入数据时入先写WAL，写入WAL成功后，再写缓存memstore。先把数据写入WAL，该操作是在硬盘上存储数据，此时掉电后，数据仍然在，再将数据写入memstore，如果此时memstore掉电，还可以去硬盘读数据。在memstore缓存的数据满足一定条件后，执行flush操作使数据真正落盘，形成一个数据文件HFile。随着数据写入不断增多，flush次数也会不断增多，进而HFile数据文件就会越来越多。然而，太多数据文件会导致数据查询IO次数增多，因此HBase尝试着不断对这些文件进行合并，这个合并过程称为Compaction。

Hbase以表的形式存储数据。表由行和列组成，其逻辑结构如表1所示。

表1 Hbase数据表的逻辑结构

对于1个传统的行列二维表，HBase的每行数据都有1个row-key，并且一个表中的数据维持有序，根据row-key+CF:qualifier+时间戳做字节排序，数据查询时通过二分法就可以完成快速定位。row-key可以是任意字符串，最大长度64kb,按照字典序进行排序。列族(Column Family，CF)，行里的数据按照列族分组，列族也影响到HBase数据的物理存放，因此，它们必须事前定义并且不轻易修改。表中每行拥有相同列族，尽管行不需要在每个列族里存储数据。CF中的每一列，都是1个qualifier；1个qualifier只能属于1个CF。列限定符(column qualifier)，列族里的数据通过列限定符或列来定位。列限定符不必事前定义，列限定符不必在不同行之间保持一致。HBase中的每行数据，都有1个时间戳，默认情况下HBase可以保存同一行3个不同版本的信息，写入数据时，时间戳可以由HBase自动赋值(当前系统时间，精确到毫秒)，也可以显式手动赋值。在Hbase中，Row-key+CF+Qulifier+一个时间戳，才可以定位到一个单元格。

下面对HBase数据的物理存储进行简单描述。物理存储时，1个逻辑二维表格会根据CF，拆分为多个文件夹，1个CF对应1个文件夹，文件夹内是多个Hfile。Hbase系统的Master将表在行的方向上进行分割，多行记录形成1个HRegion，1个表划分为多个HRegion，HRegion是HBase分布式存储和负载均衡的最小单位。HRegion中含有多个CF，而HBase的物理存储基于CF来进行，因此HRegion在存储时内部会划分出多个HStore，每个HStore负责1个CF的物理存储。

HStore内部则由内存部分(Memstrore)和磁盘部分(HFile)构成，数据先写入Memstore，并在Memstore溢出时生成HFile，HFile最终落地到HDFS的Block上。

现有技术中，主备集群根据数据WAL分别生成各自的meta和HFile，并且分别执行HFile的合并compaction操作。由于在执行compaction的过程中会带来很大的带宽压力以及短时间的IO压力，导致HBase性能大幅下降。主集群对用户设备提供读写服务，而主集群在执行compaction的过程中会带来很大的带宽压力以及短时间的IO压力，导致HBase性能大幅下降，影响了用户体验。

图2是图1中的控制器11的结构示例图，如图2所示，控制器11包括接口卡110、处理器112、存储器111和接口卡113。

接口卡110，用于和用户设备通信，用于接收用户设备发送的指令，控制器11可以通过接口卡110接收用户设备的写入指令。例如，写入指令包括关键字(key)和值(value)，所述关键字是所述值的标识。举一个具体的例子，所述值可以是学生的各种信息，所述关键字可以是该学生的学号，或者其他表示该学生某一方面属性的标识。

接口卡113，用于和备集群控制器12通信。

处理器112，是一个中央处理器(central processing unit，CPU)。在本发明实施例中，处理器112可以用于接收来自用户设备的写入指令或者读取指令并且处理这些指令。处理器112还可以将所述写入指令中的数据发送给持久化存储设备。处理器112，还用于为所述数据分配逻辑地址，保存所述关键字与所述分配的逻辑地址之间的对应关系，以用于将来根据关键字与所述分配的逻辑地址之间的对应关系，读取所述数据。。

存储器111，包括易失性存储器，非易失性存储器或其组合。易失性存储器例如为随机访问存储器(random-access memory，RAM)。非易失性存储器例如为软盘、硬盘、固态硬盘(solid state disk，SSD)、光盘等各种可以存储程序代码的机器可读介质。存储器111具有保电功能，保电功能是指系统发生掉电又重新上电时，存储器111中存储的数据也不会丢失。存储器111可以有一个或者多个，用于临时存储从主机接收的数据或从持久化存储设备读取的数据，例如控制器11接收用户设备发送的多个写入指令时，可以将所述多个写入指令中的数据暂时保存在存储器111中。

为了更好地理解本申请，下面根据图3至图8，以与图1所示的相同或相似的系统为例对本发明实施例进行说明。

图3是根据本申请的一种数据存储的方法200的示意性流程图，该方法应用于集群系统，该系统包括主集群和备集群，该第一控制器为该主集群的控制器，该第二控制器为该备集群的控制器。如图3所示，该方法200包括以下内容。

在210中，当该备集群内的第一区域内未合并的文件的个数达到第一阈值时，该第二控制器将该未合并的文件合并以得到合并后的文件，并记录第一序列号，该第一序列号为该合并后的文件中的第一数据的序列号。

在220中，该第二控制器向该第一控制器发送合并后的文件、第一序列号和第一标识信息，该第一标识信息用于指示该合并后的文件在该备集群内的区域号为第一区域号。

在230中，该第一控制器接收该第二控制器发送的合并后的文件、第一序列号和第一标识信息。

在240中，该第一控制器根据该第一序列号，确定该合并后的文件中最后一个写入的数据的序列号。

在250中，该第一控制器比较该合并后的文件中最后一个写入的数据的序列号和未合并的文件中最后一个写入的数据的序列号，该未合并的文件为该主集群内区域号是该第一区域号的文件。

在260中，该第一控制器在当该未合并的文件中最后一个写入的数据的序列号小于该合并后的文件中最后一个写入的数据的序列号时，删除该未合并的文件。

在270中，该第一控制器在该主集群内，存储该合并后的文件。

因此，在本申请实施例中，通过在当该备集群内的第一区域内未合并的文件的个数达到第一阈值时，该第二控制器将该未合并的文件合并以得到合并后的文件，并记录第一序列号，然后该第二控制器将该合并后的文件、第一序列号和第一标识信息发送给该第一控制器，该第一以控制器根据该第一序列号，确定该合并后的文件中最后一个写入的数据的序列号，该第一控制器比较该合并后的文件中最后一个写入的数据的序列号和未合并的文件中最后一个写入的数据的序列号，在当该未合并的文件中最后一个写入的数据的序列号小于该合并后的文件中最后一个写入的数据的序列号时，删除该未合并的文件，存储该合并后的文件。从而避免了主集群的第一控制器进行合并操作。因此，避免了在执行compaction的过程中带来很大的带宽压力以及短时间的IO压力和对计算能力的消耗，进而提高了主集群的HBase性能，改善了用户体验。

应理解，在本申请中的区域，可以表示为Region，但还包括其他的表示方式。

可选地，该方法200还包括：在该主集群内，将该合并后的文件的区域号设置为该第一区域号。

可选地，该第一序列号为该合并后的文件中的最后一个写入的数据的序列号。

具体而言，在每一条数据在写入时都会记录有一个序列号，该序列号按照递增的顺序排列。该第二控制器在进行文件合并时，会记录最后一个写入的数据的序列号，也就是记录了当前最大的一个序列号。

应理解，该第一序列号还可以为该合并后的文件中的第一数据的序列号。该第一数据可以是该合并后的文件中的最后一个写入的数据，也可以是该合并后的文件中的第一个写入的数据，或者还可以是该合并后的文件中的任一写入的数据。

例如，可以根据事先约定，该第二控制器记录倒数第二个数据的序列号，在该第一控制器收到该序列号时，根据事先的约定，确定该序列号为合并的文件中倒数第二个数据的序列号，因此可以给该序列号加1得到该合并的文件中最后一个写入的数据的序列号。

又例如，在没有事先约定时，该第二控制器向该第一控制器发送该第一序列号时，同时携带一个参数，该参数用于指示该第一数据与该合并后的文件中最后一个写入的数据的序列号的差值。该第一控制器在接收到该第一序列号和该参数时，根据该第一序列号和该参数，确定该合并的文件中最后一个写入的数据的序列号。

可选地，在该接收第二控制器发送的合并后的文件、第一序列号和第一标识信息之前，该方法还包括：该第一控制器生成第一日志，该第一日志包括该主集群内的区域号为该第一区域号的第一区域的信息，该第一区域的信息包括该第一区域关联的该未合并的文件；向该第二控制器发送该第一日志。

具体而言，当主集群的该第一区域发生变化时，会生成第一日志，该第一控制器将该第一日志发送给该第二控制器，用于该第二控制器根据该第一日志，生成该备集群的该第一区域。

可选地，该第一日志包括该第一区域的起始键(start key)和结束键(end key)。

例如，在HBase系统中，Region的视图信息存储在meta表中，该meta表保存有维护集群的一些信息以及集群的架构。当主集群的Region的视图信息发生改变时，会生成WAL日志，该第一控制器向该第二控制器发送该WAL日志，将改变的Region的视图信息可以同步到该第二控制器，该第二控制器回放该WAL日志，根据改变的Region的视图信息生成备集群的Region。

可选地，该第二控制器接收该第一控制器发送的第一日志，该第一日志包括该主集群内的区域号为该第一区域号的第一区域的信息，该第一区域的信息包括该第一区域关联的该未合并的文件；回放该第一日志，获取该第一区域的信息；根据该第一区域的信息，关联备集群内的区域号为该第一区域号的第一区域和备集群内的该未合并的文件。

可选地，在该接收第二控制器发送的合并后的文件、第一序列号和第一标识信息之前，该方法还包括：生成第二日志，该第二日志包括该未合成的文件的数据；向该第二控制器发送该第二日志；根据该未合成的文件的数据，生成该未合并的文件。

可选地，该第二控制器接收该第一控制器发送的第二日志，该第二日志包括该未合成的文件的数据；根据该未合成的文件的数据，生成该未合并的文件。

图4是根据本申请的一种数据存储的方法300的示意性流程图，该方法应用于集群系统，该系统包括主集群和备集群，该第三控制器为该主集群的控制器，用于管理主集群系统，该第四控制器为该备集群的控制器，用于管理备集群系统，该第一服务器用于存储该主集群的数据，该第二服务器用于存储该备集群的数据，该第三控制器管理该第一服务器，该第四控制器管理该第一服务器。应理解，图4示出了当主备集群分开部署控制系统和存储系统时的数据存储的方法。如图4所示，该方法300包括以下内容。

在301中，当该备集群内的第一区域内未合并的文件的个数达到第一阈值时，该第四控制器将该未合并的文件合并以得到合并后的文件，并记录第一序列号，该第一序列号为该合并后的文件中的第一数据的序列号。

在302中，该第四控制器向该第二服务器发送该合并后的文件、该第一序列号。

在303中，该第二服务器接收该合并后的文件、该第一序列号，并存储该合并后的文件。

在304中，该第二服务器并向该第一服务器器发送合并后的文件、第一序列号和第一标识信息，该第一标识信息用于指示该合并后的文件在该备集群内的区域号为第一区域号。

在305中，该第一服务器器接收该第二服务器发送的合并后的文件、第一序列号和第一标识信息。

在306中，该第四控制器向该第三控制器发送第一消息，该第一消息用于指示该第二服务器已经向该第一服务器发送了该合并后的文件、第一序列号和第一标识信息。

在307中，该第三控制器接收到该第一消息后，向该第一服务器发送第二消息，该第二消息用于指示该第一服务器删除操作。

在308中，该第一服务器接收该第二消息，并且根据该第一序列号，确定该合并后的文件中最后一个写入的数据的序列号。

在309中，该第一服务器比较该合并后的文件中最后一个写入的数据的序列号和未合并的文件中最后一个写入的数据的序列号，该未合并的文件为该主集群内区域号是该第一区域号的文件。

在310中，该第一服务器器在当该未合并的文件中最后一个写入的数据的序列号小于该合并后的文件中最后一个写入的数据的序列号时，删除该未合并的文件。

在311中，该第一服务器在该主集群内，存储该合并后的文件。

因此，在本申请实施例中，通过在该备集群内进行文件的合并的第一区域内未合并的文件的个数达到第一阈值时，该第二服务器将该未合并的文件合并以得到合并后的文件，并记录第一序列号，然后该第二服务器将该合并后的文件、第一序列号和第一标识信息发送给该第一服务器，该第一服务器在接到删除命令时，根据该第一序列号，确定该合并后的文件中最后一个写入的数据的序列号，该第三控制器比较该合并后的文件中最后一个写入的数据的序列号和未合并的文件中最后一个写入的数据的序列号，在当该未合并的文件中最后一个写入的数据的序列号小于该合并后的文件中最后一个写入的数据的序列号时，删除该未合并的文件，存储该合并后的文件。从而避免了主集群的第三控制器进行合并操作。因此，避免了在执行compaction的过程中带来很大的带宽压力以及短时间的IO压力和对计算能力的消耗，进而提高了主集群的HBase性能，改善了用户体验。

应理解，在本申请中的区域，可以表示为Region，但还包括其他的表示方式。

可选地，该方法300还包括：在该主集群内，该第三控制器将该合并后的文件的区域号设置为该第一区域号。

可选地，该第一序列号为该合并后的文件中的最后一个写入的数据的序列号。

具体而言，在每一条数据在写入时都会记录有一个序列号，该序列号按照递增的顺序排列。该第四控制器在进行文件合并时，会记录最后一个写入的数据的序列号，也就是记录了当前最大的一个序列号。

关于该第一序列号的描述可以参考方法200中的相关描述，为了避免重复，此处不再赘述。

可选地，该方法还包括：该第三控制器生成第一日志，该第一日志包括该主集群内的区域号为该第一区域号的第一区域的信息，该第一区域的信息包括该第一区域关联的该未合并的文件；向该第四控制器发送该第一日志。

具体而言，当主集群的该第一区域发生变化时，会生成第一日志，该第三控制器将该第一日志发送给该第四控制器，用于该第四控制器根据该第一日志，生成该备集群的该第一区域。

例如，在HBase系统中，Region的视图信息存储在meta表中，该meta表保存有维护集群的一些信息以及集群的架构。当主集群的Region的视图信息发生改变时，会生成WAL日志，该第三控制器向该第四控制器发送该WAL日志，将改变的Region的视图信息可以同步到该第四控制器，该第四控制器回放该WAL日志，根据改变的Region的视图信息生成备集群的Region。

可选地，该第四控制器接收该第三控制器发送的第一日志，该第一日志包括该主集群内的区域号为该第一区域号的第一区域的信息，该第一区域的信息包括该第一区域关联的该未合并的文件；回放该第一日志，获取该第一区域的信息；根据该第一区域的信息，关联备集群内的区域号为该第一区域号的第一区域和备集群内的该未合并的文件。

可选地，该方法还包括：生成第二日志，该第二日志包括该未合成的文件的数据；向该第四控制器发送该第二日志；根据该未合成的文件的数据，生成该未合并的文件。

可选地，该第四控制器接收该第三控制器发送的第二日志，该第二日志包括该未合成的文件的数据；根据该未合成的文件的数据，生成该未合并的文件。

为了更好地理解本申请实施例，现在结合图5，对本申请的一种数据存储的方法进行描述，如图5所示，主集群划分了区域01和区域02，在区域01下记录的最新存入的数据的序列ID为26000。备集群的区域划分与该主集群保持一致，也是划分了区域01和区域02，在区域01下记录的最新存入的数据的序列ID为26000。在备集群执行合并操作，将序列号小于或等于20000的文件合并为一个文件，并且记录合并的文件的最后一个序列号20000。备集群将合并后的文件和序列号20000发送给主集群，主集群删除所有序列号小于20000的文件，并且主集群将合并后的文件与主集群的区域01关联。

应理解，图五是从集群系统进行描述的，集群中的控制器或者服务器的具体执行动作可以参考方法200或方法300，此处不再赘述。

图6是根据本申请的控制器的示意性框图。如图6所示，该控制器400包括以下内容。

接收模块410，用于接收该第二控制器发送的合并后的文件、第一序列号和第一标识信息，该第一序列号为该合并后的文件中的第一数据的序列号，该第一标识信息用于指示该合并后的文件在该备集群内的区域号为第一区域号。

处理模块420，用于根据该第一序列号，确定该合并后的文件中最后一个写入的数据的序列号。

该处理模块420还用于比较该合并后的文件中最后一个写入的数据的序列号和未合并的文件中最后一个写入的数据的序列号，该未合并的文件为该主集群内区域号是该第一区域号的文件。

该处理模块420还用于当该未合并的文件中最后一个写入的数据的序列号小于该合并后的文件中最后一个写入的数据的序列号时，删除该未合并的文件。

存储模块430，用于在该主集群内，存储该合并后的文件。

可选地，该处理模块420还用于：在该主集群内，将该合并后的文件的区域号设置为该第一区域号。

可选地，该第一序列号为该合并后的文件中的最后一个写入的数据的序列号。

可选地，该处理模块420还用于生成第一日志，该第一日志包括该主集群内的区域号为该第一区域号的第一区域的信息，该第一区域的信息包括该第一区域关联的该未合并的文件；该控制器还包括：发送模块，用于向该第二控制器发送该第一日志。

可选地，该处理模块420还用于生成第二日志，该第二日志包括该未合成的文件的数据；该发送模块还用于向该第二控制器发送该第二日志；该存储模块还用于根据该未合成的文件的数据，生成该未合并的文件。

上述控制器400与方法200实施例中的第一控制器完全对应，由相应的模块执行相应的步骤，具体可以参考相应的方法实施例。

需要说明的是，该接收模块410、该处理模块420和该存储模块430可以分开设置，也可以集成在一起，以一个处理芯片实现。

图7是根据本申请的控制器的示意性框图。如图7所示，该控制器500包括：

处理模块510，用于当所述备集群内的第一区域内未合并的文件的个数达到第一阈值时，将所述未合并的文件合并以得到合并后的文件，并记录第一序列号，所述第一序列号为所述合并后的文件中的第一数据的序列号；

发送模520，用于向所述第一控制器发送合并后的文件、第一序列号和第一标识信息，所述第一标识信息用于指示所述合并后的文件在所述备集群内的区域号为第一区域号。

可选地，该控制器还包括：接收模块，用于接收该第一控制器发送的第一日志，该第一日志包括该主集群内的区域号为该第一区域号的第一区域的信息，该第一区域的信息包括该第一区域关联的该未合并的文件；该处理模块还用于回放该第一日志，获取该第一区域的信息；该处理模块还用于根据该第一区域的信息，关联备集群内的区域号为该第一区域号的第一区域和备集群内的该未合并的文件。

可选地，该接收模块还用于接收该第一控制器发送的第二日志，该第二日志包括该未合成的文件的数据；该处理模块还用于根据该未合成的文件的数据，生成该未合并的文件。

上述控制器500与方法200实施例中的第二控制器完全对应，由相应的模块执行相应的步骤，具体可以参考相应的方法实施例。

需要说明的是，处理模块510和发送模块520可以分开设置，也可以集成在一起，以一个处理芯片实现。

图8示出了本申请提供的装置600的示意性框图。该装置600包括：

存储器610、处理器620、输入/输出接口630。其中，存储器610、处理器620和输入/输出接口630通过内部连接通路相连，该存储器610用于存储程序指令，该处理器620用于执行该存储器610存储的程序指令，以控制输入/输出接口630接收输入的数据和信息，输出操作结果等数据。

可选地，当该代码被执行时，该处理器620可以实现方法200或方法300的各个操作，为了简洁，在此不再赘述。此时，该装置600可以是第一控制器也可以是第二控制器，。

应理解，在本申请实施例中，该处理器620可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器620还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

输入/输出接口630可以是用于实现信号发送和接收功能。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种数据存储的方法，所述方法应用于集群系统，所述集群系统包括主集群和备集群，所述方法由第一控制器执行，所述第一控制器为所述主集群的控制器，第二控制器为所述备集群的控制器，其特征在于，包括：

接收所述第二控制器发送的合并后的文件、第一序列号和第一标识信息，所述第一序列号为所述合并后的文件中的第一数据的序列号，所述第一标识信息用于指示所述合并后的文件在所述备集群内的区域号为第一区域号；

根据所述第一序列号，确定所述合并后的文件中最后一个写入的数据的序列号；

比较所述合并后的文件中最后一个写入的数据的序列号和未合并的文件中最后一个写入的数据的序列号，所述未合并的文件为所述主集群内区域号是所述第一区域号的文件；

当所述未合并的文件中最后一个写入的数据的序列号小于所述合并后的文件中最后一个写入的数据的序列号时，删除所述未合并的文件；

在所述主集群内，存储所述合并后的文件。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述主集群内，将所述合并后的文件的区域号设置为所述第一区域号。

3.根据权利要求1所述的方法，其特征在于，所述第一序列号为所述合并后的文件中的最后一个写入的数据的序列号。

4.根据权利要求1至3中任一项所述的方法，其特征在于，在所述接收第二控制器发送的合并后的文件、第一序列号和第一标识信息之前，所述方法还包括：

生成第一日志，所述第一日志包括所述主集群内的区域号为所述第一区域号的第一区域的信息，所述第一区域的信息包括所述第一区域关联的所述未合并的文件；

向所述第二控制器发送所述第一日志。

5.根据权利要求4所述的方法，其特征在于，在所述接收第二控制器发送的合并后的文件、第一序列号和第一标识信息之前，所述方法还包括：

生成第二日志，所述第二日志包括所述未合并的文件的数据；

向所述第二控制器发送所述第二日志；

根据所述未合并的文件的数据，生成所述未合并的文件。

6.一种数据存储的方法，所述方法应用于集群系统，所述集群系统包括主集群和备集群，所述方法由第二控制器执行，所述第二控制器为所述备集群的控制器，第一控制器为所述主集群的控制器，其特征在于，包括：

当所述备集群内的第一区域内未合并的文件的个数达到第一阈值时，将所述未合并的文件合并以得到合并后的文件，并记录第一序列号，所述第一序列号为所述合并后的文件中的第一数据的序列号；

向所述第一控制器发送合并后的文件、第一序列号和第一标识信息，所述第一标识信息用于指示所述合并后的文件在所述备集群内的区域号为第一区域号。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

接收所述第一控制器发送的第一日志，所述第一日志包括所述主集群内的区域号为所述第一区域号的第一区域的信息，所述第一区域的信息包括所述第一区域关联的所述未合并的文件；

回放所述第一日志，获取所述第一区域的信息；

根据所述第一区域的信息，关联备集群内的区域号为所述第一区域号的第一区域和备集群内的所述未合并的文件。

8.根据权利要求6或7所述的方法，其特征在于，所述方法还包括：

接收所述第一控制器发送的第二日志，所述第二日志包括所述未合并的文件的数据；

根据所述未合并的文件的数据，生成所述未合并的文件。

9.一种控制器，所述控制器应用于集群系统，所述集群系统包括主集群和备集群，所述控制器为第一控制器，所述第一控制器为所述主集群的控制器，第二控制器为所述备集群的控制器，其特征在于，包括：

接收模块，用于接收所述第二控制器发送的合并后的文件、第一序列号和第一标识信息，所述第一序列号为所述合并后的文件中的第一数据的序列号，所述第一标识信息用于指示所述合并后的文件在所述备集群内的区域号为第一区域号；

处理模块，用于根据所述第一序列号，确定所述合并后的文件中最后一个写入的数据的序列号；

所述处理模块还用于比较所述合并后的文件中最后一个写入的数据的序列号和未合并的文件中最后一个写入的数据的序列号，所述未合并的文件为所述主集群内区域号是所述第一区域号的文件；

所述处理模块还用于当所述未合并的文件中最后一个写入的数据的序列号小于所述合并后的文件中最后一个写入的数据的序列号时，删除所述未合并的文件；

存储模块，用于在所述主集群内，存储所述合并后的文件。

10.根据权利要求9所述的控制器，其特征在于，所述控制器还包括：

在所述主集群内，将所述合并后的文件的区域号设置为所述第一区域号。

11.根据权利要求9所述的控制器，其特征在于，所述第一序列号为所述合并后的文件中的最后一个写入的数据的序列号。

12.根据权利要求9至11中任一项所述的控制器，其特征在于，所述处理模块还用于生成第一日志，所述第一日志包括所述主集群内的区域号为所述第一区域号的第一区域的信息，所述第一区域的信息包括所述第一区域关联的所述未合并的文件；

所述控制器还包括：

发送模块，用于向所述第二控制器发送所述第一日志。

13.根据权利要求12所述的控制器，其特征在于，所述处理模块还用于生成第二日志，所述第二日志包括所述未合并的文件的数据；

所述发送模块还用于向所述第二控制器发送所述第二日志；

所述存储模块还用于根据所述未合并的文件的数据，生成所述未合并的文件。

14.一种数据存储的控制器，所述控制器应用于集群系统，所述集群系统包括主集群和备集群，所述控制器为第二控制器执行，所述第二控制器为所述备集群的控制器，第一控制器为所述主集群的控制器，其特征在于，包括：

处理模块：用于当所述备集群内的第一区域内未合并的文件的个数达到第一阈值时，将所述未合并的文件合并以得到合并后的文件，并记录第一序列号，所述第一序列号为所述合并后的文件中的第一数据的序列号；

发送模块，用于向所述第一控制器发送合并后的文件、第一序列号和第一标识信息，所述第一标识信息用于指示所述合并后的文件在所述备集群内的区域号为第一区域号。

15.根据权利要求14所述的控制器，其特征在于，所述控制器还包括：

接收模块，用于接收所述第一控制器发送的第一日志，所述第一日志包括所述主集群内的区域号为所述第一区域号的第一区域的信息，所述第一区域的信息包括所述第一区域关联的所述未合并的文件；

所述处理模块还用于回放所述第一日志，获取所述第一区域的信息；

所述处理模块还用于根据所述第一区域的信息，关联备集群内的区域号为所述第一区域号的第一区域和备集群内的所述未合并的文件。

16.根据权利要求15所述的控制器，其特征在于，

所述接收模块还用于接收所述第一控制器发送的第二日志，所述第二日志包括所述未合并的文件的数据；

所述处理模块还用于根据所述未合并的文件的数据，生成所述未合并的文件。

17.一种系统，所述系统包括如权利要求9至13中任一项所述的控制器和如权利要求14至16中任一项所述的控制器。

Images