CN115657966B - 一种关联块存储的应用系统和方法 - Google Patents

Abstract

本发明涉及关联块存储领域，具体来说是一种关联块存储的应用系统和方法。关联块存储的应用系统包括文件夹模板，文件夹模板在创建文件夹的时候使用，使用了文件夹模板的文件夹会拥有模板中包含的文件夹以及文件；文件夹，文件夹具有层级结构；发布包，发布包是发布管理系统给用户提供文件的最终形式；当在发布包中直接上传文件的时候，这些直接上传的文件就是自身文件，当在发布包中引用文件夹模板的时候，来自引用的文件夹模板里面的文件就是公共模块文件；本发明同现有技术相比优点在于：支持自定义公共模板文件；在存储上，某个安装包中的公共模块文件和其他引用文件，通过逻辑上的设计关联整合，不存储真正的文件，这样可以极大的节省存储。

Description

一种关联块存储的应用系统和方法

技术领域

本发明涉及关联块存储领域，具体来说是一种关联块存储的应用系统和方法。

背景技术

线上管理产品项目的安装相关文件，随着时间的迁移，存储容量要求越来越高，扩展性差。同时相关文件数量增多，导致需要通过索引来修改文件解决问题，耗时耗力，效率极低。

发明内容

本发明要解决的技术问题是克服现有技术的不足，提供一种能够通过逻辑上的设计关联整合，不存储真正的文件的应用系统和方法以达到节省存储容量，进一步的，同时逻辑上的关联，可达到一处更改，多处生效。

为了实现上述目的，设计一种关联块存储的应用系统，包括文件夹模板，文件夹模板在创建文件夹的时候使用，使用了文件夹模板的文件夹会拥有模板中包含的文件夹以及文件；文件夹，文件夹具有层级结构；发布包，发布包是发布管理系统给用户提供文件的最终形式；当在发布包中直接上传文件的时候，这些直接上传的文件就是自身文件，当在发布包中引用文件夹模板的时候，来自引用的文件夹模板里面的文件就是公共模块文件，当在发布包中引用其他发布包的时候，来自引用的其他发布包里面的文件就是其他引用文件；文件信息，文件信息是来自于文件上传时保存的信息；节点关联资源，对文件、文件夹、模板文件夹和发布包进行组织、组合，最终形成完整的发布包。

本发明还具有如下优选的技术方案：

1.所述文件夹包括父节点、文件夹类型和特殊节点，所述父节点为该文件夹的上一级文件夹，文件夹类型有普通文件夹、模板文件夹、模板内文件夹、发布包、游离的文件夹，有特殊节点的文件夹用于挂载外部链接资源。

2.所述发布包包括节点id、根节点id和父节点id，所述节点id为发布包的节点id，所述根节点id为发布包的最高一级的节点id，所述父节点id为发布包的上一级的节点id，父节点是一个文件夹、一个模板文件夹、或者另一个发布包。

3.文件上传采用分片上传或者不分片上传的方式，在文件夹、模板文件夹、发布包下面进行文件上传，如果发布包是引用的发布包，则不允许上传文件。

4.所述文件信息包括文件名、文件大小、扩展名、类型、唯一标识、下载次数、文件夹id、存储方式、分片标识和状态。

5.所述文件是组成节点的最小单位，一个文件夹或发布包下面没有文件或有多个文件；在文件夹下面新建文件夹、新建发布包、引用模板文件夹、引用发布包，新建的文件夹和发布包用于对其下的内容进行修改、新增或删除，而引用的发布包只允许下载或删除；文件夹模板用于在创建文件夹或发布包的时候引用，引用了文件夹模板的文件夹会拥有模板中包含的文件夹以及文件，管理员在文件夹模板管理页面进行模板文件夹的相关操作，包括查看、新增、修改、删除模板文件夹信息；发布包是发布管理系统给用户提供文件的最终形式，由文件夹、模板文件夹、文件、其他发布包组成，这些资源自由组合，组成发布包平键端面设有钻螺纹。

6.还包括文件分片信息，文件分片上传时，会生成文件分片信息，文件分片信息通过文件关联分片表与文件信息进行关联，一个文件会有一个或多个文件分片信息；当进行文件下载的时候，系统会根据文件信息查找到文件分片信息，然后将其对应的分片合并为完整的文件提供给用户。

7.所述文件分片信息包括文件块第几块、当前块的保存路径、块所属文件的原始文件名、原文件唯一标识、分块大小、当前块大小、原始文件总大小、总块数、起始下标。

还包括关联块存储的应用系统的应用方法，所述方法具体如下：

S1.在文件夹A上选择引用模板，选择要引用的模板文件夹，这时会向后端发送以下参数：文件夹A的id、引用的模板文件夹的id或新的文件夹名；

S2.后端接收到请求，首先进行校验，如果数据合法，则会向数据库中保存一条新的文件夹的数据，这些数据包括文件夹名称、父节点id、是否为特殊节点、外部链接资源主键、外部链接类型；

S3.如果要查看刚才通过引用模板的方式创建的文件夹，在页面对应的位置点击该文件夹即可，这时会向后端发送请求，主要参数就是这个文件夹的id；

S4.后端接收到请求，会根据文件夹id查询出这个文件夹的详细信息，判断这个文件夹是特殊节点，进而根据外部链接资源主键查询出真正的文件夹和文件夹里面的文件的信息，将数据返回给前端进行展示。

还包括关联块存储的应用系统的应用方法，所述方法具体如下：

S1.上传文件时，先调用接口校验文件名是否重复，如果重复则不允许上传；

S2.前端是通过组件simple-uploader进行文件处理并上传的，如果上一步文件名不重复，则对文件进行md5处理，根据文件内容生成唯一的identifier，称作原文件的唯一标识，每个分块的文件块都会有这个唯一标识；

S3.调用检查接口，根据原文件的唯一标识查找判断上传了哪些块，并返回已上传的块的编号，上传时这些已上传的块将被跳过；

S4.组件对文件进行分块，每个分块都会进行判断，根据上一步获取到的已上传的块的编号数组去判断，如果这次上传的文件曾经在其他文件夹已经进行过上传，第3步会将该文件所有的分块编号返回，经过判断，会直接进行第5步的操作，并不会将文件重新上传一遍；

S5.所有块上传成功之后，就会调用allUploaded接口将文件信息存储起来，同时也会存储文件信息和文件分片信息之间的关联信息，接口中会根据原文件的唯一标识检查分块的完整性，如果分块数量是完整的才会存储文件信息，否则会提示上传失败。

本发明同现有技术相比，其优点在于：

1.支持自定义公共模板文件；

2.一个完整的安装包文件夹包括：公共模块文件，其他引用文件，自身文件的组成，前两者在此处只读，不可修改；

3.在存储上，某个安装包中的公共模块文件和其他引用文件，通过逻辑上的设计关联整合，不存储真正的文件，这样可以极大的节省存储；

4.同时逻辑上的关联，可达到一处更改，多处生效；

5.每个文件进行分块存储，通过一定的算法来生成块和管理块之间的关系，安全性也更高；

6.在下载安装包的时候，根据以上的逻辑进行关联可以查找整合成完整的安装包；

7.在存储服务器的扩展上，除了直接增加已有服务器存储空间，也可随时横向增加服务器，而不影响已有的。

附图说明

图1是本发明的组成示意图。

具体实施方式

下面结合附图对本发明作进一步说明，本发明的结构和原理对本专业的人来说是非常清楚的。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示：

1.文件夹模板（公共模块文件）

文件夹模板用于在创建文件夹的时候使用，使用了文件夹模板的文件夹会拥有模板中包含的文件夹以及文件。管理员可以在文件夹模板管理页面进行模板文件夹的相关操作，包括查看、新增、修改、删除模板文件夹信息。

2.文件夹

文件夹可以将文件、文件夹、模板文件夹、发布包以一定的规则、格式组织起来，是有层级结构的。

对文件夹的操作包括：新建文件夹、引用模板文件夹、引用发布包、修改名称、删除文件夹、下载文件夹、获取文件夹信息。

包含的属性有：

父节点：该文件夹的上一级文件夹；

文件夹类型：文件夹类型有普通文件夹、模板文件夹、模板内文件夹、发布包、游离的文件夹；

是否特殊节点：如果为特殊节点，则该文件夹可以挂载外部链接资源。

3.发布包（安装包）

发布包是发布管理系统给用户提供文件的最终形式，可以由文件夹、模板文件夹、文件、其他发布包组成，这些资源可以自由组合，组成发布包。

当在【发布包】中直接上传文件的时候，这些直接上传的文件就是【自身文件】；

当在【发布包】中引用【文件夹模板】的时候，来自引用的【文件夹模板】里面的文件就是公共模块文件；

当在【发布包】中引用其他【发布包】的时候，来自引用的其他【发布包】里面的文件就是【其他引用文件】。

对发布包的操作包括：查询指定的发布包、查询发布包列表、新增发布包、引用模板、引用发布包、更新发布包、删除发布包、下载发布包。

包含的属性有：

名称：发布包的名称；

编号：发布包的编号；

版本：发布包的版本号；

节点id：发布包的节点id；

根节点id：发布包的最高一级的节点id；

父节点id：发布包的上一级的节点id，父节点可以是一个文件夹、一个模板文件夹、或者另一个发布包。

4.文件信息

文件信息是来自于文件上传时保存的信息。

文件上传可采用分片上传或者不分片上传的方式，上传方式不同，文件存储的方式也会不同。

可以在文件夹、模板文件夹、发布包下面进行文件上传，如果发布包是引用的发布包，则不允许上传文件。

系统支持的对文件的操作包括：文件分片上传、文件不分片上传、查询展示文件信息、删除文件、下载单个文件、打包下载文件、文件预览。

包含的属性有：

文件名：文件的名称；

文件大小：文件的大小，单位为字节；

扩展名：文件的后缀名；

类型：网页的内容类型，比如application/gzip，用于决定文件下载时以什么形式、编码读取这个文件；

唯一标识：通过唯一标识即可找到这个文件；

下载次数：文件的历史下载次数，每下载一次，数值就会增加1；

文件夹id：文件所属的文件夹的id；

存储方式：文件存储的方式，如FAST_FDFS方式；

分片标识：是否分片存储；

状态：文件的状态，可以是普通状态、游离状态、模板内文件。

5.节点关联资源

有四种资源类型：文件、文件夹、模板文件夹、发布包。

发布管理系统可通过节点的形式对这四种资源进行组织、组合，最终形成完整的发布包。

文件：文件是组成节点的最小单位，一个文件夹或发布包下面可以没有文件，也可以有多个文件。

文件夹：可以在文件夹下面新建文件夹、新建发布包、引用模板文件夹、引用发布包，新建的文件夹和发布包可以对其下的内容进行修改、新增和删除等操作，而引用的发布包只允许下载或删除。

模板文件夹：文件夹模板用于在创建文件夹或发布包的时候引用，引用了文件夹模板的文件夹会拥有模板中包含的文件夹以及文件。管理员可以在文件夹模板管理页面进行模板文件夹的相关操作，包括查看、新增、修改、删除模板文件夹信息。

发布包：发布包是发布管理系统给用户提供文件的最终形式，可以由文件夹、模板文件夹、文件、其他发布包组成，这些资源可以自由组合，组成发布包。

逻辑上关联整合，可以不存储真正的文件：当我们在一个文件夹里面引用模板文件夹、引用发布包的时候，可以很方便将这些模板文件、发布包添加到这个文件夹。这个时候，并不是将文件本身又复制了一份，而是通过给文件夹添加外部链接的形式与真正的文件夹建立联系。

使用场景为：

S1.打开页面，在文件夹A上面单击右键，选择“引用模板”，在弹出的窗口中选择要引用的模板文件夹，如果需要重新命名，则可以填写新的文件夹名称，点击确定按钮，这时会向后端发送以下参数：文件夹A的id、引用的模板文件夹的id、新的文件夹名（如果有）；

S2.后端接收到请求，首先进行校验，如果数据合法，则会向数据库中保存一条新的文件夹的数据，这些数据包括文件夹名称（如果没有重命名，则沿用模板文件夹的名称）、父节点id（上级文件夹的id，在本场景中也就是文件夹A的id）、是否为特殊节点（是）、外部链接资源主键（引用的模板文件夹的id）、外部链接类型（在本场景中为模板类型，在其他情况下还包括发布包、文件夹等类型）；

S3.如果要查看刚才通过引用模板的方式创建的文件夹，在页面对应的位置点击该文件夹即可，这时会向后端发送请求，主要参数就是这个文件夹的id；

S4.后端接收到请求，会根据文件夹id查询出这个文件夹的详细信息，判断这个文件夹是特殊节点，进而根据外部链接资源主键查询出真正的文件夹和文件夹里面的文件的信息，将数据返回给前端进行展示。

逻辑上的关联，可以达到一处更改，多处生效：以模板文件夹举例，如果一个模板文件夹已在多个地方被引用，这时通过模板管理页面对这个模板文件夹进行更改，比如上传一个新的文件，那么此时去被引用的地方查看，将会看到那里同样多了一个新的文件，这样的关联逻辑已经在上一个问题的场景第4步作出说明。

6.文件分片信息

文件分片上传，可以提升上传的效率、稳定性和可靠性，文件分片上传时，会生成文件分片信息，文件分片信息通过文件关联分片表与文件信息进行关联，一个文件会有一个或多个文件分片信息。

当进行文件下载的时候，系统会根据文件信息查找到文件分片信息，然后将其对应的分片合并为完整的文件提供给用户。

包含的属性有：

文件块第几块：文件下载时将会按照顺序读取文件分片；

当前块的保存路径：当前块在服务器上保存的路径；

块所属文件的原始文件名：原始文件名；

原文件唯一标识：原文件的唯一标识，通过唯一标识可以找到该文件的所有分片；

分块大小：每个分块的大小；

当前块大小：当前块的大小，不会大于每个分块的大小；

原始文件总大小：原始文件的总大小，等于该文件所有分片大小的和；

总块数：文件被分成的总块数，为1表示只分了一块，意思是不分片；

起始下标：当前分块的起始位置；

每个文件进行分块存储，通过一定的算方法来生成块和管理块之间的关系。在下载安装包的时候，根据以上的逻辑进行关联查找整合完整的安装包，这部分的具体的实现手段为：

存储：

S1.上传文件时，先调用接口校验文件名是否重复，如果重复则不允许上传；

S2.前端是通过组件simple-uploader进行文件处理并上传的，如果上一步文件名不重复，则对文件进行md5处理，根据文件内容生成唯一的identifier，称作原文件的唯一标识，每个分块的文件块都会有这个唯一标识；

S3.调用检查接口，根据原文件的唯一标识查找判断上传了哪些块，并返回已上传的块的编号，上传时这些已上传的块将被跳过；

S4.组件对文件进行分块，每个分块都会进行判断，根据上一步获取到的已上传的块的编号数组去判断，例如已上传[2,3]，可文件一共分为4块，1和4没有上传，组件会重新发起上传请求。如果这次上传的文件曾经在其他文件夹已经进行过上传，第3步会将该文件所有的分块编号返回，经过判断，会直接进行第5步的操作，并不会将文件重新上传一遍；

S5.所有块上传成功之后，就会调用allUploaded接口将文件信息存储起来，同时也会存储文件信息和文件分片信息之间的关联信息，接口中会根据原文件的唯一标识检查分块的完整性，如果分块数量是完整的才会存储文件信息，否则会提示上传失败。

查找与读取：

a.下载文件时，调用下载接口；

b.先根据文件的id，查询出文件信息；

c.再根据文件信息中的文件唯一标识查出该文件的按照升序排列的所有文件分块信息；

d.根据文件分块信息将所有分块文件下载到本地服务器，并记录所有分块文件路径；

e.根据分块文件路径，将这些分块文件合并为一个完整的文件，保存在本地服务器；

f.将完整的文件输出到response，至此用户将下载到一个完整的文件。（下载安装包也是这样的逻辑，不同之处在于安装包是多个文件，最后会将多个文件进行打包并提供给用户）。

以上所述，仅为此发明的具体实施方式，但本发明的保护范围不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案和新型的构思加于等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种关联块存储的应用系统，其特征在于包括

文件夹模板，文件夹模板在创建文件夹的时候使用，使用了文件夹模板的文件夹会拥有模板中包含的文件夹以及文件；

文件夹，文件夹具有层级结构；

发布包，发布包是发布管理系统给用户提供文件的最终形式；当在发布包中直接上传文件的时候，这些直接上传的文件就是自身文件，当在发布包中引用文件夹模板的时候，来自引用的文件夹模板里面的文件就是公共模块文件，当在发布包中引用其他发布包的时候，来自引用的其他发布包里面的文件就是其他引用文件；

文件信息，文件信息是来自于文件上传时保存的信息；

节点关联资源，对文件、文件夹、模板文件夹和发布包进行组织、组合，最终形成完整的发布包；

所述文件是组成节点的最小单位，一个文件夹或发布包下面没有文件或有多个文件；

在文件夹下面新建文件夹、新建发布包、引用模板文件夹、引用发布包，新建的文件夹和发布包用于对其下的内容进行修改、新增或删除，而引用的发布包只允许下载或删除；

文件夹模板用于在创建文件夹或发布包的时候引用，引用了文件夹模板的文件夹会拥有模板中包含的文件夹以及文件，管理员在文件夹模板管理页面进行模板文件夹的相关操作，包括查看、新增、修改、删除模板文件夹信息；

发布包是发布管理系统给用户提供文件的最终形式，由文件夹、模板文件夹、文件、其他发布包组成，这些资源自由组合，组成发布包。

2.如权利要求1所述的一种关联块存储的应用系统，其特征在于所述文件夹包括父节点、文件夹类型和特殊节点，所述父节点为该文件夹的上一级文件夹，文件夹类型有普通文件夹、模板文件夹、模板内文件夹、发布包、游离的文件夹，有特殊节点的文件夹用于挂载外部链接资源。

3.如权利要求1所述的一种关联块存储的应用系统，其特征在于所述发布包包括节点id、根节点id和父节点id，所述节点id为发布包的节点id，所述根节点id为发布包的最高一级的节点id，所述父节点id为发布包的上一级的节点id，父节点是一个文件夹、一个模板文件夹、或者另一个发布包。

4.如权利要求1所述的一种关联块存储的应用系统，其特征在于文件上传采用分片上传或者不分片上传的方式，在文件夹、模板文件夹、发布包下面进行文件上传，如果发布包是引用的发布包，则不允许上传文件。

5.如权利要求1所述的一种关联块存储的应用系统，其特征在于所述文件信息包括文件名、文件大小、扩展名、类型、唯一标识、下载次数、文件夹id、存储方式、分片标识和状态。

6.如权利要求1所述的一种关联块存储的应用系统，其特征在于还包括文件分片信息，文件分片上传时，会生成文件分片信息，文件分片信息通过文件关联分片表与文件信息进行关联，一个文件会有一个或多个文件分片信息；当进行文件下载的时候，系统会根据文件信息查找到文件分片信息，然后将其对应的分片合并为完整的文件提供给用户。

7.如权利要求6所述的一种关联块存储的应用系统，其特征在于所述文件分片信息包括文件块第几块、当前块的保存路径、块所属文件的原始文件名、原文件唯一标识、分块大小、当前块大小、原始文件总大小、总块数、起始下标。

8.一种如权利要求1-5任一所述关联块存储的应用系统的应用方法，其特征在于所述方法具体如下：

S1.在文件夹A上选择引用模板，选择要引用的模板文件夹，这时会向后端发送以下参数：文件夹A的id、引用的模板文件夹的id或新的文件夹名；

S2. 后端接收到请求，首先进行校验，如果数据合法，则会向数据库中保存一条新的文件夹的数据，这些数据包括文件夹名称、父节点id、是否为特殊节点、外部链接资源主键、外部链接类型；

S3. 如果要查看刚才通过引用模板的方式创建的文件夹，在页面对应的位置点击该文件夹即可，这时会向后端发送请求，主要参数就是这个文件夹的id；

S4. 后端接收到请求，会根据文件夹id查询出这个文件夹的详细信息，判断这个文件夹是特殊节点，进而根据外部链接资源主键查询出真正的文件夹和文件夹里面的文件的信息，将数据返回给前端进行展示。

9.一种如权利要求6或7所述关联块存储的应用系统的应用方法，其特征在于所述方法具体如下：

S1. 上传文件时，先调用接口校验文件名是否重复，如果重复则不允许上传；

S2. 前端是通过组件simple-uploader进行文件处理并上传的，如果上一步文件名不重复，则对文件进行md5处理，根据文件内容生成唯一的identifier，称作原文件的唯一标识，每个分块的文件块都会有这个唯一标识；

S3. 调用检查接口，根据原文件的唯一标识查找判断上传了哪些块，并返回已上传的块的编号，上传时这些已上传的块将被跳过；

S4. 组件对文件进行分块，每个分块都会进行判断，根据上一步获取到的已上传的块的编号数组去判断，如果这次上传的文件曾经在其他文件夹已经进行过上传，第3步会将该文件所有的分块编号返回，经过判断，会直接进行第5步的操作，并不会将文件重新上传一遍；

S5. 所有块上传成功之后，就会调用allUploaded接口将文件信息存储起来，同时也会存储文件信息和文件分片信息之间的关联信息，接口中会根据原文件的唯一标识检查分块的完整性，如果分块数量是完整的才会存储文件信息，否则会提示上传失败。

Images