[go: up one dir, main page]

CN103810189A - 一种热点消息处理方法及系统 - Google Patents

一种热点消息处理方法及系统 Download PDF

Info

Publication number
CN103810189A
CN103810189A CN201210442720.4A CN201210442720A CN103810189A CN 103810189 A CN103810189 A CN 103810189A CN 201210442720 A CN201210442720 A CN 201210442720A CN 103810189 A CN103810189 A CN 103810189A
Authority
CN
China
Prior art keywords
message
focus
buffer memory
imp
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210442720.4A
Other languages
English (en)
Other versions
CN103810189B (zh
Inventor
胡鸣人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201210442720.4A priority Critical patent/CN103810189B/zh
Priority to PCT/CN2013/086129 priority patent/WO2014071809A1/zh
Publication of CN103810189A publication Critical patent/CN103810189A/zh
Priority to US14/706,804 priority patent/US9612771B2/en
Application granted granted Critical
Publication of CN103810189B publication Critical patent/CN103810189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/42—Mailbox-related aspects, e.g. synchronisation of mailboxes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/10—Program control for peripheral devices
    • G06F13/102—Program control for peripheral devices where the programme performs an interfacing function, e.g. device driver
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明提出一种热点消息处理方法和系统，其中方法包括：接口机接收针对消息的读取请求，判断自身是否已缓存所述消息并且所述消息的缓存时长未超过预先设定的有效时长；如果已缓存且未超过有效时长，则反馈自身缓存的所述消息；如果已缓存但超过有效时长，或者未缓存，则判断所述消息是否为热点消息，如果是，则从存储机提取并缓存所述热点消息，记录缓存时刻，反馈所述热点消息。本发明能够缓解热点消息的海量请求对存储系统造成的压力。

Description

一种热点消息处理方法及系统
技术领域
本发明涉及计算机软件及互联网技术领域，尤其涉及一种热点消息处理方法及系统。
背景技术
用户原创内容（UGC，User Generated Content）技术从产生至今，其应用正在变得越来越广泛，例如，微博就是一种应用广泛的UGC类应用。
UGC应用作为一种自媒体技术，有着和传统媒体类似的新闻性，同时还具有爆炸性的热点效应。一条消息产生之后，有可能在很短的时间内被多次转发，这种消息称为热点消息；热点消息被传播的速度是极快的，瞬间爆发出来的热点冲击对消息的存储系统是一个巨大的考验。为了缓解存储系统的压力，目前通常采用的方法是在存储底层搭建多个数据备份，以达到将请求分流的作用。这种方式的缺点是：
（1）成本提高：多搭建一套数据备份，必然需要额外的机器支出，带来了成本的提升。
（2）备份点不可能太多，否则主点对多个备份点之间的数据同步的代价也会很大。
（3）支撑余量有限：系统能够支撑的最大请求量就是几个备份点的总和，偶尔一次超过这个系统最大支撑的请求量，就有可能会把系统压垮。
发明内容
本发明提供了一种热点消息处理方法，能够缓解热点消息的海量请求对存储系统造成的压力。
本发明还提供了一种热点消息处理系统，能够缓解热点消息的海量请求对存储系统造成的压力。
本发明的技术方案是这样实现的：
一种热点消息处理方法，包括：
接口机接收针对消息的读取请求，判断自身是否已缓存所述消息并且所述消息的缓存时长未超过预先设定的有效时长；如果已缓存且未超过有效时长，则反馈自身缓存的所述消息；
如果已缓存但超过有效时长，或者未缓存，则判断所述消息是否为热点消息，如果是，则从存储机提取并缓存所述热点消息，记录缓存时刻，反馈所述热点消息。
一种热点消息处理系统，包括存储机和一个以上接口机，所述接口机包括：
热点缓存模块，用于缓存热点消息；
处理模块，用于接收针对消息的读取请求，判断热点缓存模块是否已缓存所述消息并且所述消息的缓存时长未超过预先设定的有效时长；如果是，则反馈热点缓存模块缓存的所述消息；否则，判断所述消息是否为热点消息，如果是热点消息，则从存储机提取所述热点消息，将所述热点消息发送至热点缓存模块进行缓存，记录缓存时刻，反馈所述热点消息。
可见，本发明提出的热点消息处理方法和系统，利用系统中已有的大量接口机存储热点消息，实现了利用接口机分担热点请求，缓解了热点请求对存储机造成的压力。
附图说明
图1为本发明提出的热点消息处理方法流程图；
图2为判断消息是否为热点消息的方法流程图；
图3为系统中多个接口机的分布示意图；
图4为接口机和存储机的交互流程示意图；
图5为接口机对消息读取请求的处理流程示意图；
图6为本发明提出的热点消息处理系统结构示意图。
具体实施方式
本发明提出一种热点消息处理方法和系统，整个系统由存储机和多个接口机组成，热点消息在各台接口机上都有缓存，本来应该汇聚于一台存储机上热点请求，经由多台接口机分担，显著减少了对存储机的访问量，减小了存储机的压力。同时，在各台接口机上缓存的热点消息在一定时间过后会失效，以达到存储机数据和接口机缓存数据的一致性。
如图1为本发明提出的热点消息处理方法流程图，包括：
步骤101：接口机接收针对消息的读取请求，判断自身是否已缓存所述消息并且所述消息的缓存时长未超过预先设定的有效时长；如果已缓存且未超过有效时长，则执行步骤102；如果已缓存但超过有效时长，或者未缓存，则执行步骤103；
步骤102：接口机反馈自身缓存的所述消息；
步骤103：判断所述消息是否为热点消息，如果是，则从存储机提取并缓存所述热点消息，记录缓存时刻，反馈所述热点消息。
上述步骤101中，消息的缓存时长为接口机接收到针对所述消息的读取请求的时刻与该消息缓存时刻的时间间隔。
如图2为上述步骤103中判断消息是否为热点消息的方法流程图，包括：
步骤201：判断当前时刻与所述消息对应计数器的清零时刻的间隔是否超过预先设定的计数周期，如果已超过，则执行步骤202；如果未超过，则执行步骤203；
步骤202：判定所述消息不是热点消息，将所述消息的计数器清零，重新对所述消息进行计数，并记录清零时刻；
步骤203：继续对所述消息进行计数，判断计数结果是否超过预先设定的阈值，如果未超过阈值，则判定所述消息不是热点消息；如果超过阈值，则判定所述消息为热点消息。
需要说明的是，当接口机接收到针对某条消息的第一个读取请求时，由于之前没有对该消息进行计数，则接口机首先设置该消息对应的计数器，将设置时刻记为计数器的清零时刻。
上述步骤103中，接口机从存储机提取热点消息的方式为：接口机向存储机发送包含热点标志位的提取命令，接收存储机反馈的回应消息，该回应消息包含所述热点标志位及接口机要求提取的热点消息；接口机根据回应消息中的热点标志位识别出热点消息，并提取该热点消息。
上述步骤103中，接口机从存储机提取到热点消息时，如果接口机已缓存该热点消息的旧版本，则在缓存提取的热点消息的同时覆盖该热点消息的旧版本。
以下举具体的实施例，对本发明分阶段进行解释。
实施例一：热点消息的确定
如图3为系统中多个接口机的分布示意图，系统中分布着多个接口机，每个接口机均能够接收到上层逻辑的访问，并且能够从存储机提取消息。上层逻辑对各个接口机进行访问，要求读取消息；接口机接收到读取请求后，首先确定出该消息的存储位置，之后从存储机的该存储位置中读取消息并反馈给上层逻辑。
在本实施例中，每个接口机都对热点消息进行识别。理想状态下，上层逻辑对各个接口机的访问均匀，这样一旦热点消息出现，落到各个接口机上的访问请求的概率应该是均等的；当然，即使上层逻辑对各个接口机的访问不完全均匀，热点消息只在部分接口机上存在备份，也同样能够实现本发明缓解存储系统压力的目的。
各台接口机都可以使用计数器，用来统计某个消息在计数周期内的读取请求个数，一旦个数超过预先设定的阈值，则将该消息确定为热点消息。例如，预先设定的计数周期可以设置为2秒或3秒。在收到针对某消息的读取请求时，如果当前时刻与该计数器的清零时刻的间隔超过预先设定的计数周期，则将计数器清零，重新对该消息计数，并记录清零时刻。
实施例二：热点消息的读取和缓存
如图4为接口机和存储机的交互流程示意图。包括：
步骤401：接口机确定出某个消息为热点消息后，向存储机发送的针对热点消息的提取命令中将包含热点标志位；
步骤402：存储机向接口机反馈的回应消息中，包含该热点标志位及此热点消息的全量数据；
步骤403：接口机根据回应消息中的热点标志位识别出热点消息，提取并缓存该热点消息，并记录该热点消息的缓存时刻。
同时，接口机还从存储机中提取并反馈普通消息。针对普通消息，接口机发送的提取命令及存储机反馈的回应消息中均不包含热点标志位，接口机也不缓存该普通消息。该过程与现有过程一致。
实施例三：热点消息的失效
本发明中的热点消息是从读取的角度来说的，但是删除和更新操作却并不会有类似的情况。在UGC系统中，对某个消息的删除和更新操作相比于读取来说是非常少的，而且由于上层逻辑对接口机的均匀访问，一个删除或者更新操作，只会经过一个接口机，其他接口机并不会知道此消息已经被删除或者更新，因此需要考虑热点消息在接口机缓存中的失效，这也是实施例二中需要标记热点消息缓存时刻的原因。
一旦从存储机中读取出来的消息超过了一段时间间隔，则此消息无效，需要重新从存储机读取消息，以保证底层消息和接口机中的缓存消息的一致性。这段时间间隔设置不能过大，可以设置为3s左右。当然在这段时间间隔内，这个消息都是以缓存中的消息作为基准的。
具体实现方式可以为：当接口机接收到针对热点消息的请求时，根据当前时刻及该热点消息的缓存时刻计算该热点消息的缓存时长（将当前时刻减去缓存时刻得到缓存时长），如果缓存时长未超过预先设定的有效时长，则判定该消息为热点消息，反馈自身缓存的该热点消息；如果缓存时长超过预先设定的有效时长，则重新判断该消息是否为热点消息。这里，热点消息的有效时长是一个可以人为动态调整的值。这个值主要保证存储机中的消息被修改了之后，可以很快在接口机更新（保证消息的一致性），同时又要兼顾减少给存储机请求量的目的。是根据线上经验确定的。
接口机提取并缓存热点消息时，如果已经缓存该热点消息的旧版本，则可以在缓存热点消息的同时覆盖该热点消息的旧版本。
实施例四：接口机对消息读取请求的处理流程
如图5为接口机对消息读取请求的处理流程示意图，包括：
步骤501：接口机接收来自上层逻辑的消息读取请求。
步骤502：接口机判断自身是否已缓存所述消息，如果是，则执行步骤503；否则执行步骤504。
步骤503：判断该消息的缓存时长是否超过预先设定的有效时长，如果未超过，则反馈自身缓存的该消息；如果超过，则执行步骤504。
步骤504：判断当前时刻与该消息的计数器的清零时刻的间隔是否超过预先设定的计数周期，如果超过，则将计数器清零，并记录清零时刻，从存储机提取并反馈该消息；如果未超过，则执行步骤505。
步骤505：继续对该消息进行计数（即将计数器的数值加1），判断计数结果是否超过预先设定的阈值，如果超过，则确定该消息为热点消息，从存储机提取并缓存该热点消息，记录该热点消息的缓存时刻，并反馈该热点消息；如果未超过，则从存储机提取并反馈该消息。
本发明还提出一种热点消息处理系统，包括存储机和一个以上接口机，如图6为本发明提出的热点消息处理系统结构示意图，其中接口机包括：
热点缓存模块601，用于缓存热点消息；
处理模块602，用于接收针对消息的读取请求，判断热点缓存模块601是否已缓存所述消息并且所述消息的缓存时长未超过预先设定的有效时长；如果是，则反馈热点缓存模块601缓存的所述消息；否则，判断所述消息是否为热点消息，如果是热点消息，则从存储机提取所述热点消息，将所述热点消息发送至热点缓存模块601进行缓存，记录缓存时刻，反馈所述热点消息。
上述处理模块602判断消息是否为热点消息的方式为：
判断当前时刻与所述消息对应计数器的清零时刻的间隔是否超过预先设定的计数周期，如果已超过计数周期，则判定所述消息不是热点消息，将所述消息的计数器清零，重新对所述消息进行计数，并记录清零时刻；
如果未超过计数周期，则继续对所述消息进行计数，判断计数结果是否超
上述处理模块602从存储机提取热点消息的方式为：
处理模块602向存储机发送包含热点标志位的提取命令，接收存储机反馈的回应消息，该回应消息包含所述热点标志位及处理模块要求提取的热点消息；处理模块602根据回应消息中的热点标志位识别出热点消息，并提取该热点消息。
上述热点缓存模块601接收到处理模块602发送的热点消息时，如果已缓存该热点消息的旧版本，则在缓存该热点消息的同时覆盖该热点消息的旧版本。
上述消息的缓存时长为处理模块602接收到针对所述消息的读取请求的时刻与该消息缓存时刻的时间间隔。
综上可见，本发明提出的热点消息处理方法和系统，利用系统中已有的大量接口机存储热点消息，当接口机接收到对热点消息的请求时，无需从存储机提取热点消息，而只需将自身存储的热点消息反馈至上层逻辑，从而实现了利用接口机分担热点请求，缓解了热点请求对存储机造成的压力。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种热点消息处理方法，其特征在于，所述方法包括：
接口机接收针对消息的读取请求，判断自身是否已缓存所述消息并且所述消息的缓存时长未超过预先设定的有效时长；如果已缓存且未超过有效时长，则反馈自身缓存的所述消息；
如果已缓存但超过有效时长，或者未缓存，则判断所述消息是否为热点消息，如果是，则从存储机提取并缓存所述热点消息，记录缓存时刻，反馈所述热点消息。
2.根据权利要求1所述的方法，其特征在于，所述判断消息是否为热点消息的方式为：
判断当前时刻与所述消息对应计数器的清零时刻的间隔是否超过预先设定的计数周期，如果已超过计数周期，则判定所述消息不是热点消息，将所述消息的计数器清零，重新对所述消息进行计数，并记录清零时刻；
如果未超过计数周期，则继续对所述消息进行计数，判断计数结果是否超过预先设定的阈值，如果未超过阈值，则判定所述消息不是热点消息；如果超过阈值，则判定所述消息为热点消息。
3.根据权利要求1或2所述的方法，其特征在于，所述接口机从存储机提取热点消息的方式为：
接口机向存储机发送包含热点标志位的提取命令，接收存储机反馈的回应消息，该回应消息包含所述热点标志位及接口机要求提取的热点消息；接口机根据回应消息中的热点标志位识别出热点消息，并提取该热点消息。
4.根据权利要求1或2所述的方法，其特征在于，所述接口机从存储机提取到热点消息时，如果接口机已缓存该热点消息的旧版本，则在缓存提取的热点消息的同时覆盖该热点消息的旧版本。
5.根据权利要求1或2所述的方法，其特征在于，所述消息的缓存时长为接口机接收到针对所述消息的读取请求的时刻与该消息缓存时刻的时间间隔。
6.一种热点消息处理系统，包括存储机和一个以上接口机，其特征在于，所述接口机包括：
热点缓存模块，用于缓存热点消息；
处理模块，用于接收针对消息的读取请求，判断热点缓存模块是否已缓存所述消息并且所述消息的缓存时长未超过预先设定的有效时长；如果是，则反馈热点缓存模块缓存的所述消息；否则，判断所述消息是否为热点消息，如果是热点消息，则从存储机提取所述热点消息，将所述热点消息发送至热点缓存模块进行缓存，记录缓存时刻，反馈所述热点消息。
7.根据权利要求6所述的系统，其特征在于，所述处理模块判断消息是否为热点消息的方式为：
判断当前时刻与所述消息对应计数器的清零时刻的间隔是否超过预先设定的计数周期，如果已超过计数周期，则判定所述消息不是热点消息，将所述消息的计数器清零，重新对所述消息进行计数，并记录清零时刻；
如果未超过计数周期，则继续对所述消息进行计数，判断计数结果是否超过预先设定的阈值，如果未超过阈值，则判定所述消息不是热点消息；如果超过阈值，则判定所述消息为热点消息。
8.根据权利要求6或7所述的系统，其特征在于，所述处理模块从存储机提取热点消息的方式为：
处理模块向存储机发送包含热点标志位的提取命令，接收存储机反馈的回应消息，该回应消息包含所述热点标志位及处理模块要求提取的热点消息；处理模块根据回应消息中的热点标志位识别出热点消息，并提取该热点消息。
9.根据权利要求6或7所述的系统，其特征在于，所述热点缓存模块接收到处理模块发送的热点消息时，如果已缓存该热点消息的旧版本，则在缓存该热点消息的同时覆盖该热点消息的旧版本。
10.根据权利要求6或7所述的系统，其特征在于，所述消息的缓存时长为处理模块接收到针对所述消息的读取请求的时刻与该消息缓存时刻的时间间隔。
CN201210442720.4A 2012-11-08 2012-11-08 一种热点消息处理方法及系统 Active CN103810189B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210442720.4A CN103810189B (zh) 2012-11-08 2012-11-08 一种热点消息处理方法及系统
PCT/CN2013/086129 WO2014071809A1 (zh) 2012-11-08 2013-10-29 一种热点消息处理方法及系统
US14/706,804 US9612771B2 (en) 2012-11-08 2015-05-07 Method and system for processing hot topic message

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210442720.4A CN103810189B (zh) 2012-11-08 2012-11-08 一种热点消息处理方法及系统

Publications (2)

Publication Number Publication Date
CN103810189A true CN103810189A (zh) 2014-05-21
CN103810189B CN103810189B (zh) 2018-06-05

Family

ID=50684038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210442720.4A Active CN103810189B (zh) 2012-11-08 2012-11-08 一种热点消息处理方法及系统

Country Status (3)

Country Link
US (1) US9612771B2 (zh)
CN (1) CN103810189B (zh)
WO (1) WO2014071809A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483605A (zh) * 2017-08-29 2017-12-15 北京小米移动软件有限公司 文件下载方法及装置、存储介质
WO2018153236A1 (zh) * 2017-02-21 2018-08-30 贵州白山云科技有限公司 一种基于api请求的动态资源访问加速方法、装置、介质及设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942326B (zh) * 2014-04-29 2018-05-04 百度在线网络技术（北京）有限公司 信息的提供方法和装置、搜索结果的提供方法和装置
US10860829B2 (en) 2015-01-16 2020-12-08 Oracle International Corporation Data-parallel parameter estimation of the Latent Dirichlet allocation model by greedy Gibbs sampling
US10394872B2 (en) * 2015-05-29 2019-08-27 Oracle International Corporation Learning topics by simulation of a stochastic cellular automaton
US10606705B1 (en) * 2015-11-30 2020-03-31 Veritas Technologies Llc Prioritizing backup operations using heuristic techniques
US10628264B1 (en) 2016-03-30 2020-04-21 Veritas Technologies Llc Context-driven data backup and recovery
CN109040264B (zh) * 2018-08-13 2021-04-06 南京工业职业技术学院 一种高性能的主备接口机数据处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020026560A1 (en) * 1998-10-09 2002-02-28 Kevin Michael Jordan Load balancing cooperating cache servers by shifting forwarded request
CN101131673A (zh) * 2006-08-22 2008-02-27 中兴通讯股份有限公司 一种通用缓存的方法
CN102156738A (zh) * 2011-04-13 2011-08-17 成都市华为赛门铁克科技有限公司 数据块处理方法、数据块存储设备及系统
CN102331986A (zh) * 2010-07-12 2012-01-25 阿里巴巴集团控股有限公司 一种数据库缓存管理方法及一种数据库服务器

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6026027A (en) * 1994-01-31 2000-02-15 Norand Corporation Flash memory system having memory cache
US6845390B1 (en) * 2000-11-10 2005-01-18 Hewlett-Packard Development Company, L.P. Server-side state replication among collaborating world wide web servers
JP4489994B2 (ja) * 2001-05-11 2010-06-23 富士通株式会社 話題抽出装置、方法、プログラム及びそのプログラムを記録する記録媒体
US7589722B2 (en) * 2004-08-10 2009-09-15 Ati Technologies, Ulc Method and apparatus for generating compressed stencil test information
US7503477B2 (en) * 2004-11-09 2009-03-17 International Business Machines Corporation Method for offering location-based targeted discounts without requirement for location sensing
US7613690B2 (en) * 2005-10-21 2009-11-03 Aol Llc Real time query trends with multi-document summarization
US20070143442A1 (en) * 2005-12-20 2007-06-21 Nec Laboratories America, Inc. Scalable Publish/Subscribe Broker Network Using Active Load Balancing
US7818417B2 (en) * 2006-01-10 2010-10-19 International Business Machines Corporation Method for predicting performance of distributed stream processing systems
US20080165287A1 (en) * 2006-08-30 2008-07-10 Daniel Doswald Framebuffer Sharing for Video Processing
CN1997015B (zh) * 2006-11-24 2011-04-20 华为技术有限公司 缓存应用方法与装置以及文件传输系统
US8718646B2 (en) * 2006-12-21 2014-05-06 Alcatel Lucent Methods and apparatus for distributed multimedia content supporting user mobility
CN100543750C (zh) * 2007-11-30 2009-09-23 中兴通讯股份有限公司 一种基于web应用的矩阵式数据缓存方法及装置
CN101232464A (zh) * 2008-02-28 2008-07-30 清华大学 基于时间权参数的p2p实时流媒体缓存替换方法
US7991957B2 (en) * 2008-05-27 2011-08-02 Microsoft Corporation Abuse detection using distributed cache
CN102244900B (zh) * 2011-07-15 2014-01-22 上海华为技术有限公司 缓存数据热度值的同步方法、分布缓存方法、装置及系统
US8849829B2 (en) * 2011-12-06 2014-09-30 Google Inc. Trending search magazines
US8989587B2 (en) * 2012-01-11 2015-03-24 Source Photonics, Inc. Operational state information generation in an optical transceiver
CN103577501B (zh) * 2012-08-10 2019-03-19 深圳市世纪光速信息技术有限公司 热点话题搜索系统及热点话题搜索方法
US9319363B1 (en) * 2015-08-07 2016-04-19 Machine Zone, Inc. Scalable, real-time messaging system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020026560A1 (en) * 1998-10-09 2002-02-28 Kevin Michael Jordan Load balancing cooperating cache servers by shifting forwarded request
CN101131673A (zh) * 2006-08-22 2008-02-27 中兴通讯股份有限公司 一种通用缓存的方法
CN102331986A (zh) * 2010-07-12 2012-01-25 阿里巴巴集团控股有限公司 一种数据库缓存管理方法及一种数据库服务器
CN102156738A (zh) * 2011-04-13 2011-08-17 成都市华为赛门铁克科技有限公司 数据块处理方法、数据块存储设备及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018153236A1 (zh) * 2017-02-21 2018-08-30 贵州白山云科技有限公司 一种基于api请求的动态资源访问加速方法、装置、介质及设备
CN107483605A (zh) * 2017-08-29 2017-12-15 北京小米移动软件有限公司 文件下载方法及装置、存储介质

Also Published As

Publication number Publication date
US20150254021A1 (en) 2015-09-10
US9612771B2 (en) 2017-04-04
CN103810189B (zh) 2018-06-05
WO2014071809A1 (zh) 2014-05-15

Similar Documents

Publication Publication Date Title
CN103810189A (zh) 一种热点消息处理方法及系统
US9830101B2 (en) Managing data storage in a set of storage systems using usage counters
CN102970158B (zh) 日志存储与处理的方法及日志服务器
EP2733617A1 (en) Data buffer device, data storage system and method
WO2016082524A1 (zh) 一种进行数据存储的方法、装置及系统
CN105138469B (zh) 一种数据读写方法以及主板
CN107179878A (zh) 基于应用优化的数据存储的方法和装置
CN104010151A (zh) 一种监控视频文件压缩方法
KR102281901B1 (ko) 블록체인을 이용한 데이터 관리 장치 및 이를 위한 방법
CN102521349A (zh) 一种文件预读方法
CN110389933B (zh) 一种进程间的日志管理方法及装置
CN102521114A (zh) 一种虚拟化环境下的文件系统日志存储系统
CN106775494A (zh) 一种基于分布式软件定义存储的数据存储装置及存储方法
EP4187363A1 (en) Storage controller, storage control method, solid state disk and storage system
CN109901909A (zh) 用于虚拟化系统的方法及虚拟化系统
CN107402819A (zh) 一种客户端缓存的管理方法及系统
CN110598467A (zh) 一种内存数据块完整性检验方法
CN105138277A (zh) 一种固态盘阵列的缓存管理方法
CN106980475A (zh) 一种分布式集群系统
US20180217935A1 (en) Method and apparatus for reading redundant array of independent disks
CN104038314B (zh) 一种新型的安监联网动态数据实时传输系统及方法
JP2012014317A (ja) 複製装置、複製方法、メモリメディア、プログラム
US20100131469A1 (en) Storage management device and file deletion control method
CN110019051A (zh) 一种基于通用文件系统的高速数据记录方法
CN107422994A (zh) 一种提高数据读写性能的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant