[go: up one dir, main page]

CN110209380B - 一种面向大数据异构模型的统一动态元数据处理方法 - Google Patents

一种面向大数据异构模型的统一动态元数据处理方法 Download PDF

Info

Publication number
CN110209380B
CN110209380B CN201910462509.0A CN201910462509A CN110209380B CN 110209380 B CN110209380 B CN 110209380B CN 201910462509 A CN201910462509 A CN 201910462509A CN 110209380 B CN110209380 B CN 110209380B
Authority
CN
China
Prior art keywords
data
metadata processing
reflection mechanism
model
dynamic metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910462509.0A
Other languages
English (en)
Other versions
CN110209380A (zh
Inventor
程道疆
项君
陈越
齐咏杰
彭力
李旭东
陈晓梅
黄若衡
刘强
王志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Yunpeng Technology Information Co ltd
Original Assignee
Shanghai Zhizhen Junzhi Science Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhizhen Junzhi Science Co ltd filed Critical Shanghai Zhizhen Junzhi Science Co ltd
Priority to CN201910462509.0A priority Critical patent/CN110209380B/zh
Publication of CN110209380A publication Critical patent/CN110209380A/zh
Application granted granted Critical
Publication of CN110209380B publication Critical patent/CN110209380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/20—Software design
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G06F8/42—Syntactic analysis
    • G06F8/427—Parsing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开了一种面向大数据异构模型的统一动态元数据处理方法，包括如下步骤：作业任务提交统一动态元数据处理系统，调用数据形态分析模块实现对原始作业任务的数据拦截和分析定位，对于拦截分离的静态数据，所述统一动态元数据处理系统对AST进行扫描，解析作业涉及的核心数据，对于拦截分离的动态数据，通过调用运行时反射机制模块来对这些动态的运行时数据模型实例进行分析获取，同时，基于REPL的交互式解析器和所述运行时反射机制模块进行配合工作，通过上述反射机制模块的共同作用，为进一步利用该机制进行计算作业重构做好准备。本发明具有通用性好、适配性强的特点，有效克服了现有技术中的异构模型间无法高效、便捷的互操作的问题。

Description

一种面向大数据异构模型的统一动态元数据处理方法
技术领域
本发明涉及计算机软件技术领域，具体为一种面向大数据异构模型的统一动态元数据处理方法。
背景技术
大数据计算技术发展突飞猛进，相关的计算、存储和可视化模型层出不穷、不断演进，已经覆盖了从结构化数据、半结构化数据、非结构化数据等各种数据形态以及批处理和流处理等不同的处理模式，多样化的技术发展固然为业务应用的创新带来了更多的手段和可能，但也同样为大数据技术的普及形成了障碍，主要体现在以下几个方面：
不同的(异构)大数据计算存储模型带来的编程和开发技术的复杂性，使得用户在学习和使用过程中有较高的门槛；
基于不同的计算存储模型开发的应用互相之间基本没有互通的可能，从而造成业务数据被迫在系统间频繁迁移复制，降低了应用的效率；
应用和下层计算存储环境的紧耦合，造成应用无法通用化，从而对应用的维护和推广带来诸多的不便；
上述问题的导致原因均是异构模型间无法高效、便捷的互操作。
发明内容
本发明的目的在于提供一种面向大数据异构模型的统一动态元数据处理方法，实现了异构模型间的高效、便捷的互操作，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种面向大数据异构模型的统一动态元数据处理方法，包括如下步骤：
S1：作业任务提交统一动态元数据处理系统；
S2：调用数据形态分析模块实现对原始作业任务的数据拦截和分析定位；
S3：对于拦截分离的静态数据，所述统一动态元数据处理系统对AST进行扫描，解析作业涉及的核心数据；
S4：对于拦截分离的动态数据，通过调用运行时反射机制模块来对这些动态的运行时数据模型实例进行分析获取，同时，基于REPL的交互式解析器和所述运行时反射机制模块进行配合工作；
S5：通过上述反射机制模块的共同作用，为进一步利用该机制进行计算作业重构做好准备。
优选的，所述作业任务为原始计算或存储模型相关的计算存储任务。
优选的，所述元数据获取系统由数据形态分析模块、编译时反射机制模块、运行时反射机制模块和交互式解析器组成。
优选的，所述静态数据包括业务数据模型和计算规则。
优选的，所述动态数据包括中间数据模型和用户动态配置的业务参数。
与现有技术相比，本发明的有益效果是：
本发明实现的基于多层反射机制模块的统一动态元数据处理系统，对大数据异构模型的互操作提供了关键能力支撑，具有通用性好、适配性强的特点，有效克服了现有技术中的异构模型间无法高效、便捷的互操作的问题。
附图说明
图1为本发明的系统图；
图2为本发明的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
请参阅图1-2，本发明提供一种技术方案：一种面向大数据异构模型的统一动态元数据处理方法，包括如下步骤：
S1：作业任务提交统一动态元数据处理系统；
S2：调用数据形态分析模块实现对原始作业任务的数据拦截和分析定位；
S3：对于拦截分离的静态数据，统一动态元数据处理系统对AST(Abstract SyntaxTree，抽象语法树)进行扫描，解析作业涉及的核心数据，实现数据引用与数据实例之间的映射，同时基于这种编译时反射机制模块，根据文本或参数描述，实现动态模型组装封装、更改作业行为或生成执行代码及数据模型；
S4：对于拦截分离的动态数据，通过调用运行时反射机制模块来对这些动态的运行时数据模型实例进行分析获取，并动态生成数据模型以及修改任务或计算作业行为的能力，同时，基于REPL(Read-Eval-Print Loop，读取-求值-输出)的交互式解析器和运行时反射机制模块进行配合工作，通过基于REPL的交互式解析器，增强了REPL能力，以满足动态生成上下文环境、映射计算作业实现、动态切换作业执行模式需求，两者结合形成对动态交互数据的引用；
S5：通过上述反射机制模块的共同作用，实现基于动态元数据的业务数据和交互数据的精确定位和引用控制，为进一步利用该机制进行计算作业重构做好准备。
具体的，作业任务为原始计算或存储模型相关的计算存储任务。
具体的，元数据获取系统由数据形态分析模块、编译时反射机制模块、运行时反射机制模块和交互式解析器组成。
具体的，静态数据包括业务数据模型和计算规则。
具体的，动态数据包括中间数据模型和用户动态配置的业务参数。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种面向大数据异构模型的统一动态元数据处理方法，其特征在于包括如下步骤：
S1：作业任务提交统一动态元数据处理系统，所述统一动态元数据处理系统由数据形态分析模块、编译时反射机制模块、运行时反射机制模块和交互式解析器组成；
S2：调用数据形态分析模块实现对原始作业任务的数据拦截和分析定位；
S3：对于拦截分离的静态数据，所述统一动态元数据处理系统对AST进行扫描，解析作业涉及的核心数据；
S4：对于拦截分离的动态数据，通过调用运行时反射机制模块来对这些动态的运行时数据模型实例进行分析获取，并动态生成数据模型以及修改任务或计算作业行为的能力，同时，基于REPL的交互式解析器和运行时反射机制模块进行配合工作，通过基于REPL的交互式解析器，增强了REPL能力，以满足动态生成上下文环境、映射计算作业实现、动态切换作业执行模式需求，两者结合形成对动态交互数据的引用；
S5：通过上述基于REPL的交互式解析器和运行时反射机制模块的共同作用，为进一步利用REPL的交互式解析器和运行时反射机制模块进行计算作业重构做好准备。
2.根据权利要求1所述的一种面向大数据异构模型的统一动态元数据处理方法，其特征在于：所述作业任务为原始计算或存储模型相关的计算存储任务。
3.根据权利要求1所述的一种面向大数据异构模型的统一动态元数据处理方法，其特征在于：所述静态数据包括业务数据模型和计算规则。
4.根据权利要求1所述的一种面向大数据异构模型的统一动态元数据处理方法，其特征在于：所述动态数据包括中间数据模型和用户动态配置的业务参数。
CN201910462509.0A 2019-05-30 2019-05-30 一种面向大数据异构模型的统一动态元数据处理方法 Active CN110209380B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910462509.0A CN110209380B (zh) 2019-05-30 2019-05-30 一种面向大数据异构模型的统一动态元数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910462509.0A CN110209380B (zh) 2019-05-30 2019-05-30 一种面向大数据异构模型的统一动态元数据处理方法

Publications (2)

Publication Number Publication Date
CN110209380A CN110209380A (zh) 2019-09-06
CN110209380B true CN110209380B (zh) 2020-11-03

Family

ID=67789636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910462509.0A Active CN110209380B (zh) 2019-05-30 2019-05-30 一种面向大数据异构模型的统一动态元数据处理方法

Country Status (1)

Country Link
CN (1) CN110209380B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111125052B (zh) * 2019-10-25 2020-09-15 北京华如科技股份有限公司 基于动态元数据的大数据智能建模系统及方法
CN117596142A (zh) * 2023-11-20 2024-02-23 上海直真君智科技有限公司 一种面向云际计算环境的封装操作方法及其平台

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158554A (zh) * 2011-04-02 2011-08-17 南京邮电大学 基于移动代理的物联网中间件开发方法
CN104424955A (zh) * 2013-08-29 2015-03-18 国际商业机器公司 生成音频的图形表示的方法和设备、音频搜索方法和设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7523133B2 (en) * 2002-12-20 2009-04-21 Oracle International Corporation Data model and applications
US7469248B2 (en) * 2005-05-17 2008-12-23 International Business Machines Corporation Common interface to access catalog information from heterogeneous databases
US20110088011A1 (en) * 2009-10-14 2011-04-14 Vermeg Sarl Automated Enterprise Software Development
CN104142980B (zh) * 2014-07-15 2017-11-17 中电科华云信息技术有限公司 基于大数据的元数据模型管理系统和管理方法
US9256467B1 (en) * 2014-11-11 2016-02-09 Amazon Technologies, Inc. System for managing and scheduling containers
CN105045607B (zh) * 2015-09-02 2019-03-29 广东创我科技发展有限公司 一种实现多种大数据计算框架统一接口的方法
CN105701181A (zh) * 2016-01-06 2016-06-22 中电科华云信息技术有限公司 一种动态异构元数据获取方法及系统
CN105760781B (zh) * 2016-03-02 2018-05-08 四川师范大学 有序可推演大数据文件的存储方法、恢复方法和操作方法
CN108829707A (zh) * 2018-05-02 2018-11-16 国网浙江省电力有限公司信息通信分公司 跨业务域的大数据智能分析系统及方法
CN108829836A (zh) * 2018-06-19 2018-11-16 长光卫星技术有限公司 异构遥感大数据应用平台
CN109410698B (zh) * 2018-09-19 2021-02-12 浙江省测绘科学技术研究院 数据大屏可视化方法及系统
CN109086462A (zh) * 2018-09-21 2018-12-25 郑州云海信息技术有限公司 一种分布式文件系统中元数据的管理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158554A (zh) * 2011-04-02 2011-08-17 南京邮电大学 基于移动代理的物联网中间件开发方法
CN104424955A (zh) * 2013-08-29 2015-03-18 国际商业机器公司 生成音频的图形表示的方法和设备、音频搜索方法和设备

Also Published As

Publication number Publication date
CN110209380A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
US9720743B2 (en) General purpose distributed data parallel computing using a high level language
Karmani et al. Actor frameworks for the JVM platform: a comparative analysis
US8239847B2 (en) General distributed reduction for data parallel computing
Gil et al. Towards a theory of nearly constant time parallel algorithms
CN102789413B (zh) 一种并行程序的调试系统及方法
Barr et al. Jist: Embedding simulation time into a virtual machine
Weimer et al. Machine learning in ScalOps, a higher order cloud computing language
CN110209380B (zh) 一种面向大数据异构模型的统一动态元数据处理方法
CN109196476A (zh) 共享垃圾收集器的不同类型图之间的无缝高性能互操作性
CN106445645A (zh) 用于执行分布式计算任务的方法和装置
CN107967170B (zh) 迁移计算方法、装置、设备及存储介质
CN111679859B (zh) 一种面向i/o密集型高性能应用的自动化并行mpi-i/o加速方法
Boudeville et al. RELEASE: A High-Level Paradigm for Reliable Large-Scale Server Software: (Project Paper)
CN110187869B (zh) 一种大数据异构存储计算模型间的统一互操作系统及方法
Niephaus et al. Live multi-language development and runtime environments
CN112363856A (zh) 一种基于dds实现深度学习框架与应用程序互操作的方法
Churavy Transparent distributed programming in Julia
Zhang et al. SNC: A cloud service platform for symbolic-numeric computation using just-in-time compilation
CN116225419A (zh) 后端事务处理的无代码开发方法、装置、存储介质及设备
Iannello et al. Parallel software development in the DISC programming environment
Fegade et al. ACRoBat: Optimizing auto-batching of dynamic deep learning at compile time
Porobic Revisiting RISC-style Data Management System Design.
US11907693B2 (en) Job decomposition processing method for distributed computing
Al Dallal et al. Synthesizing distributed protocol specifications from a UML state machine modeled service specification
WO2020211074A1 (zh) 一种多方安全计算数据处理方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20250527

Address after: 214026 Jiangsu Province Wuxi City Binhu District Hongqiao Road 801-103-19

Patentee after: Wuxi Yunpeng Technology Information Co.,Ltd.

Country or region after: China

Address before: 200241 Room 7073, Building D, No. 555 Dongchuan Road, Minhang District, Shanghai

Patentee before: SHANGHAI ZHIZHEN JUNZHI SCIENCE CO.,LTD.

Country or region before: China