一体化数据开发集成平台提供基于主流数据库产品/大数据平台产品的一体化开发全流程，将需求分析、模型设计到数据开发、测试、投产的多个过程高效联动，助力数据中台高效运转。同时，配合丰富的数据资产目录、运行监控图表、数据百科等可视化检索功能，保障数据平台建设的可持续发展。

  平台实现了ETL流程的处理的开发批量化、流程标准化、操作可视化、维护简易化等功能。满足了市场上对数据加工处理程序的需求，加快数据平台类项目实施效率的同时也提升了开发质量。

  此外，平台另一大特点在于横向打通了各类有关数据产品，将数据交换、调度、管控等纳入开发体系并进行统一管理，打破壁垒，形成协同工作模式。

  传统数据开发过程以手工编码为主，编码质量没办法保证，开发、运维方式各异，很难实现标准化。开发流程以文档指引为主，缺少系统化、流程化的方式来进行管理。

  同时模型设计与程序开发没有在系统上对接起来，设计与开发未打通，没办法实现实时的联动。

  以数仓为例，数据开发涉及过程较多，缺少全流程的管控，实施进度跟踪较难，同时需要在多个环境来测试和验证，每一步都是手工处理，数据质量难以保证。

  在环境迁移或数据平台软件变更等场景，需要对已有程序、脚本做大批量的修改以适配新的环境，没办法实现快速部署的需求。大量的脚本、存储过程、个性化函数等加大了运维难度，并且难以进行版本的管理。

  随着各类金融机构科技建设的不断深入，各类基础数据产品已按需投产，如统一调度平台、数据交换平台、数据资产管理平台等，各产品相对独立，使用各自的技术栈，未实现整体打通、集成，进而无法通过在线协作的开发模式实现需求的快速开发、迭代。

  长亮科技以业界主流的Dataops体系作为理论基础同时结合多年在金融机构数据平台的实施经验打造了一体化数据开发集成平台。

  平台实现了数据开发的全流程管理，包括从项目管理、需求分解，到开发任务分配，到数据开发、数据测试、开发调度、版本控制全流程的管理。打通各类数据产品，通过在线协作开发模式统一数据开发全过程，实现了数据技术多元化。

  平台提供一整套项目实施的数据处理流程化开发过程，包括数据采集、数据加载、数据处理、数据卸载等，并能对接业内常用的调度工具以完成调度配置工作。ETL开发过程引用模板化生成，大幅度减少研发人员的工作量，同时以标准化流程式开发，促进代码规范统一，大幅度的提升了代码的可读性、可维护性。

  通过对接元数据管理平台等方式获取数据平台的数据码值规范、模型字段码值列表、模型字段码值映射关系、源数据码值字典对照关系等，辅助用户一步步完成模型结构的设计、检查并最终生成可执行编译文件。免去了手动生成脚本、执行脚本等操作。

  平台提供一站式数据开发、测试、部署的功能，系统根据不同的运作时的状态提供不同的功能，并通过限制不同运作时的状态下的菜单使用，有效控制各个运作时的状态的工作内容；同时提供各个运作时的状态的数据导入导出功能，使开发、测试、生产的部署工作简单易用，大大保证上线的准确性及简化上线工作量，减少在服务器终端的操作步骤。

  基于数据标准、业务术语，在模型设计环节通过输入关键字自动匹配逻辑字段，并根据选择的库类型进行表字段的自动匹配，降低模型设计人员的建模操作门槛，提升效率；在ETL脚本作业开发中，能根据开发人员编辑的脚本作业内容实时解析，进行规范化检查，自动纠错提醒与建议，提高开发质量。

  通过升级现有的离线开发平台、集成数据交换系统、大数据接口发布系统、调度系统，打通数据管控平台、数据资产平台、各数据源，需求OA、统一运维发版平台等方式，打造“统一数据开发集成门户”，下图为总体规划架构图。

  长亮科技一体化数据开发集成平台已先后在交通银行、南京银行、成都银行、吉林银行、大连银行等金融机构落地实施。

  某城商行对长亮一体化数据开发集成平台的评价：长亮科技一体化数据开发集成平台的落地实施推动了我行“基于Dataops的敏捷化数据开发体系”的建设，解决了传统开发模式下开发成本高、代码质量低、无统一管理等痛点。随着产品不断的迭代升级，逐步打通了行内其他数据类产品，使得从需求的提出到需求分析确认、开发、测试、部署、投产的全流程统一管控变得可能，降低了数据开发门槛，让开发变得更简单。

• 上一篇: 数据安全 VS 数据合规
• 下一篇: 达梦数据发布DAMENG PAI数据库一体机