发布时间: 2024-01-30 12:47:33 来源:电竞比分-存储调理
如果与你每天打交道的数据都是如下的调性,必定不出一周你就会溃散,做个一年可能有头秃危险。
这个时分,你一定在巴望有个东西踏着七彩祥云而来,救你于水深火热之中。现在就有这样一款东西摆在你面前,你还不为所动吗?
他的姓名叫做数据工厂(EsDataFactory),是一个集数据建模、数仓办理、数据ETL与一体的数仓东西,用于协助政府和企业构建数据仓库,完结数据交融,进步数据质量,促进政府和企业由事务驱动到数据驱动的转型。比其它传统东西供给了更简捷、更智能、更多样的数据服务。
数据工厂广泛适用于一切数据类的施行场合:数据整合、数据搬迁、数据同步、数据交换、数据仓库树立、数据清洗等。
全职业通用,全事务域整合。面向数仓的分层办理模式,全面兼容各职业各事务体系数据,完结各事务域体系的数据交融、数据相关、数据同享等使用场景。
除了支撑数据仓库处理外,数据工厂也能满意OLTP事务处理体系多用户高并发场景,无须忧虑死锁问题。
2011年1月,国家电网公司提出加速建造“三集五大”办理体系。国家电网办〔2011〕1号文发布了《关于建造“大规划、大建造、大运转、大检修、大营销”体系的定见》,进一步清晰了“五大”体系建造作业要求。“大规划”是“五大”体系的重要组成部分,大规划体系中分为两个使用,规划方案办理信息使用和一体化电网规划规划使用。
其间,一体化电网规划规划渠道已完结三期的项目建造,跟着国家电网公司开展进入以集团化运作为特征、深化“四化”办理的新时期,电网开展进入以特高压和智能化为重要特征的新阶段,根据“大规划”体系建造要求,有必要在原有一体化电网规划规划渠道(三期)建造的基础上,加速一体化电网规划规划使用的建造,进步数据保护展现的适应性和实用化水平、深化输电网核算剖析功用、拓宽配电网使用功用、加强电网开展确诊剖析、优化效果办理,有利于处理各级电网规划力气涣散、协调性缺少、规划规范不一致、辅助规划东西缺少等问题,有用进步规划规划作业效率和研讨水平,进步电网规划规划研讨水平缓技能支撑才能。
一体化电网规划规划渠道(四期)项目是在一期、二期、三期项目效果之上,根据“大规划”体系建造需求,根据开展部事务流程及办理改变,结合i@Report数据收集东西、数据工厂(EsDataFactory)以及亿信BI进行建造施行。一体化电网规划规划渠道拓宽掩盖电网规划等悉数规划范畴,贯穿各层级,打通各环节,建造包括规划信息库、输电网规划、配电网规划、电网开展确诊、输电网效果办理和配电网效果办理六大块事务需求的全事务数据中心,全面支撑电网公司规划规划事务。
跟着规划事务数据的逐渐齐备,不同的数据存储于多个事务体系中,数据涣散、数据口径不一致的问题也逐渐露出,导致很难完结全事务体系、全视点的归纳数据剖析。
为了树立一致的数据模型,将来源于不同事务体系中的数据规范化,确保数据一致性、准确性和可用性,渠道依照剖析使用主题,依托数据工厂(EsDataFactory)对数据来进行ETL处理,将使用i@Report收集完结的数据、以及存储于各个规划事务体系的历史数据进行整合、清洗,规划如下的ETL进程:
ETL进程规划完结后,经过ETL进程流的界说完结多个ETL进程的并行或许串行,终究依照周期进行守时调度。
数据工厂(EsDataFactory)多元化可视化建模、完好的数据处理流程协助渠道终究完结了面向于剖析主题的数据中心的建造。
一体化电网规划规划渠道(四期)建造凭借i@Report快速树立数据收集补录渠道,并经过数据工厂(EsDataFactory)完结个事务体系数据的整合清洗,在结合亿信BI完结大规划、大建造效果的会集展现。