发布时间: 2023-12-24 23:46:49 来源:电竞比分-存储调理
DDE(深度时间数字地球)是一项备受国际地质科学研究会(IUGS)认可的重要科学计划,融汇了来自全球的500多名专家和26个国际组织机构共同的智慧与力量,旨在建立一个连接地球科学信息的综合性研究平台。该计划主要是通过大数据分析、互联网云计算、数据挖掘、机器学习和人工智能等先进的技术,整合全球演化数据,共享地球科学知识,深入洞察地球环境与资源的现状,推动地球科学研究的革新,与全人类一起迎接新时期所面临的环境与发展挑战。
DDE不单单是一个科学计划,更是一个影响深远的全球合作平台。通过整合全球数据和知识资源,DDE为地球科学研究提供了前所未有的机会和工具,促进了学术界和产业界的紧密合作,推动了地球科学的发展和创新,并成为了解地球环境与资源和应对全球挑战的关键驱动力。
2021年9月,阿里云成为了DDE云基础架构的服务提供商,为DDE提供数据分析、云计算和人工智能等多个领域的全方位支持,逐步提升了DDE的技术和创新能力。
DDE作为一项全世界的跨学科合作项目,在对全球的数据来进行同步的过程中,需要大量使用AI、机器学习和大数据分析等多种云资源。随着DDE项目的持续推进,在推进的过程中面临着一系列挑战,而现阶段的挑战大多数表现在以下两个方面:
挑战1:DDE项目对于云服务器在web(https)场景中的高效稳定处理并发负载有着极高要求。这在某种程度上预示着云服务器一定要具有卓越的解决能力,以确保数据能够顺利传输和加载,降低延迟和减少潜在的故障风险。
挑战2:DDE项目需要缓存海量数据,在数据存储过程中除了需要兼顾数据库容量和性能,还需要着重考量数据库的成本。这要求项目所选的数据库在承载海量数据和高效执行读取编写操作的同时,不会引起过高的成本负担。
Lightning Cloud作为阿里云的全球战略合作伙伴,有幸承担了DDE项目云架构搭建和数据迁移工作。为了逐步提升服务器性能和降低数据库成本,我们与Intel展开合作,探索应用新技术,挑战更低成本实现更高性能。
在这次合作中,Intel提供了第四代英特尔至强处理器,以提升服务器性能。这款处理器内置多种加速器,并包含了加解密领域的指令集Crypto-NI,能够批量提交多个SSL请求和并行异步处理,从而明显提升服务器性能。无论是处理人工智能、数据分析、存储还是科学计算等工作负载,该处理器都能快速响应,满足一直增长的需求。此外,该处理器还支持多云部署和扩展,并具备高度灵活性,能够很好的满足DDE项目不同层级的应用需求。
鉴于第四代英特尔 至强 处理器的卓越性能,我们与Intel合作制定了一项关于该处理器对云服务器性能提升效果的产品测试方案。通过测试,在数据处理效率、延迟等得到了大幅度的提升优化。
1、在 web(https) 场景下部署第四代英特尔至强,通过 ApacheBench 对阿里云ECS服务器实例进行模拟并发的负载,并测试在不同负载类别下服务器的强度和整体性能,再通过阿里云控制台观察服务器负载,分析生成应用测试报告。
2、使用memtier_benchmark对8G 内存规格的redis 社区版和Tair持久内存版数据库进行随机的读写操作,并在读写和混合读写(3:7)的测试场景下,对比两个版本数据库的性能差异。
在 Lightning Cloud 和Intel的共同努力下,我们最终完成了产品测试,并获得理想的测试结果:
1、ECS的 web(https) 场景测试结果为,在使用了第四代英特尔至强后的模拟并发请求静态页面和动态页面测试中,测试总耗时平均降低了28%,中位数平均响应时间降低39%,有效提升web性能,并保障了ECS处理并发负载时的平稳运行。
2、两个版本数据库的测试结果为,Tair持久内存版的查询每秒(QPS)性能相比社区版下降约10%左右,但响应时间方面的差异并不显著,可完全满足客户需求。并且在进行数据持久化(存储为aof文件)时,Tair持久内存版性能仍然表现出色,确保了数据的可靠存储。
此外,利用Tair持久内存版进行数据库的优化,项目的综合成本支出降低了28%,在保障了数据库性能的同时,还实现了成本的有效优化。
基于测试的结果,我们共同优化了服务器的性能和数据库的成本,为DDE项目的开展提供了有效助力。这次与Intel 的合作不单单是技术上的结合,更是双方一同追求卓越的结果,通过我们的携手合作,加速了DDE项目的整体推进。
作为一个全球性的大型科学计划,DDE将继续秉承着数字技术驱动的现代研究方法,通过知识共享和数字革命,促进前沿科技发展,不断解决全球性的地学问题,推动地球科学发展进入新时代。能够参与到该项目中,我们深感荣幸,我们始终相信,通过咱们提供的技术解决方案,将助力DDE项目的进一步的推进,为全人类的环境与发展做出更大的贡献。
Intel 创始于1968年,是半导体行业和计算创新领域的领先企业,拥有50余年的技术创新和产业生态耕耘的成功经验。随着计算机的不断普及,Intel 推动了全球计算机与半导体行业的加快速度进行发展,并成为计算机与半导体生产的科技巨擘。
如今,英特尔正在转型为一家以数据为中心的公司,致力于做可信赖的性能领导者,并释放数据的无限潜能。今后,英特尔将与合作伙伴一起,一同推动人工智能、5G、智能边缘等转折性技术的创新和应用突破,驱动智能互联世界,帮助全球用户应对重大挑战。
Lightning Cloud 是阿里云的全球战略合作伙伴,专注于多云计算业务的创新开发,为全球客户提供云计算、大数据、安全与合规等全业态产品服务和解决方案。公司在新加坡、印度、马来西亚、美国等地设有分部。经过十余年的技术沉淀和经验积累,Lightning Cloud 自研开发多款自研全球SaaS应用平台,实现客户对多云资源的高效使用,加速其全球业务布局和数字转型。返回搜狐,查看更加多