发布时间: 2024-08-24 11:20:03 来源:产品中心
阿里云AI存储系统CPFS全面升级,容量提升500%,引领AI存储新时代 前言
随着AI技术的加快速度进行发展,大模型训练对存储系统提出了更高的要求。近日,阿里云面向AI领域推出了全新升级的存储系统CPFS智算版,单文件系统容量提升500%,达到6PB级别,明显提升了存储系统的容量和性能。
CPFS智算版单文件系统容量的大幅度的提高,意味着用户能处理和存储更大规模的数据集。这对于大规模训练场景至关重要,能够支持更多的数据量和更高性能,加速AI模型的训练过程。
除了容量的提升,CPFS智算版还升级了系统智能引擎,使得冷热数据流动带宽提高了20倍。这一改进不仅极大地提升了数据处理效率,还大幅度降低了存储成本,更好地支撑了大模型训练及推理任务。
面对大模型训练中数据量激增、计算密度提高的挑战,CPFS智算版通过创新的分布式并行存储架构设计、高性能RoCE RDMA网络协议、虚拟存储通道技术和多级缓存的弹性客户端,实现了高吞吐、低延迟、Serverless化的高性能存储能力。这些技术革新有效地解决了大模型训练对存储的高要求。
在数据安全方面,CPFS智算版通过高性能虚拟化存储通道保障了数据访问的安全性,提供了租户权限鉴权、数据隔离和性能隔离,增强了端到端的安全隔离和数据保护能力。此外,集成的日志服务SLS和云备份CloudBackup自动挂载备份功能即将上线,逐步加强了数据管理和保护。
复旦大学、小鹏汽车、零一万物、百川智能、元戎启行等公司和机构已经在使用阿里云进行AI训练和应用。通过CPFS智算版提供的高吞吐带宽和百亿级小文件的高性能访问,数据集的并发读取和checkpoint写效率得到了大幅度的提高,有效提升了模型训练和推理的速度。
阿里云AI存储系统CPFS的全面升级,不仅展示了其在AI存储领域的技术创新实力,也为行业树立了新的标杆。对于大模型训练而言,这无疑是一场性能与成本优化的革命,有望推动更多复杂模型的开发和应用,加速AI技术的普及和发展。
随着AI技术的持续演进,高效、稳定、安全的存储系统成为构建强大AI模型不可或缺的基础。阿里云CPFS智算版的发布,无疑是AI存储领域的一次重大突破,预示着AI存储新时代的到来。未来,随着更多创新技术的应用,我们期待看到AI存储系统在性能、成本和安全性方面实现更卓越的表现。返回搜狐,查看更加多