中国领先的工业平台

返回贤集网 返回微头条
贤集网技术微头条APP获取

Google自研存储系统Colossus的部分细节被披露:仍然依赖机械硬盘

 网安盾

下载贤集网APP入驻自媒体

4月2日消息,Google在博客文章中披露了自研存储系统Colossus的部分细节。Colossus作为通用存储平台,为YouTube、Gmail等众多服务提供支持,由Google文件系统项目发展而来。

令人意外的是,尽管科技发展迅速,Colossus仍采用磁性硬盘驱动器(HDD)存储大部分数据。不过,Google为其配备了依赖固态硬盘(SSD)的独家缓存技术,以此提升性能。

Google在数据中心为每个集群构建Colossus文件系统,不少集群能管理超多个EB的存储空间,有两个文件系统各自托管超10EB数据。其数据吞吐量惊人,最大集群读取速率“经常”超每秒50TB,写入速率高达每秒25TB。

Colossus内部用户能选择文件存储在HDD还是SSD,多数开发人员会采用L4分布式SSD缓存这一自动化方案。该方案借助机器学习算法决策数据存储策略,新数据最终都会写入HDD。L4缓存通过分析I/O模式等模拟存储位置,正确预测时会将部分数据暂存SSD,之后迁移至HDD以控制成本。凭借这些,Colossus为数十亿用户提供可靠服务 。

最新回复
发布回复
回复网安盾:L4缓存技术的应用展示了如何在成本和性能之间找到平衡点

为您推荐

热门交流