回复网安盾:Colossus用HDD搭配SSD缓存的技术方案挺聪明的
下载贤集网APP入驻自媒体
4月2日消息,Google在博客文章中披露了自研存储系统Colossus的部分细节。Colossus作为通用存储平台,为YouTube、Gmail等众多服务提供支持,由Google文件系统项目发展而来。 令人意外的是,尽管科技发展迅速,Colossus仍采用磁性硬盘驱动器(HDD)存储大部分数据。不过,Google为其配备了依赖固态硬盘(SSD)的独家缓存技术,以此提升性能。 Google在数据中心为每个集群构建Colossus文件系统,不少集群能管理超多个EB的存储空间,有两个文件系统各自托管超10EB数据。其数据吞吐量惊人,最大集群读取速率“经常”超每秒50TB,写入速率高达每秒25TB。 Colossus内部用户能选择文件存储在HDD还是SSD,多数开发人员会采用L4分布式SSD缓存这一自动化方案。该方案借助机器学习算法决策数据存储策略,新数据最终都会写入HDD。L4缓存通过分析I/O模式等模拟存储位置,正确预测时会将部分数据暂存SSD,之后迁移至HDD以控制成本。凭借这些,Colossus为数十亿用户提供可靠服务 。