Ceph: 一个可扩展的高性能分布式文件系统

Ceph: 一个可扩展的高性能分布式文件系统

作者: Sage A. Weil, Scott A. Brandt, Ethan L. Miller, Carlos Maltzahn
机构: 加州大学圣克鲁兹分校存储系统研究中心

摘要

        我们开发了 Ceph，这是一个分布式文件系统，它提供卓越的性能、可靠性和可扩展性。Ceph 通过将分配表替换为伪随机数据分布函数 (CRUSH)，最大限度地分离了数据和元数据管理。CRUSH 专为异构动态不可靠对象存储设备 (OSD) 集群而设计。我们通过将数据复制、故障检测和恢复功能分发到运行专用本地对象文件系统的半自治 OSD，充分利用了设备智能。动态分布式元数据集群提供极其高效的元数据管理，并无缝适应各种通用和科学计算文件系统工作负载。在各种工作负载下的性能测量表明，Ceph 具有卓越的 I/O 性能和可扩展的元数据管理，每秒支持超过 250,000 次元数据操作。

1. 引言

        长期以来，系统设计人员一直在努力提升文件系统的性能，事实证明，文件系统对众多应用程序的整体性能至关重要。科学计算和高性能计算社区尤其推动了分布式存储系统性能和可扩展性的进步，通常能够预测未来几年更通用的需求。以 NFS [20] 为例的传统解决方案提供了一种简单的模型，其中服务器导出文件系统层次结构，客户端可以将其映射到其本地名称空间。尽管客户端/服务器模型被广泛使用，但其固有的集中