分布式存储对象存储概述

分 布 式 存 储 对 象 存 储-CEPH概 述 分 布 式 存 储对 象 存 储CEPH 2 分 布 式 存 储 系 统 3 1.1:分 布 式 存 储 历 程 .DAS 4 用 于 操 作 系 统 和 应 用 程序 的 本 地 存 储 。缺 点 ： 1对 1， 单 点 数 据 无 法 再 服 务 器 之 间共 享 。 5 1.2:分 布 式 存 储 历 程 .SAN 多 对 1。 数 据 大 集 中 在 SAN存 储 。缺 点 ： 性 能 好 横 向 扩 展 性 受 限 。 不 能 共 享 。 成 本 高 6 1.3:分 布 式 存 储 历 程 .NAS 实 现 不 同 服 务 器 之 间 传统 文 件 系 统 数 据 共 享 。 多 对 1。 数 据 集 中 。缺 点 ： 多 台 服 务 器 不 能 同 时 访问 修 改 ， 性 能 有 限 横 向 扩 展 性 受 限 。 成 本 高 1.4: NAS.SAN网 络 存 储 方 式 7 目 前 主 流 的 存 储 方 式 8 1.5:分 布 式 存 储 历 程 .分 布 式 存 储 性 能 优 越 。 扩 展 性 很 好 。 成 本 低 廉 。缺 点 ： 平 台 稳 定 性 需 要 考虑 。 技 术 支 持 的 问 题 。 9 个 人 理 解 分 布 式 存 储 就 是 多 台 横 向 连 接 的 计 算 机 同 时运 行 ， 共 同 处 理 完 成 同 一 件 client的 应 用 工 作 请 求 任 务 。可 灵 活 的 增 加 ， 或 减 少 节 点 ， 性 能 优 越 。 扩 展 性 很 好 。 成 本 低 廉 。1.6:分 布 式 存 储 优 势 10 对 象 存 储Object-Based Storage 2.1 对 象 存 储 技 术 11 对 象 存 储 是 综 合 了 NAS和SAN的 优 点 ， 同 时 具 备 了SAN直 接 高 速 访 问 和 NAS的 数 据 共 享 等 优 势 。 提 供 了 具 有 高 性 能 ， 高可 用 性 ， 跨 平 台 ， 以 及安 全 的 数 据 共 享 的 存 储体 系 结 构 。 2.2 对 象 存 储 解 释 优 势 12 对 象 存 储 就 是 分 布 式 系 统 ， 也 可 理 解 为 依 托 于 分 布 式 存 储 架构 的 一 个 特 性 ， 高 级 功 能1） 传 统 的 块 存 储 读 写 快 而 不 利 于 共 享 ，2 ） 文 件 存 储 读 写 慢 但 利 于 共 享对 象 存 储 则 集 成 二 者 优 点 ， 是 一 个 利 于 共 享 、 读 写 快 的 “ 云存 储 ” 技 术 。 作 为 一 种 分 布 式 存 储 ， 最 重 要 的 一 点 是 能 解 决对 非 结 构 化 数 据 快 速 增 长 带 来 的 问 题 。 13 2.3 对 象 存 储 结 构 14 15 2.4 对 象 存 储 组 件 对 象 (Object)包 含 了 文 件 数 据 以 及 相 关 的 属 性 信 息 ， 可 以 进 行 自 我 管 理 OSD（ Object-based Storage Device)一 个 智 能 设 备 ， OSD 为 存 储 对 象 数 据 的 设 备 ， 它 是 一 个 智 能 设 备 ， 包括 处 理 器 、 RAM 内 存 、 网 络 接 口 、 存 储 介 质 等 以 及 运 行 在 其 中 的 控 制 软 件 MDS 元 数 据 服 务 器 (Metadata Server)系 统 提 供 元 数 据 、 Cache一 致 性 等 服 务 16 2.5： 传 统 存 储 数 据 存 储 过 程 传 统 文 件 储 存 过 程 。 17 2.6： 对 象 存 储 数 据 储 存 过 程 对 象 文 件 储 存 过 程 。 18 2.7： Inodes vs Objects 2.8： 对 象 存 储 模 式 用 于 海 量 数 据 存 储 的 优 势 ： 19 高 性 能 数 据 存 储 ： 访 问 节 点 有 独 立 的 数 据 通 路 和 元 数 据访 问 通 路 ， 可 以 对 多 个 OSD 进 行 并 行 访 问 跨 平 台 数 据 共 享 ： 由 于 在 对 象 存 储 系 统 上 部 署 基 于 对 象的 分 布 式 文 件 系 统 比 较 容 易 ， 所 有 能 够 实 现 不 同 平 台 下的 设 备 和 数 据 的 共 享 。 可 伸 缩 性 ： 对 象 存 储 模 式 具 有 分 布 式 结 构 的 特 性 。 由 于OSD 是 独 立 的 智 能 设 备 ， 可 以 通 过 增 加 OSD 数 量 ， 使 存储 系 统 的 聚 合 I/O 带 宽 、 存 储 容 量 和 处 理 能 力 得 到 提 高 ，这 种 平 衡 扩 展 模 式 使 得 存 储 系 统 能 够 具 有 良 好 的 可 伸 缩性 。 2.9： 与 传 统 存 储 的 对 比 ： 20 存储接口存储系统优点缺点块级存储块 块 存 储 设 备 S如 :AN , 提 供 高 性能 的 随 机 I/O和 数 据吞 吐 率 可 扩 展 性 和 可 管 理 性 较差 、 价 格 较 高 、 不 能 满足 成 千 上 万 CPU 规 模 的系 统文件储存文 件 块 存 储 设 备 文 件 系 统 如 :NAS, 扩 展 性 好 、易 于 管 理 、 价 格 便 宜 开 销 高 、 带 宽 低 、 延 迟大 ,不 利 于 高 性 能 集 群 中应 用对象存储对 象 块 存 储 设 备 文 件 系 统 定 位 逻 辑 应 用 程 序 支 持 高 并 行 性 、 可 伸缩 的 数 据 访 问 , 管 理性 好 、 安 全 性 高 、 适合 高 性 能 集 群 使 用 处 于 发 展 阶 段 ,相 应 的 硬件 、 软 件 支 持 有 待 进 一步 完 善 21 CEPH概 述 3 .1 ： ceph简 介企 业 级 存 储 产 品 的 需 求 3 .2 : Ceph可 提 供 ： 3 .3 : Ceph架 构 图 24 底 层 Rados - Ceph实 现分 布 式 存 储 的 根本 ， 所 有 存 储 接口 都 是 基 于Rados实 现 的 - Rados本 身就 是 一 个 对 象 存储 接 口 ， 维 护 了一 个 集 群 状 态 和实 现 了 数 据 分 发的 要 求 l (2)基 础 库 librados - 对 RADOS进 行 抽 象 和 封装 ， 并 向 上 层 提 供 API， 以 便直 接 基 于 RADOS（ 而 不 是 整个 Ceph） 进 行 应 用 开 发l (3)高 层 应 用 接 口 - 这 一 层 包 括 了 三 个 部 分 ： RADOS GW（RADOS Gateway） 、 RBD（ Reliable Block Device） 和 Ceph FS（ Ceph File System） ，其 作 用 是 在 librados库 的 基 础 上 提 供 抽 象 层 次 更 高 的 上 层 接 口 ， 分 别 对 应 对 象 存 储 、 块 存储 和 文 件 存 储 。 l（ 4） 应 用 层这 一 层 就 是 不 同 场 景 下 对于 Ceph各 个 应 用 接 口 的各 种 应 用 方 式 ， 例 如 基 于librados直 接 开 发 的 对 象存 储 应 用 ， 基 于 RADOS GW开 发 的 对 象 存 储 应 用， 基 于 RBD实 现 的 云 硬 盘等 等 。 3 .4 : 传 统 VS ceph传 统 ： Ceph: - Monitor: 维 护 集 群 的成 员 和 状 态 (cluster map) ， 提 供 强 一 致 性 的决 策 - MDS metdata数 据 服 务器 - OSD: 每 一 个 disk、 SSD或 者 RAID group或 者 其他 一 个 物 理 存 储 设 备 都成 为 一 个 OSD， 主 要 负责 存 储 和 查 找 对 象 ， 并且 负 责 向 该 对 象 的 复 制节 点 分 发 和 恢 复 。3 .5 : Rados组 件 3 .6 ： Ceph 使 用 场 景 举 例 -Rados GWlRadosGW位 于 Librados之 上 ， 它 主 要 提 供RESTful接 口 并 且 兼 容 S3、 Swfit的 接 口 。 3 .7 ： S3 使 用 案 例 29 3.8： 性 能 检 测rootcephclient # rados bench -p cephfs_data 1 0 write -no-cleanupMaintaining 1 6 concurrent writes of 4 1 9 4 3 0 4 bytes to objects of size 4 1 9 4 3 0 4 for up to 1 0 seconds or 0 objectsObject prefix: benchmark_data_cephclient_8 3 2 2 sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s) 8 1 6 2 4 7 2 3 1 1 1 5 .4 6 4 1 0 8 0 .3 5 7 9 5 8 0 .5 3 7 4 2 9 1 6 2 7 4 2 5 8 1 1 4 .6 3 3 1 0 8 0 .4 4 9 1 6 3 0 .5 3 9 0 5 7 1 0 1 6 3 0 1 2 8 5 1 1 3 .9 6 8 1 0 8 0 .5 5 1 5 7 2 0 .5 4 3 6 2 9Total time run: 1 0 .5 9 5 6 3 0Total writes made: 3 0 2Write size: 4 1 9 4 3 0 4Object size: 4 1 9 4 3 0 4 Bandwidth (MB/sec): 1 1 4 .0 0 9Stddev Bandwidth: 4 1 .2 7 9 5Max bandwidth (MB/sec): 2 2 8 30 3.9： ceph 优 势 ： Ceph是 一 种 为 优 秀 的 性 能 、 可 靠 性 和 可 扩 展 性 而设 计 的 统 一 的 、 分 布 式 的 存 储 系 统 。 “ 统 一 的 ” 意 味 着 Ceph可 以 同 时 提 供 对 象 存 储 、块 存 储 和 文 件 系 统 存 储 三 种 功 能 ， 以 便 在 满 足 不同 应 用 需 求 的 前 提 下 简 化 部 署 和 运 维 。 “ 分 布 式 的 ” 在 Ceph系 统 中 则 意 味 着 真 正 的 无 中心 结 构 和 没 有 理 论 上 限 的 系 统 规 模 可 扩 展 性 。 在实 践 当 中 ， Ceph可 以 被 部 署 于 上 千 台 服 务 器 上 。 32 欢 迎 您 和 我 一 起 讨 论 ！