理解 OpenStack + Ceph : Ceph 的基本操作和常见故障排除方法

本文转自:专注云计算
作者:Sammy Liu

学以致用,本文将介绍 Ceph 集群的一些基本操作和常见的故障排除方法。

0. 测试环境

  将由 Virtulbox 管理的两个虚机,分别是 ceph1 和 ceph2,作为 OSD 服务器,其中,ceph1 同时作为 MON 服务器。两个节点上分别有两个虚拟磁盘作为 OSD 存储磁盘,每个大小为 5G;还有一个虚拟磁盘作为 Journal 磁盘,1G,分为两个区,做为数据盘的日志分区。从 ceph1 上使用 ceph-deploy 工具部署。pool 的 size 设置为 2,min_size 也设置为 2.

1. 修改 OSD CRUSH weight

1.1 问题描述

部署完成后,集群处于 PG Degraded 状态,经查 ceph health detail,发现 PG 的 acting OSD 只有 […

详细内容

携程、乐视、宝德云、联通等公司使用的 Ceph 存储集群 

1. 携程(Ctrip)

携程所使用的各种存储的现状:

  • 商业存储:
    • SAN(HP/ HPS) , 1+ PB, 数据库
    • NAS (HW) , 800+ TB, 文件共享
  • 开源存储
    • GlusterFS, 1+ PB, 数据库备份
    • FastDFS,   1+ PB, 海量照片
    • HDFS,      10+ PB, 大数据

而在不久的将来,随着公司业务的发展,携程需要的存储容量需要扩大到10倍以上。

携程选择Ceph的理由:低成本 + SDS + Scale…

详细内容

剖析OpenStack存储

作者:陈海洋 来源:IBM

 

Openstack 通过5 年多的发展,变得越来越庞大。这也是为了满足更多不同的需求,体现出开源项目灵活快速的特性。本文不是关于Openstack 存储相关组件的配置,而是以OpenStack H版本为例,介绍存储入门的一些必要理论知识。

 

OpenStack 存储技术

OpenStack 其实有三个与存储相关的组件,这三个组件被人熟知的程度和组件本身出现时间的早晚是相符的,按熟悉程度排列如下:

Swift—提供对象存储(Object Storage),在概念上类似于 Amazon S3 服务,不过 swift 具有很强的扩展性、冗余和持久性,也兼容 S3 API。对象存储支持多种应用,比如复制和存档数据、图像或视频服务,存储次级静态数据,开发数据存储整合的新应用,存储容量难以估计的数据,为Web 应用创建基于云…

详细内容

Ceph的IO模式分析

本文由 Ceph中国社区-半天河翻译,Thomas校稿。本文主要是翻译sebastien-han的三篇博客:ceph-io-patterns-the-good 、ceph-io-patterns-the-bad、ceph-io-patterns-the-ugly 。

一切都是为了性能。基准测试是非常复杂的,得到的测试结果总是难以预测、分析和解释。有时你得到了测试数据,但你不知道它们的意思,也不知道这个结果到底是好呢还是坏呢?好又好在哪里,不好又哪里是瓶颈。在这篇文章中,我将尽力详细的讲解以帮助你理解内部Ceph是如何工作的。

1. The good

1.1 确定的对象位置

1

关于这一点我相信大家已经熟知了,但是在这里我还是要再次解释一下。Ceph用以确定对象位置的方法是独一无二的:

客户端写入顺序(位置和从属关系见上图):

=> 一个确定的资源池(包…

详细内容

SSD固态盘应用于Ceph集群的典型使用场景

   作者:王后明,EasyStack,转载请注明中国社区出处
        在虚拟化及云计算技术大规模应用于企业数据中心的科技潮流中,存储性能无疑是企业核心应用是否虚拟化、云化的关键指标之一。传统的做法是升级存储设备,但这没解决根本问题,性能和容量不能兼顾,并且解决不好设备利旧问题。因此,企业迫切需要一种大规模分布式存储管理软件,能充分利用已有硬件资源,在可控成本范围内提供最佳的存储性能,并能根据业务需求变化,从容量和性能两方面同时快速横向扩展。这就是Server SAN兴起的现实基础。
ServerSANTopo
    Ceph作为Server SAN的最典型代表,可对外提供块、对象、文件服务的分布式统一存储系统,不可避免成为关注热点,越来越多的企业在生产环境部署和使用Ceph集群,截止今年4月份为止,云计算提供商DreamHost、欧洲核子研究中心CERN等企业已有3PB规模数据量的Ceph生产环境…

详细内容

Ceph管理平台Calamari的架构与功能分析

作者:李剑,EasyStack创始工程师,转载请注明出处

Calamari项目开始于2013年夏天,创立它的初衷是开发一个Ceph管理平台, Calamari对外提供了十分漂亮的web管理和监控界面,以及一套改进的REST API接口(不同于Ceph自身的REST API),在一定程度上简化了Ceph的管理。最初Calamari是作为Inktank公司的Ceph企业级商业产品来销售,红帽今年5月30日收购Inktank后为了更好地推动Ceph的发展,对外宣布Calamari开源,秉承开源开放精神的红帽着实又做了一件非常有意义的事情。本文将简单剖析Calamari的架构和功能。

安装

Calamari推荐使用vagrant + virtualbox的方式来build安装包,然后在对应的操作系统中进行安装,具体的安装过程请参照Ceph Calamari : step-by-s…

详细内容

OpenStack Cinder 与 Ceph 使用进阶篇

OpenStack Cinder 作为 OpenStack 世界里一个早期项目之一,实质上现在已经成为一个相当成熟的项目了。它的 API 实现已经基本覆盖了对于卷管理的需求,剩下的都是比较难以两全的如高可用卷。Ceph 是 Cinder 非常受欢迎的 Backend 之一,对于 API 的实现也非常完整。因此,本文主要会主要介绍以 Ceph 作为 Backend 的 Cinder 的一些使用。

下面内容主要面向 Ceph Backend(RBD),但也可能适用其他存储类型,主要基于 Icehouse 版本。

Ceph 的选项

“rbd_flatten_volume_from_snapshot”: RBD Snapshot 在底层会快速复制一个元信息表,但不会产生实际的数据拷贝,因此当从 Snapshot 创建新的卷时,用户可能会期望不要依赖原来的 Snapshot,这个选项开启会…

详细内容

2014上半年最受欢迎的开源云项目-OpenStack继续领军

上周在芝加哥举行的 CloudOpen 大会上,Linux.com 和 The New Stack 公布了一项由550名从业者参与的调查结果。OpenStack 被评为最火的云开源项目,其次为 Docker 和 KVM。

2

这 个结果显示出少于5年历史的新生代云项目正在不断的发展,以满足日益增长的企业云计算需求,开源项目将更加受到欢迎。调查结果同时显示,相比较于这些年轻 的项目而言,那些更加稳定可靠的技术也同样很有生命力。七月份由 SurveyMonkey 执行的调查最后公布,参与者被要求给出以下5个分类里最好的几个开源项目:

 

  1. Hypervisor或Container项目
  2. 基础设施即服务(IaaS)
  3. 平台即服务 (PaaS)
  4. 配置管理工具
  5. 储存服务 (Storage)

 

参 与者还被要求参与另一项投票,按优秀程…

详细内容

Server SAN:云计算时代的弄潮儿

原文发表于《程序员》2014年7月刊。

4月30日,Redhat宣布1.71亿美元收购Ceph开发商Inktank公司,加上之前2011年10月1.36亿美元收购的Gluster,Redhat已经将两大著名的开源分布式文件系统纳入旗下。5月17日,最后一台小型机在阿里巴巴支付宝下线,标志着阿里已经完成“去IOE化”。随后国内互联网以及有技术实力的公司,掀起了一场去IOE(以IBM, Oralce, EMC为代表)化运动,通过开源解决方案解决计算和存储问题。Nutanix和VSAN在VMware等虚拟化中大行其道,更是把分布式存储推到了风口浪尖,Server SAN一时间成为了高大上的东西。为什么会出现这番场景呢?分布式存储说来也不是新奇的玩意,2000年就已经有很多产品了,诸如GPFS, Lustre, Panasas, PVFS等,但之后十年发展一直不温不火。其实,说到底还是实际应用需…

详细内容

最佳的开源云项目有哪些?

Linux.com和The New Stack联合起来做了一个调查:你认为的最受欢迎的开源云项目是哪些?调查涵盖了hypervisors、IaaS、PaaS、管理和服务开通和其它类别的开源项目。所有项目较为成熟的、有规模的开源云项目。
下一代的企业正在使用开放云技术打造完全不同的自己。开源云项目定义了一种新的方法,来构造和管理企业的应用和系统。你的选择将有助于鉴定和识别出那些最受欢迎的开源云项目。

调查(地址:http://svy.mk/1nhzNdZ)涵盖了hypervisors、IaaS、PaaS、管理和服务开通和其它类别的开源项目。每个类别中的项目与Linux Foundation在2013年11月发布的白皮书Understanding the Open Cloud中的一致,另外主办方的编辑也增加了一些新项目。所有项目都是开源生态圈中较为成熟的、有规模的开源云项目。

所…

详细内容