理解 OpenStack 高可用(HA):Neutron 分布式虚拟路由(一)

Neutron 作为 OpenStack 一个基础性关键服务,高可用性(HA)和扩展性是它的基本需求之一。对 neutron server 来说,因为它是无状态的,我们可以使用负载均衡器(Load Balancer)比如 HAProxy 来实现其 HA 和扩展性;对于 Neutron L3 Agent 来说,一个带外(Out-of-band)的 HA 实现方案可以使用 PeaceMaker,但是这会大大增加系统的复杂性,另一个就是之前介绍的 VRRP,但是它也存在不少问题:
(1)需要额外的硬件来组成 VRRP 组,这会带来成本增加
(2)它无法解决扩展性问题,东-西和南-北网络流量都需要经过活动的 VRRP Router。而 Juno 中引入的 DVR 功能正是用来解决这两点不足的。

1.基础知识

1.1 路由 (Routing)

1.1.1 路由策略 (使用 ip rule…

详细内容

Swarm和Mesos集成指南-资源利用率优化实践

本文转载自CSDN极客头条

【编者按】Apache Mesos作为一个非常优秀的分布式资源管理和调度系统,如何高效的管理和分配资源,必然成为它研究和努力的主要方向之一。本文是基于IBM Platform DCOS Team在资源调度领域的优秀经验,以及他们在Mesos社区为提升Mesos资源利用率而正在进行的实践活动,深度剖析了Mesos资源的收集和调度原理,以及如何在Mesos中提供Revocable资源来提高Mesos数据中心的资源利用率。最后,作者结合自己在Docker Swarm社区的贡献经验,重点讲解了在Docker Swarm如何支持Mesos的Revocable资源。来自IBM Platform软件工程师王勇桥将带来“Swarm和Mesos集成指南”系列文章,带大家了解Swarm和Mesos集成的架构和原理,Swarm基于Mesos集群的实战部署和配置,以及基于IBM…

详细内容

理解 OpenStack + Ceph : Ceph 的基本操作和常见故障排除方法

本文转自:专注云计算
作者:Sammy Liu

学以致用,本文将介绍 Ceph 集群的一些基本操作和常见的故障排除方法。

0. 测试环境

  将由 Virtulbox 管理的两个虚机,分别是 ceph1 和 ceph2,作为 OSD 服务器,其中,ceph1 同时作为 MON 服务器。两个节点上分别有两个虚拟磁盘作为 OSD 存储磁盘,每个大小为 5G;还有一个虚拟磁盘作为 Journal 磁盘,1G,分为两个区,做为数据盘的日志分区。从 ceph1 上使用 ceph-deploy 工具部署。pool 的 size 设置为 2,min_size 也设置为 2.

1. 修改 OSD CRUSH weight

1.1 问题描述

部署完成后,集群处于 PG Degraded 状态,经查 ceph health detail,发现 PG 的 acting OSD 只有 […

详细内容

携程、乐视、宝德云、联通等公司使用的 Ceph 存储集群 

1. 携程(Ctrip)

携程所使用的各种存储的现状:

  • 商业存储:
    • SAN(HP/ HPS) , 1+ PB, 数据库
    • NAS (HW) , 800+ TB, 文件共享
  • 开源存储
    • GlusterFS, 1+ PB, 数据库备份
    • FastDFS,   1+ PB, 海量照片
    • HDFS,      10+ PB, 大数据

而在不久的将来,随着公司业务的发展,携程需要的存储容量需要扩大到10倍以上。

携程选择Ceph的理由:低成本 + SDS + Scale…

详细内容

剖析OpenStack存储

作者:陈海洋 来源:IBM

 

Openstack 通过5 年多的发展,变得越来越庞大。这也是为了满足更多不同的需求,体现出开源项目灵活快速的特性。本文不是关于Openstack 存储相关组件的配置,而是以OpenStack H版本为例,介绍存储入门的一些必要理论知识。

 

OpenStack 存储技术

OpenStack 其实有三个与存储相关的组件,这三个组件被人熟知的程度和组件本身出现时间的早晚是相符的,按熟悉程度排列如下:

Swift—提供对象存储(Object Storage),在概念上类似于 Amazon S3 服务,不过 swift 具有很强的扩展性、冗余和持久性,也兼容 S3 API。对象存储支持多种应用,比如复制和存档数据、图像或视频服务,存储次级静态数据,开发数据存储整合的新应用,存储容量难以估计的数据,为Web 应用创建基于云…

详细内容

Magnum vs. Murano:OpenStack容器策略解析

从其过去18个月的发展轨迹不难看出,容器化开发已被广泛接受,且将成大势。这并非偶然:容器体积小、无需大量资源、可迁移、能快速启动,聚众多优势于一身,想不火也难。

 

容器技术倍受欢迎的原因可归为两类。第一类源自其实用性可改善传统实践。举例:容器的本质是让从开发到生产环境的演进,不必引入能影响可靠性的新变量便可完成。

 

第二类源自其它新兴技术及架构。以建于Microservices之上的应用为例,其组件仅能处理应用的一小部分,且可轻易被新版本替换,无需影响该应用的其它部分。这些应用需有Microservices完成近乎实时的回送结果 - 这实为容器技术的优势之一。

 

于此,已问世多年的容器技术能够在被Docker大幅提升易用性后迅速走红于业界,也就不足为奇了。尽管Docker发展之初,行业反馈略显失控,容器并不能替代虚拟机…

详细内容

Ceph的IO模式分析

本文由 Ceph中国社区-半天河翻译,Thomas校稿。本文主要是翻译sebastien-han的三篇博客:ceph-io-patterns-the-good 、ceph-io-patterns-the-bad、ceph-io-patterns-the-ugly 。

一切都是为了性能。基准测试是非常复杂的,得到的测试结果总是难以预测、分析和解释。有时你得到了测试数据,但你不知道它们的意思,也不知道这个结果到底是好呢还是坏呢?好又好在哪里,不好又哪里是瓶颈。在这篇文章中,我将尽力详细的讲解以帮助你理解内部Ceph是如何工作的。

1. The good

1.1 确定的对象位置

1

关于这一点我相信大家已经熟知了,但是在这里我还是要再次解释一下。Ceph用以确定对象位置的方法是独一无二的:

客户端写入顺序(位置和从属关系见上图):

=> 一个确定的资源池(包…

详细内容

开源分布式存储之我见

by 钟忻@乐视
相信很多公司和乐视一样,本就不充足的研发队伍,由于种种历史和政治原因,在同一个领域里充斥了大量类似的开源项目,在我们的分布式存储系统里,目前就采用了HDFS,Gluster,Swift和Ceph四种系统。今天就凭着印象,聊一聊这四种分布式存储的不同。
1.HDFS
其实在真正搞过分布式文件系统的人看来,HDFS不能算得上是真正的文件系统。因为他实在太简单,太粗糙。甚至连搞个append接口都搞了老半天,到现在应该还不支持随机读写之类的文件系统最基本的功能。他最大的优势是借助hadoop这个生态系统得以比较稳定。另外还有一个优势就是他是用java写的,这样一帮java程序员也可以号称自己在搞文件系统了。
HDFS到现在应该还是不是真正意义上的分布式,他的nameode的federation相当于静态目录,虽然共享存储池,但是namespace是不共享的。
2….

详细内容

SSD固态盘应用于Ceph集群的典型使用场景

   作者:王后明,EasyStack,转载请注明中国社区出处
        在虚拟化及云计算技术大规模应用于企业数据中心的科技潮流中,存储性能无疑是企业核心应用是否虚拟化、云化的关键指标之一。传统的做法是升级存储设备,但这没解决根本问题,性能和容量不能兼顾,并且解决不好设备利旧问题。因此,企业迫切需要一种大规模分布式存储管理软件,能充分利用已有硬件资源,在可控成本范围内提供最佳的存储性能,并能根据业务需求变化,从容量和性能两方面同时快速横向扩展。这就是Server SAN兴起的现实基础。
ServerSANTopo
    Ceph作为Server SAN的最典型代表,可对外提供块、对象、文件服务的分布式统一存储系统,不可避免成为关注热点,越来越多的企业在生产环境部署和使用Ceph集群,截止今年4月份为止,云计算提供商DreamHost、欧洲核子研究中心CERN等企业已有3PB规模数据量的Ceph生产环境…

详细内容

Ceph管理平台Calamari的架构与功能分析

作者:李剑,EasyStack创始工程师,转载请注明出处

Calamari项目开始于2013年夏天,创立它的初衷是开发一个Ceph管理平台, Calamari对外提供了十分漂亮的web管理和监控界面,以及一套改进的REST API接口(不同于Ceph自身的REST API),在一定程度上简化了Ceph的管理。最初Calamari是作为Inktank公司的Ceph企业级商业产品来销售,红帽今年5月30日收购Inktank后为了更好地推动Ceph的发展,对外宣布Calamari开源,秉承开源开放精神的红帽着实又做了一件非常有意义的事情。本文将简单剖析Calamari的架构和功能。

安装

Calamari推荐使用vagrant + virtualbox的方式来build安装包,然后在对应的操作系统中进行安装,具体的安装过程请参照Ceph Calamari : step-by-s…

详细内容