Swarm和Mesos集成指南-资源利用率优化实践

本文转载自CSDN极客头条

【编者按】Apache Mesos作为一个非常优秀的分布式资源管理和调度系统,如何高效的管理和分配资源,必然成为它研究和努力的主要方向之一。本文是基于IBM Platform DCOS Team在资源调度领域的优秀经验,以及他们在Mesos社区为提升Mesos资源利用率而正在进行的实践活动,深度剖析了Mesos资源的收集和调度原理,以及如何在Mesos中提供Revocable资源来提高Mesos数据中心的资源利用率。最后,作者结合自己在Docker Swarm社区的贡献经验,重点讲解了在Docker Swarm如何支持Mesos的Revocable资源。来自IBM Platform软件工程师王勇桥将带来“Swarm和Mesos集成指南”系列文章,带大家了解Swarm和Mesos集成的架构和原理,Swarm基于Mesos集群的实战部署和配置,以及基于IBM…

详细内容

谁说OpenStack和Kubernetes的结合只是阳春白雪?看看在物联网平台怎么玩!

日前在Austin举办的OpenStack 大会上介绍过基于Kubernetes和Openstack的开源物联网平台。我们来看看这两者的结合在物联网平台如何玩,先说说对物联网的解决方法和看法,再给大家展示两个案例。

物联网(IoT)是云计算领域的“下一个大事件”。物联网意味着所有的事情,它甚至比云计算服务更加具体。物联网以增加机器间通信为中心,它建立在数据采集传感器网络和连接到云计算服务执行器的基础上。
我们来看看如何使用开源项目,来扩展云服务方法进而创建通用的物联网平台,可以处理多个用户案例。我们定义了以下要求:

开源软件
整个平台基于已存在的开源解决方案,我们想要使用的平台包括:OpenStack,Kubernetes,Docker,OpenContrail等。

HW和独立供应商
没有一家供应商的定位是既包括软件又包括硬件的。物联网网关CPU不是x86/64架构就是ARM架构。我们不想被锁定到…

详细内容

OpenStack企业私有云的若干需求(2):自动扩展(Auto-scaling)支持

作者:Sammy Liu 刘世民 ——博客

本系列会介绍OpenStack 企业私有云的几个需求:

  • 自动扩展(Auto-scaling)支持
  • 多租户和租户隔离 (multi-tenancy and tenancy isolation)
  • 混合云(Hybrid cloud)支持
  • 主流硬件支持、云快速交付 和 SLA 保证
  • 大规模扩展性支持
  • 私有云外围环境支持(包括支持CDN 、商业SDN控制器、防火墙和VPN/专线等)
  • 向上扩展性(PaaS 和 SaaS 等支撑)
  • 企业数据中心IT环境支持(包括裸金属/Bare metal、F5 、GPU、跨云网络连通、租户计费、备份等支持)
  • 行业解决方案
  • 独立的服务,包括培训、运维等

弹性是一个真正的云平台必须具备的五大特征(自助使用、网络、独立资源池、快速弹性、服务可计量)之一,它是指一种对资源快…

详细内容

使用Tempest Docker测试OpenStack

一.为什么要用Tempest Docker

笔者,从事基于OpenStack产品的QA测试工作半年多来,一直对相关测试环境的构建记忆深刻,尤其是测试环境的安装和部署。举个很简单的例子,当测试A环境的OpenStack时,需要构建好一个诸如Tempest在内的测试平台;当测试B环境的OpenStack时,又需要构建好一个同样的测试平台;亦或者要运行诸如社区那样的分布式大规模异步测试任务等。

通常,为了构建这样的一个测试平台,即便是熟练者往往也需要花费30多分钟时间。通过使用Docker容器化,将Tempest独立于宿主机OS,而单独运行在容器中,可以做到系统隔离,平台复用和简单分化等高效作用。

社区对OpenStack的集成测试工具采用Tempest,性能测试采用Rally。Tempest的实现基于Python的unittest2测试框架和nose测试框架。Tempest对Openst…

详细内容

OpenStack企业私有云新需求(1):Nova 虚机支持 GPU

本文转自:专注云计算

作者:Sammy Liu 刘世民

本系列会介绍OpenStack 企业私有云的几个需求:

内容比较多,很多东西也没有确定的内容。想到哪…

详细内容

Libvirt下获取虚机内存使用

本文作者:张智博  Niusmallnan (东网科技)

在我们的云平台中,基本都需要这样一个功能,就是收集虚拟机监控数据,比如cpu使用率、内存使用率、磁盘io、网络io等信息。通常这些信息Hypervisor都会提供接口供你获取,这种获取方式成本是低廉的,通常不会对整个虚拟化环境有影响。如果想要获取更多的监控详情信息,那么则需要在虚机里面安装agent来收集监控数据,这种方式获取成本高,有时候用户可能不会接受镜像里面有agent的事实,这好比被安装了后门一样。两种方式各有优劣,看各自的需求场景,具体使用具体分析。

本文主要讨论是如何能通过libvirt接口获取memory-usage,主要是针对kvm虚拟化。

KVM内存虚拟化

我们先回顾一下,KVM在内存虚拟化上有哪些相关技术可以使用。

KVM的发展路线就是逐步从软件模拟到硬件辅助,内存虚拟化的本质就是实现客户机虚拟地址 (…

详细内容

OpenStack中的API结构地图

本文作者:无若 转自:OSChina

摘要

本文详细介绍了OpenStack中的paste相关配置,从中找到OpenStack API 与相关类和方法的映射规律。本文以nova API为例,步步深入研究其中的调用关系,并在最后通过添加自定义API的方式对映射关系进行了验证。

正文:

1. OpenStack中的API结构地图

当你执行如下命令的时候:

里面做了什么呢?

在这张图中我们加了–debug就看得更清楚了。

具体来说它是由两次http请求构成的。

分别是

(1)向keystone验证

1
REQ: curl -i ‘http://ubuntu80:35357/v2.0/tokens’ -X POST -H “Accept: application/json” -H “Content-Type: application/json” …

详细内容

Openstack Cascading和Nova Cell

Openstack是看着AWS成长起来的,这点毋庸置疑;所以AWS大规模商用已成事实的情况下,Openstack也需要从架构和产品实现上进行优化,以满足大规模商用的要求。从已有的实现来看其中两种方式值得借鉴:华为推出的Openstack级联方案和社区已有的Cell方案。在上海11月21号的Openstack Meeting up中华为高级架构师黄登辉的分享里也提及,华为公有云使用了级联架构。其中Cell方案(https://wiki.openstack.org/wiki/Blueprint-nova-compute-cells,http://comstud.com/GrizzlyCells.pdf)是从Openstack的G release版提出的新模块,Openstack级联方案(https://wiki.openstack.org/wiki/OpenStack_cascading_so…

详细内容

技术Session第一波——Nova的三点调整

为期四天的OpenStack东京峰会刚刚落下帷幕,不过对于OpenStack东京峰会微信直播群的人群来说,汇总技术Session中的分享将会对我们了解OpenStack的下一步发展有着至关重要的意义。首先就是由EasyStack创始工程师 郭长波带来的关于计算组件的“未来Nova的三点调整。”

 API:下版本全面进化到2.1

Nova API 方面将从主代码分支中移出ec2 API, 放在stackforge/ec2-api中维护;对于旧的API v2引入 v2.1上运行v2.0 API 的兼容层来保持兼容,目标是在Austin(Austin 是下届OpenStack design summit 的举办地)之后去除v2 API; 同时社区也在逐步完善API文档,主要通过从代码中自动生成文档方式实现。

 代码交互库:重新构建

Nova将与其它组件如Neutron,Cinde…

详细内容

Nova中的系统状态分析

写此文的目的

转眼间OpenStack已经发展到了K,马上L版本开发周期也要开始了。记得我最早接触的是OpenStack的E版本,时间过去了2年多,OpenStack社区仍然如火如荼,OpenStack玩家,特别是重量级玩家越来越多,通过每次OpenStack峰会的报道、社区的user survey以及圈里的分享,我们发现OpenStack的生产环境部署也越来越多,但是相信很多企业,很多人,在使用OpenStack的过程中仍然很痛苦。安装部署困难,系统复杂性,过于灵活的架构,眼花缭乱的配置项,特别是系统搭建好以后,运行过程中各种各样的错误等,足以让一个充满热情的人望而却步。关于安装部署,目前已有有很多开源工具在做,像TripleO、Fuel、RDO以及一些像Ansible、Puppet、Chef等更native的工具,已经极大程度的降低了安装OpenStack的门槛,我就不再过多阐述。而…

详细内容