xml地图|网站地图|网站标签 [设为首页] [加入收藏]

科技技术

当前位置:澳门金莎娱乐网站-官方首页 > 科技技术 > 10年云计算领域研发及架构经验,是InfoQ推出的一

10年云计算领域研发及架构经验,是InfoQ推出的一

来源:http://www.qd-haiyu.com 作者:澳门金莎娱乐网站-官方首页 时间:2019-09-13 11:59

原标题:120分钟!我和深信服云计算CTO都聊了啥?

作者简介:刘超,网易云计算解决方案首席架构师。10年云计算领域研发及架构经验,Open DC/OS贡献者。长期专注于kubernetes, OpenStack、Hadoop、Docker、Lucene、Mesos等开源软件的企业级应用及产品化。曾出版《Lucene应用开发揭秘》。

编者按

蓉城成都,国家历史文化名城,古蜀文明发祥地,这几年俨然成为IT行业重镇。9月8日,2018深信服创新论坛在成都顺利举办,云技术社区北极熊受邀参加了本次论坛,并对深信服云计算CTO曹心驰做了长达120分钟的访谈,曹心驰深度分享了对当前云计算行业的看法,揭秘了深信服企业级云产品的一些研发思路和打法。

以下为正文:

“总编访谈”是InfoQ推出的一个高端访谈栏目,由总编辑崔康主持,致力于深入采访国外内顶尖技术力量,报道最前沿、最有深度的内容,分享干货和经验。

【51CTO.com原创稿件】OpenStack作为当下事实上的开源云标准,已成功被多个行业领域的用户大规模部署。很多人都知道,OpenStack诞生的初衷就是为了优化云环境,包括公有云、私有云、混合云的所有玩家都希望能同OpenStack建立某种形式的关联,这也让OpenStack开源社区获得大量追随者,建立了完整的企业生态。

先来分享先早上参加创新论坛的一些精华分析,再分享下午和深信服云计算CTO曹心驰长达120分钟的访谈精华文字版的记录。

云计算概述

云计算主要解决了四个方面的内容:计算,网络,存储,应用。

计算就是CPU和内存,例如“1+1”这个最简单的算法就是把“1”放在内存里面,然后CPU做加法,返回的结果“2”又保存在内存里面。网络就是你插根网线能上网。存储就是你下个电影有地方放。本次讨论就是围绕这四个部分来讲的。其中,计算、网络、存储三个是IaaS层面,应用是PaaS层面。

本次受访嘉宾是UnitedStack创始人程辉,就云计算市场的现状、发展趋势,以及UnitedStack在业务方面的战略调整给出了自己的解读。

在中国,电信、金融、政府、能源、交通、制造、医疗、教育等各大行业的领军公司都已经拥抱OpenStack开源云平台。这说明,从前存在的部署难度高、未能满足行业用户定制化需求等问题已被逐步解决,而这归功于一大批开源创新公司的不断努力,EasyStack便是其中之一。

深信服企业级云--大道至简

云计算发展脉络

云计算整个发展过程,用一句话来形容,就是“分久必合,合久必分”。

InfoQ:为什么UOS1.0是做发行版,而从2.0开始做公有云和托管云了?

 

深信服企业级云用四个字总结就是大道至简,一切从用户需求出发,将复杂留给自己,将极简、稳定、高性能、低TCO、安全送给用户。

第一阶段:合,即物理设备

程辉:公司2013年成立,在当年10月份的时候发布UOS1.0,当时的想法很简单,很多厂商都推出高度产品化、定制化或者优化过的OpenStack发行版,然后通过外围的一些服务挣钱。我们也想解决OpenStack的一些痛点,比如自动化部署、运维等,并针对国内用户的使用习惯进行了改进,最终发布了UOS1.0。产品本身是比较酷的,把U盘做成了一个产品,交付给任何一家IT公司或者个人用户,在服务器上插上U盘,过一会就搭建出一个云环境。

那么EasyStack都做了些什么呢?

 

图片 1

物理设备简介

在互联网发展初期,大家都爱用物理设备:

服务器用物理机,像戴尔、惠普、IBM、联想等物理服务器,随着硬件设备的进步,物理服务器越来越强大了,64核128G内存都算是普通配置;

网络用的是硬件交换机和路由器,例如思科的,华为的,从1GE到10GE,现在有40GE和100GE,带宽越来越牛;

存储方面有的用普通的磁盘,也有更快的SSD盘。容量从M,到G,连笔记本电脑都能配置到T,更何况磁盘阵列;

但我一直在反思。用户拿到了UOS1.0之后,整个安装过程非常快捷,但是用户拿UOS 1.0来提供7x24小时持续的云服务还是很遥远。我们只是解决了从无到有的问题,而这只是万里长征第一步,接下来还需要提供对外服务,保证产品不宕机可扩展,而当时我们并没有解决这个问题。

从降低部署难度入手

在EasyStack 看来,数字化转型大潮下的任何企业,无论大小,都是科技型企业。

所以,中小企业在数字化转型过程中,不单是IT管理平台,更需要能够满足创新业务的支撑和满足混合场景的支持,也需要能够支撑软件定义的多样化。为了帮助中小企业用户解决上云问题,EasyStack推出了ESCloud Express易捷云。这个产品有如下三大特点:

第一个特点是全云化的软件设计。既有一体机的统一管理,也有超融合的计算存储的整合,当然还有云需要的存储虚拟化、网络虚拟化。云管理平台甚至是包括IaaS和PaaS的功能,同时也面向运维开发者、管理员、业务人员提供极简化的界面,实现分钟级部署一个私有云,秒级获取一个虚拟机。

第二个特点是采用可塑合的运行架构。可塑合性就是可重塑、可自由组合,满足多种业务场景。

第三个特点是一键式部署业务应用。不单是面向资源的IaaS平台,也有面向业务和应用的SaaS甚至是PaaS平台。

图片 2

EasyStack产品线

当然,中国还存在很多超大型的企业,他们拥有海量的数据,也拥有大规模的服务器和大量的数据中心,对数据安全也有一定的考量。对于这些处在金字塔尖上的企业,行业云更符合他们的需求。

行业云具备云的弹性,面对专门领域行业的公有云,它可以凝聚行业的生态。同时,行业云也可以为行业内部那些对安全更敏感、数据更敏感的客户提供托管服务。

EasyStack为行业云提供了ESCaaS解决方案。ESCaaS是基于OpenStack的开源架构,在私有云的基础上增加了诸多行业云功能,比如灵活计费策略支撑行业云复杂计费场景、多级权限管理方便管理复杂的组织关系、裸机资源管理实现虚实资源混合使用,实现统一的监管控平台。

2017年,云计算正式进入下半场,大数据和人工智能将成为新时代云计算格局巨变的诱因之一。EasyStack为此推出了全球首个同时支持GPU和FPGA异构计算的人工智能开源云平台ESCould AI,以满足行业企业用户日益增长的大数据和人工智能业务的需求。

作为开源云计算平台,ESCould AI在底层支持GPU和FPGA两种最常用的异构计算架构,从而在芯片核心底层即可释放人工智能潜力。上层则整合Caffe、TensorFlow等多种流行的深度学习开源框架,从而可以快速建模卷积神经网络(CNN)和递归神经网络(RNN),广泛覆盖图像识别、语音语义识别、时间序列预测等多种人工智能应用。该平台同时还提供针对大数据应用的Hadoop、Spark等开源框架,以满足行业企业对于分布式数据计算、分析、预测等需求。

EasyStack由中国最早从事OpenStack研发的团队所创建。早在2014年,EasyStack推出了中国第一款面向企业级客户的OpenStack发行版ESCloud。

ESCloud专为建设企业级私有云平台而生,具有高度开放性,屏蔽底层不同资源带来的管理复杂度,兼容各种品牌的商业存储设备及分布式存储系统。

2017年6月,EasyStack发布了开源PaaS平台ESCloud+,ESCloud+面向应用开发与应用部署场景,帮助已经部署了ESCloud云平台的企业用户快速扩展PaaS层能力。它通过基础架构层和平台服务层的融合,打破传统的管理边界,实现资源与服务的统一编排、统一权限以及统一管理,能够支撑传统应用架构或新一代微服务应用架构,加速企业的创新与成长。

以集群管理形态塑造新型分布式系统

IT技术发展多年,分布式技术也在演化,很少有人能预测分布式系统技术的演化方向。但非常巧合的是,当有新需出现求的时候,总会有一项新技术来填补。

在EasyStack看来,Kubernetes实际上就是一个分布式系统,其所代表的集群管理技术方案是一个比较理想的形态。

为什么?其实和AI一样,还是为了解决无论是从运维还是开发等方面,人的效率低下问题。当软件吞食世界时,显然需要大量分布式系统来承载各行各业的大规模应用,需要更高效的开发、运行和运维方案。但遗憾的是,很长时间业内并没有达成共识,直到类似Kubernetes这样的集群管理技术方案的出现。

集群管理将会成为大多数分布式系统未来的主流形态,因为基于完全手工打造的分布式系统会越来越少见,反而基于可靠性、可用性、易于管理和高效运维的集群管理分布式系统将被更多构建。

另外,Kubernetes能够降低分布式系统的复杂度。作为一个优秀的分布式系统,它能够让开发者、运维者,或者其他参与者都能面向业务做更多思考,而不是做更多机器可以做的事情。并且,Kubernetes很应景,能够实现高可用架构、实施弹性和对Container运行时的管理等。

计算机工业过去发展的五十年里,一直践行这四个字——抽象封装,即把复杂度抽象,封装起来让上层更高效地去做它该做的事情。而OpenStack,最擅长的就是抽象封装资源。眼前的问题是怎样让OpenStack和Kubernetes实现优势互补,发挥1+1大于2的价值。

所以,EasyStack设计Kubernetes产品时提出的核心理念是提倡深度融合,而不是整合。因为整合是生硬的、片面的,融合是全面的、无缝的。

OpenStack与Kubernetes融合的实现过程

如下图,是OpenStack+Kubernetes云平台架构:

图片 3

首先,最底层是OpenStack企业级云平台,用来管理计算资源、网络资源、存储资源等,使资源池化。在OpenStack管理的虚拟机和物理机上,就能创建容器集群。

OpenStack和容器集群在这个环境中,都需要实现统一网络和统一的存储。

实现统一网络的原因在于避免网络损失。OpenStack网络组件是Neutron,Kubernetes里面对应的网络组件也有很多的解决方案,kuryr方案能够有效的减少因为多层overlay网络带来的性能损失,因此成为首选方案。EasyStack选择Neutron作为统一网络管理组件,把企业级网络硬件的能力通过neutron、kuryr无损地传递给容器。

对于存储,很少有存储厂商再为Kubernetes对应一个存储,而企业已有存储又很难提供给容器使用,此时可以把Cinder作为统一的存储管控中心,既能给虚拟化应用,又能给容器应用,这是OpenStack跟Kubernetes平台结合的一个最大的特色。

此外,EasyStack的企业级容器云平台也包括镜像管理、持续集成、持续部署、应用管理、容器集群管理等管理功能,可以让云平台的租户管理、监控告警、日志管理都达到较高要求。

鉴于Kubernetes里应用管理的功能相对较弱,EasyStack封装了一层简单的应用。后续,也会支持以应用市场(App Marketplace)的方式来交付云应用。

OpenStack跟Kubernetes的融合非常适合电商大促等大峰值波动的应用场景,通过融合架构可以带来异构平台统一管理、资源统一调度、提升安全性,这些都是EasyStack构建的OpenStack+Kubernetes云平台的重要优势。

如何从软件的角度优化OpenStack系统体验

谈到Openstack部署时的难点,可以聊聊如何从软件的角度优化OpenStack系统体验。

OpenStack最基本的就是计算、网络和存储,但实际上从系统工程的角度看,OpenStack还会涉及到更多的东西,这也是绝大多数情况下,部署和运营OpenStack的过程中都需要相关咨询服务的原因。

比如,云计算平台需要有一个稳定的底层系统支持,然而底层系统是人们经常忽略的一环,所以存在着很多可以改善的空间。EasyStack Container Linux和Cloud Linux就是为容器和云平台提供的定制操作系统,从安全、性能、可靠等诸多方面进行加固,承载云平台的各项服务,以及承载容器的构建。另外,许多软件平台甚至是核心平台都是由C/C++写成的,EasyStack系统工程团队基于对编译器的深入理解和运用,充分发挥编译器的优化能力,梳理并重新编译操作系统中的软件包,为OpenStack和容器提供从下到上的全方位稳定支撑,实现性能优化和体验的差异化。

【作者简介】

图片 4

石奎, EasyStack架构总监,曾任职WindRiver/EMC/华为等知名企业,十余年Linux操作系统定制开发及Kernel开发经验,2012年开始贡献OpenStack社区,曾参与设计并实施国内多个支撑核心生产系统高可靠、高可用OpenStack云平台,具有丰富的超大规模OpenStack云平台的设计与实施经验,2015年开始深入研究NFV领域技术及项目设计实施。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

交付极简,特点是省时,基于场景模板化交付,用户只需要开箱并选择模板就可以。

物理设备的缺点

部署应用直接使用物理机,看起来很爽,有种土豪的感觉,却有大大的缺点:

人工运维。如果你在一台服务器上安装软件,把系统安装坏了,怎么办?只有重装。当你想配置一下交换机的参数,需要串口连上去进行配置;当你想增加一块磁盘,要买一块插进服务器,这些都需要人工来,而且很大可能要求机房。你们公司在北五环,机房在南六环,这酸爽。

浪费资源。其实你只想部署一个小小的网站,却要用128G的内存。混着部署吧,就有隔离性的问题。

隔离性差。你把好多的应用部署在同一台物理机上,他们之间抢内存、抢cpu,一个写满了硬盘,另一个就没法用了,一个弄挂了内核,另一个也跟著挂了,如果部署两个相同的应用,端口还会冲突,动不动就会出错。

所以,公司做了重大的业务转型。把UOS 1.0中的的核心技术包括分布式存储、高性能网络、优化的主机调度等,应用到自己的公有云上,开放给公众使用。当时还没有考虑商业模式的事情,只是觉得我们应当把这些有价值的技术和产品开放出去,让别人受益,公司就自然就有价值了。说做就做,我们拿出了公司剩余的大部分钱在北京租了机房,买了一批设备,从核心技术到计费平台、说明文档、注册系统、自动化运维等,花了近半年的时候做公有云。

上云极简,特点是省事,可以完成一键迁移,一键CDP,一键容灾,融合安全。

第二阶段:分,即虚拟化

InfoQ:公有云发布之后遇到了哪些挑战?

运维极简,特点是省人,基于业务实际的智能运营中心,对整体的运行状态一目了然。

虚拟化简介

因为物理设备的以上缺点,就有了第一次“合久必分”的过程,叫做虚拟化。所谓虚拟化,就是把实的变成虚的:

物理机变为虚拟机。cpu是虚拟的,内存是虚拟的,内核是虚拟的,硬盘是虚拟的;

物理交换机变为虚拟交换机。网卡是虚拟的,交换机是虚拟的,带宽也是虚拟的;

物理存储变成虚拟存储。多块硬盘虚拟成一大块;

程辉:主要有三个挑战:

扩容极简,特点是省钱,基于超融合实现按需采购,性能和容量扩展简化到2步,数据智能平衡,用户无感知。

虚拟化解决的问题

虚拟化很好地解决了在物理设备阶段存在的三个问题:

人工运维。虚拟机的创建和删除都可以远程操作,虚拟机被玩坏了,删了再建一个分钟级别的。虚拟网络的配置也可以远程操作,创建网卡、分配带宽都是调用接口就能搞定的;

资源浪费。虚拟化了以后,资源可以分配地很小很小,比如1个cpu,1G内存,1M带宽,1G硬盘,都可以被虚拟出来;

隔离性差。每个虚拟机都有独立的cpu、 内存、硬盘、网卡,不同虚拟机之间的应用互不干扰;

第一,如何在坚持OpenStack开放标准的同时满足国内客户定制化的需求。UnitedStack云服务完全基于OpenStack开放API构建,但是OpenStack开放API并不能完全满足客户需求,因此这里需要与社区做足够的沟通工作,将这些差异化的需求提交给社区,同时我们还在保证100%兼容的目标的情况下对OpenStack API进行扩展。这对于团队对于OpenStack开发能力有足够的自信才能做到。

天下武功,唯快不破,深信服企业级云产品快速迭代,追求的就是极致,基于超融合架构,死死抓住用户痛点,持续舍得在研发上大量投入,致力于打造极简、稳定、高性能的云计算解决方案。

虚拟化时代的生态

在虚拟化阶段,领跑者是Vmware,可以实现基本的计算、网络、存储的虚拟化。如同这个世界有闭源就有开源、有windows就有linux、有Apple就有Android一样,有Vmware,就有Xen和KVM。

在开源虚拟化方面,Xen 的Citrix做的不错,后来Redhat在KVM发力不少;对于网络虚拟化,有Openvswitch,可以通过命令创建网桥、网卡、设置VLAN、设置带宽;对于存储虚拟化,本地盘有LVM,可以将多个硬盘变成一大块盘,然后在里面切出一小块给用户。

第二,平衡OpenStack社区开发与生产运营的差异。社区开发时,我们只需要完成功能开发和测试,但当我们要生产运营一个OpenStack云平台时,这时需要考虑平台运营过程中可能出现的各种事件,比如物理服务器宕机,存储扩容、缩容,磁盘故障,网络抖动和攻击等,需要为每一种异常或者失效准备预案,及自动化运维措施,并及时响应。

图片 5

虚拟化的缺点

但是虚拟化也有缺点。通过虚拟化软件创建虚拟机,需要人工指定放在哪台机器上、硬盘放在哪个存储设备上,网络的VLAN ID、带宽的具体配置等,都需要人工指定。所以仅使用虚拟化的运维工程师往往有一个Excel表格,记录有多少台物理机,每台机器部署了哪些虚拟机。受此限制,一般虚拟化的集群数目都不是特别大。

第三,获得客户信任。作为一个新兴公有云平台,获得客户信任是一个漫长的过程,任何一次异常或者故障都会导致客户信心的丢失,客户几乎不能容忍一次故障,这是最大的挑战。平台每天都会有更新和升级,也不能中断客户业务。

在AI发展趋势的今天,深信服也正在预研基于AI技术的无运维超融合企业级云,必将又一次为用户带来巨大的收益。

第三阶段:合,即云计算

InfoQ:UnitedStack为什么提供托管云业务,出于什么考虑?

图片 6

云计算解决的问题

为了解决虚拟化阶段遗留的问题,于是有了分久必合的过程。这个过程我们可以形象地称为池化。虚拟化将资源分得很细,但是如此细分的资源靠Excel去管理,成本太高。池化就是将资源打成一个大的池,当需要资源的时候,帮助用户自动地选择,而非用户指定。这个阶段的关键点:调度器Scheduler。

程辉:有句话说“出来混总是要还的”,刚开始创业的时候,我们没想商业模式,从发行版到公有云,都没想好怎么赚钱。我们知道现在很多公有云都是巨头在做,几十亿的资本投进去才可以做好。作为一个小的创业公司做公有云,你确实有机会,但是相比资本的力量,这是上百倍的差距,你在市场上可能有竞争力,但是很难做的比他们更好。

深信服如何看待当前的云计算发展,产品研发方面如何取舍,云技术社区北极熊对深信服云计算CTO曹心驰进行了长达120分钟的访谈,以下为访谈精华文字版的整理。

私有云、公有云的两极分化

这样,Vmware有了自己的Vcloud;也有了基于Xen和KVM的私有云平台CloudStack(后来Citrix将其收购后开源)。

当这些私有云平台在用户的数据中心里卖得奇贵无比、赚得盆满钵盈的时候,有其他的公司开始了另外的选择。这就是AWS和Google,他们开始了公有云领域的探索。

AWS最初就是基于Xen技术进行虚拟化的,并且最终形成了公有云平台。也许AWS最初只是不想让自己的电商领域的利润全部交给私有云厂商吧,所以自己的云平台首先支撑起了自己的业务。在这个过程中,AWS严肃地使用了自己的云计算平台,使得公有云平台并不是对资源的配置更加友好,而是对应用的部署更加友好,最终大放异彩。

我开始思考如何进一步商品化整个公司的品牌和技术,在国内,有一批大客户,对云的需求量更大,而且没有哪一家公有云可以服务好他们。大到什么程度呢?大到用公有云已经很不划算了。比如对弹性计算要求极高的新兴的移动互联网公司、游戏公司,还有对云扩展性和安全性要求高的银行和互联网金融公司等,他们的业务量规模大且比较需求量比较固定,而且对于安全性、数据主权等要求极高,因此这些客户不太放心将这些业务放到公有云上。

图片 7

私有云厂商与公有云厂商的联系与区别

如果仔细观察就会发现,私有云和公有云虽然使用的是类似的技术,但在产品设计上却是完全不同的两种生物。

私有云厂商和公有云厂商也拥有类似的技术,但在产品运营上呈现出完全不同的基因。

私有云厂商是卖资源的,所以往往在卖私有云平台的时候伴随着卖计算、网络、存储设备。在产品设计上,私有云厂商往往会对客户强调其几乎不会使用的计算、网络、存储的技术参数,因为这些参数可以在和友商对标的过程中占尽优势。私有云的厂商几乎没有自己的大规模应用,所以私有云厂商的平台做出来是给别人用的,自己不会大规模使用,所以产品往往围绕资源展开,而不会对应用的部署友好。

公有云的厂商往往都是有自己大规模的应用需要部署,所以其产品的设计可以将常见的应用部署需要的模块作为组件提供出来,用户可以像拼积木一样,拼接一个适用于自己应用的架构。公有云厂商不必关心各种技术参数的PK,不必关心是否开源,是否兼容各种虚拟化平台,是否兼容各种服务器设备、网络设备、存储设备。你管我用什么,客户部署应用方便就好。

所以,我们推出了托管私有云(Managed Private Cloud),可以理解成独享的公有云。我们的核心价值在哪里?我经常把云建设的投入分为三个部分,一是IDC资源,包括电力、带宽、机位等,这是一个高度市场化的领域,比较成熟,这块交给客户去解决,因为价格已经市场化了;二是服务器设备,更加市场化的领域,发展了几十年,我们没有必要做;三是独立的技术平台和运维,这才是我们应该做的事情,帮客户做好管理、维护以及后续的升级,甚至新功能的研发、监控等。

▲(深信服云计算CTO曹心驰和云技术社区北极熊合影)

公有云生态及老二的逆袭

公有云的第一名AWS活的自然很爽,作为第二名Rackspace就不那么舒坦了。

没错,互联网行业基本上就是一家独大,那第二名如何逆袭呢?开源是很好的办法,让整个行业一起为这个云平台出力。于是Rackspace与美国航空航天局(NASA)合作创始了开源云平台OpenStack。

OpenStack现在发展的和AWS有点像了,所以从OpenStack的模块组成可以看到云计算池化的方法。

事实上,如果把托管云三部分的投入成本和同样资源的公有云费用做比较,就会发现,托管云的整体成本只有公有云的1/3-1/5,看起来不可思议,但事实如此。目前,已经有10个托管云的大客户上线,机房12个,分布在北京、广东、上海和东北地区。

深信服云计算CTO曹心驰访谈整理

OpenStack的组件

计算池化模块Nova:OpenStack的计算虚拟化主要使用KVM,然而到底在哪个物理机上开虚拟机呢,这要靠nova-scheduler;

网络池化模块Neutron:OpenStack的网络虚拟化主要使用Openvswitch,然而对于每一个Openvswitch的虚拟网络、虚拟网卡、VLAN、带宽的配置,不需要登录到集群上配置,Neutron可以通过SDN的方式进行配置;

存储池化模块Cinder: OpenStack的存储虚拟化,如果使用本地盘,则基于LVM,使用哪个LVM上分配的盘,也是通过scheduler来的。后来就有了将多台机器的硬盘打成一个池的方式Ceph,而调度的过程,则在Ceph层完成。

我可以随口算一下,做一个云计算环境,需要的人包括虚拟化工程师、存储工程师、网络工程师、监控工程师、UI设计师、运维工程师等等,每一个岗位都需要花很大价钱。托管云可以让客户节省大量的钱,关注自己的业务。在UnitedStack平台,托管云的系统平台和公有云是一样的,有什么更新,都会同步升级。

本文由澳门金莎娱乐网站-官方首页发布于科技技术,转载请注明出处:10年云计算领域研发及架构经验,是InfoQ推出的一

关键词:

上一篇:没有了

下一篇:没有了