为什么要选中K8S做为私有云基础设施？

01 前言

Kubernetes已经成为奥尔特云基础设施的管理引擎，它带来的不仅仅是高效的资源管理，同时也大幅降低了成本，k8s是容器云原生架构，支持了Serverless、云原生分布式数据库等一些平台完成容器化和云原生化的建设。

02 背景与现状

2019年8月10日奥尔特云公司成立后，经过长期的充分讨论，确定公司定位：

“奥尔特云是领先的行业数字化转型、公共安全“私有云智能化应用建设解决方案”提供商，为各行业智能化应用建设提供产品研发、生产、安装和技术服务，引领信息化智能化应用建设模式革新。核心团队由公安行业智能化应用建设资深人士组成，拥有丰富的公安行业研发、咨询、产品、交付、渠道、市场运营经验。”确立了“科技守护公共安全”的价值观。

构建了六个业务板块：

1、新一代移动警务

从基层一线民警反映强烈的应用需求入手，先后推出20多项平台产品，200多项基础服务能力，300多款实用APP，着力打通大数据应用“最后一公里”。

2、融合指挥

融合指挥融合各大通信系统、请休假、签到、勤务等系统，将系统的各种功能都在公安网内地图上应用，实现“一张图”展示，一键通话，一键视频，一键组队，是真正的“看得见、呼得通”的扁平化指挥调度。

3、警务云

依托“五大中台”产品，将智能推向“全境”，将解耦进行到底，建立智能组织协作生态体系;将智能平台场景化，战果快、易部署。

4、AI

广泛应用于智慧校园，智慧工地，智慧交通，智慧企业等场景的深度学习人脸识别与肤色识别，预警成套设备。

5、大数据

数据随用即得，战法随想随用，应用随需随变。精准数据筛选、灵活碰撞分析，满足不同无技术背景用户对数据的应用需求，从根本上改变了传统软件的开发模式，让新需求在短时间内得到实现。

6、行业数字化转型&IT服务

涵盖30多个场景的行业数字化转型(各行业各场景智能化建设)软件开发，系统建设，方案咨询，人力资源外包，IT运营运维，物联网服务。

明确了三大核心产品：

1、一个就是指挥调度一张图 。这一个主要是用在公安的指挥调度里面，对内的警员的调度。当然，也可以比如辅警、保安等的调度指挥，比如政府方面的一些高交会，大型展会之类的，这样的一些调度指挥应急指挥这样的一些场景。或者说是税务稽查指挥，远程执法这些。

2、第二个是智慧云aPaaS应用支撑平台 。这个产品，主要是一个针对个性化需求快速迭代的开发运营平台，也是一个前后端的一个能力底座平台，这个平台可以在这基础上快速开发各行各业的应用，所以我们说我们公司叫奥尔特云公司，其中的“云”我们寓意“云计算”的意思，云这个层次的概念。但是我们不是做这个底层的云，不是IaaS层的云，不是iPaaS层的云。底层的很多大厂在做，我们是做应用层的云，也就是aPaaS云，而不是iPaaS和IaaS云，而是aPaaS(application PaaS)这一层的云——应用开发的云，这样的一个方向，这个方向是我们的核心产品，核心主业，我们在运营的几个产品，也是基于这个开发的。应用云的本质可以这样讲——就是我们开发了很多应用，如何把这些应用去合并同类项，做到集约开发及节约开发，这样的一个统筹的产品技术。

3、第三个是奥陌陌云图端 ——打造了一个云化、移动化的全连接协同平台，融合IM、邮件、视频会议、视频直播、知识、业务待办、智能装备，以及数据态势等先进的协同服务与技术，极大地提升协同效率。对标企业微信，钉钉—— 专门面向组织内部的私有可控的远程移动化公务协作平台，类似于钉钉，企业微信，但是是私有化部署在组织内部，数据安全可控。打造了一个云化、移动化的全连接协同平台(内网“微信”)，融合即时通讯，点对点聊天、群组聊天、邮件、视频会议、视频直播、知识、业务待办、智能装备等先进的协同服务与技术，极大地提升办公效率。并且通过指挥调度一张图管控端侧资源，形成云计算、一张图，应用端APP落地方案。凡是对数据安全要求高的，数据需要自己可控的单位，希望自己的系统私有化部署的单位，都可以是目标群体。

主要应用领域：

应用于智慧乡村、智慧城市物联网、智慧园区、疫情防控、智慧警务、指挥调度、智慧社区、智慧应急、智慧海防、智慧税务等十行业。进一步拓展到政府、法院、监狱、军工、能源、航空、校园 等多个领域。

实现行业应用的快速定制开发，从而实现各行业智慧化应用建设，达到行业数字化转型的系列解决方案。

三个互联网运营产品：

1、天琴智宝 。打通午托机构与家长之间的信息流，孩子到达午托与离开午托机构的信息通过微信公众号自动推送给家长。

2、天琴健宝 。提供精准化健康信息推送，服务智慧医疗养老产业，关注老人、小孩，以及公务人员健康。

3、天琴法宝 。重新定义判例检索--搜索结果可视化的司法案例、法律法规数据库。

在技术选型的时候，我们重点考察了Cloud Foundry，Cloud Foundry是VMware发起的，简称CF，是业界第一个开源PaaS云平台，它支持多种框架、语言、运行时环境、云平台及应用服务，使开发人员能够在几秒钟内进行应用程序的部署和扩展，无需担心任何基础架构的问题。还有IBM Bluemix，2015年年中，IBM推出了名为Bluemix的云计算平台。这一“平台即服务”的PaaS云将帮助开发者更快的进行应用开发和部署。Cloud Foundry最重要的特点是，它是一个PaaS。Kubernetes则不太像PaaS，有些人把它看做IaaS+ ，甚至Kubernetes 的文档也把自己描述为“不是传统的，包罗万象的PaaS”。

Kubernetes采用了不同的方式。它从根本上说是一个通用的容器运行时，对应用的内部工作机制知之甚少。它的主要目的是提供一个运行容器的简单基础设施解决方案，其它所有事都由开发者完成。而IBM Bluemix是基于开源的Cloud Foundry技术，涵盖广泛采用的主流开发语言支持、数据库支持，以及IBM自家的技术API。

我们自己的产品智慧云aPaaS应用支撑平台 与IBM Bluemix的产品定位相同，也是在IaaS层之上的应用层的PaaS，我们更侧重行业，智慧云aPaaS应用支撑平台 为产品开发提供强有力的前后端支持，让开发者抛弃基础共性功能的构建负担。屏蔽底层技术，业务系统云+端一体化开发，其中云端业务服务能力提供了点播服务、流媒体服务、视频发布服务、工作流、表单、工单服务、收藏服务、日程服务、发通知服务、点赞服务、分享服务、电子签名服务等共约200多项政务业务服务能力。终端业务服务能力提供了手机地图集成、刷脸组件集成、智能感知集成、扫一扫集成等约100多项终端政务业务基础能力。

智慧云aPaaS应用支撑平台为应用管理运营提供服务总线的能力，包括移动应用资源协调联动的完成实体，按照“统一规划、多级联动、协同高效”的原则构建服务总线，提供应用服务目录，实现对移动应用的注册信息、服务资源及数据资源等的目录化管理和全要素管控，通过开放共享为移动应用运营提供支撑，主要功能包括资源服务管理、服务调度、服务适配、访问控制、输出资源目录、调用执行和配置管理等。

智慧云aPaaS应用支撑平台同时在前端提供应用市场和统一门户的能力，集中管理移动应用，实现对移动应用申请、上架、审核、发布、升级、下架等全生命周期管理，并提供细粒度的应用可见性管理，可按照不同部门、岗位属性等维度进行可见性管理和可用性授权。移动门户客户端应提供应用市场入口，为用户提供应用查询、查看、下载、安装、评价的统一入口。

Kubernetes的定位和技术体系，非常贴合我们的需求，并且Kubernetes是让容器应用进入大规模工业生产环境的开源系统，也是集群调度领域的事实标准，目前已被业界广泛接受并得到了大规模的应用。

奥尔特云团队以虚拟化技术为核心构建基础设施平台，打造以Kubernetes技术为基础的产品体系;我们坚信Kubernetes才是未来的云基础设施标准，并继续探索基于kubernetes的基础设施智能化运维和管理的演进技术。

当前，我们构建了以Kubernetes、Docker等技术为代表的云基础设施，支持整个奥尔特云的服务和应用管理，容器化率达到99%以上，目前已有60个大小Kubernetes集群，5000+的管理节点以及80000+的Pod。

下图是当前我们基于Kubrnetes引擎的智慧云aPaaS应用支撑平台 系统架构，构建了以Kubernetes为核心的统一的资源管理系统，服务于智慧云aPaaS应用支撑平台 和业务。同时也直接支持了Serverless平台，实现了智慧云aPaaS应用支撑平台 的容器化。

03Docker到Kubernetes转变的障碍和收益

在使用Docker早期，我们面临的主要问题包括以下几个方面：

· 运维和维护比较困难 ：问题排查和可靠性一直是很大的问题。

· 虚拟化本身资源占用多 ：虚拟化本身大概占用10%的宿主机资源消耗，在集群规模足够大的时候，这是一块非常大的资源浪费。

· 资源交付和回收周期长 ，不易灵活调配 ：一方面是整个虚拟机创建流程冗长;另一方面各种初始化和配置资源准备耗时长且容易出错。

· 高低峰明显，资源浪费严重 ：随着移动互联网的高速发展，公司业务出现高低峰的时间越来越多，为了保障服务稳定不得不按照最高的资源需求来准备资源，这就导致低峰时资源空闲严重，进而造成浪费。

容器化的过程和障碍

为了解决虚拟机存在的问题，奥尔特云开始探索更加轻量级的容器技术的落地。随着项目的推广和落地，也暴露出一些新的问题：

· 管理复杂 ：单独使用docker产品的容器化，在大量节点上进行升级、回滚操作复杂。

· 能力欠缺 ：由于涉及的系统多，并且是跨部门协作，故障节点的迁移和恢复能力不易实现，资源类型也比较单一，整个故障排查和沟通效率低下。

· 扩展性差 ：无法根据场景和需求快速扩展。

· 性能 ：业务对于扩缩容和弹性资源的交付速度需求进一步提高，且容器技术的弱隔离性导致业务的服务受到的干扰增多，负面反馈增加。

上述的问题经过一段时间的优化和改善，始终不能彻底解决。在这种情况下，我们不得不重新思考整个容器平台的架构合理性，而此时Kubernetes已逐步被业界认可和应用，它清晰的架构和先进的设计思路让我们看到了希望。所以我们基于Kubernetes构建了容器平台，智慧云aPaaS应用支撑平台完全基于原生的Kubernetes API，通过API来对接内部的发布部署系统，这样两层API将整个架构解耦开来，领域明确，应用管理和资源管理可以独立迭代，Kubernetes强大的编排和资源管理能力凸显。

04 总结

容器化的核心思路是让Kubernetes做好资源层面的管理，而通过上层的控制层解决对奥尔特云应用管理系统和运维系统的依赖问题，保持Kubernetes的原生兼容性，减少后续的维护成本，并完成了快速收敛资源管理的需求。同时，也减少了用户基于新平台的资源申请的学习成本，这点非常重要，也是后续我们能快速大规模迁移基础设施资源的“基础”。

以上是奥尔特云技术团队在历时一年高速发展的管理过程中逐渐探索到适合自身业务技术特点发展的私有容器云基础设施产品，在使用过程中大大提高团队的迭代开发效率，从而智慧云aPaaS应用支撑平台 项目才能在这么短的时间里上线稳定版本，从而可尽早在市场进行推广。并且也同样可支撑可视化指挥调度一张图、奥陌陌项目，以及奥陌陌、天琴智宝、天琴健宝、天琴法宝等互联网线上项目中。

 

0