许骏：云操作系统uEngine—从基础研究到工程实践
作者简介：许 骏，理学博士，计算机科学与技术教授，享受国务院特殊津贴专家，全国优秀教师，获广东省“南粤杰出教师”奖。长期从事计算机系统与网络技术研究，曾任广州电子集团公司总工程师、华南师范大学教育信息技术学院院长。现任华南师范大学二级教授、广东高校计算机网络与信息工程技术研究中心主任。近年来带领团队主要从事云计算与大数据技术研究，受聘广东省“粤教云”工程专家组组长和深圳教育大数据工程首席科学家。
操作系统是释放IT基础设施资源能力、构筑应用生态、提升全局能效的关键基础软件，处于软件产业链上游，能够带动下游的应用系统和应用软件发展，进而带动软件产业的整体发展。众所周知，掌握操作系统的几家公司不仅是世界上最赚钱的公司，还左右着全球IT产业发展的命脉。
国产操作系统落后主要在单机系统，包括桌面端、移动端和服务器端。
一、单机操作系统竞争态势及总体格局
客观审视基础软件的发展现状，单机操作系统竞争态势及总体格局已定，全球操作系统市场主要有谷歌旗下的Android、微软旗下的Windows、苹果公司旗下的iOS、MacOS以及Linux五大操作系统，占据全球操作系统约97%的市场份额，占据中国操作系统市场约96%的市场份额（截至2023年1月），呈现寡头垄断格局。
只有具备对垄断者的替代能力，才能在市场竞争中生存。出于信息安全和产业发展自主可控的需要，单机操作系统国产替代策略十分必要。2022年，《深圳市关于加快培育鸿蒙欧拉生态的若干措施（征求意见稿）》，提出支持软件企业开发鸿蒙欧拉应用，打造全球“鸿蒙欧拉之城”，推动数字经济产业高质量发展。OpenHarmony操作系统能力正逐步成熟，已有超过5100名共建者和51家共建单位参与生态共建，发展前景值得期待。
操作系统上承应用、下接硬件、面向用户，对生态要求极高。国产替代应该是体系的替代而不仅仅是单一产品的替代，从国外主导的生态体系到国产主导生态体系的巨大迁移成本，这是国产操作系统面临的最棘手的问题。要打破Wintel体系在桌面计算机领域的垄断，不能只依靠单个硬件或软件，而是要发展相应的“中国体系”。 统信UOS是一款国产桌面操作系统，但工程师的日常工作离不开EDA/CAD等工业软件，EDA/CAD也要有国产化替代。相比较而言，PC和服务器领域的操作系统生态问题要比智能手机等移动终端更加重要。
信创产业包括芯片、服务器等基础硬件，以及操作系统、中间件、数据库、办公软件、工业软件等基础软件，它们环环相扣，如果搞应用软件的公司不考虑在国产操作系统上运行，搞操作系统的公司主要还是在国外的硬件平台上进行开发，生态很难成型。当今企业竞争是融合生态体系下的竞争，信息领域盛行“狼文化”，不利于产业生态发展。企业要从关注自我输赢，转而关注整个产业生态发展，真正回归多赢体系，这将赋予“龟兔赛跑”新的含义：兔子背着乌龟走陆地，乌龟背着兔子过河，开放、合作、共赢才能立于不败之地。
二、云操作系统是国产基础软件自主创新的难得机遇
综观基础软件发展史，每一代操作系统占领市场形成生态规模后，尚未出现在原赛道上后发赶超的先例；处在原赛道霸主地位的企业也很难在新型操作系统领域延续成功的传奇。
操作系统总是伴随产业技术进步不断演化发展，不同时期操作系统的技术特征与该时期的产业特点息息相关。
发展数字经济已成为国家战略，云计算的使命是为全面推进数字化转型筑基。要在操作系统领域有所作为，必须把握新蓝海出现带来的宝贵机遇。
面向“人-机-物”融合的泛在计算环境、“云-边-端”协同的计算模式、多云/混合云基础设施加，寻求在新方向和新赛道上的发展新优势，加快布局云操作系统研发及产业化，这是国产基础软件自主创新的一种路径选择。
通常从基础设施（Infrastructure）、平台（Platform）和应用（Application）三个层面考察分布式计算研究，即IPA研究视角，如图1所示。衡量一项分布式计算研究的价值，主要看在IPA三层尤其是在平台层所做的工作及其创新水平。
图1 分布式系统的IPA研究视角
平台层的核心功能是资源管理和应用管理，与单机系统不同，云操作系统属于分布式操作系统，向下管理分布式基础设施资源的生命周期，提供按需分配、弹性伸缩的资源池，提高资源利用率；向上管理分布式应用的生命周期，实现应用的自动部署、横向扩展、快速迭代和持续交付，支持不同应用协同工作。为了降低应用开发和运维的难度，平台层还提供托管的各类共性服务，包括领域无关和领域相关两大类。
云操作系统从概念诞生到研发实践，正在逐步走向成熟，尚未出现一家独大的垄断局面，留出了一个宝贵的窗口期，这为国内学术界和产业界发展自主可控云操作系统提供了宝贵的机遇。
很长时间以来，普遍缺少正确的「平台」概念。平台、生态和开发者总是联系在一起的。
从发展生态角度看，平台首先要解决为谁服务的问题，即应用生态；第二，要解决谁提供应用服务的问题，即开发者生态。第三，实现跨界数据整合，发展数据生态。
从技术架构层面看，真正的平台解除了基础设施资源和应用之间的紧密耦合、静态绑定关系，实现敏捷高效、安全可靠的资源管理和应用管理，提升基础设施资源利用效率和应用交付效率、升级业务弹性扩展能力和灵活性、降低运维复杂度和难度。因此，平台的能力与成熟度都聚焦到云操作系统这一关键基础软件，如图2所示。
图2 云操作系统与平台技术架构
云操作系统是工业互联网、大数据、人工智能、物联网平台等新兴平台软件的基石，以云操作系统为基础“搭平台，建生态”，是推动数字经济高质量发展的最佳技术路线，《国家“十四五”软件和信息技术服务业发展规划》将云计算列为“新兴平台软件锻长板”的重点领域之一。
云操作系统以及数据库、中间件等通用共性服务组成通用技术平台；集成数据管理和大数据分析、人工智能框架等共性服务，构成大数据平台和人工智能平台；再增加与具体行业相关的场景化共性服务，构成行业/领域数字化平台，如图3所示。
图 3 新兴平台软件架构
以云操作系统为基石的新兴平台软件关系到整个数字经济的高质量发展，亟需攻克一系列“卡脖子”关键核心技术，构建完全自主可控的数字经济生态。《国家“十四五”规划和2035年远景目标纲要》将云计算列为数字经济重点产业，提出加快云操作系统迭代升级，以混合云为重点培育行业解决方案等云服务产业。深圳市培育发展软件与信息服务产业集群行动计划（2022-2025年）》提出实施核心软件突破工程，鼓励生态主导型企业加快云操作系统等新型基础软件自主创新。
三、云操作系统uEngine
1、云操作系统uEngine孵化自科研项目成果，传承了高校重视基础研究的基因。
我们团队合作源起于清华大学计算机科学与技术系，在计算机网络与分布式计算领域进行了20年的基础研究与工程实践。
2002至2005年，在清华大学计算机科学与技术系，团队承担了国家自然科学基金重大研究计划项目，在网格计算支撑环境与中间件技术研究取得重要成果，相关工作被评价为“我国网格计算应用研究的重大进展”。
2006年，团队引进到华南师范大学工作，《对等科研协作网络研究》当年获国家自然科学基金资助，提出融合对等计算、自组织网络和网格计算的新型网络计算模式，清华的研究工作在新单位得到延续和发展。
2008年是国内云计算元年，我们团队的云计算研究就是从这一年开始的，牵头组建了广东高校计算机网络与信息工程技术研究中心，聚焦网络计算关键技术及云操作系统等基础软件自主创新，获广东省教育厅立项建设，并得到广东省高等学校科技创新平台项目支持。2012年以来，承担了广东省重大科技专项、广东省应用型科技研发重大项目和深圳市战略性新兴产业（互联网产业类）重点项目等。2022年，《容器云关键技术及产品研发与示范应用》通过广东省科技厅组织的验收，标志着我们团队云计算研究第一阶段圆满收官。
云计算如今人尽皆知，但发展初期伴随着各种挑战和质疑，当时人们并不看好云计算。我们关注云计算，并非赶时髦追热点，而是顺势而为，因为有比较扎实的工作基础和研究积累，2009年，我和柳泉波博士合著的《面向服务的网格计算：新型分布式计算体系与中间件》在科学出版社出版，其中就有专门章节讨论云计算。
大家都在关心“卡脖子”技术，我们认为，我国IT行业诸多核心技术被“卡脖子”只是表象，问题的根源在于基础研究没有跟上，底层的技术没有弄清楚。今天的基础研究已不再局限于探索自然的“纯科学”，也包括面向底层技术、基础材料、基础软件等领域的研究，也就是面向重大应用需求，通过基础研究提升原始创新能力。高校在基础研究方面具有天然的优势，要在解决“卡脖子”问题上要承担更多的责任。
基础软件领域的研究，需要持续的技术积累。我们团队聚焦分布式计算的主要科学问题，大约每五年确定一项研究主题——从对等网络到自组织网络、从网格计算到云计算，是国内最早从事云原生计算研究的团队之一。正是长时间的专注、坚持和付出，我们团队在云操作系统架构及关键技术研究取得重大进展。突破大规模广域分布式集群管理、云计算资源高效并发调度、有状态容器化应用在线迁移以及零信任认证与授权等关键核心技术；云操作系统uEngine采用“自主内核+开放扩展”的技术架构，技术自主可控，内核自主开发，既有效破解“卡脖子”问题，又不与主流技术脱钩。
2、“粤教云”工程重大应用需求倒迫基础软件研发
以基础研究引领工程实践、以工程实践倒逼基础研究，从重大应用需求发现和凝练科学问题，实现关键技术创新突破，成果回归实际应用，这是我们团队的优势和特色。
“粤教云”是《广东省云计算发展规划（2014-2020年）》重点项目，《广东省教育发展“十三五”规划（2016—2020年）》提出以“粤教云”为总抓手，积极发展“互联网+教育”，《广东省“数字政府”建设总体规划（2018-2020年）》提出持续完善“粤教云”公共服务平台建设，推进教育数据资源整合。
2013年，我受聘担任广东省教育厅专家组组长和首席专家，牵头组织领导“粤教云”工程，省教育厅委托我们团队负责“粤教云”总体设计、技术架构、标准体系及实施方案研究；
近年来，各地纷纷上马区域教育云项目，建设大平台和应用系统，但缺乏顶层设计和总体规划，地域局限和各自为政问题相当突出，应用与平台绑定、重复建设及信息孤岛现象十分严重，主要表现在：（1）基础设施建设模式单一，设备购买和运维成本居高不下，数据中心数量多、效能低且兼容共享不足。基础设施资源调度与分配方式仍处在人工手动管理阶段，应用和基础设施资源静态绑定，应用一旦上线，就将独占这些基础设施资源，导致资源利用率非常低，一般不超过20%，应用的迁移性也不好；（2）平台不支持应用的敏捷部署、快速迭代和持续交付，应用 “优胜劣汰”机制难以落地。不同的应用服务之间，尤其是来自不同软件开发企业及服务商的应用服务，数据和功能完全隔离，形成事实上的一个个应用孤岛，很难实现数据互通和功能集成，更谈不上应用服务生态了。
如果不从体制机制、技术架构和标准规范层面系统地解决这些问题，提高信息化服务支撑能力和建设效益将是一句空话。
从技术层面看，上述问题可归结为大规模分布式系统的资源管理和应用管理，这属于分布式系统的共性问题，其意义不局限在教育信息化领域。因此，研发通用型云操作系统，是破解行业信息化瓶颈问题的关键。
云计算明确了基础设施即服务（IaaS）、平台即服务（PaaS）和软件即服务（SaaS）三种服务模式，但其发展呈现“两头大、中间小”态势，即IaaS和SaaS发展迅猛，PaaS研发及应用徘徊不前. 主要原因是早期的PaaS缺乏通用性，仅支持专有的编程框架、运行时、应用软件包格式和部署方式，“供应商锁定”问题非常突出。容器实现了轻量级的操作统虚拟化，提供更高效的PaaS服务，为构建通用型PaaS提供了新机遇。以容器、微服务和DevOps为代表，云计算发展进入云原生阶段，关注重点从底层逐步上移到应用层，加速了应用与基础设施资源之间的解耦，推动了以应用为中心的多云/混合云架构的到来。
我们团队抓住云原生计算的机遇，布局云操作系统等新型基础软件研发，云操作系统uEngine等相关成果为“粤教云”工程奠定了坚实的技术基础。
云操作系统uEngine核心功能是统一管理“云-边”融合的数字化基础设施资源，适配国产芯片及操作系统、数据库和中间件等基础软件；集成容器、微服务、开发运维一体化（DevOps）、无服务器计算（serverless computing）等云原生计算技术，自动化管理共性服务和行业应用的完整生命周期，支持应用的快速部署、快速迭代、持续交付和在线演化。
“粤教云”总体技术架构按照“云-边-网-端”一体化以及贯穿其中的安全保障进行规划设计，以云操作系统uEngine为底座，从根本上解决以平台为核心的开发者社区及应用服务生态建设这一关键问题，促进各级各类教育平台互联、数据互通、应用协同，形成“大平台-泛终端-富生态”应用新格局，提升服务支撑能力和建设效益。如图4所示。
图 4 “粤教云”总体架构
与此同时，云操作系统uEngine作为深圳教育大数据平台的核心基础软件，支撑了深圳教育大数据应用技术工程实验室建设。
2018年8月，由我们团队牵头完成的《云计算关键技术及新型云应用引擎与“粤教云”工程》在广州通过中国人工智能学会主持的科技成果鉴定，总体达到国际先进、国内领先水平。
2019年10月，我和柳泉波博士撰写的专著《从网格计算到云计算：“粤教云”工程起源与发展》在科学出版社出版，总结了我们团队所做的工作和取得的成果，试图勾画计算机网络与分布式系统发展脉络与趋势，展示重大应用工程，揭示网格计算、对等网络、自组织网络、云计算和云原生计算等近 20 年来陆续涌现的新技术背后的本质问题。
云操作系统及新兴平台软件发展之路任重道远，还有很多问题有待深入研究与实践，更艰巨的任务还在后面，但好在我们已经走在追赶的路上了。宋代诗人杨万里有诗云：莫言下岭便无难，赚得路人错喜欢。正入万山圈子里，一山放过一山拦。登山如此，科学研究又何尝不是这样呢？毛泽东在《清平乐》诗中写道：“东方欲晓，莫道君行早，踏遍青山人未老，风景这边独好。”我们的研究工作谈不上赶早先行，但需要“踏遍青山人未老”的韧劲与朝气，“欲穷千里目，更上一层楼”。我们热切期待与同行进行交流与合作，共同迎接“风景这边独好”的明天！