刘向阳：数字化底座建设

　　2024年服贸会专题论坛之一——“2024中国AIGC创新发展论坛”于9月13日-14日在北京举行。首席信息安全官兼软件工程院院长、欧洲科学院院士刘向阳出席并演讲。

　　以下为演讲实录：

　　刘向阳：大家好，非常感谢有这个机会跟大家做一个交流，我的题目是数字化底座建设。

　　题目里面有两个关键词：一个是AI，美的集团全面拥抱AI大模型始于去年年初。去年使用AI的模式还是外挂式的，今年已经转变为内嵌式的。美的数字化底座也融入很多AI的能力。第二个是全球化，全球化带来出海，出海带来的问题就是“多云”，在国内用的是公有云、私有云，在海外可能用海外的公有云，这就会导致数字化底座的不统一，给上层应用带来非常大的改造量。怎么解决这个问题呢？在美的，我们建设了一整套云中立的数字化底座，也就是说不管你是在公有云上还是私有云上，对于应用来说整个数字化底座是一模一样的，是全球一张网。这样的话，上面的应用不需要任何改造就可以部署在任何一朵云上。

　　今天简要先介绍几个系统，分别是大数据平台、数据库平台和研发效能平台。

　　首先讲一下大数据开发平台。大数据开发跟普通应用开发不一样，普通开发相对简单，大数据开发平台涉及到数据的处理，各种表的处理，过程非常复杂。因此需要有一整套的大数据开发环境和大数据的开发平台，这里包括数据质量的检测，比如高管早上7点起来，你7点之前必须把这些报表准备好，如何确保这些数据在那个时候能出来？第一是任务要跑完，第二跑出来的数据是准确的，这经常需要手工去检查。美的数据部门必须深夜起来看这个运行是否正常，这需要很大人力投入，但我们已经把这个检查过程全部自动化了。

　　大数据开发平台包括数据集成、数据开发、任务运维、数据地图、数据血缘等等这些能力，还内嵌了很多AI的能力分析。这个是多租户管理，即使是在一家企业，多租户能力也是非常重要的，否则如果一个人写一个大的数据清洗任务，如果任务特别耗资源，就会导致其他任务跑不出来，这个必须具备多租户的隔离能力，保证任何一个人写一个非常非常耗资源的任务不会把别人打挂，只能把自己打挂。同时我们提供了非常丰富的异构数据源之间的数据集成，因为要从各种异构数据库提取数据。数据开发能力包括离线作业的开发、实时作业的开发，还包括各种表的管理等等。

　　大数据降本也是企业面临的一个难题，因为大数据非常消耗资源。我们在这方面做了很多工作，比如一般情况大数据有两个集群：一个是生产集群，一个是开发集群。当你在开发集群上引用生产环境的数据时，要把很多生产数据拷贝到生成集群，这个非常消耗资源，也非常耗时。这就带来了两个问题：第一你得有两个集群；第二经过数据拷贝后，这两个集群的大小可能都差不多。我们是怎么解决这个难题的？我们把这二者合二为一了，而且数据我们只保留一份逻辑数据。在数据开发的过程中，当对某些表做写操作时，开发人员的感受是对任何有权限表都可以写操作，但实际上这个操作不会影响我们的生产数据。

　　数据的血缘分析非常重要。现在美的一张复杂的表可能由上千张表最终生成的，这些复杂的表，几十万张表、上百万张表，他们的关系非常复杂，靠手工捋清楚是极其耗时的事情，我们实现了全自动数据血缘关系分析，并且以图形方式展示出来。

　　我们还提供数据权限的管控，不同表采用不同权限控制，针对敏感数据，平台会自动识别并自动脱敏。

　　大数据开发平台还内嵌AI能力，比如：在大数据平台内你可以直接用自然语言来问，告诉我每个城市的销售额，并且按照倒叙排列，平台就会直接返回正确结果。你也可以点开查看对应SQL语句，你要想做修改也是可以做修改，也可以一键绘图，就能帮你生成相应的图表。

　　当然还提供数据洞察、全球部署等等，这些能力是全面对标信通院标准的全部能力。

　　下面介绍一下大数据引擎平台。这个引擎平台是兼容开源大数据体系的，因为业界有很多大数据开源的组件，比如Yarn、Spark、Flink等等，这些开源组件，很多公司是拿来直接用的，直接用就会产生一个问题，所有这些开源组件都不是企业级的软件，真正用起来时都会有各种各样问题，那我们怎么解决这个问题的？我们是把开源不具备的能力补齐，包括集群管理、组件管理、资源管理、动态扩缩容、高可用、高可靠等等。形象的比喻是：开源引擎就像肉身一样，我们做的是外壳，把这些平台管控和内核优化能力补齐。

　　当然这些也是对标信通院的标准。

　　下面介绍一下数据库管理平台。公司大部分情况下肯定要用到数据库和DBA，DBA大部分情况下是直联数据库，然后对数据库进行各种操作，没有权限管控，即时有管控也只能在库和表的level上进行管控，要么没有权限访问，要么有权限访问，HR数据库DBA可以看到所有人工资，这个肯定是不合适的。还有看了哪些数据、对哪些数据进行修改也没有操作审计，而且看到数据的时候，数据也没有脱敏，包括各种数据的传输。

　　还有一点是SQL诊断，能不能自动诊断出SQL问题，能不能自动给出修改意见。

　　这个是我们建设一整套数据库管理平台，我们所有的DBA不再直联数据库，我们所有DBA都是登录我这个平台，通过这个平台去连数据库，DBA不能直联数据库，所有操作是通过这个平台来操作，这里有各种权限管控以及各种操作审计，包括查询能力、数据变更、安全管控、数据同步、数据归档、数据订阅、数据校验、数据库诊断以及运维管理，这里讲一下内嵌的AI能力，比如能够把自然语言生成SQL语句，也能够根据SQL语句能告诉你这个SQL语句是什么意思，能够完成不同数据库之间SQL语句转化，给我MySQL，给你生成Oracle SQL，还有MySQL的诊断，这块我们首先有MySQL监控，监控检测出来之后，大模型会自动给你修改意见，还有SQL执行异常的话也会帮你分析原因。这个我们也是对标了信通院的全部标准，美的有5000多个数据库，全部由平台管理，所有人不能直联数据库，只能通过平台对数据库进行操作，这样对DBA的人数是一个数量级的减少，提效非常明显。

　　下面介绍一下数据库引擎，企业里用开源数据库很常见，比如MySQL等等数据库，这些最大的一个问题是：不具备高可用、高可靠的能力，想把这些补齐非常困难。我们建设了一整套的管理平台，这些开源数据库我们对内核做了优化，那些没有的能力我们也进行了补齐，不是简单地把数据库改改，而是跟开源大数据平台一样，把缺乏的专业能力补齐。包括资源调度、弹性的扩缩容、高可靠、高可用、安全巡检等能力。当然我们也做了很多优化，优化后，数据库性能可以提升3倍，并发能力可以提升4倍。这里面很多高可用能力、高可靠能力，即使有人把这个数据库删了，跑路也没有关系，我们有防护的能力，弹性的扩缩容等能力。

　　下面介绍一下我们的研发效能平台，这是一站式的研发效能平台，包括几大平台：第一是项目管理，这是基于敏捷的研发模式。第二是研发平台，包括构建发布。还有自动化测试平台，就是质量平台，包括各种流量回放、精准测试等等能力。这三个平台数据都会实时传递给度量平台，这里面对个人、对团队等等从多个维度对效能进行度量。还有一个是WorkSpace，这个是我们一整套基于AI的研发平台，从需求分析一直到代码自动生成上线，整个流程是全部基于大模型的。这是我们的项目管理平台，这里面也是内嵌很多的AI大模型能力，帮你做需求分析等等的能力。这是流水线，包括很多安全能力，包括很多SCA分析、DST、静态扫描等等能力。这是代码扫描和流水线，研发平台也包括AI大模型能力，能够代码自动补全，也能够给代码生成注释等等。测试平台里面有很多能力，包括流量回放，省去写测试用例的时间。精准测试，一个企业里的项目很大，测试成千上万个，改一行代码经常要把所有测试用例库跑一遍，基本上是几个小时的时间。我们看程序员好像看似在刷手机，但没办法，得等测试跑完。通过精准测试，你改了10行代码，只需要跑和这10行代码关联的测试用例，其他用例不需要跑，这样就从几个小时等待时间降到几秒钟时间，大大提高了测试人员的测试效率。我们也包含接口测试、混沌测试等功能。测试平台也内嵌AI大模型的能力，比如：性能测试自动生成性能报告、测试失败帮你智能分析原因等等。度量平台包括各种维度的度量，因为有上千个指标，那上千的指标到底根据哪一个来衡量团队和个人的效能？其实哪一个都是不合适的，单个指标不能够多维度衡量团队或个人的效能，可以通过平台内置的效能模型来实现多维度，多指标的效能度量，当然这个模型是支持用户自定义的。度量平台也包括了AI大模型能力，对于团队和个人，平台AI都能够自动生成效能报告，会帮你自动做分析，找到哪里存在效能瓶颈，哪里存在不足，这些都是AI自动生成的。

　　下面介绍一下WorkSpace，我们打造了一整套的基于大模型的全流程研发效能平台，包括产品经理Agent、开发工程师Agent、测试Agent。我们来看一下怎么用这个平台？首先，你想做一个事情就把需求描述写在这里，如果你是开发一个新的程序，你把需求描述写在这里，99%的情况是改现有的代码，有些部分做修改，这种情况下就可以把关联代码仓库放进来，把需求描述给出来，现有代码修改也是没问题的。然后平台会根据你的需求描述，大模型会帮你自动生成需求分析，需求分析还可以做修改，然后再进一步地帮你生成设计方案，当然每一步可以做修改，然后自动拆解任务，自动生成测试单元等，最后可以一件提交部署。这是一整套的基于AI大模型的能力。这个在业界我们是第一个做的。

　　美的产品还包括很多电控软件，所以我们支持电控软件或者支持服务端，这也是满足信通院全部的认证标准。美的的内部平台，就有七千多个程序员在用。

　　由于时间关系，我就介绍到这里，谢谢大家。

　　新浪声明：所有会议实录均为现场速记整理，未经演讲者审阅，新浪网登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。