**7月26日至28日,Apache软件基金会亚洲大会在杭州举行。CommunityOverCode是Apache软件基金会(ASF)的官方全球系列大会,**通过动手实作、主题演讲、实际案例研究、培训、黑客松活动等方式,展示 Apache 项目的最新发展和新兴创新。
CommunityOverCode的前身是ApacheCon,自1998年以来,在ASF成立之前,ApacheCon已经吸引了各个层次的参与者,在350多个Apache项目及其不同社区中探索“明天的技术”。
Apache NuttX****作为Apache Top 5顶级项目,受邀参与此次盛会,并迎来其在国内的首场线下亮相。Xiaomi Vela****作为NuttX社区重要贡献者代表社区进行此次分享,会上,Vela开源负责人杜超介绍了NuttX的核心优势与独特魅力,深入阐述了Vela基于NuttX在IoT操作系统领域的创新实践与探索。同时,面向全球芯片与设备厂商,积极推广Vela生态伙伴计划,携手共建更加繁荣的开源生态系统。
小米计算平台部负责人**,专家软件研发工程师勇幸分享了小米在大数据****存储计算架构上的多阶段探索与技术实践。**在存储方面,小米先构建了HDFS Tiering能力,然后向Apache Iceberg湖仓上云架构演进;在计算方面,小米基于Yarn Federation实现了多云混合云调度,并基于此拓展了ARM机型、Spot实例等异构资源。
存算分离本质是一部经济账,已成为大数据架构发展的共识,而如何在多云混合云、资源异构环境中寻求极致的性价比,业界案例相对少见,小米提供了这方面的思考与实践。
**小米计算平台武汉部负责人、**高级软件研发工程师周康在会上分享了小米统一元数据的演进与思考,以及基于Apache Gravitino的AI数据管理体系、在线开发产品和用户案例。他认为,大模型火速发展的今天,数据AI一体化开发也逐渐成为业界的共识与未来趋势。统一的元数据体系可以有效助力数据AI一体化的实现。
软件研发工程师韩坤明分享了在小米RocketMQ消息规模迅速增长的情况下,如何保持服务的高可用和低成本,例如,调整Linux内核参数、服务实现读写分离来保证稳定性、topic级别消息保留时间及其自适应调整策略等,解决了消息规模增长带来的稳定性下降及成本上涨问题。此外,他还分享了小米MQTT在物联网场景下,提升性能及安全建设方面的经验,介绍了此场景下提升Flink RocketMQ开发效率的实践。对业界提供了吞吐型服务内存回收调优标准参考及 IoT****场景下提升服务性能及开发效率的建议。
高级软件研发工程师李培殿分享了小米在数据和人工智能场景下的数据湖实践。他分别介绍了使用Apache Iceberg来管理表格数据,使用Gravitino Fileset来管理非表格数据,从而帮助更好的降本增效。此外,他还分享了如何使用Gravitino构建统一元数据湖的解决方案。
软件研发工程师****孙建强聚焦小米数据集成全链路监控技术的实现,针对自建引擎的稳定性、数据质量挑战,提出全链路实时监控、对比及修复方案,阐释了构建监测系统对提高集成可靠性和用户体验的益处。
高级软件研发工程师张耀东分享了Kyuubi在小米OLAP系统的深度实践:通过引入Kyuubi统一SQL入口,屏蔽底层引擎接入差异,提供便捷兼容服务。利用自动路由机制高效分发SQL提升资源利用率,采集引擎各级别指标辅助治理优化,同时基于Kyuubi的Notebook能力探索,解决数据和算法割裂问题。
高级软件研发工程师王胜杰分享了小米Flink稳定性优化及Paimon业务提效实践。他从Flink实时架构的高可用、Flink作业故障自愈能力增强以及Flink SQL Debug能力建设三个方面介绍了小米在Flink稳定性方面的工作,以及小米以Flink + Paimon为核心的实时数仓的应用场景与实践优化。
软件研发工程师孙宇婷基于小米内部HBase使用现状,深入剖析了遇到的问题与挑战。她讨论了HBase稳定性及性能展开的深度优化,包括治理热点数据、资源负载均衡等策略,并展示了优化带来的效果与收益。
2012年,小米正式跨入开源,至今已有12年之久。长期以来,小米积极拥抱开源,也为整个开源生态做出了突出贡献。小米的开源项目已经覆盖了硬件驱动、系统框架、AI算法、IoT平台等多个技术领域,并在一些领域达到行业领先水平。例如,操作系统在用户界面、性能优化、安全性等方面有其独到之处;小爱同学的人工智能语音识别****与自然语言处理技术也在不断进步。
小米也将开源技术与商业产品紧密结合,通过开源项目吸引开发者和用户,同时也将商业产品中的成熟技术回馈给开源社区,形成良性循环。在未来的工作中,小米将继续聚焦于操作系统、人工智能、大数据等前沿技术领域,通过开源促进技术创新,推动行业发展。
开源工作任重而道远,小米将持续秉承“不仅要站在巨人的肩膀上,还要为巨人指方向”的理念,让“拥抱开源“成为小米工程师文化的重要组成部分,不断提升公司的技术实力与影响力!