一、企业背景

欣和食品（烟台欣和企业食品有限公司，简称"欣和"）是中国调味品行业的领军企业之一。历经多年发展，欣和已从传统酱业起家，通过高端化、差异化竞争策略，成功成长为具有国际影响力的综合性食品集团。旗下“六月鲜”、“味达美”、“黄飞鸿花生”等品牌已成为消费者耳熟能详的食品代表，产品覆盖全国市场并远销海外。

二、大数据平台现状与挑战

随着业务快速发展和数字化转型深入，欣和大数据平台已运行7年，支撑了公司业务的高速发展。然而，面对近实时业务需求日益旺盛、大模型时代多模态数据处理需求井喷等新挑战，现有平台已难以满足业务发展需求。同时，因多种离线与分析引擎并存，导致系统稳定性下降、运维复杂度激增，制约了大数据架构的可持续演进。具体问题表现包括：

1）技术栈异构，运维与开发效率瓶颈：平台依赖多种自建与云上组件（它云云原生数仓/EMR/Airflow 等），技术体系分散，导致维护成本高昂，新业务数据需求响应缓慢。

2）业务连续性要求极高：需在保障庞大业务体量零中断的前提下完成跨云平滑迁移，时间紧、范围广、协同难度极大。

三、大数据升级方案设计

为建设面向未来5-10年领先且可持续演进的大数据平台，欣和大数据团队和阿里云团队共同决定，依托 MaxCompute 离线/近实时处理能力和 Hologres 分析服务一体化能力（OLAP & Serving），设计了两阶段大数据AI实时湖仓平台演进思路。

第一阶段：近实时湖仓一体平台建设

针对欣和它云云产品+开源自建组件（StarRocks/ClickHouse/EMR/Flink/Kylin 等）导致的“多引擎、多链路、无平台”困局。我们基于阿里云数据中台产品体系构建了以 MaxCompute+Hologres 为核心的湖仓一体架构。该方案构建了以 MaxCompute（离线计算）、Hologres（实时分析）为核心的云原生技术栈，DataWorks 作为统一调度与数据治理中心。该架构全面替代了客户原开源 ClickHouse、开源 StarRocks、它云云原生数仓等多引擎并存的复杂环境，实现了“流批一体化”处理能力。

●统一离线/近实时处理链路：通过近实时湖仓MaxCompute，防止数据重复处理，通过范数仓分层简化数仓架构。

●一体化OLAP分析服务：基于Hologres实现OLAP查询、即席分析、点查和在线数据服务的统一，提升分析效率。

●一站式数据开发治理：基于DataWorks平台，提升开发与服务业务效率。

第二阶段：大数据AI实时湖仓平台建设(未来规划)

●统一湖仓数据管理：通过Data Lake Formation（DLF）实现结构化和非结构化数据统一管理。

●统一实时数据处理：实现离线、近实时和实时数据的统一处理。

●大数据+AI一体化：通过MaxFrame实现多模态数据处理、训练和推理。

关键能力验证

欣和业务方和大数据平台方非常关注的是获得分钟级近实时业务处理能力、以及媲美 Kylin预计算带来的实时数据分析能力，为了打消迁移到阿里云后的产品能力和性能的顾虑，阿里云团队和欣和团队一起对MaxCompute delta table近实时能力和Hologres实时分析能力做了测试；

针对近实时能力的测试，选取了 MySql同步到MaxCompute delta table，验证近实时数据处理可以实现分钟级增量更新，同时针对高流量场景下可能会存在增量小文件数量膨胀，过多的中间状态冗余等问题，MaxCompute 也提供了三种优化服务，包括小文件合并Clustering（小文件合并）（https://help.aliyun.com/zh/maxcompute/user-guide/data-organization-optimization#2b62e3600f872）、数据COMPACTION（https://help.aliyun.com/zh/maxcompute/user-guide/compaction）和数据回收。可以降低存储压力和计算成本，提高分析执行和数据读写速度。

针对 Hologres和 Kylin 预计算的分析性能对比测试，项目组选取了Kylin预计算后仍然耗时较长的查询用例，包含产品、区域、门店、经销商和组织等近60个用例，进行对比验证。在 Hologres 仅使用 Kylin 查询节点核数的 80% 情况下，取得了比 Apache Kylin更快的查询效果，对比数据如下：

核心收益：

1. 超时风险大幅降低：Round3 Hologres将超时率压至0.5%，远低于其他所有轮次。

2. 响应体验优化：Round3 Hologres在3秒内返回占比46%虽略低于Round4 Kylin的70%，但10秒内返回87%已与Kylin基本持平。

3. 并发与吞吐能力提升：Round3 Hologres在最高并发68 req/s情况下仍保持极低超时，系统瓶颈显著缓解。

4. 资源效率优化：Hologres资源核数是kylin的80%，资源效率更优。

5. 普适性与抗突发能力：Hologres在不依赖缓存的情况下仍能提供稳定低延迟，具备更强的普适性与抗突发能力。因无需预计算，业务可随时调整，查询灵活性显著提升。

注：本次测试未针对Hologres做详细优化，未调整到最优shard数、未优化分区表和索引，后续仍有较大优化空间。

Hologres 性能优势解析

Hologres能在UV精确去重等场景中实现比Apache Kylin预计算更快的效果，核心在于其HSAP（Hybrid Serving & Analytical Processing，混合服务与分析处理）架构与多项关键技术能力的协同优化：

1. 无需预计算的高性能即席查询：对COUNT(DISTINCT)深度优化（单/多维度去重、数据倾斜处理），可在明细宽表上实现亚秒级响应，避免Kylin预聚合的维度组合爆炸、存储成本高、更新延迟等问题。

2. RoaringBitmap高效压缩与位运算：原生集成RoaringBitmap，将用户ID映射为压缩位图，极大降低存储与计算开销，通过位图交并运算实现精确去重。

3. 向量化执行引擎+MPP架构：自研HQE执行引擎采用全异步、向量化处理，结合大规模并行计算，充分发挥CPU与SSD I/O性能。

4. 实时写入即查+统一Serving/Analytics：数据写入即可见，支持Flink实时构建Bitmap或直接查询最新明细，端到端延迟低至秒级。

5. 计算存储分离+弹性扩展：计算与存储独立扩缩容，高并发查询时可动态增加资源，保障QPS与延迟稳定。

四、项目价值分析

在历时 3 个月的大数据迁云项目中，阿里云服务团队与欣和大数据团队紧密协作，成功完成了欣和历史上具有里程碑意义的一次数据架构升级。

1）高效平滑迁移，业务零感知切换：通过科学规划与工具提效，迁移周期较同类项目提前 1~3 个月完成。通过双写、灰度发布等策略，实现了对 BI 报表等业务的无感迁移，真正做到“飞行中换引擎”。

2）数据质量跃升，筑牢可信底座：制定了核心表全表比对、差异控制在 0.0001 以内的高标准验收规范，确保了迁移后数据高度一致，显著提升了数据可信度。

3）架构全面升级，提升数据时效性：构建近实时湖仓一体平台，统一计算与分析服务链路，支持准实时增量同步，显著增强数据处理时效性，为业务提供更快的数据洞察，任务整体耗时从 8 小时降低到 4 小时。

4）复杂系统平稳过渡：面对异构技术栈（它云数仓 → 阿里云生态）重构挑战，完成了 SQL、API 及运维工具的全面适配，保障了系统稳定性。

五、结语

欣和大数据平台通过阿里云MaxCompute+Hologres的湖仓一体架构升级，不仅解决了现有平台的痛点问题，更构建了面向未来5-10年的可持续演进大数据平台。这一升级不仅显著提升了业务决策效率和用户体验，也为欣和在数字化转型道路上奠定了坚实的数据基础，使其在调味品行业竞争中保持领先优势。

通过本次升级，欣和大数据平台成功实现了从"多引擎、多链路"的割裂架构，向"湖仓一体、实时分析"的现代化架构的跨越式演进，为行业提供了可借鉴的大数据平台升级范例。

郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。