另一方面,中国的烟草公司都努力打造世界级品牌,培育职业化团队,构建生态型系统,推动企业由资源驱动向能力驱动,由“研-产-销”向“市场—研产销—市场”的转型。
因此,烟草公司的数字化和智慧化成为烟草企业面临的最大机遇与挑战。
面对日益多样类型的数据,某烟草公司(以下简称某烟草)与星环科技合作,建设高效稳定的大数据平台,形成全公司数据全局视图,实现服务重用、服务进化、数据累积、快速响应、降低成本、提升效能,并为营销中心提供更深刻的用户洞察,实现多种模式的数据价值变现,包括直接变现、资源置换、交叉营销、社会效应等。
1.数据类型多样、数据库多种多样的局限性凸显
目前某烟草公司在经过前期的数字化转型后,出现了一些新问题:
第一,生产经营中出现了很多新数据,目前还缺少必要的平台,来高效地处理这些数据,发掘数据的价值。
例如,烟厂的设备时序数据,更多停留在监控层面,缺乏深度分析和挖掘,以及数据融合分析,出现了生产过程历史数据丢失、过程问题无法追溯等问题,无法实现全面标准、开放的实时/历史大数据存储和服务。
虽然大多数组织习惯于在关系数据库中处理结构良好的数据,但在生产经营中新出现的数据越来越频繁地以半结构化和非结构化数据形式出现。同时该烟公司当前的传统关系型数据库无法满足海量数据的存储、计算,难以支撑数据分析工作。
因此,除了关系数据库管理系统(RDBMS)之外,公司还需要大数据平台来支持多种数据模型,包括文档、面向列、面向对象、全文、图形等,确保数据一致性,同时降低数据处理和分析的成本和复杂性。
第二,烟草公司中一些烟厂通过MES系统、数据采集系统、SPC系统等生产信息化系统的持续建设,日益提升了生产精益管理方面水平。但是各系统经过多年的运行,沉淀了大量生产过程数据,这些数据分散存储于各个系统数据库。
同时,各数据库类型、信息资源格式不统一,导致数据有效性、可靠性低。生产过程OPC数据由于之前技术局限,均未进行关联流水保存。
此外,原来基于组态软件和关系型数据库存储过程实时数据时,在数据时效、数据质量、访问性能、存储空间等方面显露很大的局限性。
当前急需引入高性能、高吞吐、高时效的数据处理平台,为该烟草公司提供实时数据采集、加工处理、归档存储,以便大数据挖掘、分析展现。
第三,该公司的各大卷烟厂普遍存在多个业务系统的数据模型缺乏统一管理,变更后无通知下发流程,导致难以开展从上而下的精细管理等问题,急需构建全公司的大数据平台,实现全局数据管理。
如其营销中心在进行客户营销分析的过程中,发现现有数据质量差、标准不统一、业务口径不一致等情况。
2.多模大数据平台让这些问题迎刃而解
其实,企业应用需求推动大数据平台的不断演进,总结起来体现为三个方向:
多模数据库实现一库多用,利用统一框架支撑混合负载处理,运用AI实现管理自治,提升易用性、降低使用成本;
充分利用新兴硬件、与云基础设施如容器技术等深度结合,增强功能,提升性能;
利用隐私计算技术助力安全能力提升,区块链数据库辅助数据存证溯源,提升数据可信与安全等。
能够提供这些真正的多模型数据库功能的数据管理解决方案,将使组织能够敏捷和灵活地处理复杂的用例,同时降低数据存储和计算成本,消除数据孤岛,并且不影响效率或易用性。
星环科技早在2017年提出了多模型数据统一处理理念,并在2020年5月实现多模型数据的统一处理技术,其大数据基础平台TDH支持同一平台处理多种不同的数据模型。
结合该烟草公司当前基础数据环境分析,星环科技采用数据驱动与业务驱动建设模式双向结合的建设策略,在数据驱动方面,统一数据标准规范,整合实时数据资源,动态扩充数据容量。
采用星环大数据基础平台TDH搭建该企业大数据平台,搭建各大卷烟厂大数据平台,完成两级部署搭建,基于数据共享交换,实现数据资产、服务的统一管理。
星环大数据基础平台TDH中的组件都针对Docker做了优化,计算引擎也可以使用Kubernetes进行资源管理。容器技术显著提升了大数据平台部署和维护的效率,支持动态扩容、缩容,支持灰度升级。
目前烟草公司大数据平台已经完成了工作,如从各业务系统接入数百个数据视图;归集2008年开始到至今所有历史数据;制造工厂实时数据开始接入数据,目前总数据量不断增长;创建计划、事件、设备等多个主题数据模型,搭建数据仓库支撑业务等。
该烟草公司大数据平台实现了如下价值:
第一,统一数据标准规范。统一全公司信息资源格式,建立统一的数据资源标准规范,实现统一数据编码标准与数据统计口径,保障数据中心数据的完备性、符合性、一致性、准确性和唯一性。
第二,整合实时数据资源。按照统一的数据标准规范,将分散在各生产过程的实时数据集成,满足企业多工段、多车间、多过程、多业务间的协同管控需求,使生产管理人员对工厂的生产实时状况有一个全面了解。
第三,开始提供平台数据能力服务。结合数据和业务需求,对平台数据进行服务能力封装,并提供API、FTP等多样化的数据接口,为各制造工厂信息化系统以及烟草公司生产管理系统提供更深层次的数据应用支撑。
第四,实现业务驱动。如提升过程实时数据应用时效,基于应用需求提供平台数据能力服务,包括大规模数据检索、数据标签属性库、设备数据漫游等服务,基于两者的高效结合,打造各地卷烟厂以数据为基础、业务为导向的高性能工厂实时数据库共享能力平台,同时借助拓维信息丰富的工业数据平台建设经验,实现该烟草公司和下属企业工业数据战略跨越式发展。
未来,该烟草公司将携手星环科技,将持续深化智慧化改造,推动公司和各卷烟厂大数据平台建设,精细化洞察用户需求,颠覆性提升用户体验,实现多模式数据的深度价值变现,推动企业高质量发展。
3.多模技术助力企业建立稳健大数据平台
Gartner发布《中国数据库管理系统供应商甄选》,列举了中国数据库市场的48位供应商名单,识别了每个厂商的产品并按照关系型和非关系型/多模两大类8个细分子类进行归类,帮助中国市场企业用户更全面地了解各厂商及其产品情况,从而更好地产品选型。
Gartner指南工具中列举了8个细分品类,操作型、分析型、图数据库、时序数据库、键值数据库、文档存储数据库、宽表数据库、多模数据库。星环科技ArgoDB作为中国四家多模数据库代表之一入选该报告。
作为星环科技自主研发的大数据基础平台,TDH基于多模型统一架构,支持关系型数据、图数据库、时序数据等主流的10种数据模型,提供多模分析、实时数据处理、存算解耦、混合负载、数据联邦、异构服务器混合部署等先进技术能力。通过一个ArgoDB数据库,就可以一站式满足数据仓库、实时数据仓库、数据集市、OLAP、联邦计算、湖仓集一体等各种需求。
星环科技TDH一直致力于给用户带来高性能、高可靠的一站式大数据基础平台,满足对海量数据的存储和复杂业务的处理需求,同时在易用性方面持续深耕,降低用户开发和运维成本,让数据处理平民化,助力用户以更便捷、高效的方式去挖掘数据价值。
基于这样的宗旨,星环科技正式发布了TDH9.3版本,推出了新一代湖仓集存储格式Holodesk,一份数据满足数据湖的离线实时接入、数仓的复杂加工以及数据集市的分析需求,避免数据冗余,减少数据流转,提升业务综合性能与时效性。同时,分布式计算引擎实现了向量化升级,综合性能大幅度提升。此外,TDH9.3对多模型统一技术架构进行了迭代升级,全新发布分布式向量数据库TranswarpHippo,共支持11种模型数据统一存储管理,用统一查询处理语言完成跨模型数据流转与关联分析,让业务开发更加便捷。
星环大数据基础平台TDH+星环数据云平台TDC、星环分布式交易型数据库KunDB、分析型数据库ArgoDB、分布式图数据库StellarDB、搜索引擎Scope、时序数据库TimeLyre、数据科学平台SophonBase等完全满足信创要求,不但可以替换国外的商业和开源大数据平台、数据库等基础软件产品,而且拥有大量成功的应用案例,为用户创造新的价值。