Menu
企业级数据业务中台详解及使用技术

一.IT系统架构模式的演变

1. 烟囱式架构

     基于单个项目建设,其特点为“烟囱式”,即垂直的体系结构,每一个IT系统都有自己的存储和IT设备,以及独立的管理工具和数据库,不同的系统不能共享资源,不能交付和访问,形成了资源孤岛和信息孤岛。这就使得企业IT系统有诸多弊病,即:IT资源的服务率非常低;IT基础设施复杂,难以适应业务变化的需求;服务器数量和管理的总体成本太高;无通用能力沉淀;重复建设相互协作能力及交互能力复杂

2.共性化平台

    基于不同子平台共性,通过抽象和抽取共性,公用的功能,公用的服务建立应用层服务平台平台建相互独立。其任然存在无法解决的问题,即:平台建各自为政(平台烟囱);沟通成本大(组织烟囱);数据孤岛(数据烟囱);前台变化无序和后台稳定有序之间的冲突等。

3.企业级中台架构

    输出公共,通用化后台能力,快速支撑前台规模化创新,前台只负责直接和用户交互,后台负责服务,算法,数据,基础设施等。其核心是打造企业级共享平台,手段是后台提供基础能力封装,目标是前台敏捷迭代,提升其试错能力。主要类型有业务中台,数据中台,技术中台,安全中台,物联网中台,算法中台。

二.数据中台的应用闭环

数据中台的应用闭环

三.数据中台详解

    数据中台的主要定位是打造企业级数据共享平台,形成体系化的数据资产,建立平台化统一化的数据服务体系,主要应用与洁厕分析,营销推荐,实时交互等数据中台应具备下列能力,全域数据汇聚能力,数据资产体系能力,数据资产管理能力,工具/组件平台化,流程可视化。其架构如下图所示
 中台模式基本架构图

四.数据中台各阶段技术选型

1.数据采集汇聚

日志实时采集:filebeat  ,flume等
数据库实时同步:maxwell ,canal  ,OGG
离线数据交换:sqoop,datax,自研产品

2.数据存储

HDFS,kafka,hbase/phoenix
Elasticsearch , clickhouse等

3.计算引擎

离线计算:spark,hive
实时计算:spark  , Streaming ,flink