旅游景点及园艺展会游客大数据分析与应用支撑平台解决方案

来源：未知　时间：2018-37-30　浏览次数：313次

1. 需求背景

2. 开发目的

• 为园区管理提供数据支撑

• 提高世园会的管理与服务效率

• 7*24在线不间断在线服务能力；
• 典型运行周期内（180天）三级系统故障发生<5；
• 具备快速启动与恢复能力，典型故障发生时恢复时间<5min;
• 具备数据备份能力，能够100%恢复；
• 具备一定的系统检测能力，能够就系统存储、计算能力边界实现自动检测，并提示系统运维管理人员及时处理；
• 具有较好的系统扩展能力，能够通过热处理的方式，实现系统存储、计算等资源节点的加入，在资源变化过程中不影响系统核心业务的开展；

五、平台运行环境

分类	名称	版本	备注
操作系统	Centos	7.0
操作系统的附加功能	gc++运行库
数据库平台	MYSQL	5.6
	HABSE	1.3.1
	Zookeeper	3.4.11
应用平台	JDK	1.7
	Tomcat	8.0
	NGINX	1.8.1

五、品台技术实现设计

• 数据提取子系统：在统一数据视图的基础上，面向不同的数据源提供数据接口。以不同的上下游关系实现应用系统的数据接入。其主要包括数据提取任务执行模块、数据库数据提取模块、网络连接数据接入模块、集成接口调用数据提取模块以及数据校验模块。
• 数据处理子系统：根据数据生产-消费关系，将多个来源的数据进行格式转化、融合、预处理与后处理，从时间-空间-对象三元关系的角度出发，形成统一组织映射关系，建立数据产品的时序基线，为其他应用系统共享以及计算提供检索的依据。其主要包括多源数据融合模块、数据格式转换模块、数据缓存模块、本地数据存储管理模块。
• 数据产品分发子系统：根据智慧世园的数据生产-消费体系供需关系，将数据产品、共享数据以及相关信息记录数据以指定的方式提交给对应的应用系统，保证这些系统的正常运行。其主要包括：数据产品推送模块、数据产品提取模块、产品数据库管理模块。
• 数据共享与加工引擎子系统：根据任务配置以及生产-消费体系，建立共享与加工任务。围绕这些任务构建统一调度，协调不同任务执行过程中上下游组织关系。同时，根据智慧世园的特点，针对数据产品建立统一序列表达体系，保证不同应用系统的业务开展。其主要包括挖掘任务调度模块、数据统计模块、异常检测模块、数据序列分组管理模块、任务执行调度模块、数据产品封装模块、任务配置与管理模块。
• 系统安全认证子系统：建立统一的接口访问安全认证机制，在不同业务系统数据共享过程中统一管理读写权限。

六、平台功能设计概要

1. 游客注册与基本信息管理子系统

    实现游客基本信息的获取、注册以及其它应用功能数据支撑的功能。在世园会运行过程中，通过多个相关系统和渠道获取游客身份信息并进行整合，并在游客各类动态行为。同时，在数据的累积增量过程中，将对游客的用户画像特征数据进行深度融合，根据不同系统收集的用户数据建立痕迹，为游客兴趣挖掘分析等提供有效的数据支撑。提供游客及其他各类用户的信息存储与管理、信息检索和提取其主要包括以下等功能，提供黑白灰名单管理能力

1. 游客基本信息管理

• 游客注册：游客通过平台提供的客户端接口注册游客账号并完善游客基本信息
• 游客数据采集：通过门票系统，游客注册信息，移动WIFI等平台采集游客基础数据并存储在大数据系统中
• 建立游客数据模型：将多渠道采集到的游客数据ETL转换清洗后建立游客模型（为游客画像）
• 游客身份认证：游客进入园区链接平台是对用户身份进行认证并对于相应的游客模型，记录其行为数据完善游客模型

2. 游客兴趣分组挖掘与实时分析子系统

    在系统动态采集的各类增量数据的基础上，通过多种数据模型，对参观者游客兴趣与行为模式进行深度离线数据挖掘和数据融合，形成参观者用户画像知识库，并基于该知识库对游客进行行为预测及设施和路线推荐库。这一知识库中将园区中各种地对象之间建立关联关系。在这一基础上，根据实时接入数据，对在线参观者进行实时分析，为路线规划、内容推荐以及消费引导提供依据。

• 园区物联网平台：对园区关键设备（包括硬件设备，游客服务，路线等）接入网络平台，对设备状态进行实时监控，形成园区从硬件设备，到软件设备，游客的动态物联网生态圈
• 游客推荐平台：根据游客基础数据+游客行为数据（行为数据存储在HADOOP大数据集群）进行游客行动偏好+兴趣爱好偏好等大数据分析并结合“园区动态物联网生态圈”为游客推荐行动路线，游客相关服务等。

3. 游客综合定位子系统

         在园区通过多种手段收集游客不同时间的的位置数据信息，在保证。在有效的时间和空间定位精度的基础上，根据时空关系提供实现游客移动轨迹的数据组织与服务，并结合GIS，以热力图等直观方式实时展现园区和场馆内的各区域客流量情况，分析并展现各区域的历史人流量分布和变化趋势，为园区内的流量控制和引导提供数据支撑；并能提供数据检索查询服务，查询指定人员的历史行进轨迹，并对其进行实时定位。

• 游客实时观察平台：实时动态统计园区内游客分布情况，并以热力图的方式呈现给管理员，结合园区大数据平台给出适当的导流分流策略
• 游客行为轨迹观测：实时监测游客行动轨迹并记录只数据库中，以行动路线图的方式呈现给管理员；管理员通过输入用户标识查询游客行动历史轨迹
• 数据规格设计

项目	规格范围	备注
游客定位精度	0.1-0.3
平台图表相应速度	1-2S

 

4. 园区流量分析与预测子系统

    在人员定位的基础上，通过不同粒度空间实时统计分析形成面向不同专题的流量分析与预测，依据园区业务制度原则，以时报的方式定期发布。

• 流量分析系统：通过“WIFI”定位数据实时，动态统计分析园区内面向不同专题的游客分布情况，管理员通过地图查看给地区人流量详细情况
• 预测子系统：系统将园区内不同时段客流分布情况存储在大数据仓库中，通过历史客流分布+游客行为数据+外界影响数据（节假日，气候等）建立客流预测大数据分析模型，精准预测未来时段客流分布情况（以热力图的方式呈现），并依次制定推荐园区及时管理方案供决策的数据依据

5. 辅助工具子系统

    该子系统为保障平台系统计算性能与可靠性提供必要工具集，在系统运行过程中，能够根据数据吞吐与计算峰值变化，自动或在人工干预下优化资源配置

• 大数据运维平台：

• HBASE集群管理，HBASE+zookeeper集群，动态添加和管理HBASE数据节点服务器 ，监控数据节点运行情况，故障节点自动移出节点队列并短信/邮件方式通知系统管理员
• 数据分析任务管理系统：数据分析任务计划，数据分析节点服务器管理（服务器动态添加），监控任务运行情况形成报表
• 系统工具集：数据转换与清洗工具，sentry报表，文件ACL，数据库接口测试等管理工具

• 硬件监控管理平台

• 主机管理： 将支持平台的所有主机集成到统一管理平台进行管理，形成主机清单（主机IP，主机配置详细，主机用途等）
• 主机资源调度： WEB应用服务器创建统计调度池，动态分配CUP，内存等数量，提高硬件运行效率
• 硬件监控系统：实时动态统计CPU，硬盘，内存等使用情况与健康状况形成图形报表；记录用户操作日志形成用户审计记录；检测到硬件故障后以邮件/短信的方式通知系统管理员

• 安全监控管理平台

• 安全监控：定时扫描软件运行情况（故障，是否有漏洞），硬件运行情况（是否故障），形成安全审计记录，分级别上报系统管理员
• 安全修复：定期扫描软件运行情况，进行软件自动升级和软件漏洞自动修复

七、完整方案点击下列链接下载

旅游景点及园艺展会游客大数据分析与应用支撑平台解决方案