交通大数据管理与分析.pptx

《交通大数据管理与分析.pptx》由会员分享，可在线阅读，更多相关《交通大数据管理与分析.pptx（20页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、交通大交通大数据管理与分析数据管理与分析 云云计算计算 数据获取、组织存储、分析挖掘、可视化数据获取、组织存储、分析挖掘、可视化研究背景2p“十二五”规划中明确指出，将大力推进交通信息建设，大力发展智能交通，提升交通运输的现代化水平。p“十二五”期间智能交通投入研究现状3p 城市智能交通行业“十二五”期间预计增速30%。p 东部沿海城市的智能交通系统已经初具规模，智能交通系统逐渐向软件系统升级和信息服务方向过渡。p 中西部地区是城市化进展最快的地方，催生了大批千万级整体解决方案的出现。p 行业整体成长期，需求增长明显。存在问题4 p 数据存储能力；数据存储能力的增长远远赶不上数据的增长，设计最

2、合理的分层存储架构成为关键p 数据挖掘能力；算法最优p 时效性；分析处理的时间越来越长，时效性要求越来越高p 信息安全；保密、隐私、安全构建智能交通一站式云平台5智能交通大数据云平台整体构架6技术实现7平台技术实现思路是：大数据技术处理和存储云计算技术数学模型多维度分析与挖掘可视化技术 采用大数据技术处理和存储交通数据，结合大数据与云技术，利用专家数学模型对海量交通数据进行多维护的分析和挖掘，并通过云发布服务，将分析结果传达至各类终端，提高人们对路桥状态、交通情况的感知能力，使交通参与者能快速、全面、准确的完成交通评估和决策，实现交通智能化管理。基础服务层的技术实现8 该层采用OpenStac

3、k建立云平台，即把存储于个人计算机、移动电话和其他设备上的大量信息和处理器资源集中在一起，协同合作，整合交通数据源。p交通时间信息（事件类型、发生地点、时间）p基础设施运行状态（路面性能等）p交通运行状态（车流量等）p气象、环境信息（温度、噪声等）p车辆运行状态（位置、速度等）p驾驶员、货物状态（事件类型等）数据分析层的技术实现9主要采用大数据技术来存储、分析和挖掘ETL数据众包（CrowdSouring）结构化、非结构化和半结构化数据分布式文件系统关系数据库非关系数据库（NoSQL）数据仓库云计算和云存储实时流处理A/B Testing关联规则分析分类聚类遗传算法神经网络预测模型模式识别时间

4、序列分析机器学习MapReduceR语言数据采集/获取数据存储与管理数据分析与挖掘数据可视化数据存储NoSQL(非关系型数据库)10p 高并发性读写p 对海量数据高效率存储和访问p 对数据库高可扩张性和高可用性数据存储-HBase技术11 采用HBase技术使交通数据可存储在多个数据中心，用户所见的虚拟的单一数据中心，每个数据中心互为备份。这样使得平台具有对海量交通关系型数据和非关系型数据（如交通视频、音频、各类应用文档等）的高吞吐能力，实现数据的快速存储。数据分析与挖掘-Hadoop技术12 Hadoop是一个分布式系统软件框架，由Apache基金会开发。用户可以在不了解分布式底层细节的情况

5、下，发布分布式程序，充分利用集群的威力快速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System）,简称HDFS。Hadoop软件堆栈及其组件13数据分析-MapReduce14 MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。它使程序人员在不了解分布式并行编程的情况下，能将自己的程序运行在分布式系统上。MAP=映射，Reduce=规约或化简。数据分析-R语言15pR是用于统计分析、绘图的语言和操作环境。R是属于GUN系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀

6、工具。pR语言擅长在Hadoop分布式文件系统中存储的非结构化数据上的分析。pR现在还可以运行在HBase这种非关系的数据库以及面向列的分布式数据存储之上。终端发布层的技术实现16 采用云计算服务将路桥状态、交通情况等海量数据分析后所得的交通状态进行多终端、多类型的发布服务。支持PC、Pad、智能手机（IOS/Android）等各类终端。可视化技术17SPSS：Statistical Product and Service Solutions“统计产品与服务解决方案”软件，为IBM公司推出的一系列用于统计学分析运算、数据挖掘、预测分析和决策支持任务的软件产品及相关服务的总称。Gephi：Gephi是一款开源免费跨平台基于JVM的复杂网络分析软件，可用作：探索性数据分析，链接分析，社交网络分析，生物网络分析等，是一款信息数据可视化利器。Matlab:MathWorks公司出品的商业数序软件于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境。可视化技术展示18参考文献19 20