智慧环保云平台建设方案.pdf

《智慧环保云平台建设方案.pdf》由会员分享，可在线阅读，更多相关《智慧环保云平台建设方案.pdf（32页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、智慧环保云平台建设方案智慧环保云平台建设方案1目目 录录一、背景及意义 . 4二、目标与内容 . 42.1. 项目目标. 42.2 主要研发内容 . 5三、思路与方法 . 63.1 总体技术路线 . 63.1.1 业务系统的分析 . 63.1.2 云存储平台搭建 . 73.1.3 传感器数据分析与处理 . 73.2 总体技术架构 . 7四、进度安排 . 8五、成果及效益 . 10六、PM2.5 云监测系统前端方案 . 116.1概述. 116.61.1 背景 . 116.1.2 意义 . 116.2设计. 126.2.1 系统架构. 126.2.2 传感器. 156.2.3 计算. 1726.

2、2.4 采集部分. 196.2.5 通信部分. 206.2.6 电源部分. 216.3特点. 22七、PM2.5 云监测系统后端方案 . 247.1. 概述. 241.1 背景. 241.2 意义. 257.2. 设计. 267.2.1 系统架构. 267.2.2 系统可靠性与扩展性 . 287.3特点. 313一、一、背景及意义背景及意义目前环保局已经拥有包括“阳光政务系统” 、 “12369 投诉系统” 、 “排污申报收费系统” 、 “污染应急指挥控制系统” 、“机动车排气监测系统” 、“污染源在线监测系统” 、“环境空气质量监测系统” 、“危险固体废弃物管理系统” 、 “核与辐射管理系统

3、”在内的多套业务系统，可进行业务审批、意见收集、任务指派、排污申报与收费等各项业务功能。存在的问题主要是这些系统各自为政，数据无法有效共享与集成，导致同类数据在不同系统中存在冗余和不一致问题，同时这些系统间缺乏统一的数据管理模式，导致数据保存不规范、不完整。这些数据的冗余、不一致和缺失使得在日常业务工作中，虽然各系统能发挥自己的做用，处理各自业务功能， 但各系统中的数据无法进行有效融合， 不能支持全局的数据应用、 处理和分析功能，导致出现明明有数据可是却无法找到，无法使用的局面。通过本次项目研究，一方面利用信息网格技术，动态集成现有系统的业务数据，打破各系统间隔阂，解决环保局范围内各系统的数据

4、集成问题，实现全局范围的数据共享、分析与使用。另一方面，利用云存储和云计算技术，打造一个具有高容量、高可维护性、高性价比、高容错的云平台，支撑海量信息的存储和处理。二、二、目标与内容目标与内容2.1.2.1. 项目目标项目目标本次课题的研究目标是建立一个集成环保局范围内各在用系统的平台， 该平台集成各种环保相关的信息系统的数据库数据、用户投诉数据，以及来至传感器的各种声、光、气、水、温数据。该4平台能在对信息进行分析处理的情况下，利用网络服务器通过电脑、智能手机、平板设备等移动终端提供包括企业信息查询、污染应急指挥控制、污染源在线监控等各类服务，可以形成对信息的全面掌握、实时监测、智能分析、历

5、史积累。2.22.2 主要研发内容主要研发内容（1）现有信息系统的数据集成对在用的业务系统进行分析，明确需要集成的数据，以及数据间的相互关系后，制定一个统一的数据格式，然后采用信息网格技术实现数据的抽取与集成。（2）基于物联网技术的信息自动采集与分析利用各类传感器实现环境监测中各种声、光、气、水、温数据的自动采集，并导入到用的分析系统中进行数据分析。（3）基于云存储的中心数据库的建设在集成业务系统数据和环境监测信息的基础上建设一个基于云存储的、 可扩展，具有统一规范数据格式的中心数据库，将各业务系统核心数据抽取到中心数据库进行存储，确保信息的完整和安全可靠。（4）基于云计算与语义技术的环保数据

6、处理和分析方法利用云计算平台的强大处理能力，结合语义技术进行数据的处理和挖掘，将数据转换为信息；（5）智慧环保云平台的建立在中心数据库上开发建立包括企业信息全寿命管理 （即从企业登记开始到企业注销的全程信息管理） 、数据精确分析、处置决策、趋势分析等在内的应用，并为其它系统预留数据调用接口，最终建成一个涵盖在用系统数据，支持全局信息管理分析与应用的“智慧环保”系统。5三、三、思路与方法思路与方法3.13.1 总体技术路线总体技术路线总体技术路线如图 1 所示。可分为三个方面开展。图 1 “智慧环保云”实施技术路线图3.1.13.1.1 业务系统的分析业务系统的分析（1）对在用业务系统的关键流程

7、、关键业务数据、数据间逻辑关系进行分析，确定需要集成的数据为数据集成和建立中心数据库做准备（2）利用信息网格技术实现关键业务数据进行按需提取。（3）对来自各业务系统的数据进行集成，建立一个面向环保系统的业务数据库。6（4）将传感器数据与业务数据结合，建立中心数据库。（5）在中心数据库的数据支持下，利用云计算与语义技术进行数据分析，为业务处理、决策提供信息支持。（6） 在中心数据库上开发建立包括企业信息全寿命管理（即从企业登记开始到企业注销的全程信息管理） 、数据精确分析、处置决策、趋势分析等在内的应用，并为其它系统预留数据调用接口。（7）完成“智慧环保云”的部署工作。3.1.23.1.2 云存

8、储平台搭建云存储平台搭建通过采购存储硬件，在现有的云存储软件的基础上，搭建一套大容量的云存储系统，该系统用于保存业务数据已经运行业务处理平台。3.1.33.1.3 传感器数据分析与处理传感器数据分析与处理了解目前在用的传感器类型，确定信息接收和分析处理的方法，将传感器数据集成进系统中。3.23.2 总体技术架构总体技术架构系统包括三个部分：数据层，中心数据库层及应用层，系统整体架构如图2 所示7图图 2 2 系统体系结构系统体系结构（1） 数据层数据层有各业务系统中的关键性业务数据和各类传感器采集的数据组成，它们为整个“智慧环保”系统提供数据来源。（2）中心数据库层中心数据库层由一个基于云存储

9、的综合数据库构成， 在这里对来至数据层的各类数据进行汇总、处理、集成与管理，确保数据的唯一性和确定性，并为上层应用提供数据支持。（3）应用层应用层包含各类基于全局数据的应用， 包括：企业信息的全寿命管理、数据的精确分析、城市物量统计、辅助决策等同时提供一个数据接口，可为其它系统提供按需的数据服务。四、四、进度安排进度安排序号阶段工作内容起止日期阶段成果形式1可行性调研阶段该阶段主要进行项目结合调研结果，撰写项目可8的可行性论证，熟悉现有业务系统、理清各系统间关系、进一步明确“智慧环保”系统应具备的功能，同时进行技术可行性分析。2业务系统分析阶段找出关键业务流程和关键业务数据，确定需要集成的数据

10、、确定数据的格式和相互间逻辑关系2传感器数据分析与处理阶段理清需要处理的传感器数据、了解数据处理方式并将其整合到项目中行性报告完成业务系统分析，形成中心数据库数据字典，完成项目的概要设计。完成传感器的数据分析工作，针对每类传感器数据出具分析报告，包括数据类型、采集方式、数据保存格式等信息。2云存储平台建设阶段主要进行硬件设计与采购，搭建存储的软硬件平台完成具有海量存储能力的云存储平台。3数据提取与集成阶段利用网格技术，开发适用与环保系统的信息集成中间件完成数据的集成工作。开发信息系统中间件软件4中心数据库的建立结合 存储硬件平台，数据字典、传感器数据，建立一套中心数据库，将业务数据、传感器数据

11、统一提取保存在中心数据库中系统中心数据库的建立5业务处理平台建设阶段根据业务需要，开发基于中心数据库的业务处理平台，形成包括企业信息全寿命管理（即从企业登记开始到企业注销的全程信息管理） 、 数据精确分析、处置决策、趋势分析等应用在内的业务处理平台研发一套业务处理平台6“智慧环保云”的部署与推广完成“智慧环保云”的部署工作，提供项目的详细设计、数据部署系统，提供目的详细设计、 数据库字典、 用户手册、维护手册。9库字典、用户手册、维护手册。五、五、成果及效益成果及效益预期成果为是一个集成各种系统的平台，通过网络服务器提供各种信息服务。集成各种环保相关的信息系统，输入是各种声、光、气、水、温等传

12、感器的数据，各种数据库数据，及用户投诉数据，输出是各种信息服务，通过电脑、移动终端等提供服务。可以形成全面掌握、实时监测、智能分析、历史积累等能力。依靠云计算、物联网和信息网格技术，构建“智慧环保云” ，做第一家“说得清”的环保管理者，依靠先进技术提升管理水平，在全国做出优质示范。全面掌握全面掌握：对各种来源数据进行汇聚，原来散落在不同系统、描述不同内容的局部数据发挥整体作用。精确分析精确分析：可以以某个企业、某个区域、某个时段等作为分析对象，依靠数据的相互印证和补充而实现精确分析。及时预警及时预警：各种物联网传感器、接入系统和人工测量的结果的自动综合可以及时发现环境危险信号，将危险消灭在萌芽

13、状态中。长效管理长效管理：依靠云计算平台的海量存储能力，不断积累历史数据，可以对监测对象和整体环境趋势进行长期的跟踪和分析。10六、六、PM2.5PM2.5 云监测系统前端方案云监测系统前端方案6.16.1概述概述PM2.5 云监测方案，是基于 PM2.5 测试的辅助测试。主要是反映局部区域的相关参考值，从而和宏观上反映城市的整体的空气质量的监测站点的监测方式形成互补。6.61.16.61.1 背景背景目前许多城市的环境监测中心站点较少，分布分散，环境监测的数据仅从宏观上反映城市的整体的空气质量，但是不能从微观上反映局部区域、特定区域的空气质量的好坏，这就需要建设更多的环境监测站点，提供更多的

14、实时的环境监测数据。国外一套 PM2.5 环境监测系统价格在 10 万美金，国产价格在 10-50 万人民币，价格昂贵。建设更多的环境监测站点需要巨大的资金投入，成本太高。的PM2.5 云监测系统价格大约在1 万人民币，非常廉价，能够解决资金投入问题，同时满足一定的测量精度，和现有的空气环境自动监测系统形成互补，为环保部门服务。目前 350 米以下都有颗粒污染物，污染程度比较严重，加之信息化工作处于低端水平，以及公众对于 PM2.5 的关注度不断提升，使得 PM2.5 的监测重要性日益突出。廉价的 PM2.5 环境监测系统与目前的传统监测站点的监测方式形成互补，满足公众环境需求，提升政府形象。

15、6.1.26.1.2 意义意义部署廉价的 PM2.5 环境监测系统，配合城市现有的环境监测站点，准确、及时、全面地反映环境质量现状及发展趋势， 为环境管理、 污染源控制、 环境规划等提供科学依据， 并结合天气状况、11城市交通、人口密度、工业产值等元素，进行系统的研究，为保护环境，改善城市的大气环境质量改善起到技术支撑作用。具体可归纳为:(1) 根据环境质量标准，评价环境质量。(2) 根据污染分布情况，追踪寻找污染源，为实现监督管理、控制污染提供依据。(3) 构建云计算海量数据处理平台，存储本区域海量数据，积累长期监测资料，为研究环境容量、实施总量控制、目标管理、预测预报环境质量提供数据。(4

16、) 为保护人类健康、保护环境、合理使用自然资源、制订环境法规、标准、规划等服务。6.26.2设计设计6.2.16.2.1 系统架构系统架构6.2.1.16.2.1.1 总体架构总体架构前端设备采集到相关的信息，通过 GPRS 进行无线数据传输，在有公网 IP 的服务器上进行数据接收和初步的处理，然后数据存入数据立方进行存储和计算，并且通过 WEB 服务器进行数据的最后处理和公布。具体的架构详见图1。12图 1PM2.5 云监控平台架构PM2.5 前端设备主要是由电源模块、 采集模块和通信模块组成， 前端内部架构具体详见图1。实际的 PM2.5 监测设备详见图 2。图 2前端设备的架构13图 3

17、前端设备实物图6.2.1.26.2.1.2 部署方式部署方式在城市的不同区域布局并有效使用PM2.5的监测系统， 从而能够比较全面地掌握城市不同区域，在不同时间段、不同气候特点（包括气温、风向、季节）下的 PM2.5 的实时监测数据。PM2.5 环境监测系统环境数据采集设备采用先进的传感器、 低功耗单片机技术和网络通讯技术相结合，可提供方便的数据查询方式，直接通过浏览器可以直接访问测试数据。目前环境监测站的监测设备一般部署在离地面高度20m-25m 之间，而的 PM2.5 环境监测系统环境监测设备根据实际的情况来进行部署。设备小巧，部署方式灵活，可以部署在电线杆等公共设施上。详细见图 4。14

18、图 4部署在电线杆上前端设备6.2.26.2.2 传感器传感器根据如下的需求：1）辅助测试 PM2.5 值，测试不需要太高的精度，主要是用来辅助PM2.5 测试曲线；2）超低低成本的需求；选择的传感器详见图 5。15图 5 DSM501 颗粒传感器传感器的特点：PWM 脉宽调制输出采用粒子计数原理可灵敏检测直径 1 微米以上的粒子内置加热器可实现自动吸入空气小尺寸重量轻易安装使用传感器的原理结构图详见图6.图 6 传感器的原理结构图16模块内置一个加热器，热引起上升气流使外部空气流进模块内部。空气通过检测通道，利用光的原理、通过光和透镜以及处理模块来进行检测。具体的检测方法和通道如图7 所示。

19、图 7 传感器的检测另外，传感器的透镜需要视环境状况隔一段时间进行清洁，约 6 个月一次。清洁时用棉签一头醮清水轻擦，然后用另一头擦干。不可以用酒精等有机溶剂擦拭透镜。6.2.36.2.3 计算计算通过传感器的检测颗粒，输出相关的PWM 波，低电平的波形width 是 10ms-90ms，利用这个 PWM 波形来进行获取相关的参数，详见图8。通过获取低电平的占空比，从而通过图9 获取到对应的数值。17图 8 传感器的采样图 9 传感器采样的曲线图通过如下的计算，可以得到其中一个通道的采样值。通道的 LOW Pluse的占空比设定为 L，测试的采样值为 P。则：如果获取到的 L 0.08，则：P

20、=0.1*L*100*10(ug/m3);18如果获取到的 0.08= L 0.15，则：P=( (L*100 8)/6.5 + 0.8)*10( ug/m3);通过相关的采样， 可以采样得到传感器的两个通道的值， 一个通道是1um 以上的粒子的值P1，另外一个通道是可以进行设置的，这里设置为可以检测2.5 以上的粒子的值 P2。PM2.5是指大气中直径小于或等于2.5微米的颗粒物， 也称为可入肺颗粒物 （暂无标准中文名） 。所以在这里要计算最终的采样值PL，需要进行如下的计算：PL = P1 - P2;这里就可以计算出大气中直径小于或等于2.5 微米的颗粒物。6.2.46.2.4 采集部分采

21、集部分虽然肉眼看不见空气中的颗粒物，但是颗粒物却能降低空气的能见度，使蓝天消失，天空变成灰蒙蒙的一片，这种天气就是灰霾天。根据 2010 年灰霾试点监测报告 ，在灰霾天，PM2.5 的浓度明显比平时高，PM2.5 的浓度越高，能见度就越低。虽然空气中不同大小的颗粒物均能降低能见度，不过相比于粗颗粒物，更为细小的PM2.5 降低能见度的能力更强。能见度的降低其本质上是可见光的传播受到阻碍。当颗粒物的直径和可见光的波长接近的时候，颗粒对光的散射消光能力最强。可见光的波长在0.4-0.7 微米之间，而粒径在这个尺寸附近的颗粒物正是PM2.5 的主要组成部分。理论计算的数据也清楚地表明这一点：粗颗粒的

22、消光系数约为 0.6 平方米/克，而 PM2.5 的消光系数则要大得多，在1.25-10 平方米/克之间，其中 PM2.5 的主要成分硫酸铵、硝酸铵和有机颗粒物的消光系数都在3 左右，是粗颗粒的5 倍。所以，PM2.5 是灰霾天能见度降低的主要原因。目前国内外环保部门监测PM2.5 普遍采用滤膜称重、 射线吸收和微量振荡天平等方法。除了19以上三种测试方法外，还有利用光散射的原理测定颗粒物浓度的方法。该测定方法的原理是：空气中的颗粒物浓度越高，对光的散射就越强。测定光的散射后，就可以算出颗粒物浓度。该测试方式测定速度快，自动化程度高，操作简单。本次设备使用的是红外光散射法来进行测试相关的数据。

23、通过相关的探头来进行采集相关的数据。通过采集的通道利用红外光散射来进行获取颗粒浓度。采集空气的通道有固定的加热源，通过加热源来进行空间的动态的采集。将相关的颗粒浓度转换成相关的数据通过无线通信进行数据传输。6.2.56.2.5 通信部分通信部分前端设备的通信主要是通过GPRS 进行数据的无线传输。具体的数据传输的网络示意图详见图10。图 10GPRS 数据传输数据在前端设备基于 TCP/IP 协议，经过 GPRS 的数据传输，通过移动网络传输数据，利用公网的服务器接受数据，然后将数据入库后，进行数据的处理，最后通过 WEB 服务器将数据展现出来。注意:每个前端设备有一个供应商的SIM 卡进行数

24、据通信，该SIM 卡需要有 GPRS 业务，同时20使用的地点必须有供应商的信号。 例如使用中国移动的SIM 卡，该卡需要有 GPRS 的业务，同时放置 PM2.5 测试前端的地点需要有中国移动的信号才可以正常的通信。6.2.66.2.6 电源部分电源部分供电方式有两种，一种是锂电池和市电互补的供电方式，另一种是太阳能供电供电方式。6.2.6.16.2.6.1 锂电池供电锂电池供电锂电池供电方式是基于市电可以提供的情况下进行的。如果部署的PM2.5 设备附近有市电，这样可以方便进行充电。或者是市电和锂电池进行互补方式进行供电。同时进行对电池进行电压监测，检测供电电压是否正常，电源供电是否正常。

25、锂电池是12V 电压，50Ah 的规格，可以在没有充电或者没有市电互补的情况下持续10*24h 的供电。具体的实物见图11。图 11锂电池供电方式的前端设备实物图216.2.6.26.2.6.2 太阳能供电太阳能供电太阳能供电方式是基于太阳能进行可持续性的充电，从而避免了提供充电或者接入市电的情况。太阳能供电是利用蓄电池和太阳能互补的方式进行供电，通过太阳能控制器来进行互补。在太阳能供电不能满足供电需求的时候，利用蓄电池进行供电。利用20W 的太阳能板，在一定的环境中，可以满足设备的供电要求。 蓄电池的规格是 12V 电压， 20Ah 的规格， 在完全没有太阳能的情况下，可以支持 3*24h

26、的无间断供电。该供电方式同时提供电压监测功能。具体的实物详见图12。图 12太阳能供电方式的前端设备实物图6.36.3特点特点1、价格低廉，大规模部署廉价的 PM2.5 环境监测设备每个节点只需1 万元，即可满足PM2.5 监测、数据传输功能，无需国外昂贵的监测设备，和现有的环境监测点形成有利互补，对PM2.5 数据发布有参考意义。2、云计算海量数据处理技术22架构云计算海量数据处理平台，采用先进的云计算处理技术，对环境监测的数据入库和关联查询快速响应，支持自动容错和动态扩展，具有实时性、高可靠性、可伸缩性、高性价比等特点。3、扩容性PM2.5 监测前端设备可以根据需求进行增加设备， 扩展整个

27、系统的覆盖面积，但是不需要继续复杂的操作，可以动态的增加PM2.5 测试的节点，并能自动组网，具有很强的扩容性。4、实时性测定速度快，自动化程度高。测试方法决定了测试的实时性，采集时间实现秒级响应，且采集时间可以任意设定，采集的数据实时入库，可实时查询。5、采集数据的准确性采集的数据经过精确的校准，且灵敏度很高，和环保部分发布的 PM2.5 数据及趋势接近，数据真实有效。实时采集的数据和环境监测站发布PM2.5 数据对比图详见图13。图 13PM2.5 数据对比图综合上述，PM2.5 环境监测系统架构云计算海量数据处理平台，存储本区域海量数据，积累长期监测资料， 为研究环境容量、 实施总量控制

28、、 目标管理、 预测预报环境质量、 环境治理提供数据。23七、七、PM2.5PM2.5 云监测系统后端方案云监测系统后端方案7.1.7.1. 概述概述PM2.5 云监测平台系统， 是基于 PM2.5 测试的辅助测试。 主要是反映局部区域的相关参考值，通过先进的云计算技术数据立方的PM2.5 监测平台系统分析和处理PM2.5 数据从而和宏观上反映城市的整体的空气质量的监测站点的监测方式形成互补。1.11.1 背景背景由于分散在城市周围需要大量的PM2.5 监控点（100-10000 个）需要实时的并发上传大量PM2.5 数据，以及需要存储和处理海量的PM2.5 的历史数据，采用传统的结局方案显然

29、难以满足需求据存储和分析处理数据的需要。PM2.5 云监测平台会产生极其海量的数据。假如一个城市部署了5000 个监测点，每个点每5 秒上报一次数据，则一天下来，会产生8.64 亿条记录，一年就会产生3153.6 亿条记录，十年就会产生 3 万亿条记录。从趋势分析角度看，长期保存历史数据是必要的。传统的数据库无法支撑如此之多的数据量，必须使用云计算数据库。而目前的开源云计算数据库均无法在哪些庞大的数据集上做到实时处理，运用的cStor 云存储系统和数据立方就成了必要的选择。1.存储层：使用公司的 cStor云存储系统。cStor具有极高性价比、超低功耗、高可靠、通用、免维护等优势，可广泛应用于

30、有大量数据存储需求的场合。功耗方面，cStor每个节点几瓦的功率与业界典型值 200 瓦形成了鲜明的对比；存储方面，每个标准机架的最高容量可达1024TB 以上，是国际先进水平的 3 倍；成本方面，硬件与运营成本均只有同类产品的几分之一。该产品已成功应24用于视频监控、智慧交通、数字地球和动漫制作等多个领域。2.处理层：数据立方云计算分布式数据库，即可解决海量数据的高速入库、快速索引和关联查询等问题，使万亿条记录级的数据查询能够秒级处理。数据立方是全球第一套能够处理万亿记录级别的商用系统，且性能远超国际先进水平。该技术在中国移动和国家电网的评测中，较之国外产品呈现出明显的优势。 目前已经开始大

31、规模使用。 2012 年 11 月 2 日， 与 Intel 公司联合发布了 “Intel-数据立方云计算一体机” 。图表 1 Intel-数据立方云计算一体机1.21.2 意义意义部署廉价的 PM2.5 监测平台环境系统，配合城市现有的环境监测站点，准确、及时、全面地反映环境质量现状及发展趋势，为环境管理、污染源控制、环境规划等提供科学依据，并结合天气25状况、城市交通、人口密度、工业产值等元素，进行系统的研究，为保护环境，改善城市的大气环境质量改善起到技术支撑作用。具体可归纳为:(1) 根据环境质量标准，评价环境质量。(2) 根据污染分布情况，追踪寻找污染源，为实现监督管理、控制污染提供依

32、据。(3) 构建云计算海量数据处理平台，存储本区域海量数据，积累长期监测资料，为研究环境容量、实施总量控制、目标管理、预测预报环境质量提供数据。(4) 为保护人类健康、保护环境、合理使用自然资源、制订环境法规、标准、规划等服务。7.2.7.2. 设计设计7.2.17.2.1 系统架构系统架构7.2.1.17.2.1.1 总体架构总体架构PM2.5 监测平台是一个处于 PM2.5 数据采集与 PM2.5 数据监测应用之间的系统。 从系统基本组成与构架上来看， 该共享平台由以下主要部分组成： 历史数据汇总处理系统， 实时数据入库系统，PM2.5 监测平台数据存储系统，PM2.5 监测平台数据查询分

33、析应用系统，数据管理系统。系统总体架构图：26图表 2 系统总体体系架构图7.2.1.27.2.1.2 系统架构功能系统架构功能PM2.5 监测平台云平台需要提供的主要功能描述如下。（1 1）实时数据入库系统）实时数据入库系统实时数据入库系统主要负责全市所有PM2.5 监测点产生的数据实时存到PM2.5 监测平台数据存储中心。（2 2）PM2.5PM2.5 监测平台数据存储系统监测平台数据存储系统原始 PM2.5 数据，将全部存储在PM2.5 监测平台分布式文件系统，用于存储海量的非结构化27数据。为了满足和适应数据量、数据特征和查询处理的不同需求，部分存存储于关系型数据库中。（3 3）PM2

34、.5PM2.5 监测平台数据查询分析应用系统监测平台数据查询分析应用系统PM2.5 数据查询分析应用提供包括实时监控空气质量 PM2.5，查看历史记录和分析数据等功能。PM2.5 历史查询处理时，由于 PM2.5 数据量巨大，需要调度使用多台服务器节点进行并行处理。（4 4）数据管理系统）数据管理系统在实际使用中，可能用户会对某一时间段或者类型的数据特别关心，就可以通过数据管理系统查询并导出这部分数据以供使用。7.2.27.2.2 系统可靠性与扩展性系统可靠性与扩展性7.2.2.17.2.2.1 系统扩展性系统扩展性数据立方既可以在成千上万的机器上跑，也可以在很小规模上运行。PM2.5 监测系

35、统扩展优势：与其它分布式系统相比，使用数据立方的好处在于它的水平的可扩展性，在少量结点上，用数据立方处理有限的数据时，不能展示数据立方的性能，因为开始数据立方程序相关的代价比较高，其它并行/分布程序方式，比如MPI (Message Passing Interface)可能在 2 台，4 台或许 10 多台计算机上有更好的性能，尽管在少量机器上协同工作在这种系统上也许会取得更好的性能，但这种为性能所要付出的努力是非线性的增长。用其它分布式框架所写的程序在从十台机器的级别到成百上千台机器需要大量的重构工作，这也许要程序重写几次，并且其它框的基础元素会限制应用的规28模大小。但是特别设计的数据立方

36、有着水平的可扩展性，一个数据立方程序写完后，在 10 个结点上运行，如果迁徙到更大的集群上运行，几乎不需要做什么工作， 数据立方平台会管理数据和硬件资源并提供与可用资源成比例的可靠性能。针对 PM2.5 监测平台系统，在充分运用数据立方技术优势的基础上，完全可以做到：1加监测点只需要简单的配置即可连接到PM2.5 监测平台数据存储中心，统一规范标准，名称体现 PM2.5 监测平台监测点理位置、PM2.5 监测平台监测点编号等信息，便于快速检索，2客户需要随时更加存储设备和数据分析服务器只需要根据数据立方规范做简单修改配置即可。例如如果后续根据 PM2.5 监测平台的存储数据量量增加的情况下可以

37、动态的添加存储节点。查询速度变慢只需要动态的添加少量处理节点。最大程度的节省客户成本。3 与原有系统数据对接支持各个版本的数据库对接接入Oracle ， SQLServer，Mysql 均可。7.2.2.27.2.2.2 系统可靠性系统可靠性随着系统越做越大越复杂，其可靠性越来越难保证。应用本身对系统运行的可靠性要求越来越高，在一些关键的应用领域，如航空、航天等，其可靠性要求尤为重要，在银行等服务性行业，其软件系统的可靠性也直接关系到自身的声誉和生存发展竞争能力。特别是软件可靠性比硬件可靠性更难保证，会严重影响整个系统的可靠性。PM2.5 监测平台系统利用数据立方的可靠性机制保障和提高数据可靠

38、性。297.2.2.37.2.2.3 数据查询与统计分析子系统数据查询与统计分析子系统cProc 云处理是公司研发的处理海量数据的处理框架，特点是实时性高。主从式的管理节点监控着所有处理节点（slave） ，并接受任务，分配子任务，监控任务以及处理各类异常情况。处理节点（slave） ，接受子任务，监控子任务，向主节点汇报任务。数据查询子系统构架如下图：图表 6 数据查询子系统构架对前台页面传来的 json 字符串信息进行解析并分析各个变量，得到需要查询的信息，然后把这些信息在封装成与数据库端相合的协议，调用数据库提供的接口对后台数据库进行查询。数据库端查询完毕后将 byte 形式的结果存放在

39、指定文件中。接口服务器受到信号，读取文件，并将结果封装成字符串发送到前台界面显示。下图是网页查看实时PM2.5 监测平台数据30图表 7 数据网页查询界面7.37.3特点特点PM2.5 监测平台系统具有如下特点：实时性：实时性：平台在高效率并行分布式软件的支撑下，可以实时完成PM2.5 监测平台数据入库、分析和管理工作，如数据汇总、数据上报、数据入库、数据查询、数据计算和数据管理等。海量数据入库不会出现数据堆积现象，各类分析和查询工作基本都在秒级完成，具有前所未有的高效性。高可靠性高可靠性：基于对云计算可靠性深厚的研究积累，彻底解决了当前分布式计算平台易出现的单31点故障问题。任何一个节点出现

40、故障，系统将自动屏蔽，而且不会出现丢失数据的现象。包括查询任务分配节点、计算任务分配节点、HDFS 元数据节点、HDFS 数据存储节点、MapReduce JobTracker节点、MapReduce Worker节点、数据立方管理节点、数据立方数据节点等。可伸缩性：可伸缩性：在不停机的情况下，增加节点，平台的处理能力自动增加；减少节点，平台的处理能力自动缩减。这样，可以做到与云计算平台的无缝对接，根据计算和存储任务动态地申请或释放资源，最大限度地提高资源利用率。高扩容性：高扩容性：PM2.5 监测平台监测前端设备可以根据需求进行增加设备，扩展整个系统的覆盖面积，但不需要继续复杂的操作，可以动

41、态的增加 PM2.5 监测平台测试的节点，接入到该系统，并能自动组网，具有很强的扩容性。高性价比：高性价比：采用 X86 架构廉价计算机构建云计算平台，用软件容错替代硬件容错，大大节省成本。在目标性能和可靠性条件下，可比传统的小型机加商用数据库方案节省10 倍左右的成本。全业务支持：全业务支持：采用分布式数据库模式， 绝大部分海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库中，可支撑各种类型的业务。综合上述， PM2.5 监测平台环境监测系统架构云计算海量数据处理平台， 存储本区域海量数据，积累长期监测资料，为研究环境容量、实施总量控制、目标管理、预测预报环境质量、环境治理提供数据作为决策依据。32