智慧环保:大数据应用解决方案

“智慧城市”的概念源于2008年IBM公司提出的“智慧地球(smart planet)”理念，而在“智慧城市”的建设过程中，人们更关注在环保领域中如何充分地利用各种信息通信技术，感知、分析、整合各类环保信息，对各种需求做出智能的响应，从而使得决策更加切合环境发展的需要。

   
自“智慧环保”的概念形成以来，多个国家和城市逐步开始推进智慧环保的建设，并取得了一定的成效，其建设内容各具特色。其中典型的智慧环保应用包括哈佛大学的“城市感官(City Sense)”计划、美国密歇根州的“回收奖励(Rewards for Recycling)"项目、美国大鸭岛生态环境监测系统、塞尔维亚河川水质污染管理与预警系统。近年来，国内环保信息化受到政府和环境保护部门的重视，环境保护事业进人新的发展阶段，其中无锡、重庆、广州等城市智慧环保的建设，已经凸显出信息技术在环保领域的重大作用和意义。

   
针对目前国内外各城市智慧环保的建设情况，根据浙江省环保信息化现状提出了基于大数据和云计算的智慧环保解决方案。本文主要对智慧环保解决方案进行了阐述，包括整个智慧环保的技术架构以及在xx市智慧环保试点的实施情况、关键问题分析等。结果表明，基于大数据和云计算的慧环保解决方案能够促进环保工作规范化、标准化与自动化，同时避免重复建设与“信息孤岛”的问题，最终能够提高环境保护综合决策与服务能力。

基于云平台的系统架构有别于传统的企业信息系统架构。传统的企业信息系统架构无法适用于完全分布式的，无共享(No-Sharing)方式为特性的云计算平台的环境。因此，需要为智慧环保构建起全新系统架构，其系统分层如图1所示。

 

图1 云平台系统分层图

云平台系统整体分成四层，分别为资源层、能力层、平台层及应用层。

资源层：将分布式系统中离散的资源聚池化。

能力层：将资源层池化的资源封装成为通信、存储和计算能力，并提供资源描述、分配和调度功能。

平台层：将能力层封装好的能力以服务编程友好的形式展现，并提供面向服务和能力的管理和调度功能。

应用层：由基于平台层提供的系统能力来实现业务逻辑的模块构成。模块通过良好定义的接口对外提供服务，模块之间的交互通过平台层的服务管理功能实现。

基于大数据和云计算的智慧环保技术架构如图2所示。

 

图2 基于大数据和云计算的智慧环保技术架构

智慧环保整个系统划分为四层：感知层、网络层、信息处理层、应用层。在物理资源及网络资源的基础上，采集整合所有环保相关的数据汇聚于大数据平台；在PaaS平台上实现对数据的分析挖掘，建立统一的中间件平台，将数据分析结果以服务形式提供给应用，为上层具体应用提供统一、虚拟化的应用接口。整体技术架构各层功能如下：

   
(1)感知层：利用任何可以随时随地感知、测量、捕获和传递信息的设备、系统，获取各种环保数据(信息)，实现对外部环境因素“更透彻、更全面的感知”。

 (2)网络层：利用物联网、通信网、互联网，结合3G、卫星通讯等技术，感知层获取的数据(信息)进行交互和共享，传送到信息处理层进行集中处理，实现“更全面的互联互通”。

(3)信息处理层：基于智慧环保专有云体系架构，重点构建智慧环保数据中心和应用支撑平台，以云计算、虚拟化和商业智能等大数据处理技术手段，整合和分析环保及相关行业的不同地域、不同类型用户群的海量数据(信息)，实现大数据存储、实时处理、深度挖掘和模型分析，实现“更深入的智能化”以达到智慧化。

(4)应用层：基于云服务模式，建立面向对象的环保业务应用系统和信息服务门户，为第三方环保应用提供商提供统一的应用展示平台，为公众、企业、政府等受众提供环保信息服务和交互服务，从而实现“更智慧的服务”。

   
在信息处理层中，包括了云服务中的IT基础实施(IaaS)及应用支撑平台(PaaS)，在IaaS中对各种IT基础设施实现集中管控部署，对各种资源实行虚拟化共享分配，从而实现环保资源的合理利用分配及调度。在PaaS中为虚拟化的环保资源设计了一整套统一的应用接口，对资源状况实现实时监控管理，为开发人员提供应用开发测试统一平台。信息处理层中的DaaS不仅包括基于传统意义上数据仓库的商业智能，还将结合对大数据领域的海量数据采集、存储、建模、挖掘、可视化技术的研究，建立多层次多种类环保数学模型、合理制定环保减排管控方案等，为科学决策提供参考依据，产出更多的环保“智慧”。

随着国家对环境保护事业越来越重视，衙州市环保信息化系统也越来越多，但就目前而言还存在如下问题：

(1)现有业务系统大多为独立开发建设，系统之间缺乏数据共享与交换，存在数据的重复建设，数据资源未能有效地利用，数据缺乏一致性等问题；

(2)环境质量监测点分布较少，相关接口标准未统一，前端监测处理智能化程度低，移动及实验室监测未实现信息化，部分数据仍然采用电子表格或纸质材料形式留存，不利于信息的共享和交互；

(3)未建立统一的环保公众交互平台，环保的公众参与度不够。

基于街州现状，智慧环保解决方案通过在街州建设数据中心软件平台来解决其数据未能有效利用和数据缺乏一致性等问题；通过建立移动环保公众应用提高xx环保的公众参与度；通过建设环保舆情分析平台改善衙州环保局对环保舆情预警的分析与跟踪。智慧环保在衙州市的具体应用如图3所示。

 

图3 街州智慧环保的应用

由于衙州市环保信息化现状的制约，整个智慧环保解决方案在衙州市实施的过程遇到一些问题，以下分别列出三个关键问题并提出了解决方法。

(1)业务系统数据采集问题

由于xx市环保局在用业务系统都是单独建设，各个系统之间数据并没有形成有效地交换、共享，因此不可避免的出现数据不一致等问题。目前，针对主数据不一致问题，数据中心在实施过程中，采用“‘十二五’环境统计业务系统”和“浙江省排污申报收费管理系统”这两套系统进行自动关联和手动关联来整合主数据。

   
(2)环境感知问题

由于环境监测设备的多样性，来自不同厂家不同设备之间的通信协议及数据格式存在较大差异，同时连接不同监测传感设备的通信网络也存在一定的差异性，不同网络的通信标准，网络传输的质量及传输效率也各不相同。如何准确快速的获取环境质量信息，是目前衙州智慧环保项目实施过程中的一大难题。

   
为了解决监测设备之间的差异性，借鉴物联网的技术方法，制定了智慧环保统一标准，对所有种类的监测设备及通讯网络进行分析整合，为不同监测设备及通讯网络配备相应的驱动，此外还需要对信息传达过程实行实时控制，保证信息获取及反控信息及时准确的传输。

   
(3)智慧环保的舆情分析问题

随着互联网的飞速发展，网络新闻媒体已被公认为是继报纸、广播、电视之后的“第四媒体”。在反映和引导舆论方面，网络与传统新闻媒体都有着同样的作用，如果对网络舆情不能有效的分析和追踪，将容易产生不良的社会影响。如何加强网络舆情的分析和预警已成为各级主管部门迫切需要解决的问题，同样在街州市智慧环保项目的建设过程中也会遇到对舆情准确分析、跟踪的问题。

在本文提出的基于大数据和云计算的智慧环保解决方案中充分考虑了公众舆情分析及跟踪模块，即面向智慧环保的舆情分析云平台。此舆情分析平台采用分布式爬虫工具，7X24全天候对目标网站、论坛、博客、微博发布的有关环保的舆情信息进行采集、跟踪和监控工作。整个数据采集过程无需人工干预，同时利用多种数据挖掘算法及自然语言处理技术对网页内容进行分析，获取新闻事件主题及关键信息，定位事件发生地点，发现热点事件并跟踪发展趋势。同时将用户交互行为产生的最新信息及时记录下来，对用户访问行为进行分析，实现个性化的推荐功能。

作为智慧城市的重要组成部分，智慧环保建设是维持城市生态系统平稳健康发展的重要举措。基于大数据和云计算的智慧环保解决方案，有效地实现了环境监控设备的统一管理，促进了环境多元数据的融合；利用专家级的环境质量模型，为环境质量管理监测及预警提供了可靠的解决方法；同时利用网络舆情采集分析技术及公众环保移动应用，实现了对环境多样化的管理监控，为大众用户提供了参与城市环境管理监察的有效途径。