关于贵州生态环境保护大数据体系建设的建议

　　省环科院 王家齐 黄代宽

　　一、引言

　　以大数据、云计算、移动互联、智能控制为核心的新信息技术正在影响、深入各行各业发展过程中。生态环境质量在空间和时间两个纬度上，同时受人为活动和自然过程影响，使用大数据平云台工具，或为环境分析与科学管理提供更为的有效工具。当前，生态环保领域也在大数据等新技术的带动下，也在发生着积极的变化，推动着环境监督管理、环保工程技术、环境科学研究等领域的全面革新，水、气、土壤、监测监控等要素和任务中的大数据应用正成为当前研究热点。

　　近年来，国家对贵州生态环保建设和大数据建设寄予了厚望。在《关于设立统一规范的国家生态文明试验区的意见》中，明确指出了贵州作为首批生态文明试验区进行建设。当前，贵州正全力促进大生态与大扶贫、大数据、大旅游、大健康等事业产业融合发展,构建“绿色+”与“大数据”同步发展模式，不仅可以全面推进贵州生态环境保护工作发展，培育壮大生态环保大数据产业，也有可能成为暨“独特且良好的生态环境质量”后，又一张引领全国生态文明建设的特色名片。2016年3月28日，环保部印发了《生态环境大数据建设总体方案》(环办厅〔2016〕23号)中，贵州被列为全国首批6个生态环境大数据建设试点单位之一。这为促进贵州通过生态环境大数据发展和应用，推进环境管理转型，提升生态环境治理能力，最终实现生态环境质量有效管控提供了良好契机。

　　如何高起点、全方位、深层次、有特色的谋划贵州生态环境大数据系统成为当前迫切需要解决的关键问题。本文将基于贵州环保信息化现状和趋势分析，围绕着贵州生态环保大数据建设的总体架构、重点任务以及保障措施提出建议，以期为贵州省大数据相关工程项目建设提供借鉴。

　　二、贵州环保信息的现状趋势分析

　　“十二五”期间，贵州逐步开展了“字环保一期”建设工作，整合“十一五”期间建成的在线监测系统，初步建立了环境数据中心平台，行政办公系统、网上办事大厅系统、建设项目审批系统、移动执法系统、监理监管系统、环境应急管理系统、地理信息三维监控系统、视频监控系统、污染源在线监控系统、空气质量在线监控系统、水环境质量在线监控系统、生态环境质量监控系统等1个中心平台和12个子系统。2014年，按照贵州省建设电子政务、智慧交通、智慧旅游、工业、食品安全、环保、电子商务等“7+N”多云的总体部署，“数字环保一期”的有关成果迁移至了云平台上，建立了环境公众应用云(网上云办事大厅、公众云门户)、境移动应用云(环保云AAP应用平台)、环境电子政务云(云桌面、云数据中心、云办理平台)、环境自动监控云、境地理信息云(贵州省环保一张图)等五大“环保云”应用平台。2015年则继续完善了数字环保一期中欠缺的业务系统，包括：辐射业务管理系统、项目监察系统、环境信用等级评价系统一期工程，推进了部分数值环保一期建成系统的移动改造，建立并完善了辐射业务管理系统、项目监察系统、环境信用等级评价系统一期、移动办公系统、移动数据中心、移动审批系统、移动应急管理系统、移动辐射管理系统、移动监理监管平台等14个系统平台建设工作。通过“十二五”期间的建设，实现了部、省、市、县四级环保业务信息网络的互联互通，其中省到部为10Mbit/sMSTP专线，省到9个市(州)环保局为10Mbit/s光纤，市(州)环保局到县(市级县、区县、管委会)环保局为4Mbit/s光纤。这位开展全省生态环保大数据建设奠定了坚实的基础。

　　“十三五”期间，贵州环境信息化建设重点工作将推动大数据技术与云计算融合，将大数据应用与省厅已经建设完成的数字环保一期工作全面整合，启动开展“贵州省数字环保二期”建设，将着力打造建设项目主要污染物排放总量指标管理系统、企业信用评价管理系统二期、危险废物规范化管理信息系统、环境保护科技项目管理系统、建设项目环境监理单位备案系统、环保专项资金项目管理系统、机动车环保信息管理系统、环境举报与公众互动APP、贵州省“数字环保”APP等9个应用系统建设工作。

　　通过“数字环保”、“环保云”建设工作，贵州生态环保信息化水平得到了长足发展。然而也存在不足，主要表现为在三个方面：

　　一是数据来源渠道不畅。主表表现为：首先，数据融合同化标准需加强。目前在数据中心平台的数据，是按照单项业务系统进行采集的，数据庞杂，缺乏统一的采集标准，不满足基于云计算的大数据交换分析需求，海量数据亟待规范同化、采集。其次，数据源覆盖的范围不广、业务不全、协同度不高，数据内在关联关系尚待进一步加强。已经完成的数字环保和环保云，仅是在省级层面完成环保数据整合，需要进一步加强各市州区县、各业务系统建设，实现环境业务管理应用的全面覆盖，形成更加全面的数据来源。

　　二是数据分析挖掘不够。目前产生并积累了一定规模的海量数据，但是管理与应用较为初步，导致大量数据资源没有得到有效利用。如何将已经累积和正在采集的数据资源整合至大数据平台中，充分分析数据的内在联系，为决策管理服务，是当前环保大数专业化过程中必须解决的关键问题。

　　三是数据互联共享困难。一是跨部门数据整合的力度尚待加强，由于部门数据壁垒尚未完全破除，与环境保护密切相关的水文水利数据、气象气候数据、国土资源数据、林业生态数据、工业工商产业信息、交通道路信息、住建部门信息、政府发展建设规划等系列数据因为数据量庞大、跟踪更新难度高，数据整合的技术难度和相关部门的协调难度都十分困难。第二，环保系统内部业务流和数据流也需加强互联互通、共享应用。例如省监测站已有包括环境质量监测数据管理系统、空气自动站联网平台、水质自动站联网平台、环境监测实验室信息管理系统、贵州省中心城市环境空气质量预报及发布平台、污染源监督性监测系统，但由于中心站跟省厅之间网络不联通，系统无法对接关联、数据无法整合集成。

　　三、贵州省生态环境保护大数据建设的目的和任务

　　贵州省生态环境保护大数据系统建设目的，可简单概括为“加强环境信息协同共享、促进环境决策管理科学精准、实现环境数据服务互联便民”三大目的。要实现这三大目的，关键是要解决数据采集和数据应用两个关键问题，同时要建立和完善“大数据采集和使用的规范体系”、“生态环保大数据建设工程措施体系”、“数据安全及运行维护管理体系”三大保障措施体系。汇聚生态环保相关资源，实现环保部门之间、环保部门与其他社会机构及社会公众无缝共享、交互应用，并在此基础上进行深入数据挖掘、大数据分析应用。最后形成“一个数据中心、一块分析应用桌面、一张环保监管总图、一个互联互通网络”，从而实现环境保护相关成果的智慧共享。

　　一个大数据中心：形成能够囊括全省海量生态环境大数据资源存储管理应用开发中心。

　　一个互联互通网络：形成纵向链接省、市州、区县、污染源，横向连接各部门、厅局、机构的生态环保数据互联互通网络。

　　一块分析应用桌面：集成环保预测预警、监督管理、风险管控工具，联通所有资源，及时感知污染、监控环境质量、管理环境业务、预防环境风险、处置环境应急事故。

　　一张环保监管总图：可鸟瞰全省生态环境状况，预测发展趋势，辅助管理决策。

　　四、贵州生态环境保护大数据建设核心技术

　　(一)数据采集的关键技术

　　要实现大数据的智能化应用，首先要解决的就是大数据收集获取问题。环境大数据的数据来源主体是环保业务数据，同时囊括相关职能部门、公众在社会活动过程中产生的，与生态环境关联的数据。这些数据将通过一个“纵向链接省、市州、区县、污染源，横向连接各部门、厅局、机构”互联网获取。但是环境数据形式多样，数据来源广泛，数据体量庞大。要想实现大数据利用，数据采集技术必须要具备适应来源复杂，应用调用复杂频繁的特点。

　　由于Spark Streaming可是实现数据高吞吐量和容错能力强这两个特点，还具有支持的数据输入源多、可使用高度抽象语言、保存地方多、与其它数据和可视化软件系统兼容性好等优势。在数据源方面，可兼容Kafka、Flum和TCP套接字等。数据输入后，还可以用Spark的高度抽象语言，如map、reduce、join、window等进行运算。保存方式和位置方面，可选择HDFS，数据库等位置。Spark Streaming也能和MLlib以及Graphx完美融合，有利于数据查询和可视化应用。上述Spark Streaming特点和优势符合生态环保数据来源复杂、可视化要求高、调用频繁的特点。因此，建议贵州生态环境大数据资源采集平台将通过搭建Spark Streaming架构来完成。同步完成业务数据、其它职能部门生态环保相关数据，以及社会公众交互产生环境相关行为数据的获取。

　　首先是业务数据采集与交换技术。将现有数据中心及各环保业务系统数据进行整合，建立新的环保数据中心。环保数据中心建设分为三个层次，第一个层次是要同步或者预留尚未信息化业务工作的信息化建设工作，形成覆盖监测监控、监察、监管、风险应急、行政许可、政务办公、公众服务全环境管理领域的信息采集入口。第二个层次同时要将水、气、声、土壤、辐射、行政管理、环境服务业务等环境要素与管理要素全面纳入信息化管理轨道中;第三个层次是按照统一的环境大数据标准规范，将市州、县区和污染源的数据汇总到省厅大数据库，实现对下属市州、区县生态环境数据的全面采集。从而实现实时、快速的采集汇聚各大环境要素及管理要素信息资源。使用Sqoop技术实现业务数据的采集、交换，应用Flume、Kafka实现应用日志数据的采集。

　　其次是其它只能部门生态环保相关数据的采集与交换。其它环境保护职能部门的数据，通常是结构化和半结构化数据，同样可以使用Sqoop技术进行采集。但是考虑到可通过“云上贵州”平台，建立与环境管理部门外部信息系统的交换、共享机制，抓取整合气象、水务、电力、经信、国土、交通等省直部门产生的相关环境潜在关系数据，以实现互联共享应用。

　　最后，对于互联网网站、媒体、网站、公众号、论坛、微博上等社会公众交互产生的相关环境行为数据，即面向互联网采集的数据，优于起非结构化、半结构化特征明显，因此应用Crawler(爬虫)技术进行分布式抓取，这一技术在掌握生态环保舆情方面的优势明显。

　　(二)数据存储管理的核心技术

　　使用Map/Reduce分布式程序，对业务数据、“数字环保”和“云上贵州平台”获取数据、面向互联网采集的数据进行清洗处理，区分数据价值密度。对于高价值密度数据，存储方式采用数据库方式进行存储管理。对于低价值密度数据则菜蔬列示存储管理方式。

　　环保高价值密度数据往往结构化水平较高，因此气存储分为基础库和业务库。基础库包括编码库、GIS库、入口库等。业务库则包含：污染源在线监测数据、污染源信息统计数据、水气声等环境质量监测数据、核与辐射、应急管理信息数据、生态环境数据、环境统计数据、总量减排数据等保应用行为数据和业务数据。通过建立健全业务数据仓库和业务数据集市，从而建立决策支持数据库。低价值密度的数据由于起结构化水平较低，常常为非结构化和半结构数据，因此更合适采用Hbase列示存储。

　　使用HDFS分布式文件系统，整合业务数据仓库、业务数据集市以及Hbase列示存储的低价值密度数据，最终成一个分布式数据库。再根据业务需求设计构造数据仓库，从而满足环境管理业务部门多样化的分析处理需求。

　　为了实现对全省各项信息化应用系统使用情况的掌控，必须建立信息系统管理平台。由于YARN实现了利于大数据使用监控的分布式化，大大降低资源管理本身对资源的消耗，安全性好，界面也友好。因此建议贵州生态环保大数据建设过程，通过YARN平台记录、统计分析每个系统、每个界面、每个栏目的访问、操作人次、数据调用部门、数据查询次数等等，掌握信息系统的运行状态和使用状态，保障信息化应用的成效性和稳定性。

　　(三)数据应用的关键技术

　　在采集、集成、管理大量环境数据之后，通过大数据综合决策分析平台将这些数据进入深入挖掘、多维分析，实环境业务信息的空间化、可视化，辅助环保部门进行环境问题分析、趋势发展判断，并作出正确决策。

　　结合可视化技术，将海量数据分析结果以各种图表、GIS、动态图等形式进行展现，构建决策者驾驶舱、生态环境一张图、智能BI，形成一张完整的大数据可视化全景图。并通过环保门户、云上贵州门户、移动门户三大桥梁提供给环境业务管理部门、公众、社会机构，从而促进科学决策和群众参与，增强人民群众环保建设的获得感。

　　当前，IBM SPSS支持大数据挖掘流程的所有阶段，包括模型开发、模型部署和模型刷新，SPSS能与大数据集成的模块有SPSS Modeler、SPSS Analytic Server、SPSS Collaboration and Deployment Services、SPSS Analytic Catalyst。利用这些SPSS软件模块连接多种类型的数据源，提供快速浏览整个统计分析与数据挖掘流程。这个流程包含了：从数据访问到数据准备、数据建模和数据模型评估，再到数据模型部署。

　　通过数据统计分析、环保信息的空间化可视化，依据贵州环境管理特点，进行个性化建设，从而推动环境质量决策分析应用、环评审批决策分析应用、监管执法决策分析应用、风险应急决策分析应用、政务办公决策分析应用、公众服务决策分析应用(尤其是舆情掌控方面)、大数据分析建模。从而实现，环保大数据全方位覆盖环保监管领域。

　　五、贵州生态环保大数据特点

　　(一)数据源结构更丰富，内容更全面

　　传统的环境信息化建设偏重于环保系统内部的结构化数据的采集、存储、管理与应用。同时，与环境保护密切相关的政府发展建设规划、水文水利数据、气象气候数据、国土资源利用数据、林业生态数据、工业工商产业信息、交通道路信息、住建部门信息、电力生产数据等系列数据，也缺乏较为全面的采集、储存、管理和有效利用。而生态环境大数据平台需要的采集、存储、管理与应用的数据，不仅限于环保系统内部的结构化数据，还包括与环境管理有关的视频、图片、文档、日志、社交媒体信息等非结构化或半结构化数据。因此，“数字环保”建设项目中以环保系统内部结构化数据采集、存储、管理为主要任务的“数据中心”，不能满足生态大数据全面采集、存储、管理数据的需要。贵州生态环保大数据源的结构优化和内容丰富可通过两种途径来解决：

　　首先，通过“云上贵州平台”，实现部门生态环保数据的共享应用。在省级政府统筹下，加强除环保部门以外，其它生态环境保护相关职能部门信息系统的交换，建立共享机制。通过“云上贵州平台”，实现能够抓取和整合气象、水务、电力、住建、经信、国土、交通等部门生态环境相关数据的功能，从实现数据应用。

　　其次，应用爬虫等技术，抓取互联网网站、媒体、网站、公众号、论坛微博上等社会公众交互产生的相关环境行为数据，从而形成大范围、多层次、多结构的环境数据集合，形成海量大数据资源库。

　　(2)融合“数字环保”、“环保云”等已有信息化基础

　　依托“贵州省数字环保平台”，以及“云上贵州平台”中的“环保云平台”项目中已建的信息化基础，搭建大数据采集、管理、分析应用、可视化展示一站式平台，进一步优化信息系统、完善并扩展业务应用，从而实现生态环境大数据建设。

　　依托“贵州省数字环保平台”现有基础，整合现有数据中心及各环保业务系统，抓取环境业务数据信息，同时再拓展业务信息化应用面，将尚未实现业务信息化应用的进行覆盖，建立新的业务系统，形成覆盖监测监控、监察、监管、风险应急、行政许可、政务办公、公众服务全环境管理领域的信息采集。

　　“云上贵州平台”是全国首个省级政府和企业数据统筹的云服务平台，其存储、共享开放、开发利用条件的优势明显。生态环境大数据试点项目中将继续依托“云上贵州平台”中“环保云”的优势，采用“以租代建”的形式，充分发挥云上贵州平台提供的基础设施资源优势，节约在硬件云平台建设上的投入。配合国家和省级“环保云”建设与联通工作，积极推进网络资源、计算资源、存储资源、安全资源的集约建设、集中管理。

　　(三)突出大数据建设的标准化、制度化

　　大数据具有信息量大、离散程度高、数据源广、各种数据处理方式不一致、无限性、多样性、灵活性、共享性、开发性等特征，因此需要建立适用于贵州生态环境大数据特征及大数据应用要求的管理及维护标准，统一全省的生态环境大数据标准规范，包括数据字典标准、污染源编码统一、各类数据接入交换标准等等，从而确保接入汇总大数的一致性、规范性、兼容性以及灵活可用性，适应未来大数据发展的趋势。

　　高度重视大数据系统安全保障体系建设工作。大数据系统安全保障体系，包括信息安全软件和硬件设施构成，贵州生态环境大数据平台建设严格遵守国家有关技术要求和管理规范，加强网络安全管理，完善安全信任机制和授权管理机制;建立和完善信息安全监控体系，落实信息安全快速响应机制;建立容灾备份机制和灾难恢复机制;建立信息系统安全等级制度;建立信息安全管理体系和信息安全责任体系，落实各部门信息安全措施。

　　为确保生态环境大数据平台的长期稳定运行，需建立有相应的日常运营维护管理机制。突出管理和服务并重。运营维护机制包含平台运行管理流程的制定、软硬件设备的运行维护、用户服务、日常数据保存与备份、平台完善与升级及其它紧急情况的处理，确保大数据平台的故障防范、问题解决，稳定、良好运行。

　　在责任分工和经费落实上，由省分管生态环保的主要领导牵头来完成，直接负责的生态环保大数据建设领导小组。各相关业务数据信息化任务，由各相关职能部门负责建设，环保大数据专业办事机构负责“合规性审核、合标性审核、数据接入有效性审核”，财务部门则“负责资金审核、预算评审，法规处负责法律审核”。对于各市州、区县环保部门：系统自筹自建的，建设方案须报批省厅审核，视我省相关经费统筹安排情况，可提供资金补助，可咯考虑系统建设方面补助、或数据接入时进行补助。

　　六、贵州生态环境保护大数据建设的保障措施建议

　　生态环保大数据建设内容丰富，系统架构复杂，牵扯部门多，技术要求高、基础设施建设工程投资巨大。因此需要在制度、资金、技术、人才方面加以保障。

　　(一)制度保障的建议

　　为了顺利推进大数据建设，在制度上必须加以根本性保障。

　　首先，要建立强有力的组织保障措施。建议将生态环保大数据建设工作作为常规性问题，在“贵州省大数据发展领导小组”领导下定期进行讨论，形成“贵州生态环保大数据建设成员单位会商制度”，进一步加强生态环保相关职能部门、机构数据互联互通共享。

　　其次，要加强生态环保大数据相关“规范”“标准”制定和执行，形成制度，持续提高数据的“有效性”。尤其是各级环保信息化建设的专职部门，建立和严格执行环保数据的“合规性”、“合标性”、“合法性”、“有效性”审核，严把数据质量关。

　　第三，要建立“以奖促建”“以奖代补”的生态环保大数据建设资金保障制度，支持省以下各级地方政府建立生态环保大数据系统。优先安排国家和省级大数据试点示范项目经费，资助地方政府重视、前期工作基础扎实、建设内容符合规范标准、大数据建设成效显著的部门和单位。

　　(二)资金保障的建议

　　持续加强资金保障是顺利推进全省生态环保大数据建设的前提条件。由于生态环保大数据建设的公益性质突出，支撑相关建设资金目前主要依靠的是各级财政专项资金的支持。因此，建议优先将生态环保相关信息机构经费纳入同级财政预算。在财政专项经费方面，确保资金使用在网络与信息系统运行维护、相关系统升级改造、信息化能力提升等方面。

　　生态环保大数据建设在技术研发、工程试点示范方面经费需求旺盛，技术研发的投入方面，加强科研管理部门生态环保数据科研项目立项工作，支持和鼓励“产学研”结合技术研发模式，通过政府、企业、研究机构的三方合作，加强生态环保科研项目引领作用，切实解决贵州生态环保大数据建设中遇到的科学难题。

　　(三)技术保障的建议

　　持续强加网络安全设施、计算机硬件安全设施、计算机软件安全设施、数据安全设施建设、内外网分体建设等安全保障体系建设。完善生态环保大数据内网应用的安全信任机制和授权管理机制;建立和完善信息安全监控体系，落实信息安全快速响应机制;建立容灾备份机制和灾难恢复机制;建立信息系统安全等级制度;建立信息安全管理体系和信息安全责任体系，落实各部门信息安全措施。环境信息安全保障体系建成后将保证大数据平台的安全、业务系统运行安全、计算机网络体系的安全、数据共享的安全、信息发布的安全。

　　制定生态环境大数据平台的运行管理流程，确保生态环境大数据平台的长期稳定发展。遵守信息系统日常运行制度，及时更新维护各类信息、加强信息系统日常应用。实施软硬件设备的运行维护、用户服务、日常数据保存与备份、平台完善与升级及其它紧急情况的处理，确保大数据平台的故障防范、问题解决，稳定、良好运行。

　　(四)人才保障的建议

　　依据生态环保大数据建设需求，在全省有关大数据建设规划中，编制并实施人才队伍建设任务，人事、财政、环保以及相关职能部门应合理设置生态环保大数据建设的人事安排指标。

　　着力打造贵州生态环保大数据研究平台，吸引和集聚一批大数据工具(计算机与网络、数据库、多媒体等)研发专业人才、生态环保专业人才、地理信息系统研发人才，促进学科交叉，提升生态环保大数专业水平。

　　形成各级各部门生态环保信息维护人员培训提升的长效机制。充分利用各种教育培训资源，采用在职培训等多种方式，加强各级环境管理人员的计算机应用技能培训，加强各级环境信息技术人员的业务技术培训，特别是计算机与网络技术、数据库技术、多媒体技术、遥感和地理信息系统技术的培训，不断提高各级环境管理工作人员和环境信息技术人员的工作能力和技术水平。

　　通过“生态文明国际论坛”、“国际大数据博览会”和其它在黔举办的生态环保和大数据相关论坛，吸引并借力国际国内政府、科研单位和企业智力支持，高起点、全方位提升贵州生态环保大数据建设。