智慧城市中的大数据

学术论文 2014.06.01 浏览:61
作者:李德仁 姚远 邵振峰
单位:武汉大学遥感信息工程学院;武汉大学测绘遥感信息工程国家重点实验室
关键词:智慧城市;大数据;数字城市;物联网;云计算;数据挖掘;智能服务
DOI:10.13203/j.whugis20140135

摘要 探讨了智慧城市的概念,总结了其发展历程,剖析了中国建设智慧城市的动力和目标,阐述了智慧城市的支撑技术,并提出了智慧城市的基础架构,即在数字城市的基础上有机地融合物联网和云计算技术,以实现对现实城市中人和物的自动控制和智能服务。针对无所不在的传感器网对智慧城市的大数据进行了分析,面对智慧城市中大数据将带来的诸多问题和挑战,提出了应对大数据的策略和思路,重点论述了云计算与数据挖掘,并给出了云平台的基础框架,提出了建立智慧城市运营中心的建议,最后展望了智慧城市未来美好的前景。

1 智慧城市的概念

1.1 智慧城市的概念与内涵

数字城市存在于网络空间(cyberspace) 中,虚拟的数字城市与现实的物理城市相互映射 , 是现实生活的物理城市在网络世界中的一个数字再现[1] 。 智慧城市则是建立在数字城市的基础框架上,通过无所不在的传感网将它与现实城市关联起来,将海量数据存储、计算、分析和决策交由云计算平台处理,并按照分析决策结果对各种设施进行自动化的控制[2] 。 在智慧城 市 阶 段 , 数 字 城市与物理城市可以通过物联网进行有机的融合 ,形成虚 实 一 体 化 的 空 间 (cyberphysicalspace) 。在这个空间内,将自动和实时地感知现实世界中人和物的各种状态和变化 , 由云计算中心处理其中海量和复杂的计算与控制 ,为人类生存繁衍、经济发展、社会交往等提供各种智能化的服务 ,从而建立一个低碳 绿色和可持续发展的城市

用易于理解的简单公式表达 ,可以这样认为 :智慧城市=数字城市+物联网+云计算

1.2 智慧城市的发展历程

智慧城市的发展历程按照信息化、数字化、智能化的程度主要分为三个阶段 :信息化城市阶段、数字城市阶段和智慧城市阶段。 其中可以代表每个阶段的标志性事件如下 :

1)1993年9月,美国启动“信息高速公路”计划;1995年,中国推动全国信息化的“八金”工程,标志着城市信息化建设开始起步。

2) 1998年, 美国副总统戈尔提出 “数字地球”概念[3] ,“数字化舒适社区建设”标志着城市信息化开 始 步 入 数 字 城 市 建 设 新 阶 段。 我 国 已 有300多个城市初步建成数字城市基础框架 , 国家测绘地理信息局发布在互联网上的“天地图”成了数字中国和数字城市的载体 ,已有数亿网民使用。

3) 2006年,物联网、云计算等新一代信息技术正式推出形成对城市信息系统的综合集成与整合应用;2008年,国际商业机器公司(internation-albusinessmachinescorporation,IBM)提出智慧城市的新理念;2009年,IBM 首席执行官彭明盛

向美国总统奥巴马提出要推进智慧基础设施的建设,旨在打破金融危机 ,对社会经济发展带来新的动力,标志着城市开始由数字化迈向智慧化建设的新阶段。

智慧城市的发展与早期的信息基础设施以及数字城市的建设一脉相承 , 但智慧城市阶段更注重信息资源的整合、共享、集成和服务,更强调城市管理方面的统筹与协调 ,时效性要求也更高 ,是信息化城市和数字城市建设进入实时互动智能服务的更高级阶段, 同时也是工业化和信息化的高度集成 。

1.3 中国智慧城市建设的目标与动力

中国智慧城市建设的目标就是要推进城市向着低炭、绿色、和谐和可持续发展的方向发展。 中国的城镇化和工业化相对于发达国家还有一定差距,但在信息化上基本与之同步 ;而西方国家的城镇化和工业化已经趋于成熟与稳定 , 在推进智慧城市的过程中 ,其实际需求、动力以及资本的支撑也没有中国这样巨大而迫切。 中国当前正处于城镇化、农业现代化、工业化、信息化同时推进的大好时机,四化一同建设有利于相互促进更加高效的协调发展,智慧城市建设从国家部委到地方政府,再到相关行业和企业都非常活跃 ,并逐步从探索、设计迈入建设阶段。

2 智慧城市的总体架构及支撑技术

城市为人类提供生产繁衍、经济发展、社会交往和文化享受这四大类职能 , 而智慧城市将在这四个方面为人类提供各种智能化的应用和服务 ,从而 使 得 人 与 社 会、 人与自然更加协调的发展。智慧城市能够为人类生存繁衍、经济发展、社会交往和文化享受这四大类职能提供的智慧应用如表1所示。

表1 城市职能及智慧城市的应用

Tab.1 UrbanFunctionsandSmartCityApplications

城市职能智慧城市应用
生存繁衍智慧安防、智慧环保、智慧能源、智慧城管、智慧养老、智慧医疗、智慧社区、智慧家居等
经济发展智慧制造、智慧工业、智慧物流、智慧国土规划等
社会交往智慧交通、智慧购物、智慧社会综合管理等
文化享受智慧教育、智慧旅游、智慧户外流媒体等

智慧城市依托数字城市技术将城市中的人和物按照地理位置进行组织 , 通过物联网获取并传输数据和信息 ,将海量实时运算交由云计算进行处理,并将结果反馈到控制系统通过物联网进行智能化和自动化控制 , 最终让城市达到智慧的状态。 智慧城市的总体架构主要由获取数据的感知层对信息进行传输交互的网络层 , 提供海量数据存储、实时分析和处理的服务层 ,以及面向最终用户的应用层组成,如图1所示。 以下就支撑智慧城市的数字城市、物联网和云计算这三大类支撑技术分别进行介绍。

2.1 数字城市技术

数字城市是一个无缝的覆盖整个城市的信息模型,把分散在城市各处的各类信息按城市的地理坐标组织起来, 既能体现出城市中各种信息(自然、人文、社会等)的内在的有机联系 , 又便于按地理 坐 标 进 行 检 索 和 利 用 [4] 。 将 基 础 地 理 数据、正射影像数据、街景影像数据、全景影像数据、三维模型数据、专题数据等各类数据按照地理位置在数字城市里进行整合 ,通过面向服务的架构 ,把各类空间和属性数据通过网络服务发布并提供给用户[5] 。 各类用户通过网络注册共享自己的信息,并以服务的形式在数字城市地理空间框架平台上进行发布,政府 行业和公众等各类用户都通过网络方便地获取交通、旅游、医疗、教育、应急等相关服务[6]

2.2 物联网技术

通过射频识别 红外感应器 全球定位系统激光扫描器等信息传感设备 , 按约定的协议把任何物品与互联网连接起来进行信息交换和通讯 ,以实现智能化识别 定位 跟踪 监控和管理的一种网络 具体地说,就是把感应器嵌入和装备到电网、铁路、桥梁、隧道、公路、建筑、供水系统、大坝 油气管道等各种物体中,并且被普遍连接,形成物联网 物联网实现了人与人、人与机器、机器与机器的互联互通[7] 。 世界无线研究论坛曾预测,未来世界是无所不在的物联网世界 , 到2017年,将有7万亿传感器为地球上的70亿人口提供服务[8] 。 这些传感器通过各类有线和无线网络为用户提供固定、游牧和移动式无所不在的应用和服 务 。

2.3 云计算技术

云计算是一种基于互联网的大众参与的计算模式,其计算资源(包括计算能力、存储能力、交互能力等)是动态、可伸缩、被虚拟化的,而且以服务的方式提供 云计算是一种基于互联网模式的计算,是分布式计算和网格计算的进一步延伸和发展[9] 。 云计算支撑信息服务社会 化、集 约 化 和 专业化的云计算中心通过软件的重用和柔性重组进行服务流程的优化与重构 , 提高利用率 。云计算促进了软件之间的资源聚合、信息共享和协同工作,形成面向服务的计算。 云计算能够快速处理全球的海量数据, 并同时向上千万的用户提供服务 [10] 。

flowchart graph TD A["感知层"] --> B["手机"] B --> C["平板电脑"] C --> D["笔记本电脑"] D --> E["路由器"] E --> F["笔记本电脑"] F --> G["笔记本电脑"] G --> H["笔记本电脑"] H --> I["笔记本电脑"] I --> J["笔记本电脑"] J --> K["笔记本电脑"] K --> L["笔记本电脑"] L --> M["笔记本电脑"] M --> N["笔记本电脑"] N --> O["笔记本电脑"] O --> P["笔记本电脑"] P --> Q["笔记本电脑"] Q --> R["笔记本电脑"] R --> S["笔记本电脑"] S --> T["笔记本电脑"] T --> U["笔记本电脑"] U --> V["笔记本电脑"] V --> W["笔记本电脑"] W --> X["笔记本电脑"] X --> Y["笔记本电脑"] Y --> Z["笔记本电脑"] Z --> AA["笔记本电脑"] AA --> AB["笔记本电脑"] AB --> AC["笔记本电脑"] AC --> AD["笔记本电脑"] AD --> AE["笔记本电脑"] AE --> AF["笔记本电脑"] AF --> AG["笔记本电脑"] AG --> AH["笔记本电脑"] AH --> AI["笔记本电脑"] AI --> AJ["笔记本电脑"] AJ --> AK["笔记本电脑"] AK --> AL["笔记本电脑"] AL --> AM["笔记本电脑"] AM --> AN["笔记本电脑"] AN --> AO["笔记本电脑"] AO --> AP["笔记本电脑"] AP --> AQ["笔记本电脑"] AQ --> AR["笔记本电脑"] AR --> AS["笔记本电脑"] AS --> AT["笔记本电脑"] AT --> AU["笔记本电脑"] AU --> AV["笔记本电脑"] AV --> AW["笔记本电脑"] AW --> AX["笔记本电脑"] AX --> AY["笔记本电脑"] AY --> AZ["笔记本电脑"] AZ --> BA["笔记本电脑"] BA --> BB["笔记本电脑"] BB --> BC["笔记本电脑"] BC --> BD["笔记本电脑"] BD --> BE["笔记本电脑"] BE --> BF["笔记本电脑"] BF --> BG["笔记本电脑"] BG --> BH["笔记本电脑"] BH --> BI["笔记本电脑"] BI --> BJ["笔记本电脑"] BJ --> BK["笔记本电脑"] BK --> BL["笔记本电脑"] BL --> BM["笔记本电脑"] BM --> BN["笔记本电脑"] BN --> BO["笔记本电脑"] BO --> BP["笔记本电脑"] BP --> BQ["笔记本电脑"] BQ --> BR["笔记本电脑"] BR --> BS["笔记本电脑"] BS --> BT["笔记本电脑"] BT --> BU["笔记本电脑"] BU --> BV["笔记本电脑"] BV --> BW["笔记本电脑"] BW --> BX["笔记本电脑"] BX --> BY["笔记本电脑"] BY --> BZ["笔记本电脑"] BZ --> CA["笔记本电脑"] CA --> CB["笔记本电脑"] CB --> CC["笔记本电脑"] CC --> CD["笔记本电脑"] CD --> CE["笔记本电脑"] CE --> CF["笔记本电脑"] CF --> CG["笔记本电脑"] CG --> CH["笔记本电脑"] CH --> CI["笔记本电脑"] CI --> CJ["笔记本电脑"] CJ --> CK["笔记本电脑"] CK --> CL["笔记本电脑"] CL --> CM["笔记本电脑"] CM --> CN["笔记本电脑"] CN --> CO["笔记本电脑"] CO --> CP["笔记本电脑"] CP --> CQ["笔记本电脑"] CQ --> CR["笔记本电脑"] CR --> CS["笔记本电脑"] CS --> CT["笔记本电脑"] CT --> CU["笔记本电脑"] CU --> CV["笔记本电脑"] CV --> CW["笔记本电脑"] CW --> CX["笔记本电脑"] CX --> CY["笔记本电脑"] CY --> CZ["笔记本电脑"] CZ --> DA["笔记本电脑"] DA --> DB["笔记本电脑"] DB --> DC["笔记本电脑"] DC --> DD["笔记本电脑"] DD --> DE["笔记本电脑"] DE --> DF["笔记本电脑"] DF --> DG["笔记本电脑"] DG --> DH["笔记本电脑"] DH --> DI["笔记本电脑"] DI --> DJ["笔记本电脑"] DJ --> DK["笔记本电脑"] DK --> DL["笔记本电脑"] DL --> DV["笔记本电脑"] DV --> DW["笔记本电脑"] DW --> DX["笔记本电脑"] DX --> DW

图1 智慧城市的总体架构

Fig.1 ArchitectureofSmartCity

3 智慧城市中的大数据

2008年 9 月, Nature 出 版 《Big Data》 专刊[11] ,2011年2月,Science出 版《DealingwithData》专刊[12] ,指出大数据时代已到来 ;2012年3月,美国奥巴马政府宣布正式发布了“大数据研究和发展倡议” ,并正式启动了该计划 , 认为大数据是未来世界的“石油” ,该计划的意义堪比20世纪的信息高速公路计划 从科学界到政界,都逐渐意识到大数据将是挖掘信息和知识的一个宝藏而随着智慧城市的逐步建设和应用 , 人类将和各类传感器一同产生越来越多的数据 , 数据矿藏越来越大, 数 据 量 级 将 从 现 在 的 GB(GigaByte) 和TB(TeraByte)级逐步增长到PB(PetaByte)级甚至EB(ExaByte) 级 若能透彻分析这些结构复杂 数量庞大的数据 ,以云端运算整合分析, 便能快速地将之转化成有价值的信息 , 从中探索和挖掘自然和社会的变化规律 ,人们的生活及行为 ,社会的潮流、思维和舆论趋向 , 推断市场对产品、服务甚至政策等各方面的反应 利用大规模有效数据分析预测建模 可视化和发现新规律的时代就要到来 。

3.1 高速增长的大数据

智慧城市通过无所不在的物联网将现实城市与数字城市连在一起。 全球每日产生超乎想象、数据量不断扩张的大数据 人们每分每秒以极速在网络上交 换 思 想 数 据 和 信 息 1 min 内,Google就有200万次的搜索查询 ,Facebook有68万条贴文,逾2亿个电子邮件被发送; 百度每天要处理60亿次搜索请求 , 新增10TB, 处理超过100PB的数据, 产生一个 TB的日志 目前,互联网网页总数近1万亿, 数据总量接近1000PB 腾讯 QQ月活跃用户超过8亿,微信用户超过5亿,在线人际关系链超过1000亿,经压缩后的数据总存储量达100PB 每天1千亿次服务调用 日新增200TB以上的数据 数字地球中的海量空间2维和3维大数据在快速增长 也将达到TB到PB级 单个高清摄像头每小时产生3.6GB数据 全中国摄像头数目超过2000万个 数据量将达到PB到EB级 民航飞机装有大量传感器,每个引擎每飞行1h产生20TB数据,从伦敦到纽约的飞行将产生640TB数据 这些引擎状态的数据在飞行过程中通过卫星传回发动机公司进行监测 根据赛门铁克2012年的调研报告全球企业数据存储总量达到2.2ZB 年增长率达

67%。 北京公 交 一 卡 通 每 天 使 用 量 达 4千 万 人次,地铁1千万人次,北京市交通调度中心每天的数据增量为30GB,存储量为20TB;国家电网年均产生数据510TB(不含视频) , 累计产生数据5PB;单个病人 的 CT 影 像 往 往 多 达 两 千 幅 , 数 据量已经到了 数 十 GB, 如今中国大城市的医院每天门诊上万人 ,全国每年门诊更是达数十亿人次 ,住院已经达到两亿人次。 按照医疗行业的相关规定,患者的数据通常需要保存50a以 上, 医 疗 大数据也将会达到EB级。

3.2 智慧城市中大数据带来的挑战

智慧城市中由海量传感器组成的物联网将不断地采集海量的数据 , 而这些大数据需要经过存储、处理、查询和分析后才能充分用于各类应用 ,从而提供智慧服务,并且对大数据存储、处理、查询和分析的实时性要求越来越高 , 随之将带来一系列的问题和挑战

1) 大数据存储成本过高

存储技术发展带来的存储成本下降的速度远赶不上数据增长的速度 , 现阶段按照理想的标准存储和保存所有大数据还存在成本上的巨大障碍。 以天津市安防系统为例 ,按理想状况进行建设4.6EB的存储能力,成本就超过500亿元, 相当于2012年整个西藏的GDP总值 快速增长的数据规模及随之带来的过高成本已成为制约城市安防等系统发展的重要因素。 目前我国绝大部分城市均采取缩短数据保存时限 , 降低数据存储质量的方式来降低建设成本 , 但这样又会严重降低视频数据的可追溯性和辨识价值。

2) 大数据的快速检索 信息提取自动化程度较低

传统的信息系统只对数据进行简单的采集和存储,而对行为等关键语义信息缺乏有效的自动提取和分析。 在大数据时代,尤其是空间、视频等大数据规模的急剧扩大进一步凸显了传统方法的困境,各种遥感对地观测卫星每天向地面发回PB级的数据,城市中视频每天采集EB级的数据,现阶段复杂的语义自动分析与理解还存在障碍。 而城市中的大数据中蕴含摔倒 扭打 翻墙 徘徊以及车辆碰撞、逆行等较为重要的异常行为、事件和特征等信息,可以进行识别并进行预警 ,如重大抢劫事件前通常会伴随踩点这类徘徊行为

高效地通过对象与行为识别及检索等自动化技术提取城市大数据中的语义信息 , 可对犯罪进行事前预警和有效震慑 ,对事件做到事前预防 事中实时掌握信息和事后及时处置 , 最终使得城市突发事件中的人民生命财产安全以及日常生产生活秩序得到全方位的保障。

3) 挖掘大数据中丰富的知识十分困难

大数据中不仅包含数据和信息 , 同时 也 隐 含着丰富的规律和知识 , 而数据中的规律与知识并不是直接给出的 , 而是需要通过深度的挖掘与分析,而大数据由于自身的特性存在难以有效集成与管理、难以自动化处理与分析的问题 ,尤其是涉及空间相关的数据挖掘十分困难。 想要挖掘与分析大数据中蕴含的规律和知识 , 在解决数据异构和检索等问题外 , 还需要解决数据筛选、 语义描述、语义理解、不确定性、知识表达等一系列关键技术[13] 。 而现阶段有效可行的数据筛选、语义理解、语义关联等方面还无法直接面向大数据进行应用,同时导致大数据中的规律和知识无法被充分利用。 面对人类可持续发展的九大问题———人类健康 能源 气象预报 气候变化 灾害应急预测水资源、可持续农业、生态环境和生物多样性等至今未能得到有效的回答

4 基于时空信息云平台的大数据服务

面对智慧城市中各类数量庞大的大数据 , 尤其是空间、视频等非结构化的大数据 ,应积极面对挑战,通过充分发挥云计算的优势并重点研究数据挖掘理论,对大数据进行有效的存储和管理 ,并快速检索和处理数据中的信息 , 挖掘大数据中的信息与知识,充分发挥大数据的价值。

在云计算与数据挖掘等技术支撑下 , 智能服务将从任何人可在任何时间 任何地点获取任何信息的服务(anyone, anytime, anywher, anyin-formation4A)转变为在规定的时间 关注的地点将正确的信息传递给需要的人的灵性服务(righttime, rightplace, rightinformation, rightper-son,4R) ,从而使得城市真正达到智慧的状态。

4.1 时空信息云平台基础框架

基于云计算技术 , 建立从基 础 设 施、数 据、平台到服务的一体化的时空信息云平台 , 将空间大数据、视频大数据以及各类应用中的大数据进行有效管理,并按照实际需求进行处理、存储、管理,并提供相应服务 , 满足交通、 物流、 城市管理、 旅游、安防、应急等各行业和城市综合的智慧应用。

如图2所示,时空信息云平台基础框 架 包 含4层 第1层为设施虚拟化管理平台 , 采用虚拟化技术,将计算 存储 网络等多种资源形成一个虚拟化资源池,实现资源虚拟化管理 ,通过对基础设施的集中管理实现智能资源调配和动态负载均衡。 第2层为云数据管理平台 ,实现多 源、异 构、海量时空数据的一体化存储与管理。 第3层为云服务管理平台 ,为用户提供多种类型的服务 ,服务统一通过服务总线进行注册 , 通过服务访问接口请求服务,可以根据实际业务需求实现服务自助开发和注册。 第4层为云服务门户,通过门户网站和各类应用的形式为用户提供服务 , 门户对各种专题服务进行封装 ,如二维地图、实景地图等各种地理信息的专题服务,智慧城管、智慧社管、智慧养老、智慧交通等各种行业的专题服务 ,并支持各种主流开发语言的网络版和移动版开发接口 ,快速构建各类智慧应用服务。

flowchart graph TD A["门户"] --> B["应用"] A --> C["公众应用"] A --> D["政府应用"] A --> E["企业应用"] A --> F["门户开发框架"] A --> G["认证"] A --> H["日志"] A --> I["门户模板"] A --> J["测试"] A --> K["验证"] A --> L["其他通用模块"] M["云服务管理平台"] --> N["服务总线"] N --> O["服务注册"] N --> P["目录管理"] N --> Q["服务查找"] N --> R["服务路由"] N --> S["服务负载均衡管理"] N --> T["服务版本管理"] N --> U["服务流程管理"] N --> V["健壮性测试"] W["云数据访问接口"] --> X["云应用服务"] X --> Y["IaaS"] X --> Z["DaaS"] X --> AA["PaaS"] X --> AB["SaaS"] W --> AC["云基础服务"] AC --> AD["负载均衡"] AC --> AE["路由调度"] AC --> AF["监控服务"] AC --> AG["搜索服务"] AC --> AH["并行计算"] AC --> AI["模板服务"] AC --> AJ["数据服务"] AC --> AK["其他服务"] W --> AL["异构数据适配器"] AL --> AM["结构化数据"] AL --> AN["人口"] AL --> AO["法人"] AL --> AP["经济"] AL --> AQ["..."] AL --> AR["非结构化数据"] AL --> AS["视频"] AL --> AT["音频"] AL --> AU["影像"] AL --> AV["..."] AW["设施虚拟化平台"] --> AX["设施资源访问接口"] AX --> AY["虚拟资源"] AX --> AZ["计算资源池"] AX --> BA["网络资源池"] AX --> BB["服务器资源池"] AX --> BC["存储资源池"] AX --> BD["镜像模板池"] AX --> BE["其他资源池"] AW --> BF["物理资源"] BF --> BG["计算设施"] BF --> BH["网络设施"] AW --> BI["机房环境设施"] BI --> BJ["电源"] BI --> BK["空调"] BI --> BL["新风"] BI --> BM["消防"] AW --> BN["泛在的接入层(有线网络, 3G/LTE, WIFI,...)"]

图2 时空信息云平台基础框架

Fig.2 FrameworkofSpatialandTemporalInformationCloudPlatform

4.2 大数据的存储

基于时空信息云平台的云存储与智能压缩算法可以初步解决大数据最基本的存储问题。 在设施虚拟化管理平台中 , 将存储资源直接作为服务实现云存储,云存储能够通过集群应用、网格或分布式文件系统,将网络中大量的不同类型的存储设备通过应用软件集合起来协同工作 , 共同提供数据存储和业务访问功能。 云存储可以实现存储完全虚拟化,所有设备对云端用户完全透明 ,任何云端被授权用户都可以通过网络与云存储连接 ,让用户拥有相当于整片云的存储能力 , 从而突破传统存储方式的性能和容量瓶颈 , 实现了性能和容量的线性扩展。 智能压缩方法将从整体获取大数据冗余产生的机理出发 , 将编码层次从传统的信号编码层和特征编码层提升到语义编码层。 针对视频大数据 ,将基于全局运动估计的高效视频编码在视频对象所在的空间中对前景和背景、全局对象 运动估计进行提取和表达 ,对全局冗余对象特征进行抽取和语义映射 , 在语义层上进行编码,同时也为后期的快速检索与分析提供良好的支撑。 结合云存储与智能压缩 ,可以大幅降低存储成本,对智慧城市中的各类大数据进行有效的保存将成为可能。

4.3 大数据的快速检索和处理

在解决基础性的存储问题后 , 还需要 针 对 应用范围进行高效快速的数据检索。 在检索到有效的数据集后,结合各类智慧应用的具体需求进行处理,并按需提供可靠服务。 下面以检索、遥感影像处理和位置服务为例进行说明。

1) 检索云

在弹性计算能力支撑下的检索云服务不仅能够自动地提取图像和视频内的特征 , 还能够对翻墙、奔跑、尾随、聚集、徘徊等行为进行提取并建立索引,如图3所示

针对视频检索 ,首先将视频分割成各个镜头 ,并实现对各个镜头的特征提取 , 得到一个尽可能充分反映镜头内容的特征空间 , 这个特征空间将作为视频聚类和检索的依据。 特征提取包括关键帧中的颜色、纹理、形状等视觉特征和镜头的运动特征的提取。 镜头运动特性的提取通过对镜头的运动分析(主要针对镜头运动的变化、运动目标的大小变化、视频目标的运动轨迹等)来进行。 然后根据提取的关于镜头的动态特性和关键帧的一些静态特性进行索引。 对于最终用户而言 ,只需选择感兴趣的行为和地理位置 , 如对某小区搜索奔跑行为,即可快速检索到小区内与奔跑有关的对象位置 关键帧以及视频信息

2) 遥感云

text_image Collage of surveillance cameras and street scenes with red bounding boxes highlighting specific objects, including a person in the first camera and a pedestrian on a bicycle.

图3 自动提取翻墙 奔跑等行为

Fig.3 AutomaticExtractingActionsSuchasClimbtheWall& Running

遥感云通过整合各类遥感相关的信息资源 ,建立面向网络服务的架构 , 通过云计算平台为用户提供直观、便捷、定制化的地球空间服务。 具体来说,遥感云就是将分布在不同地理位置的空天地传感器资源 空间数据资源 处理算法及软件资源、地学知识资源、模块化的工作流资源等进行有效组织,并通过注册服务中心统一发布 ,借助于云计算平台的可伸缩性 ,通过计算资源、网络资源、存储资源的共享和自动控制机制以及各种网络为全社会提供地球空间信息可视化服务。 国家测绘地理信息局主导建设的国家地理信息公共服务平台———天地图,采用分布式存储将 全 国 各 省 市 的电子地图、影像、地形等基础地理空间数据通过门户网站提供一站式的数据资源服务 , 并且可以扩展到 三 维 城 市 水 雨 情 等 各 类 型 的 数 据OpenRS-Cloud采用将注册的数据与算法服务在云计算中心的支撑下虚拟成 Web桌面,让用户无需搭建专业平台, 在选择遥感数据和算法后自动分配计算资源快速获得相应的处理和分析的结果。 GeoSquare采用空间信息服务链可视化建模工具,通过简单的拖拉图形对象的方式 ,构建从数据到算法 到 处 理 流 程 的 完 全 可 视 化 的 服 务 链 模型,分配计算资源 ,并获得相应的处理结果。

正在建立的空天地一体化对地观测的传感网将实现全球、全天候、全天时、全方位的空间数据获取,将成为遥感云中获取地理空间数据 ,快速响应和预警各类灾害、资源安全等重大事件和应对全球可持续发展的重大问题的基础。 国际对地观测组织把基于观测网的卫星星座观测作为未来10年的核心计划,并在2007年非洲及2008年缅甸洪灾等重大灾害监测中发挥了巨大作用。

3) 位置云

全球卫星导航系统由于存在各种误 差 , 定 位精度还无法达到很多行业用户的要求。 为了提高定位精度,出现了连续运行参考站系统(continu-ouslyoperatingreferencesystem,CORS) , 现 在用户将卫星定位信息传送到位置云服务中心 , 位置云服务在1s内即可将定位精度解算到亚米级。 通过地面基准站系统的增强服务 ,可以实现北斗等卫星定位系统米级高精度导航定位服务。而对于卫星信号无法覆盖的室内和地下空间 , 可以采用加速度计、陀螺仪、电子罗盘、摄像头等传感器和 WiFi(wirelessfidelity) 、无线通信网、蓝牙等无线信号方式进行定位,提供高精度室内外连续定位,充分满足森林等各类环境的监测、勘察、调查,以及城管和公安等从政府、行业到公众的需求。 图4为采用多传感器多网络的位置服务。

4.4 大数据的数据挖掘

科学家格雷对科学发展的四个阶段进行了划分 :在几千年前,科学是经验法;在几百年前,科学是理论的分支 ,由假想到印证假想的过程 ;在最近几十年前,科学是计算的分支 ,通过计算进行模拟和验证; 现在,科学是数据探索与挖掘 ,通过数据挖掘来统一理论、模拟和实验验证[14] 。 数据挖掘已经成为从大数据中发现和探索科学以及知识发现的一个重要手段和解决现实重大问题与需求的有效方法。 通过对智慧城市中的大数据进行数据挖掘,可以从中探索和发现自然和社会的变化规律,包括人们的生活、行为及喜好,社会的潮流、思维和舆论趋向 ,推断市场对产品、服务甚至政策等各方面的反应等。 下面具体分析大数据的数据挖掘过程以及空间、属性相关的数据挖掘。

flowchart graph TD A["传感器"] --> B["加速度计"] A --> C["陀螺仪"] A --> D["电子罗盘"] A --> E["手机摄像头"] F["卫星定位系统"] --> G["无线信号"] G --> H["蓝牙"] G --> I["WiFi"] G --> J["RFID"] G --> K["NFC"] G --> L["其他无线信号"]

图4 基于多传感器多网络的位置服务

Fig.4 LocationServiceBasedonMulti-sensor & Multi-network

1) 数据挖掘的过程

对大数据进行数据挖掘需要对整个过程都面向大数 据 的 特 点 往 前 端 和 后 端 延 伸 , 具 体 过程包括从海量、多 源 大 数 据 中 进 行 处 理 和 分 析 ,自动发现和提取 隐 含 的 模 式、规 则 和 知 识 , 通 过可视化并融合为易于人类理解的方式进行展现 ,具体过程如图5所示。 数据挖掘与数据检索、处理和信息提取相比较而言有更大的难度 , 需要基于大数据和知识库的智能推理等相关理论技术的支 持 。

flowchart graph LR A["数据获取与存储"] --> B["数据处理与分析"] B --> C["数据挖掘"] C --> D["数据可视化"] D --> E["数据融合"] F["大数据"] --> G["筛选"] G --> H["数据集"] H --> I["分析"] I --> J["分类/群集"] J --> K["挖掘"] K --> L["模式/规则"] L --> M["可视化"] M --> N["可视化"] N --> O["融合"] O --> P["融合信息"]

图5 大数据的数据挖掘的过程

Fig.5 DataMiningProcessofBigData

数据挖掘首先获取并存储数据 , 按照挖掘需求在大数据中进行数据采集、检索和整合,并对数据进行筛选,包括去噪 取样 过滤 合并 标准化等去除冗余和多余数据 , 建立待处理数据集 接着对数据集进行处理和分析,包括线性、非线性、因子 序列分析 线性回归 变量曲线 双变量统计等处理和分析,按照一定方式对数据进行分类 ,并分析数据间及类别间的关系等。 然后对分类后的数据通过人工神经网络、决策树、遗传算法等方法揭示数据间的内在联系 ,发现深层次的模式、规则及知识。 对发现的这些模式、规则及知识按照变量的关系以人类易于理解的可视化方式给出变量间的关系分析,对于各类不同又有一定关联的内容,可以将其融合在一起 ,更直观展示并供人类分析和利用。

2) 集成空间和属性数据的数据挖掘

空间数据是与对象的地理和空间分布有关的、反映现实世界各种现象及其变化的记录 ,与一般数据相比, 空间数据不仅具有空间性、时间性、多维性、海量性、复杂性等特点,还包含空间不确定性[15] 。 而属性数据是对象的非空间数据 ,可以具有离散类别值或连续值。 基于空间和属性数据的数据挖掘是指从空间和属性数据及关联信息中提取用户感兴趣的空间模式与特征、空间与非空间数据的普遍关系及其他一些隐含在数据中的普遍的特征 规律和知识 基于空间和属性数据的数据挖掘与其使用的挖掘方法与发现的知识类型密切相关,空间数据挖掘理论与方法的选取将直接影响到所发现知识的优劣 空间数据挖掘的主要理论和方法包括概率论、 证据理论、 空间统计学、规则归纳、聚类分析、空间分析、模糊集、云模型 数据场 粗集 神经网络 遗传算法 决策树等以上方法不是孤立应用的 ,为了发现某类知识 ,常常要综合应用这些方法 , 根据特定的需求综合选择和使用相应的数据挖掘理论、方法和工具,并充分利用机器学习和人工智能等自学习技术来提高自动化程度,减少人机交互的参与程度

5 智慧城市运营中心

5.1 智慧城市需要运营中心

一个城市在完成物联网、云计算、数字城市地理空间框架等相关平台和基础设施的建设后 , 如何更好地在城市运行中充分发挥其巨大的智能作用,就需要一个融合各类实时数据 信息和汇聚各种服务的机构———智慧城市运营中心(smartcityoperationcenter,SCOC) 。 SCOC作 为 智 慧 城 市的“心脏” ,将全方位地收集和监控城市运行中的各类数据与信息,并面向政府、企业和个人提供智能化和个性化的定制服务

SCOC的建设, 在规划和设计上首先对智慧城市进行顶层设计 ,制定相关政策法规与标准 ;统一规划各行业信息化发展的目标、框架、任务、运营管理机制等;在顶层设计上进行各种规范和标准的统一。 在城市运营中 , 整合与共享城市信息资源;实时监控城市运行状况 ,并实现多部门的协同与指挥。 在服务全社会上 ,全面促进面向全社会的大数据开放应用、服务与交易体系的形成 ,形成完善的基于大数据的包括公益及商业化深加工在内的各层次应用和服务体系。

5.2 智慧城市运营中心的组成

SCOC一般由大 数 据 中 心、城 市 运 行 监 控 与指挥中心、城市IT基础设施运维中心、智慧服务中心4个部分组成。 大数据中心将成为城市运营的数据资源池和物联网的枢纽 , 实现城市运营数据的实时全面感知。 城市运行监控与指挥中心将在实时全面感知的基础上,实现跨部门、跨区域、跨系统的高效协同与应急响应。 城市IT基础设施运维中心负责对SCOC的基础设施进行维护和更新, 保证SCOC全天候的安全和稳定运行。智慧服务中心除面向政府提供服务外 , 还能面向城市中的各类企业和公众提供服务

传统的政府IT信息化架构将逐渐被“云-端”互动的智慧城市所取代 , 降低城市信息化建设与运维的成本,最大程度地降低政务成本 ,全面提升城市运营效率 政府治理的模式也将通过SCOC真正从城市管理走向城市运营与服务。

5.3 智慧城市运营中心的作用

SCOC对城市不仅能够提供城市运营和服务,还能将政府治理和重大决策以大数据为基础 ,基于数据和实证事实 , 避免个人主观意志及各类商业利益集团的影响

城市运行将实现可视化 可控化 智能化 可预测及可量化评估与持续优化。 政府将因此变得更加开放和负责 ,并更有效率,从而最大程度地降低行政风险。 麦肯锡的研究表明 , 欧洲公共管理部 门 应 用 大 数 据 以 后, 每年潜在的价值将达到2500亿美元[16] 。 企业也能够通过大数据重组生产资源,优化商业模式 ,获得更大效益。 如在银行选址问题上, 不仅需要综合考虑位置、人口分布、消费水平和结构 聚集效应 交通等因素,还要考虑各银行当前运营状况的各种属性数据 , 在大数据中充分对空间数据与属性数据进行数据挖掘 ,可以因地制宜地对不同等级的银行网点进行合理规划和布局。 面向公众的各类智慧服务将贯穿出生、医疗、教育、就业、婚育、养老、殡丧等人生的全过程,提升城市居民的幸福感

美国纽约等五大城市已将城市数据库和相关海量信息向社会大众开放 ,各类企业、组织和个人均可以通过开放的大数据挖掘出各自需要的信息与知识,提供各类智能的服务 ,提升自身竞争力的同时提升了城市整体的综合竞争力。 开放大数据的最终目的是为了吸引更多的投资人、更多的旅游者以及提供更友好的服务 , 从而更好地推动城市的发展和繁荣。

6 结语与展望

智慧城市是基于数字城市、物联网和 云 计 算建立的现实世界与数字世界的融合 , 以实现对人和物的感知、控制和智能服务。 智慧城市对经济转型发展、城市智能管理和对大众的智能服务具有广泛的前景,从而使得人与自然更加协调的发展。 智慧城市建设是一个系统工程 ,需要根据每个城市自身的特点 ,在做好顶层设计后统一规划 ,分步实施。 智慧城市的实现需要建设更加完善的信息基础设施和包括智慧城市运营为主的技术支撑,才能保证各种智慧城市的应用能够用得好 用得起。 智慧城市建设中将产生的大数据问题既是下一代的科学前沿问题 , 也是推进智慧城市发展的源动力,它必将带来新的机遇和挑战 ,需要有针对性地加快有关大数据的技术创新和重点攻关研究,才能推动和加速智慧服务产业的发展 , 以更好、更多的智慧应用服务大众的同时 ,让城市更加科学 高效 低碳和安全地运行

参考文献

  1. [1] Li Deren, Yao Yuan, Shao Zhenfeng, et al. From Digital Earth to Smart Earth[J]. Chinese Science Bulletin, 2014, 59(8): 722-733.
  2. [2] Li Deren, Shan Jie, Shao Zhenfeng, et al. Geomatics for Smart Cities—Concept, Key Techniques, and Applications[J]. Geo-spatial Information Science, 2013, 16(3): 13-24.
  3. [3] Gore A. The Digital Earth: Understanding Our Planet in the 21st Century[J]. Photogrammetric Engineering and Remote Sensing, 1999, 65(5): 528.
  4. [4] Shao Zhenfeng, Li Deren. Image City Sharing Platform and Its Typical Applications[J]. Science in China (Series F: Information Sciences), 2011, 54(8): 1738-1746.
  5. [5] Li Deren, Shao Zhenfeng. The New Era for Geo-information[J]. Science in China (Series F: Information Sciences), 2009, 52(7): 1233-1242.
  6. [6] 李德仁, 姚远, 邵振峰. 智慧地球时代测绘地理信息学的新使命[J]. 测绘科学, 2012, 37(6): 5-8. (English version: Li Deren, Yao Yuan, Shao Zhenfeng. The New Mission for Surveying, Mapping and Geographic Information Science in the Smart Earth Era[J]. Science of Surveying and Mapping, 2012, 37(6): 5-8.)
  7. [7] ITU. ITU Internet Reports 2005: The Internet of Things[R]. ITU, Tunis, Tunisia, 2005.
  8. [8] Uusitalo M A. Global Visions for the Future Wireless World from the WWRF[J]. IEEE Vehicular Technology Magazine, 2006, 1(2): 4-8.
  9. [9] 李德毅. 云计算支撑信息服务社会化、集约化和专业化[J]. 重庆邮电大学学报(自然科学版), 2010, 22(6): 698-702. (English version: Li Deyi. Cloud Computing Supports Sociality, Intensiveness and Specialization of Information Service[J]. Journal of Chongqing University of Posts Telecommunications (Natural Science Edition), 2010, 22(6): 698-702.)
  10. [10] Barroso L A, Dean J, Hölzle U. Web Search for a Planet: The Google Cluster Architecture[J]. IEEE Micro, 2003, 23(2): 22-28.
  11. [11] Howe D, Costanzo M, Fey P, et al. Big Data: The Future of Biocuration[J]. Nature, 2008, 455(Specials): 47-50.
  12. [12] Reichman O, Jones M, Schildhauer M. Challenges and Opportunities of Open Data in Ecology[J]. Science, 2011, 331(6018): 703-705.
  13. [13] 李德仁, 王树良, 史文中, 等. 论空间数据挖掘和知识发现[J]. 武汉大学学报·信息科学版, 2001, 26(6): 491-499. (English version: Li Deren, Wang Shuliang, Shi Wenzhong, et al. On Spatial Data Mining and Knowledge Discovery[J]. Geomatics and Information Science of Wuhan University, 2001, 26(6): 491-499.)
  14. [14] Hey T, Tansley S, Tolle K. The Fourth Paradigm: Data-intensive Scientific Discovery[M]. Washington: Microsoft Research, 2009.
  15. [15] 李德仁, 王树良, 李德毅. 空间数据挖掘理论与应用[M]. 北京: 科学出版社, 2006. (English version: Li Deren, Wang Shuliang, Li Deyi. Spatial Data Mining Theories and Applications[M]. Beijing: Science Press, 2006.)
  16. [16] Manyika J, Chui M, Brown B, et al. Big Data: The Next Frontier for Innovation, Competition and Productivity[R]. The McKinsey Global Institute, USA, 2011.