论文部分内容阅读
摘要：当代大数据发展趋势，是海量数据的存储及越来越多事物数据存在形式的复合分析应用。城市地质资料大数据应用及大数据相关技术服务领域广泛，社会需求度、利用度高，可以为国土空间规划编制和智慧城市建设提供有效支撑。城市地质资料大数据库建设将是未来城市地质调查行业发展趋势和重要工作。
关键词：城市地质资料；大数据；综合应用
1.引言
城市地质调查是城市规划、建设和管理的重要基础性先行工作，新中国成立以来，我国城市地质工作紧密服务于城市经济建设发展，在城市地质资源开发、地质环境保护和地质灾害防治等方面取得显著成效。实现了以水资源调查为主的专项调查，并在此基础上向以全方位多要素调查的精细化实用化转变。经过充分整理挖掘的内容丰富的城市地质资料，已经或正在为城市规划格局、地上地下空间谋划利用、城市地质灾害、土地治理及地下水资源等方面研究提供重要支撑。
当代“大数据”发展趋势，是海量数据存储及越来越多事物数据存在形式的复合分析应用。当前城市地质工作，同样要面对各种复杂类型数据的采集、挖掘、处理、分析、应用问题，这些均与“大数据”的鹄的不谋而合。城市地质资料应该是“大数据”的重要组成部分。对城市地质资料进行数字化，并通过大数据的叠加分析，规律判定、可视化操作等程序，可以更加有效支撑国土空间规划、土地开发利用管理、地质灾害防治救援、城镇开发基础地质信息辅助、生态环境保护等多目标的应用服务。
2.城市地质调查工作内容和城市地质资料管理现状
根据城市规划、建设、管理等需要，习惯上将城市地质调查工作划分为一般调查区、重点调查区。主要分为六个调查部分：一是崩塌滑坡泥石流、岩溶塌陷、踩空塌陷、地面沉降、地裂缝、地下水污染、土壤污染、河湖塌岸、活动断层、城市垃圾污染等方面调查；二是城市地质资源调查，根据城市资源条件和城市发展需要，确定城市地质资源调查的内容，可根据情况开展地下水、地热、地下空间、地质遗迹、天然建筑材料等地质资源调查；三是城市规划地质评价。在水文地质、工程地质、环境地质或地质问题调查评价、地质资源评价的基础上，开展城市规划地质评价；四是城市总体规划地质适宜性评价。结合用地规划，分析和预测规划实施过程及远景发展中引发地质问题的可能性，对规划区场地稳定性和工程建设地质环境适宜性做出评价；五是新城区详细规划的地质适宜性评价。针对确定规划区内近期房屋建筑、市政工程、公用事业、园林绿化、环境卫生及其他公共设施的总平面布局，采用定量评价方法，评价地质适宜性，提出地学建议；六是专项规划的地质环境评价。应分析和预测地铁、轨道交通、城市高架、地下管线、垃圾处理、水资源地、浅层地热能、机场等建设工程实施过程中引发的地址问题的可能性，评价规划区地质稳定性和工程建设的地质环境适宜性。
通过近70年的城市地质调查工作，我区已经形成包括文档、图件、数据库（图件、空间、属性数据库等）、图片、表格、视频、音频等结构化、半结构化、非结构化数据的大量城市地质资料。这些资料分别保存在地质资料馆、实物地质资料馆、各承建施工企业、建筑行业主管部门、地质调查院以及各地勘单位的地质资料室。由于缺乏总体框架和通盘考虑，致使这些资料管理分散、条块分割严重，形不成完整系统，出现了“数据孤岛”现象。
3.城市地质资料大数据平台建设和应用
在“大数据”背景下，建设城市地质信息大数据平台是适应经济社会和城市发展的当务之急。建设这个平台，可以在充分调研政府部门、企业单位、科研院所、社会公众等不同用户对城市地质信息的需要的基础上，有针对性地为建设生态文明城市提供地学信息共享服务。可以将海量、多远、多尺度、多类别、多维度数据资料进行一体化无缝组织，适应信息化时代地学信息服务的要求。可以通过建立可靠的系统运行环境，高质量保证信息的安全。可以准确地根据我国现行有关法律法规的要求，对数据进行高标准严要求的分级分类，保障数据安全。可以充分利用大数据、云计算、物联网等手段途径，最大限度满足各类用户要求。
3.1梳理整合，解决城市地质资料“数据孤岛”
城市地质资料大数据平台建设可以依托大数据和相关技术途径，对所有城市地质资料数据综合考量，分类施策，对症下药，整合梳理，有效解决城市地质资料“数据孤岛”问题。对于原始城市地质静态数据，可以将数据带进程序，对于动态数据，可以带程序进数据。对于结构化数据可以使用关系数据库技术来处理，对于非结构化数据则要用NoSQL（非关系型的数据库）来处理。针对目前我区已经建立的三十几个独立的结构化矿证数据库虚拟存储平台可采用动态分层技术，根据数据被调用的频率，自动将常用的数据搬到最高层。针对非结构化数据可使用内容归档平台，把结构化和非结构化数据集成到一个单一的动态归档架构中，设计一套软件和元数据库规则，通过给数据加标签的方式，建立不同维度，整合“数据孤岛”，从而准确高效的实现数据检索查询转化利用功能。
3.2攻坚克难，建设城市地質大数据分析预测功能
建设城市地质资料大数据平台，面临的着不同层面的设计技术挑战。从地质资料数量上来说，可能需要处理数量级达到TB级乃至PB级的数据，另外还有高维数据及动态数据，而这些数据的处理和积累是为了更好的服务地质工作。为了达成此目的，需要认真研究探讨，选择合适的算法及并行策略。
此外，对于现有城市地质大数据算法的设计、参数的调整都会影响到最终结果，数据挖掘过程中会存在许多不明确性，进行数据挖掘的目的，要将这些不明确性带来的影响降到最低。这些不明确性包括对数据挖掘任务描述的不明确性、进行数据采集和预处理时会出现的不明确性、数据挖掘方法选择和最终结果的不明确以性及对如何评价数据挖掘结果的不明确性等。数据挖掘算法将直接影响到所发现规律的结果。这些也是需要在工作中认真思考，攻关解决。
多个发达国家早已将SOA（基于面向服务的体系结构）、并行计算、虚拟化等技术融入地质调查信息化建设中，建立了在线编图等采用“一站式”工作模式服务的应用系统，如美国（Geospatial One-Stop）、加拿大（GeoGonnections）以及澳大利亚（GeoMiner）等数据挖掘技术系统。目前我国对于城市地质大数据的挖掘及分析能力相对还比较落后，但可以尝试应用数据库KDD发现模式进行探索应用。通过对原始海量数据的检索及筛选后，对各数据重合交叉点进行数据的预处理分析，将海量的城市地质数据进行可分析形势转换，进行对比分析，形成初步数据挖掘结果，通过专家的评估，最终形成判别模型。形成分析预测结果。
3.3挖掘潜能，推动城市地质数据三维可视化（智慧城市）建设
城市地质大数据可视化技术是进行大数据分析的一个很重要的手段，可以应用于空间规划模拟、地质灾害防治、城市地质构造判定等领域。城市地质大数据中，具有遥感影像数据、地理坐标数据（地上地下空间数据、各类管网数据、城市规划及建设沿革数据）、DEM（等高线数据）及钻孔属性数据库（地下高程）等数据，通过现有的这些数据能够完成城市地质数据的三维模型库的建设。目前，已有一些比较完善的三维地质建模软件能够实现多种数据三维综合建模、显示和分析等功能，如国外的GOCAD、MVS、MicroStation、Surpac等，国内的如QuantyView（GeoView）、GeoMo3D、Titan3DM等。但这些建模方式仍然是静态交互的，在大数据时代下的可视化技术将朝着自动化、交互性、全息影像式方向迈进，智慧城市建设更需要海量数据支撑，充分挖掘城市地质资料数据信息，通过历史数据动态叠加可以建立三维空间动态模型，可在未来城市规划管理中起到重要的决策支撑作用。
关键词：城市地质资料；大数据；综合应用
1.引言
城市地质调查是城市规划、建设和管理的重要基础性先行工作，新中国成立以来，我国城市地质工作紧密服务于城市经济建设发展，在城市地质资源开发、地质环境保护和地质灾害防治等方面取得显著成效。实现了以水资源调查为主的专项调查，并在此基础上向以全方位多要素调查的精细化实用化转变。经过充分整理挖掘的内容丰富的城市地质资料，已经或正在为城市规划格局、地上地下空间谋划利用、城市地质灾害、土地治理及地下水资源等方面研究提供重要支撑。
当代“大数据”发展趋势，是海量数据存储及越来越多事物数据存在形式的复合分析应用。当前城市地质工作，同样要面对各种复杂类型数据的采集、挖掘、处理、分析、应用问题，这些均与“大数据”的鹄的不谋而合。城市地质资料应该是“大数据”的重要组成部分。对城市地质资料进行数字化，并通过大数据的叠加分析，规律判定、可视化操作等程序，可以更加有效支撑国土空间规划、土地开发利用管理、地质灾害防治救援、城镇开发基础地质信息辅助、生态环境保护等多目标的应用服务。
2.城市地质调查工作内容和城市地质资料管理现状
根据城市规划、建设、管理等需要，习惯上将城市地质调查工作划分为一般调查区、重点调查区。主要分为六个调查部分：一是崩塌滑坡泥石流、岩溶塌陷、踩空塌陷、地面沉降、地裂缝、地下水污染、土壤污染、河湖塌岸、活动断层、城市垃圾污染等方面调查；二是城市地质资源调查，根据城市资源条件和城市发展需要，确定城市地质资源调查的内容，可根据情况开展地下水、地热、地下空间、地质遗迹、天然建筑材料等地质资源调查；三是城市规划地质评价。在水文地质、工程地质、环境地质或地质问题调查评价、地质资源评价的基础上，开展城市规划地质评价；四是城市总体规划地质适宜性评价。结合用地规划，分析和预测规划实施过程及远景发展中引发地质问题的可能性，对规划区场地稳定性和工程建设地质环境适宜性做出评价；五是新城区详细规划的地质适宜性评价。针对确定规划区内近期房屋建筑、市政工程、公用事业、园林绿化、环境卫生及其他公共设施的总平面布局，采用定量评价方法，评价地质适宜性，提出地学建议；六是专项规划的地质环境评价。应分析和预测地铁、轨道交通、城市高架、地下管线、垃圾处理、水资源地、浅层地热能、机场等建设工程实施过程中引发的地址问题的可能性，评价规划区地质稳定性和工程建设的地质环境适宜性。
通过近70年的城市地质调查工作，我区已经形成包括文档、图件、数据库（图件、空间、属性数据库等）、图片、表格、视频、音频等结构化、半结构化、非结构化数据的大量城市地质资料。这些资料分别保存在地质资料馆、实物地质资料馆、各承建施工企业、建筑行业主管部门、地质调查院以及各地勘单位的地质资料室。由于缺乏总体框架和通盘考虑，致使这些资料管理分散、条块分割严重，形不成完整系统，出现了“数据孤岛”现象。
3.城市地质资料大数据平台建设和应用
在“大数据”背景下，建设城市地质信息大数据平台是适应经济社会和城市发展的当务之急。建设这个平台，可以在充分调研政府部门、企业单位、科研院所、社会公众等不同用户对城市地质信息的需要的基础上，有针对性地为建设生态文明城市提供地学信息共享服务。可以将海量、多远、多尺度、多类别、多维度数据资料进行一体化无缝组织，适应信息化时代地学信息服务的要求。可以通过建立可靠的系统运行环境，高质量保证信息的安全。可以准确地根据我国现行有关法律法规的要求，对数据进行高标准严要求的分级分类，保障数据安全。可以充分利用大数据、云计算、物联网等手段途径，最大限度满足各类用户要求。
3.1梳理整合，解决城市地质资料“数据孤岛”
城市地质资料大数据平台建设可以依托大数据和相关技术途径，对所有城市地质资料数据综合考量，分类施策，对症下药，整合梳理，有效解决城市地质资料“数据孤岛”问题。对于原始城市地质静态数据，可以将数据带进程序，对于动态数据，可以带程序进数据。对于结构化数据可以使用关系数据库技术来处理，对于非结构化数据则要用NoSQL（非关系型的数据库）来处理。针对目前我区已经建立的三十几个独立的结构化矿证数据库虚拟存储平台可采用动态分层技术，根据数据被调用的频率，自动将常用的数据搬到最高层。针对非结构化数据可使用内容归档平台，把结构化和非结构化数据集成到一个单一的动态归档架构中，设计一套软件和元数据库规则，通过给数据加标签的方式，建立不同维度，整合“数据孤岛”，从而准确高效的实现数据检索查询转化利用功能。
3.2攻坚克难，建设城市地質大数据分析预测功能
建设城市地质资料大数据平台，面临的着不同层面的设计技术挑战。从地质资料数量上来说，可能需要处理数量级达到TB级乃至PB级的数据，另外还有高维数据及动态数据，而这些数据的处理和积累是为了更好的服务地质工作。为了达成此目的，需要认真研究探讨，选择合适的算法及并行策略。
此外，对于现有城市地质大数据算法的设计、参数的调整都会影响到最终结果，数据挖掘过程中会存在许多不明确性，进行数据挖掘的目的，要将这些不明确性带来的影响降到最低。这些不明确性包括对数据挖掘任务描述的不明确性、进行数据采集和预处理时会出现的不明确性、数据挖掘方法选择和最终结果的不明确以性及对如何评价数据挖掘结果的不明确性等。数据挖掘算法将直接影响到所发现规律的结果。这些也是需要在工作中认真思考，攻关解决。
多个发达国家早已将SOA（基于面向服务的体系结构）、并行计算、虚拟化等技术融入地质调查信息化建设中，建立了在线编图等采用“一站式”工作模式服务的应用系统，如美国（Geospatial One-Stop）、加拿大（GeoGonnections）以及澳大利亚（GeoMiner）等数据挖掘技术系统。目前我国对于城市地质大数据的挖掘及分析能力相对还比较落后，但可以尝试应用数据库KDD发现模式进行探索应用。通过对原始海量数据的检索及筛选后，对各数据重合交叉点进行数据的预处理分析，将海量的城市地质数据进行可分析形势转换，进行对比分析，形成初步数据挖掘结果，通过专家的评估，最终形成判别模型。形成分析预测结果。
3.3挖掘潜能，推动城市地质数据三维可视化（智慧城市）建设
城市地质大数据可视化技术是进行大数据分析的一个很重要的手段，可以应用于空间规划模拟、地质灾害防治、城市地质构造判定等领域。城市地质大数据中，具有遥感影像数据、地理坐标数据（地上地下空间数据、各类管网数据、城市规划及建设沿革数据）、DEM（等高线数据）及钻孔属性数据库（地下高程）等数据，通过现有的这些数据能够完成城市地质数据的三维模型库的建设。目前，已有一些比较完善的三维地质建模软件能够实现多种数据三维综合建模、显示和分析等功能，如国外的GOCAD、MVS、MicroStation、Surpac等，国内的如QuantyView（GeoView）、GeoMo3D、Titan3DM等。但这些建模方式仍然是静态交互的，在大数据时代下的可视化技术将朝着自动化、交互性、全息影像式方向迈进，智慧城市建设更需要海量数据支撑，充分挖掘城市地质资料数据信息，通过历史数据动态叠加可以建立三维空间动态模型，可在未来城市规划管理中起到重要的决策支撑作用。