中国学术杂志网

海量影像数据管理系统设计与实现

 论文栏目:数据管理论文     更新时间:2017/8/11 8:44:10   

摘要:随着现代遥感技术的不断发展,影像数据的获取手段和类型越来越丰富,应用价值和前景也越来越大。随着基础测绘、三大平台建设的顺利推进,如何管理和应用好其获取和产生的海量影像数据已经成为地理信息成果管理工作的重点。本文针对省级地理信息成果数据管理部门业务流程,阐述了面向影像共享与分发服务需求的影像数据管理系统的建设思路与方法。

关键词:分发服务;海量影像数据;数据管理系统

引言

随着现代遥感技术的飞速发展,人们利用多种机载和星载传感器,已经能够实时地获取反映地区表面动态变化的多时相、多波段、多分辨率的对地观测数据。获取的数据由单波段、多波段向超光谱方向发展,影像数据量也在呈几何级数增长。这些影像数据量庞大、类型多样,如何组织和管理这些不同尺度的海量影像数据,方便快捷地供用户查询检索,快速地提取分发已经成为地理信息成果档案管理部门工作的重点。本文通过对当前遥感影像数据管理方式的研究,结合对省级地理信息数据管理部门实际业务流程的分析,确定出一套面向影像共享及分发服务需求的影像数据管理系统建设方案,目前已应用到辽宁省地理信息资料馆影像数据库管理系统的建设中。

1目标

系统建设的目标是通过综合运用RS、GIS、计算机网络以及数据库等技术,分析和整理各种航空、卫星等原始资料以及各级别的成果影像数据。采用先进的建库技术,实现对分散的、急剧增长的海量遥感影像数据的科学管理,建立多源、多尺度、多时相的影像数据库,并建立相应的影像数据管理、查询浏览、共享以及分发服务体系。本文提出的技术方案主要面向省级地理信息数据管理部门的业务需求,通过数据建模的方式实现现有PB级影像数据的科学管理,并可以根据数据种类格式的变化,快速地进行扩展。通过“索引+文件”的管理方式实现影像数据的高效分发。

2资料分析

随着国家基础测绘、地理国情普查、地理信息公共服务平台等项目的顺利推进,省级地理信息数据管理部门获取和产生了海量的遥感影像数据。按照种类可以分为航空遥感影像数据、卫星遥感影像数据、成果影像数据三大类。航空影像主要以基础测绘航飞的影像为主,包括ADS80影像、DMC影像、RC影像等。卫星影像主要以地理国情普查获取的影像为主,包括WV1、WV2、QB、ZY3等卫星影像。成果影像主要以根据项目需求制作的DOM为主。

3系统技术路线

系统建设涵盖了影像质检、入库、查询浏览、统计分析、提取下载等影像管理业务的整个流程,主要采用以下技术方法。

3.1入库数据完整性和一致性验证技术

数据库建设是遥感影像数据管理与分发服务的核心和基础,对于所有入库管理的数据,必须保证其完整性和一致性。为达到数据建库要求,系统通过数据标准、数据质检等环节保证数据的正确性和完整性。1)数据标准对所有类型待入库的数据都制定有严格的标准规范,包括数据文件组织规范、元数据规范、空间信息规范等,所有入库数据必须文件完整、组织正确、元数据信息和快视图信息完整、空间参考和空间范围信息正确,与数据标准保持一致。2)数据质检在入库过程中系统自动按照标准规范对待入库数据进行质检(入库前可以进行预检),只有质检无错误的数据才允许入库。数据质检包括文件组织规范性质检、文件完整性质检、空间信息质检等。具体的数据质检内容包括:①数据完整性检查:文件组成完整、无缺失文件;②数据规范性检查:文件组织规范、文件夹/文件命名正确;③空间信息检查:空间参考正确、数据空间范围正确;④元数据检查:元数据和快视图文件存在,且内容完整、正确。

3.2基于影像建模技术的多源影像数据管理技术

影像建库过程中对于影像管理能力的扩展是数据库建设的一个重要指标。系统采用基于影像建模技术的多源影像数据管理模式,提供完整的影像建模体系以便用户在未来业务拓展和数据不断积累的过程中,对于新增的影像类型通过建模技术实现管理能力的快速拓展。影像建模体系包括文件结构建模、元数据建模、数据存储建模、数据字典等内容,主体用于定义影像数据的文件组织和构成、元数据内容、空间信息以及数据存储位置,在此基础上形成影像数据模型,构建影像数据集,并通过数据资源目录实现物理存储与逻辑展示的挂接。数据集创建的过程即影像数据模型实例化的过程,此过程在数据库中构建元数据表、空间范围表、快视图存储表,并在物理存储中开辟使用空间。通过数据集的创建即可实现影像数据管理相关存储的定义,为影像数据入库做好后台的存储准备。具体技术路线如图1所示。

3.3海量影像数据综合查询快速获取技术

系统包含空间查询、组合查询、关联查询等大量复杂查询的需求,同时考虑到数据类型繁多、数据量大等特点,通过“海量影像数据综合查询快速获取技术”,在数据库层、存储层、应用层多方面进行优化,实现海量影像数据的快速查询获取。1)对于需要查询的空间信息和元数据信息均采用分区表的方式存储于Oracle数据库中。对于包含空间信息的数据,采用空间数据集的方式进行管理,并且通过ArcS-DE建立格网索引。对于元数据信息采用Oracle分区表进行管理,并建立Oracle索引。2)在进行数据检索操作时,会基于不同的查询条件采用不同的索引进行检索操作。在进行数据查询时,数据管理分包综合运用多线程查询机制、分页查询机制、实时动态查询机制、索引管理机制,提升查询速度,优化用户体验,如图2所示。为实现大批量数据的空间范围和快视图的快速显示和预览,系统采用基于ArcGISServer的空间数据图层快速发布展示技术。对于原始影像发布影像的空间范围以及快视图信息,在前台通过数据ID进行空间信息和快视图的获取,并在地图中叠加显示。对于成果影像发布影像空间范围以及镶嵌成果,通过镶嵌数据集实现成果影像的在线拼接、镶嵌、匀色,通过前台调用实现整批成果影像镶嵌效果的展示,如图3所示。

3.4基于插件式框架的影像信息采集技术

对于影像数据库的建设,影像元数据信息、空间信息、快视图信息以及影像实体文件的组织管理是建库的核心内容。数据库建设涉及众多影像类型,各类影像的文件组成、格式、元数据文件存在差异,如何将多源影像针对各自特征进行信息采集和管理是建库过程中需要解决的关键问题之一。系统基于插件式框架的遥感影像采集技术,构建影像数据元数据信息插件框架,通过插件适配实现多源影像采集插件的快速接入,实现多源影像元数据信息、空间信息和快视图的采集,输出影像建库标准元数据文件,实现多源影像的一体化采集和入库管理,如图4所示.1)影像信息采集插件适配器适配器基于影像信息采集需求,提供标准的采集接口,实现元数据采集、快视图采集以及影像空间范围信息的采集。所有影像的元数据采集均可来自此接口,通过接口实现标准元数据文件、标准快视图文件和空间信息的采集和输出。2)影像信息采集插件针对GF1、GF2、ZY3等不同影像,其元数据信息采集的来源、方式不同,可采集自xml、txt、excel、dim、mdb等不同格式文件;对于快视图信息可能采集自tif/img影像实体,也可直接使用数据自带的快视图文件;对于空间信息可采集自xml、txt等文件或者直接从tif/img中获取。因此,对于每类影像数据的信息采集,通过插件方式进行具体实现,插件继承自插件适配器所提供的标准接口,并进行采集操作的具体执行。基于插件式可扩展的影像采集技术,满足了复杂多变的遥感影像信息的自动采集,降低了影像整理的工作量,提高了数据入库的效率,实现了对影像信息的按需采集与入库。

4系统架构设计

影像数据库管理系统总体架构分为4层:基础设施层、数据层、组件层和应用层,如图5所示。1)基础设施层基础设施层是整个项目建设的基础,包括软硬件两大部分。软件主要包括操作系统、数据库管理系统及GIS平台等,硬件主要包括网络环境、存储设备及服务器等。2)数据层影像数据库从逻辑上可划分为原始影像数据、影像成果数据、快视图、元数据以及影像资源目录。根据数据使用频度、查询浏览以及分发服务的需求,采用大型关系数据库和文件存储相结合的方式管理影像数据,对各类影像数据进行一体化管理,原始影像数据、影像成果数据采用文件方式进行存储,并通过影像资源目录进行统一管理,影像资源目录、快视图、元数据以及其他业务数据信息采用关系型数据库进行统一存储管理。3)组件层组件层采用面向对象的组件技术,使系统具备良好的可扩展性。组件层由面向不同功能的组件构成,包含数据入库、数据提取、数据查询、数据浏览、数据统计、数据编目管理等。合理地划分组件,有利于减少软件的耦合度,保证软件的质量。4)应用层应用层由数据入库、查询浏览、统计分析、元数据采集、影像信息发布和系统配置维护等功能组成。应用层基于组件层提供的组件进行开发,既保证了开发速度又保证了系统的质量。

5系统功能实现

1)影像预处理以影像数据库建设的实际需求出发,将种类繁多、格式多样的多源影像数据按照一定的建库标准,进行规范化预处理,形成相应的元数据文件、快视图文件,为影像数据建库提供数据资源。2)影像数据管理影像数据管理功能提供了影像数据管理业务所需的基本功能,具体包括影像数据建模、影像目录树配置、影像数据入库、影像浏览、基于空间范围和基于属性元数据的影像数据查询等功能。3)影像提取按查询结果和空间范围进行区域影像的快速提取。4)统计分析对影像数据库的各类属性信息进行分析统计,并生成统计图表,支撑基于影像数据库的数据分析应用。5)配置管理针对系统的核心功能,对系统功能操作权限和数据访问权限进行严格控制,支持功能角色和数据角色两个层面的系统安全管理,并实时记录用户的系统操作日志信息,保障数据库信息安全。6)影像数据发布把遥感影像数据库管理系统中管理的元数据、快视图及范围信息注册到成果目录服务系统中供用户查询检索。

6结束语

传统影像数据的管理一直依赖于手工查询拷贝,影像随项目分散存储,存储资源浪费严重,管理任务也相对繁重,采用在GIS软件中绘制结合表的查询检索方式不仅速度慢,而且定位不够准确。通过影像数据库管理系统的建设,能够实现多遥感平台、多传感器、多时相、多尺度影像数据的一体化管理和应用。影像发布功能能够实现影像数据方便快捷的分发服务,充分发挥遥感影像数据的价值,更好地服务于经济建设与城市规划。

参考文献:

[1]邱清容.遥感影像数据库管理系统研究[J].中国新技术新产品,2013(7):94-96.

[2]李军,李琦,毛东军,等.遥感影像数据库研究[J].计算机工程与应用,2003(27):32-35.

[3]陈云波,王健,王勤珍.浅析遥感影像管理方法[J].城市勘测,2012(3):77-79.

[4]滕洁.论海量遥感影像档案管理与服务系统建设[J].科技档案,2015(2):23-27.

作者:许芳明 单位:辽宁省地理信息资料馆

学术网收录7500余种,种类遍及
时政、文学、生活、娱乐、教育、学术等
诸多门类等进行了详细的介绍。

数据管理论文
@2008-2012 学术网
出版物经营许可证 音像制品经营许可证
主机备案:200812150017
值班电话
0825-6697555
0825-6698000

夜间值班
400-675-1600

投诉中心
13378216660
咨询电话
唐老师:13982502101
涂老师:18782589406
文老师:15882538696
孙老师:15982560046
何老师:15828985996
江老师:15228695391
易老师:15228695316
其它老师...
咨询QQ
89937509
89937310
89903980
89937302
89937305
89937307
89937308
业务
综合介绍
在线投稿
支付方式
常见问题
会员评价
官网授权
经营许可
关于我们
网站简介
版权声明
友情链接
人员招聘
联系我们