大数据时代地理信息服务中数据传输
人类社会进入大数据时代,数据成为了继土地、劳动力与资本之后的新的要素。用数据决策、用数据评价成为越来越普遍的要求。当前,大数据引发着各行业、各领域商业模式、生产模式与管理模式的变革和创新,将对经济社会发展与人们的生产生活方式产生深远的影响。大数据时代,测绘心理信息服务需求不断增长,为测绘地理信息事业加快发展提供了强劲动力,同时也给测绘地理信息工作统一监督管理与服务保障带来严峻挑战,这也包含大文件传输。
1.地理信息服务简介 地理信息系统(GIS),是对信息进行釆集、存储、管理与分析的有效工具,从20世纪60年代诞生以来,其概念和理论基础己基本成熟,但是随着计算机技术、数据库技术和网络技术的不断发展,将GIS的功能在网络中实现,并且解决网络上跨平台的、异构的、海量的信息共享,传统GIS的概念逐渐发生了改变,产生了地理信息服务的概念。 地理信息服务旨在构建一个服务平台,使得大数据时代的各种软件资源与硬件资源能够有效的共享,方便用户获取数据和信息,并进行二次加工,从而得到自己所需的信息产品,产生效益。
2.影响数据组织传输的因素 数据在地理信息服务中,是贯穿整个服务的主线,从数据格式、数据管理、网络传输、资源配置到用户利用,各个方面都需要考虑数据的处理。
2.1数据格式 大数据时代地理信息服务中的数据通常可以分为空间数据与非空间数据。其中空间数据提供使用者基础地理空间信息,是面向大众的,所提供的数据也必须是公开的。因为地图数据是受国家保护的一类特殊产品,因此面对需求,只能做到最大程度的共享,根据不同的用户层次控制好数据的尺度。非空间数据,是存在于各个应用部门内部的,供业务应用所需的数据,有的与空间数据相关,有的则不相关,大多都是保密的,由各个应用部门自己管理。
空间数据可以分为栅格数据与矢量数据两种,其中不同类型又具有多种数据格式,空间数据的这种异构性就造成了“信息孤岛”这就在底层为实现地理信息服务设置了障碍,因此必须首先解决如何在网络环境中实现不同类型、不同格式之间的空间数据有效的共享与交互。
矢量数据的特点是结构紧凑,精度高、图形显示的质量好、便于空间分析,但是其结构复杂,不同格式间的矢量数据实现共享困难。栅格数据的特点是数据结构简单,像素阵列的形式与输出设备的显示机制相一致,输出方便快捷,易于计算机表达,在网络传输方面研究主要涉及栅格数据的压缩和网络的渐进传输,技术上相对比较成熟,只是在空间分析方面的功能支持显得不够。
非空间数据主要是提供给各个应用部门的内部使用的,主要是一些属性数据,包括用户信息数据、资源信息数据、审计信息数据、业务专用数据等。这些数据大多存放于通用类型的商用关系型数据库中。
2.2数据管理 大数据时代地理信息服务中数据管理可以分为空间数据管理与非空间数据管理,对于非空间数据而言,强大的数据库管理系统功能足以满足数据管理所需,以下内容主要讨论空间数据的管理问题,主要分为两种方式:文件方式和数据库方式。
目前,主流的空间数据管理的方式是数据库方式,主要又分为两种实现途径: ① 统一数据格式,与文件方式相类似,在数据库之上设置一个数据转换程序,将不同格式的数据转换到统一的数据格式上,在数据格式较少时,这种方法简单实用,但是一旦数据格式较多时,就造成了数据转换程序开发困难,并且在格式转换过程中还容易丢失信息,转换过程运行效率低。目前这种方式除了应用在极个别的地理信息服务场合外,很难推广应用。 ② 空间数据引擎,利用服务器对外的统一的接口——空间数据引擎,将不同类型、不同格式的空间数据统一到一种标准格式上,要求这种标准格式应适应网络传输,与自身格式无关,当用户收到数据后,可以根据自己的请求将标准数据进行还原处理成自己所需的格式数据,是解决地理信息服务中空间数据有效共享的最佳方式,目前最常用的XML就是这种方式的典型代表。
2.3网络传输 网络传输在地理信息服务中是最为主要的环节,大数据时代其实现的方式主要有:数据库、FTP、XML和底层设计开发等。其中数据库方式最为方便,一般各种大型的数据库开发商都会配套推出数据库的服务器端和客户端软件,通过在客户端的资源配置,建立起计算机之间的网络联系,实现空间数据的有效传输,但是这种方式对硬件设施的配置要求较高,并且组网也有特殊的要求。另外由于软件都是国外的,数据的安全也收到威胁。FTP方式是早期地理信息服务数据传输实现的方式之一,构建系统方便,通过网络共享与文件下载,实现空间数据的远距离调用,但是由于其服务器端功能较单一,对大数据量、多源、多比例尺空间数据的调用程序较难实现,且客户端与服务器端联系紧密,扩展性不强。
2.4资源配置 在地理信息服务中,只要网络带宽一定,有效的配置网络资源是影响空间数据传输的主要因素。 因为网络环境较为复杂多样,所以地理信息服务在整体上要加入冗余机制,在服务框架下添加数据服务器、数据代理服务器、资源管理服务器与数据应用服务器的副本,满足服务平台在某几台服务器不能正常工作的情况下备份服务器的正常工作,确保系统的健壮性。另外在服务平台中,资源管理器的作用很重要,可以说资源管理器就是整个服务平台的神经中枢。
2.5数据利用 在地理信息服务中进行数据传输,最终是要将可用的数据提供给用户,所以对数据的还原利用是服务的最后一步,也是影响服务质量的关键因素。随着地理信息服务的不断深入与发展,终端用户的设备己经从最初的普通台式机、笔记本发展到当前的PDA、智能手机等小型的终端设备。
3.三个标准化 综上所述,我们认为在地理信息服务中,对于数据的有效组织传输,可以归纳为三个标准化问题:
3.1数据标准化 数据标准化是指在地理信息服务中,数据服务器端存放的数据可以是多源异构的,其对外的数据接口必须符合统一的格式标准。面向大众的通用地理信息服务平台,可以利用XML来传输数据,这样平台方便开发、容易扩展;在实现某个部门专用的服务功能时,可以使用从底层设计开发二进制传输格式,确保传输数据的独立性和安全性。数据的标准化解决了空间数据应用的根本问题。
3.2通讯标准化 通讯标准化是指在地理信息服务中服务请求者与服务提供者之间的信息交流、传输实现有效、统一。地理信息服务中的网络通讯按照技术手段可分为有线通讯和无线通讯。按照通讯的目的不同,地理信息服务中的通讯还可分为请求通讯与服务通讯。通过请求通讯与服务通讯,确保了终端用户和服务器之间的有效连接,在设计通讯指令时,需要注意做到简单明了、易于处理和扩展。
4.结语 综上所述,本文讨论的三个标准化问题概括起来实质也就是接口问题,可以认为是“共享接口”的具体化。在进行地理信息服务的设计开发时,我们应该重点把握好各个层次接口的标准化,才能够做到服务数据在网络上的快速有效传输。
本文地址:https://www.raysync.cn/news/post-id-352 ,镭速(Raysync)大文件传输软件,高速传输系统,提供ftp传输加速服务,企业级大文件传输协议,解决大数据传输,跨境传输,跨国大文件传输慢的问题,帮助企业提高传输效率。
上一篇:关于视频大文件传输的相关问题!
下一篇:你知道有哪些用于文件同步的方法?