Hadoop與海量GIS數據的結合

  關于GIS和Esri
  我們每天都在提出這樣一些問題：農田中的土壤有哪些特征？下一個服裝店應該開在什么地方？貨物如何才能最快的送到客戶手中？如何找到離我的新家最近的超市？要回答這樣一些問題，需要訪問具有多維（x,y,z坐標和時序）、大容量和高處理費用的地理空間信息。

地理信息系統（Geographic InformationSystem，GIS）是用于回答地理學問題問題的藝術、科學、工程和技術的統稱，是一種特定的十分重要的空間信息系統。它是在計算機硬、軟件系統支持下，對整個或部分地球表層（包括大氣層）空間中的有關地理分布數據進行采集、儲存、管理、運算、分析、顯示和描述的技術系統。
  美國環境系統研究所公司（Environmental SystemsResearch Institute, Inc. 簡稱Esri）成立于1969年，多年來，Esri公司始終將GIS視為一門科學，并堅持運用獨特的科學思維和方法，緊跟IT主流技術，開發出豐富而完整的產品線。公司致力于為全球各行業的用戶提供先進的GIS技術和全面的GIS解決方案。Esri其多層次、可擴展，功能強大、開放性強的ArcGIS解決方案已經迅速成為提高政府部門和企業服務水平的重要工具。
  空間信息
  地球本身構成了世界上最基礎的信息。人和事物的地理定位是信息的主要組成部分。1978年全球定位系統（GPS）的正式構成，讓我們無論是汽車上的導航設備還是自能手機，都可以快速、廉價的進行地理定位。定位時時刻刻都在生成信息，這些位置信息構成了龐大的地理數據。這些數據越來越多的被用在各種分析上面，如無線運營商通過收集和分析這些數據來提升移動互聯網的服務水平。交通部門通過這些信息來預測交通情況。
  通過地理的手段來分析空間位置的相關信息，來揭示相關的模式與關聯信息，在大數據的背景下，是GIS界新前沿、新發展和新機遇。
  空間數據是一種特殊結構的信息，要對空間數據進行分析，就需要了解空間數據的特性和運作方式。如何啟用hadoop來對空間數據進行分析，是Esri在大數據上一直為之努力的目標。
  ArcGIS與Hadoop
  隨著ArcGIS 10.2版本的發布，一同推出的開源工具包GIS Tools for Hadoop，完美的詮釋了海量空間數據與分布式運算的結合。
  GIS Tools for Hadoop 是一個開源的工具包，它定義和構建了一整套空間分析的環境，在GIS與hadoop之間搭建起了一個橋梁。
  從20世紀60年代至今，GIS已經迅速發展成了一個獨特的研究與應用領域，并形成一個全球性的重要行業。
  Esri這些年來，一直致力于研究GIS信息與數據的標準化，推出了ArcSDE這樣的空間數據引擎，讓空間數據與關系型數據庫之間搭起了一個通路，可以讓空間數據保存在主流的商業數據庫中，使用每種DBMS所支持的標準SQL類型來管理數據，并且支持所有的空間數據類型（包括要素、柵格、拓撲、網絡、地形、測量數據、表格數據，以及位置數據，例如地址、模型和元數據），而無需用戶考慮DBMS的底層實現。
  但是，空間數據更多的是像影像、TIN(Triangulated IrregularNetwork)這樣的非結構化數據，而數據庫中的查詢語言，正如其名稱的簡寫——SQL，就顯示了它的僵化。所以急需新的，非關系型、非結構化的數據庫和數據分析方法的出現。
  Hadoop以其高可靠性、高擴展性、高效性和高容錯性，特別是在海量的非結構化或者半結構化數據上的分析處理優勢，給我們提供了另外一種思路。 Hadoop的核心算法就是“分而治之”，這個與GIS里面很多算法是相通的，GIS里面很多應用場景都是要去分析不同區域內的各種信息，把這樣的計算放到Hadoop上，正好利用了Hadoop的分布式計算特性。特別是一直讓GIS界最頭痛的海量影像數據存儲和數據分析，在Hadoop的分布式存儲和分布式運算架構上，更是能夠體現出Hadoop在GIS應用上的優勢。
  當我們數據量不夠的時候，我們需要設計一套很復雜的算法，在樣本數據中去探尋其中的規律，而且還要使用各種手段來保證數據的準確無誤，但是當數據量足夠大的時候，往往只需要一些很簡單的算法就可以從海量的數據中得到滿意的結果了。但是限于技術手段，特別是空間分析對計算資源的消耗，我們以前根本做不到基于如此龐大數據的分析。而放在hadoop上，可以利用Hadoop強大的分布式分析功能，來處理和分析更多的數據集。
  比如在出租車輛定位的研究中，GPS數據每個1秒鐘就將記錄一條信息，信息的內容包括經緯度、海拔、時間、車速、方向等等，每輛車每天生成的數據量就高達8萬多條，北京市的目前有出租車約為7萬輛，也就是說每天生成GPS數據就高達60億條記錄。如果把這個信息的收集范圍擴展到全國，年復一年，日復一日，那么收集上來的數據，將遠遠超出人們的想象。
  這些數據如同地下的金礦，等著我們去發掘，有了這些數據，利用空間分析的方法，我們就可以計算出很多有意義的結果。如用戶可以知道，在各種時段中，在何處打車最容易？出租車司機們可以知道在什么地方趴活最容易拉到客戶，而保證最省油。運營公司可以知道在不同時間段出租車運營數量最少的區域，進行調整合理分配資源；交通部門可以根據出租車的時速來得到各道路的交通情況等等。
  計算機和軟件的處理是有限的，當數據量到達一定極限的時候，常規的手段就對這些龐大的數據無能為力了。這樣就需要有新的技術來實現這種突破，以轉變我們的處理手段。最能代表這種轉變的，就是Hadoop的流行。
而GIS Tools for Hadoop的發布，讓hadoop正式登上了空間分析的舞臺。
  目前GIS Tools for Hadoop只是邁出了小小的一步，實現了包括相交、包含、緩沖等常用的空間分析功能，并且與ArcGIS產品無縫的集成，可以在ArcGIS for Desktop中直接調用，并且將結果以空間信息的方式展現出來。但是還僅僅是開始，未來我們還期待著能夠解決更多的問題，如GIS界最頭疼的地圖緩存切片生成和存儲的問題、海量遙感影像的計算、大規模批空間插值、海量空間數據聚合、空間數據處理等等。
  GIS Tools for Hadoop的發布表現了Esri始終關注IT界的熱點技術，并努力為不同行業用戶提供更多專業的支持。同時也是ArcGIS平臺集成大數據一次很好的嘗試。這個工具解決了Esri在大數據應用方面從無到有的問題，有著重要的意義。GIS Tools for Hadoop在未來還有很大的發展空間，期待在后面的版本中會增加對影像數據的支持，這樣對GIS行業來說將有更加重要的應用。