熱線電話：13121318867

登錄
首頁精彩閱讀如何將hive表文本格式的源文件遷移至Oracle數據庫或者excel文檔中
如何將hive表文本格式的源文件遷移至Oracle數據庫或者excel文檔中
2018-01-05
收藏

如何將hive表文本格式的源文件遷移至Oracle數據庫或者excel文檔中

需求描述:從hadoop的hdfs中下載某hive表文本文件，并將該文件數據遷移至Oracle表中。

思路剖析：首先，我們需要從hadoop服務器中下載該文本文件；其次，將該文件處理為excel規范表；最后，將規范的excel表結構插入值Oracle數據庫對應的表中。話休絮煩，直接上demo。

1，從hadoop服務器的hdfs中下載源數據文本文件：

[html]view plaincopy
  1. hadoop fs -get hdfs://nameservice/user/hive/house/r_map_region  /data/ailk/aiinsight/bin/xiepj  

上述命令將hdfs中   nameservice/user/hive/house/r_map_region  路徑下的源數據文本文件下載至 本地  /data/ailk/aiinsight/bin/xiepj 路徑下

2，源數據加工

我們知道hive中表結構是保存在txt文件中，其中字段間的間隔符可以由用戶指定。當我們拿到hdfs中的文本格式的源文件時，表結構往往不太清晰，不利于我們做一些加工處理，我們往往希望將其轉換為excel表格的形式來對其處理。如下圖所示：

將源數據中的分隔符替換為tab鍵：

3，替換后結果粘貼至excel表中，至此完成。

替換后文本效果：

excel格式效果；

總結：excel中遇到tab鍵，數據會自動換至下一列。此處正式利用了excel的這一特性。



CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

表結構 字段

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇Excel中時間格式數據轉為文本格式數據
下一篇數據科學家圖鑒：我們分析了LinkedIn 上一千位數據科學家的簡歷
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢