
來源:【公眾號】
Python技術
Python 對于文件夾或者文件的遍歷一般有兩種操作方法,一種是至二級利用其封裝好的 walk 方法操作:
import os for root,dirs,files in os.walk("/Users/cxhuan/Downloads/globtest/hello"):
for dir in dirs:
print(os.path.join(root, dir))
for file in files:
print(os.path.join(root, file))
上面代碼運行結果如下:
/Users/cxhuan/Downloads/globtest/hello/world /Users/cxhuan/Downloads/globtest/hello/.DS_Store
/Users/cxhuan/Downloads/globtest/hello/hello3.txt
/Users/cxhuan/Downloads/globtest/hello/hello2.txt
/Users/cxhuan/Downloads/globtest/hello/hello1.txt
/Users/cxhuan/Downloads/globtest/hello/world/world1.txt
/Users/cxhuan/Downloads/globtest/hello/world/world3.txt
/Users/cxhuan/Downloads/globtest/hello/world/world2.txt
上述程序,將 os.walk 讀取到的所有路徑 root 、目錄名 dirs 與文件名 files ,也就是三個文件數組利用 foreach 循環輸出。join方法就是將其路徑與目錄名或者文件名連接起來,組成一個完整的目錄。
另一種是用遞歸的思路,寫成下面的形式:
import os files = list()
def dirAll(pathname):
if os.path.exists(pathname):
filelist = os.listdir(pathname)
for f in filelist:
f = os.path.join(pathname, f)
if os.path.isdir(f):
dirAll(f)
else:
dirname = os.path.dirname(f)
baseName = os.path.basename(f)
if dirname.endswith(os.sep):
files.append(dirname+baseName)
else:
files.append(dirname+os.sep+baseName)
dirAll("/Users/cxhuan/Downloads/globtest/hello") for f in files:
print(f)
運行上面代碼,得到的結果和上面一樣。
這兩種方法都沒問題,就是寫起來比較麻煩,特別是第二種,一不小心還有可能寫出 bug 。
今天我們來介紹第三種方法——利用 glob 模塊來遍歷文件。
glob 是 python 自帶的一個操作文件的模塊,以簡潔實用著稱。由于這個模塊的功能比較簡單,所以也很容易上手和使用。它主要用來查找符合特定規則的文件路徑。使用這個模塊來查找文件,只需要用到*、? 和 [] 這三個匹配符:
* : 匹配0個或多個字符;
? : 匹配單個字符;
[] :匹配指定范圍內的字符,如:[0-9]匹配數字。
glob.glob 方法主要返回所有匹配的文件路徑列表。它只有一個參數 pathname ,定義了文件路徑匹配規則,這里可以是絕對路徑,也可以是相對路徑。
我們可以用 * 匹配零個或者多個字符。
輸出目錄下的子目錄或者文件:
for p1 in glob.glob('/Users/cxhuan/Downloads/globtest/*'):
print(p1)
運行上面代碼,會將 globtest 文件夾下僅有的目錄輸出出來,輸出內容如下:
/Users/cxhuan/Downloads/globtest/hello
我們也可以通過制定層級來遍歷文件或者文件夾:
for p in glob.glob('/Users/cxhuan/Downloads/globtest/*/*'):
print(p)
上面的代碼會遍歷 globtest 文件夾以及子文件夾,將所有的文件或文件夾路徑打印出來:
/Users/cxhuan/Downloads/globtest/hello/world /Users/cxhuan/Downloads/globtest/hello/hello3.txt /Users/cxhuan/Downloads/globtest/hello/hello2.txt /Users/cxhuan/Downloads/globtest/hello/hello1.txt
我們也可以對文件或者文件夾進行過濾:
for p in glob.glob('/Users/cxhuan/Downloads/globtest/hello/*3.txt'):
print(p)
上面代碼值匹配 hello 目錄下的文件名末尾為 ‘3’ 的 txt 文件,運行結果如下:
/Users/cxhuan/Downloads/globtest/hello/hello3.txt
我們可以用問號(?)匹配任何單個的字符。
for p in glob.glob('/Users/cxhuan/Downloads/globtest/hello/hello?.txt'):
print(p)
上面的代碼輸出 hello 目錄下的以 ‘hello’ 開頭的 txt 文件,輸出結果如下:
/Users/cxhuan/Downloads/globtest/hello/hello3.txt /Users/cxhuan/Downloads/globtest/hello/hello2.txt /Users/cxhuan/Downloads/globtest/hello/hello1.txt
我們可以使用 [] 來匹配一個范圍:
for p in glob.glob('/Users/cxhuan/Downloads/globtest/hello/*[0-2].*'):
print(p)
我們想要得到 hello 目錄下的文件名結尾數字的范圍為 0到2的文件,運行上面代碼,獲得的輸出為:
/Users/cxhuan/Downloads/globtest/hello/hello2.txt /Users/cxhuan/Downloads/globtest/hello/hello1.txt
python 的 glob 方法可以對文件夾下所有文件進行遍歷,并返回一個 list 列表。而 iglob 方法一次只獲取一個匹配路徑。下面是一個簡單的例子來說明二者的區別:
p = glob.glob('/Users/cxhuan/Downloads/globtest/hello/hello?.*') print(p) print('----------------------')
p = glob.iglob('/Users/cxhuan/Downloads/globtest/hello/hello?.*') print(p)
運行上面代碼,結果返回是:
['/Users/cxhuan/Downloads/globtest/hello/hello3.txt', '/Users/cxhuan/Downloads/globtest/hello/hello2.txt',
'/Users/cxhuan/Downloads/globtest/hello/hello1.txt'] ---------------------- <generator
object _iglob at 0x1040d8ac0>
從上面的結果我們可以很容易看到二者的區別,前者返回的是一個列表,后者返回的是一個可迭代對象。
我們針對這個可迭代對象做一下操作看看:
p = glob.iglob('/Users/cxhuan/Downloads/globtest/hello/hello?.*') print(p.__next__()) print(p.__next__())
運行結果如下:
/Users/cxhuan/Downloads/globtest/hello/hello3.txt /Users/cxhuan/Downloads/globtest/hello/hello2.txt
我們可以看到,針對這個可迭代對象,我們一次可以獲取到一個元素。這樣做的好處是節省內存,試想如果一個路徑下有大量的文件夾或者文件,我們使用這個迭代對象不用一次性全部獲取到內存,而是可以慢慢獲取。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25