Python 项目实践:文件批量处理
文章目录
- Python 项目实践:文件批量处理
- 一 背景
- 二 发现问题
- 三 分析问题
- 四 解决问题
- 1 找到所有文件
- 2 找到文件特定字段
- 3 找出复杂的字符串
- 4 替换目标字符串
- 5 验证文件是否正确
- 五 总结
- 六 完整代码示例
- 七 源码地址
本项目旨在通过 Python 编程实现对大量文件的批量处理。假设我们有 1000 个文件需要修改特定字段,例如将 yourpython.github.io
替换为 yourpython.com
。通过结合 Python 的文件管理、循环控制、正则表达式等知识,逐步解决问题。首先,通过 os.listdir()
遍历文件,利用正则表达式 re.findall()
找到需要替换的字段。然后,选择替换方案,将修改后的内容保存到新文件中,以保持原始文件不变。该项目展示了从发现问题、分析需求,到编写解决方案的完整过程,是实际应用 Python 知识的一个良好示例。
一 背景
让我们一起开展一个小项目,把之前学到的知识实际应用起来。根据自己的学习情况,预备课程可以选择跳过。
预备课:
Python 文件与目录管理:操作、管理与检验详解
Python for 和 while 循环:掌握循环控制的基本操作
Python 文件读写操作详解:从创建到编码处理.md
Python 正则表达式详解:从基础匹配到高级应用
本章主要涉及功能
找到所有文件 | 找到文件特定字段 | 替换 |
---|---|---|
os.listdir() | re.findall() | os.path.join() |
os.path.join() | os.path.join() | re.sub() |
string.startswith() |
二 发现问题
假如要处理大量文件,比如 1000 个文件,需要替换其中的特定字符,比如把 yourpython.github.io 改成 yourpython.com。
三 分析问题
需求分析,要满足以下三点:
- 遍历所有的文本文件
- 找到文件中特定字段
- 替换掉这些特定字段
四 解决问题
1 找到所有文件
这里需要 Python 文件与目录管理:操作、管理与检验详解 这章的知识点。
print(os.listdir("yourfiles"))
2 找到文件特定字段
这里需要 Python for 和 while 循环:掌握循环控制的基本操作 和 Python 文件读写操作详解:从创建到编码处理.md 这两章的知识点。
for filename in os.listdir("yourfiles"):file_path = os.path.join("yourfiles", filename)with open(file_path, "r") as f:print(file_path, ": ", f.read())
3 找出复杂的字符串
这里需要 Python 正则表达式详解:从基础匹配到高级应用 这章的知识点。
string = "这是我的主页 https://mofanpy.com, 这个 www.mofanpy.com 有很多 mofan 教你机器学习和 python 语言的教学"res = re.findall(r"(https://)?(mofanpy.com)", string)for r in res:print(r[1])
4 替换目标字符串
这里有二种方案:
- 在原文本上替换,并覆盖原文本的内容。
- 复制出一个新的文件,将原文本替换过的文字拷贝到新文件中,原文件不改变。
这里选择方案二。
for filename in os.listdir("yourfiles"):file_path = os.path.join("yourfiles", filename)with open(file_path, "r") as f1:string = f1.read()new_string = re.sub(r"yourpython.github.io", "yourpython.com", string)with open(os.path.join("yourfiles", "new_" + filename), "w") as f2:f2.write(new_string)
5 验证文件是否正确
for filename in os.listdir("yourfiles"):if filename.startswith("new_"):continuefile_path = os.path.join("yourfiles", "new_" + filename)with open(file_path, "r") as f:print(file_path, ": ", f.read())
五 总结
尽管这个任务看起来很简单,但其实包含了对项目的一些深度思考,比如如何发现问题、分析问题、解决问题。通过之前那个 简单的计算器项目 以及当前这个实践,大家对使用 Python 开发项目应该有了更深入的理解。好了,到了这个阶段,大家已经可以尝试独立完成一些简单的项目了。接下来的课程将致力于进一步提升你的技能,而且内容会更加丰富精彩。
六 完整代码示例
# This is a sample Python script.# Press ⌃R to execute it or replace it with your code.
# Press Double ⇧ to search everywhere for classes, files, tool windows, actions, and settings.
import os
import redef print_hi(name):# Use a breakpoint in the code line below to debug your script.print(f'Hi, {name}') # Press ⌘F8 to toggle the breakpoint.# 项目实践 文件批量处理# 预备课:# 文件目录管理# for 和 while 循环# 读写文件# 正则表达式# 主要涉及功能# 找到所有文件# os.listdir()# os.path.join()# 找到文件特定字段# re.findall()# os.path.join()# 替换# os.path.join()# re.sub()# string.startswith()# 我遇到的问题 ,我们要处理大量文件 比如 1000 个文件,需要替换其中的特定字符,# 比如把 yourpython.github.io 改成 mofanpy.com# 分析问题# 遍历所有的文本文件# 找到文件中特定字段# 替换掉这个特定字段# 找到所有文件,文件目录管理print(os.listdir("yourfiles"))# 找到文件特定字段,for 和 while 循环,读写文件for filename in os.listdir("yourfiles"):file_path = os.path.join("yourfiles", filename)with open(file_path, "r") as f:print(file_path, ": ", f.read())# 找出复杂的字符串,正则表达式string = "这是我的主页 https://mofanpy.com, 这个 www.mofanpy.com 有很多 mofan 教你机器学习和 python 语言的教学"res = re.findall(r"(https://)?(mofanpy.com)", string)for r in res:print(r[1])# 替换,有二种方案# 在原文本上替换,并覆盖原文本的内容;# 复制出一个新的文件,将原文本替换过的文字拷贝到新文件中,原文件不改变。# 这里选择方案二for filename in os.listdir("yourfiles"):file_path = os.path.join("yourfiles", filename)with open(file_path, "r") as f1:string = f1.read()new_string = re.sub(r"yourpython.github.io", "yourpython.com", string)with open(os.path.join("yourfiles", "new_" + filename), "w") as f2:f2.write(new_string)# 查看文件是否正确print()for filename in os.listdir("yourfiles"):if filename.startswith("new_"):continuefile_path = os.path.join("yourfiles", "new_" + filename)with open(file_path, "r") as f:print(file_path, ": ", f.read())# Press the green button in the gutter to run the script.
if __name__ == '__main__':print_hi('文件批量处理')# See PyCharm help at https://www.jetbrains.com/help/pycharm/
复制粘贴并覆盖到你的 main.py 中运行,运行结果如下。
Hi, 文件批量处理
['c.txt', 'b.txt', 'a.txt', 'd.txt']
yourfiles/c.txt : yourpython.github.io is my favorite site, please have a look.
yourfiles/b.txt : this is a page in yourpython.github.io, please have a look.
yourfiles/a.txt : I have an apple, I have a pen
yourfiles/d.txt : what is my favorite site, please have a look of yourpython.github.io.
mofanpy.com
mofanpy.comyourfiles/new_c.txt : yourpython.com is my favorite site, please have a look.
yourfiles/new_b.txt : this is a page in yourpython.com, please have a look.
yourfiles/new_a.txt : I have an apple, I have a pen
yourfiles/new_d.txt : what is my favorite site, please have a look of yourpython.com.
七 源码地址
代码地址:
国内看 Gitee 之 文件批量处理.py
国外看 GitHub 之 文件批量处理.py
引用 莫烦 Python