超全!python的文件和目录操作总结

文件的基本读写

path = r'C:\Users\Brady\Documents\tmp'
with open(path + r'\demo.txt', 'r', encoding='utf-8') as f:
    content = f.read()
print(content)

open()函数

open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None) Open file and return a corresponding file object. If the file cannot be opened, an OSError is raised.

open函数用于打开一个文件,并返回文件句柄.

文件打开的mode主要有以下几种方式:

这里关于newline做一个解释. newline是换行符,windows系统的换行符和类unix系统的换行符是不一样的. windows默认使用\r\n做为换行符. 而类unix系统使用\n作为换行符.

关于换行符的使用,文档给出了如下解释:

• 如果newline为None,则\r \n \r\n都会被识别为换行符,并统一翻译为\n.
• 如果newline为'',则直接返回源文件中的换行符

关于换行符\r\n 和\n 的历史要追溯到计算机出现之前的电传打印机. \r的意思代表回车,也就是打印头回到初始位置. \n的意思表示换行,也就是纸张往上卷一行. 在windows中保留了这种老传统. 真正的换行符需要\r\n 而类unix中则选择使用\n作为换行符

write()函数

with open(path+r'\demo2.txt','w',encoding='utf-8') as f:
    content = 'this is a demo for write function'
    res=f.write(content)

print(res)

file对应的方法

• file.close(): 关闭文件
• file.flush():讲缓冲区的内容立即写入文件
• file.readline():读取整行
• file.readlines():按行读取,并返回列表.可以设定读取的字节数
• file.seek()设置游标位置
• file.tell()显式当前游标位置
• file.truncate()截取文件

目录相关操作

获取目录列表

with os.scandir(path2) as entries:
    for item in entries:
        print(item.name)

scandir()返回的是一个生成器.

同样也可以使用pathlib库.

enties = Path(path2)
for entry in enties.iterdir():
    print(entry.name)

获取目录下的文件

for entry in os.listdir(basepath):
    if os.path.isfile(os.path.join(basepath,entry)):
        print(entry)

with os.scandir(basepath) as entries:
    for entry in entries:
        if entry.is_file():
            print(entry.name)


base_path = Path(basepath)
for entry in base_path.iterdir():
    if entry.is_file():
        print(entry.name)

base_path = Path(basepath)
files_in_basepath = (entry for entry in base_path.iterdir() if entry.is_file())
for item in files_in_basepath:
    print(item.name)

以上四种办法都可以.

获取子目录

for entry in os.listdir(basepath):
    if os.path.isdir(os.path.join(basepath,entry)):
        print(entry)

with os.scandir(basepath) as entries:
    for entry in entries:
        if entry.is_dir():
            print(entry.name)

base_path = Path(basepath)

for entry in base_path.iterdir():
    if entry.is_dir():
        print(entry.name)

获取文件属性

with os.scandir(basepath) as entries:
    for entry in entries:
        info = entry.stat()
        print(entry.name,timestamp2datetime(info.st_mtime))

base_path = Path(basepath)

for entry in base_path.iterdir():
    info = entry.stat()
    print(entry.name,timestamp2datetime(info.st_mtime))

os.scandir()返回一个os.dirEntry对象. os.dirEntry对象大概有以下属性和方法:

• name:文件(目录)名
• path:文件(目录)路径
• is_file()
• is_dir()
• stat()返回一个stat_result对象.

而stat_result对象又有N多关于文件的属性,比如时间戳相关的属性:

• st_atime:最近访问时间
• st_mtime:最近修改时间
• st_ctime:创建时间

创建目录

在os和pathlib的模块中都包含了创建目录的函数.

• os.mkdir() 创建单个子目录
• os.makedirs() 创建多个目录,包括中间目录
• Pathlib.Path.mkdir() 创建单个或者多个目录

创建单个目录

os.chdir(basepath)
if not os.path.exists(os.path.join(basepath,'c')):
    os.mkdir('c')

base_path = Path(basepath+r'\d')

try:
    base_path.mkdir()
except FileExistsError :
    pass

通过os.mkdir()和Path.mkdir()都可以创建单个目录. 如果目录已经存在,则会报FileExistsError异常. 也可以使用exist_ok=True 参数来忽略这个异常

创建多个目录

可以使用os.makedirs()来创建包含中间目录在内的所有目录,类似mkdir -p

os.makedirs('2020/3/2')

也可以使用Path.mkdir()方法来创建多层目录.只需要指定parents=True比如

from pathlib import Path 
p = Path('2018/10/05') 
p.mkdir(parents=True, exist_ok=True)

文件名的模式匹配

使用字符串方法

python有一些内置的修改和操作字符串的方法,在操作文件名的时候,可以先遍历拿到文件名,然后使用字符串的方式进行匹配.

for item in os.listdir(basepath):
    if item.endswith('.txt'):
        print(item)

使用fnmatch库

另外还可以使用fnmatch库,fnmatch库支持类unix的通配符.

import fnmatch
for item in os.listdir(basepath):
    if fnmatch.fnmatch(item,"*.txt"):
        print(item)

使用glob库

总的来说,glob库和fnmatch库差不多,但是glob库提供了递归功能,可以查询目录下子目录的文件名. glob.glob(pathname, *, recursive=False)

另外在pathlib中也提供了类似glob的方法.

总结:

遍历和处理文件

os.walk(top, topdown=True, onerror=None, followlinks=False)

os.chdir(basepath)
for dirpath,dirname,files in os.walk('.'):
    print(f'found directory:{dirpath}')
    for filename in files:
        print(filename)

walk()方法返回一个三元组(dirpath,dirnames,filenames)

• dirpath:当前目录的名称
• dirnames:当前目录中子目录的列表
• 当前目录中文件的列表

创建临时文件和目录

临时文件和临时目录就是程序运行时创建,在程序运行结束之后会自动删除的文件和目录. 可以使用tempfile模块来进行操作.

from tempfile import TemporaryFile
from tempfile import TemporaryDirectory

fp = TemporaryFile('w+t')
fp.write('hello world')
fp.seek(0)
data = fp.read()
print(data)
fp.close()

with TemporaryFile('w+t',encoding='utf-8') as tf:
    tf.write('hello world')
    tf.seek(0)
    print(tf.read())

tmp=''
with TemporaryDirectory() as tmpdir:
    print("create a temp directory{0}".format(tmpdir))
    tmp = tmpdir
    print(os.path.exists(tmp))

print(os.path.exists(tmp))

临时文件作为一个临时的硬盘上的缓存,一般不需要命名. 但是如果需要使用带文件名的临时文件时,可以使用tempfile.NamedTemporaryFile()

在windows平台下,临时文件一般存放在C:/TEMP或者C:/TMP. 其他平台上,一般存放顺序为/tmp,/var/tmp,/usr/tmp 如果以上路径都找不到的话,python会默认在当前目录中存放临时文件和临时目录.

注意,TemporaryFile()等方法也是支持with..in这种上下文管理器的.

删除文件和目录

删除文件

要删除单个文件有三种办法:pathlib.Path.unlink() , os.remove() 还有 os.unlink()方法

这里需要注意的是,os.remove()和os.unlink()没有什么区别. unlink是类unix系统中的早期叫法.

os.remove(os.path.join(basepath,'demo.txt'))
os.unlink(os.path.join(basepath,'demo2.txt'))

或者使用pathlink.Path.unlink()方法

from pathlib import Path
p = Path(basepath+r'\1-demo.txt')
p.unlink()

注意,以上方法只能删除文件,如果删除的不是文件而是目录的话,会报IsADirectoryError异常

删除目录或目录树

三个方法:

• os.rmdir()
• pathlib.Path.rmdir()
• shutil.rmtree()

在os.rmdir()和pathlib.Path.rmdir()中,如果删除的是非空目录,会报OSError异常.

os.rmdir(os.path.join(basepath,'a'))
p = Path(basepath+r'\b')
p.rmdir()

如果想删除非空目录或者目录树的话,可以是用shutil.rmtree()方法

shutil.rmtree(os.path.join(basepath,'2020'))

复制,移动和重命名文件和目录

这里我们要使用到shutil模块,shutil模块提供了类似shell的一些功能.

复制文件

import os
import shutil
src = os.path.join(basepath,'0-demo.txt')
dst = os.path.join(basepath,'c')
shutil.copy(src,dst)

这个不需要多讲了,类似cp命令. 如果dst是文件,则覆盖原文件,如果dst是目录的话,则拷贝到该目录下.

copy()方法不会复制元数据. 如果要连文件信息等元数据一起复制的话,则需要使用copy2()方法.

复制目录

import os
import shutil
src = os.path.join(basepath,'c')
dst = os.path.join(basepath,r'd\bak')

shutil.copytree(src,dst)

这里需要注意的是,目标目录不能是已存在的目录. 而且在复制的时候,不带原目标目录的父目录. 说人话就是上面这段代码在执行的时候,只会讲c目录内的内容复制到bak目录里去.

移动文件和目录

import os
import shutil
src = os.path.join(basepath,'c')
dst = os.path.join(basepath,r'd\bak')

shutil.move(src,dst)

跟shell中的mv用法一样一样一样的. 如果目的目录存在,则会将源目录移动到目的目录中去. 如果目的目录不存在,那就是源目录的重命名.

重命名文件和目录

可是使用os模块中的rename()方法,也可以使用pathlib.Path.rename()方法.

os.chdir(basepath)
os.rename('3-demo.txt','demo3.txt')
p = Path('0-demo.txt')
p.rename('demo0.txt')

归档

所谓归档就是打包. 最常见的两种打包方式就是zip和tar.(嗯...不要说rar...)

读取zip文件

python提供了zipfile的内置模块用来处理zip文件.

import os
import zipfile

os.chdir(basepath)

with zipfile.ZipFile('d.zip','r') as zf:
    filelist=zf.namelist()
    bar_file_info = zf.getinfo('d/bak/0-demo.txt')
    print(type(bar_file_info))
    print(bar_file_info.file_size)
    print(filelist)

提取zip文件

通过zipfile.extract()和zipfile.extractall()可以从zip文件中提取一个或多个文件.

with zipfile.ZipFile('d.zip','r') as zipobj:
    zipobj.extract('d/bak/0-demo.txt')    
    zipobj.extractall(path=r'./zip/')

创建新的zip文件

直接使用write()方法就可以了.

file_list = []
for item in os.listdir():
    if fnmatch.fnmatch(item,'*-demo.txt'):
        file_list.append(item)

with zipfile.ZipFile('demo.zip','w') as zipobj:
    for txt_file in file_list:
        zipobj.write(txt_file)

tarfile库的操作

tar文件在linux中比较常用,可以使用gzip,bzip2和lzma等压缩方法进行压缩. python同样内置了tarfile库用于处理tar文件.

file_list = []
for item in os.listdir():
    if fnmatch.fnmatch(item,'*-demo.txt'):
        file_list.append(item)
# 创建一个tar包
with tarfile.open('demo.tar.gz',mode='w:gz') as tf:
    for file_name in file_list:
        tf.add(file_name)
# 读取tar包
with tarfile.open('demo.tar.gz',mode='r:gz') as tf:
    for member in tf.getmembers():
        print(member.name)
# 解压缩tar包
with tarfile.open('demo.tar.gz',mode='r:gz') as tf:
    tf.extract('2-demo.txt',path=r'.https://img.qb5200.com/download-x/dhttps://img.qb5200.com/download-x/demo')
    tf.extractall(path=r'.https://img.qb5200.com/download-x/d/extractall')

关于打开模式的解释,懒得翻译了.

shutil库创建存档

shutil库的make_archive()方法同样可以创建归档. shutil.make_archive(base_name, format[, root_dir[, base_dir[, verbose[, dry_run[, owner[, group[, logger]]]]]]])

shutil.unpack_archive(filename[, extract_dir[, format]])

shutil.make_archive(r'.\d\backup','tar',r'.\d')
shutil.unpack_archive(r'.\d\backup.tar')