第八章 文章操作(IO技术)
一个完整的程序一般都包括数据的存储和读取,在前面写的程序的数据都没有进行实际的存储,因此python解释器执行完数据就消失了。实际开发中,经常需要从外部存储介质(硬盘、光盘、U盘等)读取数据,或者将程序产生的数据存储到文件中,实现“持久化”保存。
文本文件和二进制文件
按文件中数据组织形式,我们把文件分为文本文件和二进制文件两大类。
- 文本文件
文本文件存储的是普通“字符”文本,默认为unicode字符集,(两个字节表示一个字符,最多可以表示:65536个)可以使用记事本打开。但是。像word软件编辑的文档不是文本文件。
- 二进制文件
二进制文件把数据内容用“字节”进行存储,无法用记事本打开,必须使用专用的软件解码。常见的有:MP4视频文件、MP3音频文件、JPG图片、doc文档等等
文件操作相关模块概述
Python标准库中,如下是文件操作相关的模块:
名称 | 说明 |
io模块 | 文件流的输入和输出操作 |
Os模块 | 基本操作系统功能,包括文件操作 |
Glob模块 | 查找符合特定规则的文件路径名 |
Fnmatch模块 | 使用模式来匹配文件路径名 |
Fileinput模块 | 处理多个输入文件 |
Filecmp模块 | 用于文件的比较 |
Csv模块 | 用于csv文件处理 |
Pickle和cpickle | 用于序列化和反序列化 |
Xml包 | 用于xml数据处理 |
Bz2、gzip、zipfile、zlib、tarfile | 用于处理压缩和解压缩文件(分别对应不同算法) |
创建文件对象open()
open()函数用于创建文件对象,基本语法格式如下:
open(文件名【,打开方式】)
如果只是文件名,代表在当前目录下的文件。文件名可以录入全路径,比如:D:\a\b.txt.
为了减少“\”的键入,可以使用原始字符串:r”d:\b.txt”.示例如下:
f = open(r”d:\b.txt:”,”a”)
打开方式有如下几种:
模式 | 描述 |
r | 读模式 |
w | 写模式。如果文件不存在则创建;如果文件存在,则重写新内容 |
a | 追加模式。如果文件不存在则创建;如果文件存在,则在文件末尾追加内容 |
b | 二进制模式(可与其他模式组合使用) |
+ | 读、写模式(可与其他模式组合使用) |
文本文件对象和二进制文件对象的创建:
如果我们没有增加“b”,则默认创建的是文本文件对象,处理的基本单元的是“字符”。如果是二进制模式“b”,则创建的是二进制文件对象,处理的基本单元的是“字节”。
文本文件的写入
基本的文件写入操作
文本文件的写入一般就是三个步骤:
- 创建文件对象
- 写入数据
- 关闭文件对象
文件写入操作简单测试
f = open("a.txt","a")
s = "尚学堂\n百战程序员\n"
f.write(s)
f.close()
文件操作完一定要关闭
常见编码介绍
在操作文本文件时,经常会操作中文,这时候就经常会碰到乱码问题,为了让大家有能力解决中文乱码问题,这里介绍一下各种编码之间的关系。
常见编码之间的关系如下:
ASCII
全称为American Standard Code for Information Interchange,美国信息交换标准代码,这是世界上最早最通用的单字节编码系统,主要用来显示现代英语及其他西欧语言。有27(128个字符:包含大写字母、小写字母以及阿拉伯数字、字符)
ISO8859-1
ISO-8829-1又称Latin-1.是一个8位单字节字符集,它把ASCII的最高位也利用起来,并兼容了ASCII,新增的空间是128,但它并没有完全用完。
在ASCII编码之上又增加了西欧语言、希腊语、泰语、阿拉伯语、希伯来语对应的文字符号,它是向下兼容ASCII编码
GB2312,GBK、GB18030
。。。。
Python编码默认unicode,直接转UTF-8会报错,可以通过使用以下方式设置编码为UTF-8
close()关闭文件流
由于文件底层是由操作系统控制,所以打开的文件对象必须显式调用close()方法关闭对象,当调用close()方法时,首先会把缓冲区数据写入文件(也可以直接调用flush()方法),再关闭文件,释放文件对象。
为了确保打开文件对象正常关闭,一般结合异常机制的finally或者with关键字实现无论何种情况都能关闭打开的文件对象。
【操作】结合异常机制finally确保关闭文件对象
try:
f = open(r"my01.txt","a")
str = "wrq"
f.write(str)
except BaseException as e:
print(e)
finally:
f.close()
write()/writelines()写入数据
write(a):把字符串a写入到文件中
writeline(b):把字符串列表写入文件中,不添加换行符
【操作】添加字符串列表数据到文件中
f = open(r"d:\bb.txt","w",encoding = "utf-8")
s = ["高淇\n","高老三\n","高老四\n"]
f.writelines(s)
f.close()
# close()关闭文件流
try:
f = open(r"my01.txt","a")
str = "gaoqi"
f.write(str)
except BaseException as e :
print(e)
finally:
f.close()
with语句(上下文管理器)
with关键字(上下文管理器)可以自动管理上下文资源,不论什么原因跳出with块,都能确保文件正常的关闭,并且可以在代码块执行完毕后自动还原进入该代码块时的现场
s = ["高淇\n","高老三\n","高老五\n"]
with open(r"d:\bb.txt","w") as f:
f.writelines(s)
文件文本的读取
文件的读取一般使用如下三个方法:
- read([size])
从文件中读取size个字符,并作为结果返回。如果没有size参数,则读取整个文件。读取到文件末尾,会返回空字符串。
- readline()
读取一行内容作为结果返回。读取到文件末尾,会返回空字符串。
- readlines()
文本文件中,每一行作为一个字符串存入列表中,返回该列表
【操作】读取一个文件前4个字符
# 文本文件的读取
# 读取一个文件前4个字符
with open(r"bb","r",encoding="utf-8") as f:
print(f.read(4))
# 文本文件的读取/文件较小,读取一行,会返回字符串
with open(r"d:\bb.txt","r") as f:
print(f.read())
# 按行读取一个文件
with open(r"b","r") as f:
while True:
fragment = f.readline()
if not fragment:
break
# 使用迭代器(每次返回一行)读取文本文件
with open(r"d:\bb.txt","r") as f:
for a in f:
print(a,end="")
# 加入行号
a = ["我love u!\n","尚学堂\n","百战程序员\n"]
b =enumerate(a)
print(a)
print(list(b))
#推导式形成列表
c = [temp.rstrip()+"#"+str(index) for index,temp in enumerate(a)]
print(c)
# 读取
with open("e.txt","r",encoding="utf-8") as f:
lines = f.readline()
lines = [ line.rstrip()+"#" +str(index) for index,line in enumerate(lines)]
# 写入
with open ("e.txt","w",encoding="utf-8") as f:
f.writelines(lines)
二进制文件的读取和写入
二进制文件的处理流程和文本文件流程一致。首先还是要创建文件对象,我们需要指定二进制模式,从而创建出二进制文件对象。例如:
# 可写的、重写模式的二进制文件对象
f = open(r"d:\a.txt",'wb')
# 可写的、追加模式的二进制文件对象
f = open(r"d:\a.txt",'ab')
# 可读的二进制文件对象
f = open(r"d:\a.txt",'rb')
# 读取图片文件,实现文件的拷贝
with open('aa.gif','rb') as f:
with open('aa_copy.gif','wb') as w:
for line in f.readlines():
w.write(line)
print('图片拷贝完成!')
文件对象的常用属性和方法
文件对象封装了文件相关的操作
文件对象的属性
属性 | 说明 |
name | 返回文件的名字 |
mode | 返回文件的打开模式 |
closed | 若文件被关闭则返回True |
文件对象的打开模式
模式 | 说明 |
r | 读模式 |
w | 写模式 |
a | 追加模式 |
b | 二进制模式 |
+ | 读写模式 |
文件对象的常用方法
# 测试
with open("e.txt","r",encoding="utf-8") as f:
print("文件名是:{0}".format(f.name)) #打印文件名
print(f.tell()) #打印指针位置
print("读取的内容:{0}".format(str(f.readline())))
print(f.tell())
f.seek(0)
print("读取的内容:{0}".format(str(f.readline())))
f.seek(3)
print("读取的内容:{0}".format(str(f.readline())))
结果:
文件名是:e.txt
0
读取的内容:我love u! #1
15
读取的内容:我love u! #1
读取的内容:love u! #1
使用pickle序列化
Python中,一切皆对象,对象本质上就是一个“存储数据的内存块”。有时候,需要将“内存块的数据”保存到硬盘上,或者通过网络传输到其他计算机上,就需要“对象的序列化和反序列化”。对象的序列化机制广泛的应用在分布式、并行系统上。
序列化指的是:将对象转化为“串行化”数据形式,存储到硬盘或通过网络传输到其他地方。反序列化是指相反的过程,将读取到“串行化数据”转化成对象。
我们可以使用pickle模块中的函数,实现序列化和反序列操作。
序列化使用:
pickle.dump(obj.file) obj就是要被序列化的对象,file指的是存储的文件
pickle.load(file) 从file读取数据,反序列化成对象
import pickle
with open(r"d:\data.dat","wb") as f:
a1 = "高淇"
a2 = 234
a3 = [20,30,40]
pickle.dump(a1,f)
pickle.dump(a2,f)
pickle.dump(a3,f)
CSV文件的操作
csv是逗号分隔符文本格式,常用于数据交换、Excel文件和数据库数据的导入和导出、与EXcel文件不同,CSV文件中:
·值没有类型,所有值都是字符串
·不能指定字体颜色等样式
·不能指定单元格的宽高,不能合并单元格
·没有多个工作表
·不能嵌入图像图表
Python标准库的模块csv提供了读取和写入csv格式文件的对象
# 测试csv文件的读取和写入
import csv
with open("dd.csv","r") as f:
a_csv = csv.reader(f)
print(list(a_csv))
遍历:
# 测试csv文件的读取和写入
import csv
with open("dd.csv","r") as f:
a_csv = csv.reader(f)
for row in a_csv:
print(row)
with open("ee.csv","w") as f:
b_csv = csv.writer(f)
b_csv.writerow["ID","姓名","年龄"]
os和os.path模块
os模块可以帮助我们直接对操作系统进行操作。我们可以直接调用操作系统的可执行文件、命令,直接操作文件、目录等等。在
- os.system调用windows系统的记事本程序
- # os.system调用windows系统的命令
# os.system调用windows系统的记事本程序
import os
os.system("notepad.exe")
# os.system调用windows系统中ping命令
import os
os.system("ping www.baidu")
OS模块-文件和目录操作
可以通过文件对象对文件内容进行读写操作。如果,需要对文件和目录进行做其他操作,可以使用os和os.path模块。
#####获取文件和文件夹相关的信息
import os
print(os.name) #window-nt;linux-posix
print(os.sep) #window-\ ,Linux和unix-/
print(repr(os.linesep)) #window-\r\n Linux-\n\
print(os.stat("e.txt")) #获取指定文件的相关信息
#######关于工作目录的操作
print(os.getcwd())
os.mkdir("书籍")
os.chdir("d:") #改变工作目录
os.rmdir("书籍") #删除文件
os.makedirs("电影/港台/周星驰") #创建多级目录
os.removedirs("电影/港台/周星驰") #删除多级目录
(只能删除空目录)
#列出指定文件下所有的py文件
import os
path = os.getcwd()
file_list = os.listdir(path)
for filename in file_list:
if filename.endswith("py"):
print(filename)
print("###########")
file_list2 = [filename for filename in os.listdir(path) if filename.endswith("py")]
for f in file_list2:
print(f)
walk()递归遍历所有文件和目录
os.walk()方法:
返回一个3个元素的元组,(dirpath,dirnames,filenames),
- dirpath:要列出指定目录的路径
- dirnames:目录下的所有文件夹
- filenames: 目录下的所有文件
- # os模块-walk遍历操作
import os
path = os.getcwd()
list_files = os.walk(path)
all_files = [] #找个盒子放进去
for dirpath,dirnames,filenames in list_files:
for dir in dirnames:
all_files.append(os.path.join(dirpath,dir))
for file in filenames:
all_files.append(os.path.join(dirpath,dir))
#打印所有的子目录和子文件
for file in all_files:
print(file)
shutil模块(拷贝和压缩)
shutil模块是python标准库中提供的,主要用来做文件和文件夹的拷贝、移动、删除等,还可以做文件和文件夹的压缩、解压缩操作。
os模块提供了对目录或文件的一般操作。shutil模块作为补充,提供了移动、复制、压缩、解压等操作,这些os模块都没有提供。
# shutil模块(拷贝和压缩)
import shutil
shutil.copyfile("e.txt","1_copy.txt") #copy文件
shutil.copytree("movie/港台","电影") #"电影”目录不存在时才可以正常拷贝
递归算法原理:
# 递归算法原理展示
def factorial(n):
if n==1:
return n
else:
return n*factorial(n-1)
print(factorial(5))
最终结果:120
#递归打印所有目录和文件
import os
def getAllFiles(path):
childFiles = os.listdir(path)
for file in childFiles:
filepath = os.path.join(path,file)
if os.path.isdir(filepath):
getAllFiles(filepath)
print(filepath)
getAllFiles("书籍")
更多推荐
2022_2_10
发布评论