python快速读取非常大的文件
发布日期:2021-06-29 16:00:37
浏览次数:3
分类:技术文章
本文共 641 字,大约阅读时间需要 2 分钟。
读取大文件是我们平时经常会遇到的问题,我这里给出两个比较好的解决方案。第一种
with open("test.txt") as f: for line in f: #do something with data
这种做法非常的简单。这个代码在打开文件的过程中,不会一次性读取全部文件,而是采用每次读取一行的方式,类似于buffer
机制。
当然我们也可以自己去实现一个buffer
,然后通过协程的方式操作
def readInChunks(fileObj, chunkSize=4096): """ Lazy function to read a file piece by piece. Default chunk size: 4kB. """ while 1: data = fileObj.read(chunkSize) if not data: break yield dataf = open('bigFile')for chuck in readInChunks(f): #do_something(chunk)f.close()
这段代码中我们通过每次读取4k
大小的数据,将所有文件读取完。
我对于一个3GB
大小的数据进行了读取测试,分别用时如下:
28.54150631145376 s28.522545760074877 s
两者所用时间差不多。
转载地址:https://coordinate.blog.csdn.net/article/details/80212131 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
网站不错 人气很旺了 加油
[***.192.178.218]2024年04月08日 16时21分00秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
Django项目实战----添加支付宝支付
2019-04-29
DRF框架---前言(简单使用)
2019-04-29
字符串外面是b“ “的转换 -亲测有效
2019-04-29
npy文件和pkl文件的保存和读取
2019-04-29
Kafka为什么这么快?
2019-04-29
Java 生产者和消费者面试题
2019-04-29
本机电脑连接虚拟机redis失败解决方法
2019-04-29
【Scala 教程】Scala 集合类型
2019-04-29
JAVA 线程同步机制 synchronized
2019-04-29
MySQL 安装教程(无脑版)
2019-04-29
IDEA 怎么删除一个Module
2019-04-29
走进数据科学:最好是通过比网课更好的方法
2019-04-29
【Python爬虫实战】知乎热榜数据采集,上班工作摸鱼两不误,知乎热门信息一网打尽
2019-04-29
10种算法一文打尽!基本图表算法的视觉化阐释
2019-04-29
未来属于人工智能工程师,但成功转型不容易
2019-04-29
科技界“挠头”:困扰科技界可持续发展的难题
2019-04-29
标准出现问题,人工智能正在走向错误的方向
2019-04-29
不论何时,互联网从业者一直幸福着~
2019-04-29
架构师知识体系全景图
2019-04-29
guava中EventBus(事件总线)源码分析与使用
2019-04-29