python网络爬虫——自学笔记2.1用requests库和re库爬取图片
发布日期:2022-09-27 12:00:57 浏览次数:1 分类:技术文章

本文共 509 字,大约阅读时间需要 1 分钟。

记录下爬取图片失败的经历

本来想用re库和requests库来批量爬取p站的镜像网站vilipix的排行榜里的图片

代码如下

import osimport reimport requestsheader = {'User-Agent': 'Mozilla/5.0'}rank_url = "https://www.vilipix.com/ranking"r = requests.get(url=rank_url, headers=header)n=0os.mkdir('D:/picture')pic_url = re.findall('

这个最主要的步骤就是用re库的findall方法来匹配网页里图片的url,于是我查看了页面源代码,发现里边以.jpg或.png结尾的图片的url,于是我就用findall的方法区匹配匹配完后再用一个for循环吧该页面的图片全部写入picture文件夹里,结果发现下载的和看到的图片完全不一样,找了好久才发现匹配的图片url是作者头像图片的url!

所以这次没有什么东西可以和大家分享了,真的很遗憾!

另外,如果有大佬知道怎么爬取的话能不能教教孩子,自学真的还挺困难的,谢谢!

转载地址:https://blog.csdn.net/m0_70705805/article/details/124796453 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:python网络爬虫入门
下一篇:python网络爬虫——自学笔记1.用requests库爬取图片

发表评论

最新留言

能坚持,总会有不一样的收获!
[***.219.124.196]2024年04月07日 20时27分44秒