python网络爬虫——自学笔记2.1用requests库和re库爬取图片
发布日期:2022-09-27 12:00:57
浏览次数:1
分类:技术文章
本文共 509 字,大约阅读时间需要 1 分钟。
记录下爬取图片失败的经历
本来想用re库和requests库来批量爬取p站的镜像网站vilipix的排行榜里的图片
代码如下
import osimport reimport requestsheader = {'User-Agent': 'Mozilla/5.0'}rank_url = "https://www.vilipix.com/ranking"r = requests.get(url=rank_url, headers=header)n=0os.mkdir('D:/picture')pic_url = re.findall('
这个最主要的步骤就是用re库的findall方法来匹配网页里图片的url,于是我查看了页面源代码,发现里边以.jpg或.png结尾的图片的url,于是我就用findall的方法区匹配匹配完后再用一个for循环吧该页面的图片全部写入picture文件夹里,结果发现下载的和看到的图片完全不一样,找了好久才发现匹配的图片url是作者头像图片的url!
所以这次没有什么东西可以和大家分享了,真的很遗憾!
另外,如果有大佬知道怎么爬取的话能不能教教孩子,自学真的还挺困难的,谢谢!
转载地址:https://blog.csdn.net/m0_70705805/article/details/124796453 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
能坚持,总会有不一样的收获!
[***.219.124.196]2024年04月07日 20时27分44秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
牛客国庆集训派对Day4——G 区间权值(找规律,双重前缀和)
2019-04-30
牛客国庆集训派对Day5——L 数论之神(找规律/数论)
2019-04-30
CodeForces - 629B Far Relative’s Problem(模拟)
2019-04-30
CodeForces - 1059B Forgery (思维)
2019-04-30
CodeForces - 456C Boredom (dp)
2019-04-30
CodeForces - 960B Minimize the error (思维,贪心)
2019-04-30
CodeForces - 97B Superset (思维/分治/构造)
2019-04-30
CodeForces - 675A Infinite Sequence(简单数论 细节)
2019-04-30
CodeForces - 1042B Vitamins (思维)
2019-04-30
ACM 2013 长沙区域赛 Alice's Print Service (二分 思维)
2019-04-30
ACM 2013 长沙区域赛 Collision (几何)
2019-04-30
CodeForces - 1064A Make a triangle! (简单模拟)
2019-04-30
51Nod - 1183 编辑距离 (dp)
2019-04-30
ACM 2014 鞍山区域赛 E - Hatsune Miku (dp)
2019-04-30
反向传播&梯度下降 的直观理解程序(numpy)
2019-04-30