爬虫学习总结
发布日期:2022-03-04 11:48:28
浏览次数:10
分类:技术文章
本文共 393 字,大约阅读时间需要 1 分钟。
爬虫学习总结:
- 爬虫第一步:确定需求,今天爬虫的目的是什么。-
- 爬虫第二步:导入爬虫所需的库 import requests import re import time
- 爬虫第三步:确认爬取所需的url 和请求头 url=‘http://www.爬取的网址/’ headers=={‘User-Agent’:’ 自己的user-agent '}
- 爬虫第四步:requests 去获得网页数据 res=requests.get(headers=headers,url=url)
- 爬虫第五步:解析网页数据,得到自己想要的部分。
- 爬虫第六步:将获得的数据存储
- 一点想法: 看了好多人的爬虫视频,也看了相关书籍,感觉自己目前最大的问题就是数据的解析部分,总是会出问题,也没想着爬取多难的数据,只是觉得,能够以下子从网页上爬取到很多东西,比如图片,一下子全部存储下来,真的很酷,希望在复习中学习。
转载地址:https://blog.csdn.net/xxy_yinji/article/details/118570609 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
路过,博主的博客真漂亮。。
[***.116.15.85]2024年04月02日 21时09分30秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
理解String.intern()和String类常量池疑难解析例子
2019-04-26
python flask打造前后端分离的口罩检测
2019-04-26
【大话Mysql面试】-MySQL基础知识
2019-04-26
【大话Mysql面试】-MySQL数据类型有哪些
2019-04-26
【大话Mysql面试】-MySQL数据引擎
2019-04-26
【大话Mysql面试】-常见SQL语句书写
2019-04-26
【大话Mysql面试】-SQL语句优化
2019-04-26
【大话Mysql面试】-Mysql事务以及隔离级别
2019-04-26
【大话Mysql面试】-Mysql索引
2019-04-26
【大话Mysql面试】-Mysql锁
2019-04-26
【大话Mysql面试】-Mysql常见面试题目
2019-04-26
08 【多线程高并发】Java线程间通信的方式
2019-04-26
【数据结构与算法】什么是跳表?通俗易懂来理解跳表
2019-04-26
【数据结构与算法】什么是图?图是什么?快速带你回顾图有关的知识点
2019-04-26
【数据结构与算法】什么是串?什么是KMP算法?字符串匹配是什么?
2019-04-26
【数据结构与算法】什么是布隆过滤器?如何防止缓存穿透的问题?
2019-04-26
【面试题目】Java设计模式你有哪些了解?说几个常用的。
2021-06-29