Python网络爬虫爬取搜狗关键词首页
发布日期:2022-09-27 12:06:13
浏览次数:2
分类:技术文章
本文共 889 字,大约阅读时间需要 2 分钟。
#!/usr/bin/env python# -*— coding:utf-8 -*-import requests# UA:User-Agent(请求载体的身份标识)# UA检测:门户网站的服务器会检测对应身份的载体身份标识,如果检测到请求的载体身份标识为某一款浏览器# 说明该请求是一个正常的请求。但是,如果检测到请求的载体的身份标识不是基于某一浏览器的,则表示该# 请求为不正常请求(爬虫),则服务器端就很可能拒绝该次请求# UA伪装:让爬虫对应的请求载体身份标识伪装成某一款浏览器if __name__ == "__main__": # UA伪装:将对应的User-Agent封装到一个字典中 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/101.0.4951.41 Safari/537.36 ' } url = 'https://www.sogou.com/web' # 处理url携带的参数:封装到字典中 kw = input('enter a word:') param = { 'query': kw } # 对指定的url发起请求对应的url是携带参数的,并且请求过程中处理了参数 response = requests.get(url=url, params=param, headers=headers) page_text = response.text fileName = kw + '.html' with open(fileName, 'w', encoding='utf-8') as fp: fp.write(page_text) print(fileName, '保存成功!!!')
转载地址:https://blog.csdn.net/qq_42384665/article/details/124972059 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
表示我来过!
[***.240.166.169]2024年04月17日 14时14分44秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
【家务】盘点小孩玩具零件缺失情况
2019-04-26
开发中文 API 的一些策略
2019-04-26
从日本编程书籍《我的第一本编程书》中译版看中文例程如何扬长避短——标识符(一)
2019-04-26
中文命名标识符如何区分类型和变量
2019-04-26
编程术语成系统中文化的意义
2019-04-26
草蟒 Python 中文 API 与 IDE 支持尝鲜
2019-04-26
一种改进中文 API 可读性的方法:参数不限于在末尾
2019-04-26
程序员面试时用中文命名写白板代码的好处
2019-04-26
1992年日本对母语编程的可读性比较实验
2019-04-26
[转] 用python编写控制网络设备的自动化脚本3:启动
2019-04-26
扩展Python控制台实现中文反馈信息
2019-04-26
扩展Python控制台实现中文反馈信息之二-正则替换
2019-04-26
在PyPI测试平台发布Python包
2019-04-26
中文代码示例之Electron桌面应用开发初体验
2019-04-26
中文代码示例之NW.js桌面应用开发初体验
2019-04-26
为《 两周自制脚本语言 》添加中文测试代码
2019-04-26
将《 两周自制脚本语言 》测试中使用的接口中文化
2019-04-26
5分钟入门LingaScript-尝鲜中文版TypeScript
2019-04-26
重拾《 两周自制脚本语言 》- 支持中文标识符
2019-04-26