Python网络爬虫爬取搜狗关键词首页
发布日期:2022-09-27 12:06:13 浏览次数:2 分类:技术文章

本文共 889 字,大约阅读时间需要 2 分钟。

#!/usr/bin/env python# -*— coding:utf-8 -*-import requests# UA:User-Agent(请求载体的身份标识)# UA检测:门户网站的服务器会检测对应身份的载体身份标识,如果检测到请求的载体身份标识为某一款浏览器# 说明该请求是一个正常的请求。但是,如果检测到请求的载体的身份标识不是基于某一浏览器的,则表示该# 请求为不正常请求(爬虫),则服务器端就很可能拒绝该次请求# UA伪装:让爬虫对应的请求载体身份标识伪装成某一款浏览器if __name__ == "__main__":    # UA伪装:将对应的User-Agent封装到一个字典中    headers = {        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '                      'Chrome/101.0.4951.41 Safari/537.36 '    }    url = 'https://www.sogou.com/web'    # 处理url携带的参数:封装到字典中    kw = input('enter a word:')    param = {        'query': kw    }    # 对指定的url发起请求对应的url是携带参数的,并且请求过程中处理了参数    response = requests.get(url=url, params=param, headers=headers)    page_text = response.text    fileName = kw + '.html'    with open(fileName, 'w', encoding='utf-8') as fp:        fp.write(page_text)    print(fileName, '保存成功!!!')

转载地址:https://blog.csdn.net/qq_42384665/article/details/124972059 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:Python网络爬虫第一课----Python网络爬虫基础《http和https协议》
下一篇:python网络爬虫模块

发表评论

最新留言

表示我来过!
[***.240.166.169]2024年04月17日 14时14分44秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章