知识点讲解一:代理ip中的proxies
发布日期:2021-07-01 04:21:24
浏览次数:13
分类:技术文章
本文共 798 字,大约阅读时间需要 2 分钟。
proxise
proxies的格式是一个字典:{‘http’: ‘‘}
有http与https两种,在爬取不同网站时我们需要选用不同类型的网站时选用不同的proxise,在不知道网站类型时可以将两种类型均放进去,requests会自动选择合适的
proxies = { "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080"}
- http型:{‘http’: ‘‘}
- https型:{‘https’: ‘‘}
如果你是这样的
proxies = { "http": "http://10.10.1.10:3128"}
而你要爬的是https型网站
requests请求可以成功,但是请求使用的将会是你真实的ip地址如果你是这样的
proxies = { "https": "http://10.10.1.10:1080"}
而你要爬的是http型网站
你的requests也可以成功,但是使用的还是你真实的ip地址只有当你的proxies类型与你想访问的网站类型相同,代理ip才会起作用
可以用以下代码检验你的代理ip是否成功启用import requestsproxies = { "https": "http://10.10.1.10:1080"}req = requests.get('http://icanhazip.com/', proxies=proxies)print(req.content)
访问 可以得到你访问时的ip地址
判断代理是否有效的方法
import telnetlibtry: telnetlib.Telnet('10.10.1.10', port='1080', timeout=3)except: print('ip无效!')else: print('ip有效!')
转载地址:https://mtyjkh.blog.csdn.net/article/details/81675871 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
留言是一种美德,欢迎回访!
[***.207.175.100]2024年03月29日 17时05分49秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
【Leetcode刷题篇】leetcode236 二叉树的最近公共祖先
2019-04-26
【Leetcode刷题篇】leetcode230 二叉搜索树中第K小的元素
2019-04-26
【Leetcode刷题篇】leetcode173 二叉搜索树迭代器
2019-04-26
【Leetcode刷题篇】leetcode99 恢复二叉搜索树
2019-04-26
【Leetcode刷题篇】leetcode451根据字符出现频率排序
2019-04-26
【Leetcode刷题篇】leetcode703 数据流中的第k大元素
2019-04-26
【Leetcode刷题篇】leetcode378 有序矩阵中第K小的元素
2019-04-26
【Leetcode刷题篇】前K个高频元素
2019-04-26
【Leetcode刷题篇】leetcode373 查找和最小的K对数字
2019-04-26
【Leetcode刷题篇】leetcode367 有效的完全平方数
2019-04-26
【Leetcode刷题篇】剑指offer-数值的整数次方
2019-04-26
【Leetcode刷题篇】面试题01.06 字符串压缩
2019-04-26
【Leetcode刷题篇】leetcode443 压缩字符串
2019-04-26
【面试篇】数据结构-线性表
2019-04-26
【面试篇】数据结构-树形结构
2019-04-26
【面试篇】数据结构-哈希表
2019-04-26
【Leetcode刷题篇】leetcode88 合并两个有序数组
2019-04-26
【Leetcode刷题篇】剑指offer51 数组中的逆序对
2019-04-26
【Leetcode刷题篇】剑指offer55-平衡二叉树
2019-04-26
【Leetcode刷题篇】leetcode98 判断一棵树是否为二叉搜索树
2019-04-26