Java爬虫实战第一篇:微博爬虫
发布日期:2021-06-29 19:25:53 浏览次数:4 分类:技术文章

本文共 535 字,大约阅读时间需要 1 分钟。

核心:1、有大量的微博uid 2、处理微博的反爬虫

一、开始准备工作

1、获取访问微博网页的cookie

谷歌浏览器访问:https://m.weibo.cn/按F12进入调试模式复制如图所示的数据,这就是我们需要的cookie了

 2、cookie拿到了,接下来就是写代码模仿浏览器访问内容了

/**     * 基于HttpClient 4.3的通用Get方法--微博Cookie     * @param url  提交的URL     * @return 提交响应     */    public static String get_byCookie(String url,String cookie) {        if(CheckUtil.checkNull(cookie)){            cookie = "SCF=AjGxj6fuG*****00174";//这里就是刚刚你获取的cookie,有很长        }        CloseableHttpClient client = HttpClients.createDefault();        String responseText = "";        Clos

转载地址:https://dada-superman.blog.csdn.net/article/details/91570539 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:为什么说Redis是单线程的以及Redis为什么这么快!
下一篇:Linux安装RabbitMQ完整版(单机上传安装部署)

发表评论

最新留言

逛到本站,mark一下
[***.202.152.39]2024年04月23日 18时13分15秒