python爬取豆瓣图书top250_「豆瓣读书250」爬取豆瓣TOP250书单 - seo实验室
发布日期:2021-10-31 18:34:31 浏览次数:21 分类:技术文章

本文共 2197 字,大约阅读时间需要 7 分钟。

豆瓣读书250

小白学习爬虫

爬取豆瓣TOP250的书,正好本人也喜欢看书

思路分析:

https://book.douban.com/top250这是TOP250第一页的链接

https://book.douban.com/top250?start=25第二页的链接

https://book.douban.com/top250?start=50第三页的链接

将第一页链接改为https://book.douban.com/top250?start=0也是可以访问的,每一页数字加25,构建10页网址

代码如下:

urls = ['https://book.douban.com/top250?start={}'.format(str(i))

for i in range(0,250,25)]

获取的书单信息包括:书名,详细链接,作者,出版社,出版时间,价格,评分和简评

详细代码如下:

import requests

from lxml import etree

import csv

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'

}

f = open('C:/Users/qinhan/Desktop/doubanbook.scv','wt',newline='',encoding='utf-8')

writer = csv.writer(f)

writer.writerow(('name','url','author','publisher','data','price','rate','comment'))#创建csv

urls = ['https://book.douban.com/top250?start={}'.format(str(i))

for i in range(0,250,25)]

for url in urls:

html = requests.get(url,headers = headers)#加入请求头

selector = etree.HTML(html.text)

infos = selector.xpath('//tr[@class="item"]') #取大标签(1)

for info in infos:

name = info.xpath('td/p/a/@title')[0]

url = info.xpath('td/p/a/@href')[0]

book_info = info.xpath('td/p/text()')[0] #/text()获取标签中文字信息

author = book_info.split('/')[0]

publisher = book_info.split('/')[-3]

data = book_info.split('/')[-2]

price = book_info.split('/')[-1] #(2)

rate = info.xpath('td/p/span[2]/text()')[0]

comments = info.xpath('td/p/span/text()')

comment = comments[0] if len(comments) != 0 else "空"

writer.writerow((name,url,author,publisher,data,price,rate,comment))

f.close()

(1)大标签

20180927112649889.png

先抓大后抓小,找到循环点,这里循环点即为:

//tr[@class="item         #选取所有tr元素,且这些元素拥有值为item的class属性

(2)最初想的是0 1 2 3

author = book_info.split('/')[0]

publisher = book_info.split('/')[1]

data = book_info.split('/')[2]

price = book_info.split('/')[3]

结果保存下来如图:

20180927114059534.png

这里犯了想当然的错误,不是所有的都是按作者,出版社,出版时间和价格排列的,作者一栏还有翻译作者如图:

20180927114257431.png

故1,2,3,4肯定有错,而1,-3,-2,-1则没问题

相关阅读

背景:

近期刚看完电视剧《白鹿原》。”自信平生无愧事,死后方敢对青天“的白嘉轩虽显执拗,但仍令人倾服,朱先生提到的“凡物之骤为之

豆瓣、知乎、贴吧用户心理,你有什么样的理解?在分析心理之前先说说产品体验。对于豆瓣:文青的聚集地,一般我平时看电影和买书之前我会

2)兴趣社交的鼻祖,内容让用户产生链接作为一个内容社区 App,留存是非常重要的。毕竟,你不留,我不留,豆瓣评分没法有......而社交关系,恰

一谈到世界上最恐怖的鬼片,一些朋友只能列出传的最为广泛的午夜凶铃与咒怨,其实世界上最恐怖的鬼片有很多,数也数不过来。都知道泰国

谍战剧是很受欢迎的一种电视剧类型,谍战剧尤其是受到中老年人的喜爱,谍战剧以其独特的悬疑和充满紧张刺激扣人心弦的剧情,吸引着观众

转载地址:https://blog.csdn.net/weixin_40006779/article/details/110279117 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:python分析鸢尾花数据_iris鸢尾花数据集最全数据分析
下一篇:python列表生成器语法_Python语法 - 生成器

发表评论

最新留言

路过按个爪印,很不错,赞一个!
[***.219.124.196]2024年03月21日 04时02分43秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章