三十七、细说Scrapy中的settings设置
发布日期:2021-07-01 02:12:46 浏览次数:2 分类:技术文章

本文共 321 字,大约阅读时间需要 1 分钟。

@Author:Runsen

文章目录

爬虫项目结构

建立完爬虫项目之后,都会有如下的结构:

其中,settings.py文件是存放配置文件用的,初始化的settings文件,只有以下四个变量是默认定义好的,其他都是注释掉的。现在从上往下,看下每个变量的含义。

Scrapy默认设置

scrapy对某些内部组件进行了默认设置,这些组件通常情况下是不能被修改的,但是我们在自定义了某些组件以后,比如我们设置了自定义的middleware中间件,需要按照一定的顺序把他添加到组件之中,这个时候需要参考scrapy的默认设置,因为这个顺序会影响scrapy的执行,下面列出了scrapy的默认基础设置

# settings.py中大部分配置的注释:

转载地址:https://maoli.blog.csdn.net/article/details/89323787 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:三十八、Scrapy 下载中间件Middleware
下一篇:概率论

发表评论

最新留言

能坚持,总会有不一样的收获!
[***.219.124.196]2024年04月24日 02时07分32秒