本文共 1273 字，大约阅读时间需要 4 分钟。

随着Python爬虫学习的深入，开始接触Scrapy框架

记录下两个参考教程：

• 官网教程：
• 知乎：

官网教程可以说是比较权威比较全的，但是有一部分细节存没有交代清楚，例如第一个Scrapy框架项目的建立，这个时候我们可以参考第二个知乎的教程，主要还是以官网教程为主滴。

首先，按照官网的Scrapy安装教程安装Scrapy

pip install Scrapy

注意一下黄色字体的说明，大致意思就是你的pip版本太低需要更新。

更新用cmd进行，在cmd里面运行python，输入以下语句即可完成更新：

python -m pip install --upgrade pip

在更新完pip后我们就可以按照Scrapy了。

如果lxml还没安装的童鞋，可以通过pip完成安装，安装语句：

pip install lxml

Scrapy项目的建立

安装好以上环境、包之后，打开cmd，输入scrapy startproject liaoxuefeng，出现以下提示后，就说明你已经成功创建一个scrapy的新项目：

该命令将会创建包含下列内容的 tutorial 目录:

tutorial/    scrapy.cfg    tutorial/        __init__.py        items.py        pipelines.py        settings.py        spiders/            __init__.py            ...

这些文件分别是:

• scrapy.cfg: 项目的配置文件
• tutorial/: 该项目的python模块。之后您将在此加入代码。
• tutorial/items.py: 项目中的item文件.
• tutorial/pipelines.py: 项目中的pipelines文件.
• tutorial/settings.py: 项目的设置文件.
• tutorial/spiders/: 放置spider代码的目录.

CMD部分

输入：“cd..”返回更目录

输入：“f:”进入f盘

输入：“cd”并将test文件夹拖入cmd中，回车，进入test文件夹，然后就可以执行我们的“scrapy startproject liaoxuefeng”语句了

备注：以管理员身份进入cmd是不允许将文件（夹）拖入cmd中的，这个时候就比较麻烦需要手动输入文件地址了，一般我是不会以管理员身份进入cmd。

转载地址：https://mtyjkh.blog.csdn.net/article/details/80304102 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！