本文共 550 字，大约阅读时间需要 1 分钟。

这是我Python培训的内容，使用Pyspider框架爬取Scrapy文档

@Author：xinlan

pyspider框架

一、pyspider框架介绍

1.简介

pyspider 是个强大的由python实现的爬虫系统。

• 纯python的
• 强大的webui，支持脚本编辑，任务监控，项目管理和结果查看
• 数据后台支持，MySQL，MongoDB,Reids,SQLite,Elasticsearch,PostgreSQL和SQLAlchemy
• 消息队列支持，RabbitMQ，Beanstalk，Redis以及Kombu
• 支持任务优先级，定时，失败重试等调度方案
• 分布式架构，抓取js页面
• 支持Python2和3

2.安装

pip install pyspider

ubuntu

如果使用ubuntu,请先运行sudo apt update 再运行sudo apt upgrade 更新

apt-get install python python-dev python-distribute python-pip \libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml \libssl-dev zlib1g-dev

删除wsgidav

转载地址：https://maoli.blog.csdn.net/article/details/105404281 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！