51Testing软件测试论坛

标题: scrapy-1 安装scrapy [打印本页]

作者: My_JIE 时间: 2019-2-21 17:00
标题: scrapy-1 安装scrapy

scrapy 2.2.0版本环境 python2.7

可以使用pip install scrapy安装，建议在Ubuntu上安装。

Ubuntu 安装方法

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7；
echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list；
apt-get install scrapy ----> 运行这个命令可安装，注意会让你选择版本
sudo apt-get update && sudo apt-get install scrapy-VERSION 升级scrapy

复制代码

安装好scrapy后我们可以开始爬虫之旅

创建爬虫项目

scrapy startproject boge 创建一个叫boge的爬虫项目

我们来看看目录树

└── boge
├── boge
│ ├── __init__.py
│ ├── __init__.pyc
│ ├── items.py
│ ├── pipelines.py
│ ├── settings.py
│ ├── settings.pyc
│ └── spiders
│    ├── __init__.py
│    ├── __init__.pyc
│    ├── pic.py
│    └── pic.pyc
└── scrapy.cfg

到这里我们就创建好了一个爬虫项目。

在WINDOWS上记得要安装VS，不然各种莫名其妙的错误。

在CENTOS上安装记得python版本一定要是2.7的，5.X是2.4版本，6.X是2.6版本。切记。

作者: Miss_love 时间: 2020-12-31 09:51
支持分享

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)