scrapy-1 安装scrapy

My_JIE

scrapy 2.2.0版本     环境 python2.7

可以使用pip install scrapy安装，建议在Ubuntu上安装。

Ubuntu 安装方法

1. sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7；
   
2. echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list；
   
3. apt-get install scrapy  ----> 运行这个命令可安装，注意会让你选择版本
   
4. sudo apt-get update && sudo apt-get install scrapy-VERSION   升级scrapy

复制代码

安装好scrapy后我们可以开始爬虫之旅

创建爬虫项目

scrapy startproject boge   创建一个叫boge的爬虫项目

我们来看看目录树

└── boge
    ├── boge
    │   ├── __init__.py
    │   ├── __init__.pyc
    │   ├── items.py
    │   ├── pipelines.py
    │   ├── settings.py
    │   ├── settings.pyc
    │   └── spiders
    │       ├── __init__.py
    │       ├── __init__.pyc
    │       ├── pic.py
    │       └── pic.pyc
    └── scrapy.cfg

到这里我们就创建好了一个爬虫项目。

在WINDOWS上记得要安装VS，不然各种莫名其妙的错误。

在CENTOS上安装记得python版本一定要是2.7的，5.X是2.4版本，6.X是2.6版本。切记。

Miss_love

支持分享