scrapy-1 安装scrapy
scrapy 2.2.0版本 环境 python2.7可以使用pip install scrapy安装，建议在Ubuntu上安装。Ubuntu 安装方法sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7；echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list；
apt-get install scrapy----> 运行这个命令可安装，注意会让你选择版本
sudo apt-get update && sudo apt-get install scrapy-VERSION 升级scrapy安装好scrapy后我们可以开始爬虫之旅
创建爬虫项目scrapy startproject boge 创建一个叫boge的爬虫项目我们来看看目录树└── boge
├── boge
│ ├── __init__.py
│ ├── __init__.pyc
│ ├── items.py
│ ├── pipelines.py
│ ├── settings.py
│ ├── settings.pyc
│ └── spiders
│ ├── __init__.py
│ ├── __init__.pyc
│ ├── pic.py
│ └── pic.pyc
└── scrapy.cfg
到这里我们就创建好了一个爬虫项目。在WINDOWS上记得要安装VS，不然各种莫名其妙的错误。在CENTOS上安装记得python版本一定要是2.7的，5.X是2.4版本，6.X是2.6版本。切记。
支持分享
页:
[1]
