scrapy爬虫框架简单实例
本帖最后由 悠悠小仙仙 于 2019-6-11 14:41 编辑声明：初学scrapy，总结学习内容。
目录
一、安装scrapy
二、创建工程
三、编写代码
3.1 item文件编写
3.1 spider文件编写
3.2 pipeline文件编写
3.3 setting文件修改
四、测试
一、安装scrapy
pip install scrapy
二、创建工程
scrapy startproject mySpider #创建scrapy工程
cd mySpider #进入工程目录
scrapy genspider itcast "www.itcast.cn" #创建爬虫（spider名不能与project名相同）
三、编写代码
3.1 item文件编写
items用于存储字段的定义。即爬取的内容存与item类中。
3.1 spider文件编写
3.2 pipeline文件编写
pipeline文件用于存储到文件中。
3.3 setting文件修改
其他配置暂且不用修改，只修改pipeline配置。
四、测试
scrapy crawl itcast #运行爬虫
支持
页:
[1]
