scrapy爬虫框架简单实例

悠悠小仙仙

声明：初学scrapy，总结学习内容。

目录

一、安装scrapy

二、创建工程

三、编写代码

3.1 item文件编写

3.1 spider文件编写

3.2 pipeline文件编写

3.3 setting文件修改

四、测试

一、安装scrapy
pip install scrapy
二、创建工程
scrapy startproject mySpider                     #创建scrapy工程
cd mySpider                                            #进入工程目录
scrapy genspider itcast "www.itcast.cn"      #创建爬虫（spider名不能与project名相同）
三、编写代码
3.1 item文件编写
items用于存储字段的定义。即爬取的内容存与item类中。

3.1 spider文件编写

3.2 pipeline文件编写
pipeline文件用于存储到文件中。

3.3 setting文件修改
其他配置暂且不用修改，只修改pipeline配置。

四、测试
scrapy crawl itcast                        #运行爬虫

Miss_love

支持