scrapy爬虫框架简单实例

八戒你干嘛

初学scrapy，总结学习内容。

一、安装scrapy

1. pip install scrapy

复制代码

二、创建工程

1. scrapy startproject mySpider                 #创建scrapy工程
   
2. cd mySpider                                  #进入工程目录
   
3. scrapy genspider itcast "www.itcast.cn"      #创建爬虫（spider名不能与project名相同）
   

复制代码

三、编写代码 3.1 item文件编写

items用于存储字段的定义。即爬取的内容存与item类中。

3.1 spider文件编写

3.2 pipeline文件编写

pipeline文件用于存储到文件中。

3.3 setting文件修改

其他配置暂且不用修改，只修改pipeline配置。

四、测试

1. scrapy crawl itcast                        #运行爬虫

复制代码

chenliquan

赞赞