51Testing软件测试论坛

标题: scrapy爬虫框架简单实例 [打印本页]
作者: 八戒你干嘛    时间: 2019-6-18 09:18
标题: scrapy爬虫框架简单实例
本帖最后由 八戒你干嘛 于 2019-6-18 09:22 编辑

初学scrapy，总结学习内容。

一、安装scrapy
  1. pip install scrapy
复制代码
二、创建工程
  1. scrapy startproject mySpider                 #创建scrapy工程
  2. cd mySpider                                  #进入工程目录
  3. scrapy genspider itcast "www.itcast.cn"      #创建爬虫（spider名不能与project名相同）
复制代码
三、编写代码 3.1 item文件编写

items用于存储字段的定义。即爬取的内容存与item类中。

[attach]125155[/attach]

3.1 spider文件编写[attach]125156[/attach]

3.2 pipeline文件编写

pipeline文件用于存储到文件中。

[attach]125157[/attach]

3.3 setting文件修改

其他配置暂且不用修改，只修改pipeline配置。

[attach]125158[/attach]

四、测试
  1. scrapy crawl itcast                        #运行爬虫
复制代码






作者: chenliquan    时间: 2019-11-25 17:09
赞赞



欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/) Powered by Discuz! X3.2