51Testing软件测试论坛

标题: scrapy爬虫框架简单实例 [打印本页]

作者: 悠悠小仙仙 时间: 2019-6-11 11:49
标题: scrapy爬虫框架简单实例
本帖最后由悠悠小仙仙于 2019-6-11 14:41 编辑

声明：初学scrapy，总结学习内容。

目录

一、安装scrapy

二、创建工程

三、编写代码

3.1 item文件编写

3.1 spider文件编写

3.2 pipeline文件编写

3.3 setting文件修改

四、测试

一、安装scrapy
pip install scrapy
二、创建工程
scrapy startproject mySpider                   #创建scrapy工程
cd mySpider                                           #进入工程目录
scrapy genspider itcast "www.itcast.cn"    #创建爬虫（spider名不能与project名相同）
三、编写代码
3.1 item文件编写
items用于存储字段的定义。即爬取的内容存与item类中。
[attach]124913[/attach]
3.1 spider文件编写
[attach]124914[/attach]
3.2 pipeline文件编写
pipeline文件用于存储到文件中。
[attach]124915[/attach]
3.3 setting文件修改
其他配置暂且不用修改，只修改pipeline配置。
[attach]124916[/attach]
四、测试
scrapy crawl itcast                      #运行爬虫

作者: Miss_love 时间: 2020-12-30 16:02
支持

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)