51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

查看: 1412|回复: 5

scrapy爬虫框架简单实例

[复制链接]

该用户从未签到

发表于 2019-6-11 11:49:28 | 显示全部楼层 |阅读模式
本帖最后由 悠悠小仙仙 于 2019-6-11 14:41 编辑

声明:初学scrapy,总结学习内容。

目录

一、安装scrapy

二、创建工程

三、编写代码

3.1 item文件编写

3.1 spider文件编写

3.2 pipeline文件编写

3.3 setting文件修改

四、测试

一、安装scrapy
pip install scrapy
二、创建工程
scrapy startproject mySpider                     #创建scrapy工程
cd mySpider                                            #进入工程目录
scrapy genspider itcast "www.itcast.cn"      #创建爬虫(spider名不能与project名相同)
三、编写代码
3.1 item文件编写
items用于存储字段的定义。即爬取的内容存与item类中。

3.1 spider文件编写

3.2 pipeline文件编写
pipeline文件用于存储到文件中。

3.3 setting文件修改
其他配置暂且不用修改,只修改pipeline配置。

四、测试
scrapy crawl itcast                        #运行爬虫


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?(注-册)加入51Testing

x
回复

使用道具 举报

本版积分规则

关闭

站长推荐上一条 /1 下一条

小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

GMT+8, 2024-3-29 01:04 , Processed in 0.063712 second(s), 24 queries .

Powered by Discuz! X3.2

© 2001-2024 Comsenz Inc.

快速回复 返回顶部 返回列表