51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 1659|回复: 0
打印 上一主题 下一主题

[新知识] 《去哪儿网爬虫实战之pyspider框架入门》

[复制链接]

该用户从未签到

跳转到指定楼层
1#
发表于 2018-11-16 17:00:36 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

课程链接:http://www.atstudy.com/course/1170

课程介绍:

在这个大数据时代,尤其是人工智能浪潮兴起的时代,不论是工程领域还是研究领域,数据已经成为必不可少的一部分,而数据的获取很大程度上依赖于爬虫的爬取,所以爬虫也逐渐变得火爆起来。

pyspider是一款强大的网络爬虫框架,带有WebUI,脚本编辑器,任务监控器,项目管理器及结果处理器。同时支持多种数据库后端,多种消息队列,另外还支持JavaScript渲染页面的爬取,可以快速的实现页面的信息内容爬取,使用起来非常方便。

课程对pyspider的架构进行了说明。并讲解演示了安装、启用、建项,脚本开发、调度运行爬虫整一套的操作流程,以实例教程展示如何以一个web网站为目标,爬取其中指定的相关信息。

实例中以“去哪儿网”的攻略版块为目标。利用pyspider爬虫框架工具,爬取最新的热门攻略。包含200页近3000篇攻略文章的作者、游玩天数、游玩日期、推荐人数、正文、封面图链接等相关信息。


课程优势:

1.学习完课程,可以掌握pyspider框架的全部基本功能的使用

2.对一般反爬程度不高的普通新闻网站均可胜任


适合人群:

1.Python程序员

2.广大爬虫爱好者


分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏
回复

使用道具 举报

本版积分规则

关闭

站长推荐上一条 /1 下一条

小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

GMT+8, 2024-11-27 11:15 , Processed in 0.059777 second(s), 23 queries .

Powered by Discuz! X3.2

© 2001-2024 Comsenz Inc.

快速回复 返回顶部 返回列表