设为首页收藏本站

开启辅助访问软件测试门户软件测试培训软件测试论坛测试解决方案文章资料精选软件测试博客软件测试招聘

51Testing软件测试论坛 »软件测试论坛 › [管理工具] › [自动化测试工具及框架] › 如何用爬虫爬取登录页内的数据

发新帖

查看: 1314|回复: 1

上一主题

下一主题

如何用爬虫爬取登录页内的数据

该用户从未签到

电梯直达

跳转到指定楼层

1^#

发表于 2018-1-12 11:38:00 | 只看该作者回帖奖励

回帖奖励

|正序浏览 |阅读模式

如何用爬虫爬取登录页内的数据

分享到: QQ好友和群 QQ空间 腾讯微博 腾讯朋友

【喜讯】51微信互动平台签到赚积点上线了

回复

使用道具举报

该用户从未签到

2^#

发表于 2018-1-12 11:51:50 | 只看该作者

首先要设置UserAgent，其次要模拟登录，最后才能爬取，若不登录爬取，极其有可能爬取了一堆无效的数据。因为那些登录页后加载的数据，不少都是通过数据库引擎动态加载的。

回复支持反对

使用道具举报

发新帖

站长推荐 /1

小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 ) 关于我们

GMT+8, 2024-11-23 02:50 , Processed in 0.062757 second(s), 23 queries .

Powered by Discuz! X3.2

© 2001-2024 Comsenz Inc.

快速回复 返回顶部 返回列表