设为首页收藏本站
开启辅助访问 软件测试门户软件测试培训软件测试论坛测试解决方案文章资料精选软件测试博客软件测试招聘

51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步，快速开始

微信登录，快人一步

手机号码，快捷登录

51Testing软件测试论坛 »软件测试论坛 › [管理工具] › [自动化测试工具及框架] › 如何用爬虫爬取登录页内的数据
返回列表 发新帖
查看: 1307|回复: 1
打印 上一主题 下一主题

如何用爬虫爬取登录页内的数据

[复制链接]
草帽路飞UU

该用户从未签到
跳转到指定楼层
1#
发表于 2018-1-12 11:38:00 | 只看该作者 回帖奖励 |正序浏览 |阅读模式
如何用爬虫爬取登录页内的数据
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
微信
收藏收藏
【你来问我来答第140期】：敏捷测试的奥秘与挑战：问答专场！
回复

使用道具 举报

姿态

该用户从未签到
2#
发表于 2018-1-12 11:51:50 | 只看该作者
首先要设置UserAgent，其次要模拟登录，最后才能爬取，若不登录爬取，极其有可能爬取了一堆无效的数据。因为那些登录页后加载的数据，不少都是通过数据库引擎动态加载的。
回复 支持 反对

使用道具 举报

返回列表 发新帖

本版积分规则

关闭

站长推荐上一条 /1 下一条

小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 )  关于我们

GMT+8, 2024-11-13 15:47 , Processed in 0.062580 second(s), 23 queries .

Powered by Discuz! X3.2

© 2001-2024 Comsenz Inc.

快速回复 返回顶部 返回列表