51Testing软件测试论坛

标题: 如何用爬虫爬取登录页内的数据 [打印本页]

作者: 草帽路飞UU 时间: 2018-1-12 11:38
标题: 如何用爬虫爬取登录页内的数据
如何用爬虫爬取登录页内的数据

作者: 姿态 时间: 2018-1-12 11:51
首先要设置UserAgent，其次要模拟登录，最后才能爬取，若不登录爬取，极其有可能爬取了一堆无效的数据。因为那些登录页后加载的数据，不少都是通过数据库引擎动态加载的。

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)