51Testing软件测试论坛

标题: 想爬取一整个动态网站，想知道思路 [打印本页]

作者: 测试积点老人 时间: 2021-10-18 10:29
标题: 想爬取一整个动态网站，想知道思路
爬取的网站类似于BD文库以及B站这一类
1 想知道是找接口爬比较好，还是用selenium爬比较好。
2 大致思路是怎样的，例如是按分类区去爬，还是其他方式。

作者: 海海豚 时间: 2021-10-19 09:17
看你想要什么信息，然后根据信息所在位置，看看怎么样爬比较好

作者: qqq911 时间: 2021-10-19 10:54
接口估计不好搞

作者: jingzizx 时间: 2021-10-19 15:46
看看有普遍的方法，先明确目标

作者: litingting0214 时间: 2021-10-19 16:12
一般用selenium爬吧

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)