测试积点老人 发表于 2021-10-18 10:29:33

想爬取一整个动态网站，想知道思路

爬取的网站类似于BD文库以及B站这一类
1 想知道是找接口爬比较好，还是用selenium爬比较好。
2 大致思路是怎样的，例如是按分类区去爬，还是其他方式。

海海豚 发表于 2021-10-19 09:17:03

看你想要什么信息，然后根据信息所在位置，看看怎么样爬比较好

qqq911 发表于 2021-10-19 10:54:26

接口估计不好搞

jingzizx 发表于 2021-10-19 15:46:34

看看有普遍的方法，先明确目标

litingting0214 发表于 2021-10-19 16:12:11

一般用selenium爬吧
页: [1]
查看完整版本: 想爬取一整个动态网站，想知道思路