51Testing软件测试论坛

标题: Python+selenium+firefox模拟登录微博并爬取数据 [打印本页]

作者: lsekfe 时间: 2021-9-14 10:12
标题: Python+selenium+firefox模拟登录微博并爬取数据
1：环境python3.5，最新 firefox，selenium-3.14.0.
　　本来准备用无界面的，但是感觉效果不好看出来所以先用有界面的浏览器来做。分几次来慢慢写。这节先配置好环境。
　　2：安装：
　　Python Selenium库的版本要对应浏览器的版本，不然可能会出现打不开浏览器，或者打开浏览器，打不开页面的情况。这个非常重要。
　　开始时：
　　我直接 pip install -i pypi.douba.com/simple selenium 。下载的版本不对。（太低了。）
　　最新版的应该是如下图的：
[attach]134378[/attach]
　切记一定要安装最新的这个版本：
　　Pip install selenium==3.14.0。
　　接下来就是下载驱动了：
[attach]134379[/attach]
最新的是这个。他要求的selenium版本要在3.11 之上。所以这里得尊重一下。开始我没注意到python 安装的selenium的版本。导致。访问页面一直打不开。
　　下载后，解压保存到一个目录中。我放在了python的安装目录下的Script目录下。因为这个目录我配到了环境变量中。
[attach]134380[/attach]
最后去火狐官网下载一个最新的浏览器。（安装过程中有选项，最好把自动升级最好关了）。
[attach]134381[/attach]
这些装完了，就可以使用了。
[attach]134382[/attach]
这里页面加载需要一些时间，为了保证能正常的加载上。我们然他睡十秒再执行。
　　最后完成：（先不要在意这些细节）
[attach]134383[/attach]

作者: c604507978 时间: 2021-9-14 10:16
感谢大佬分享

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)