Python爬虫使用Selenium控制浏览器进行搜索操作

lsekfe

首先需要安装selenium：
　　第一种：可以自己下载selenium tar.gz包，下载到python目录下：解压到当前文件夹。
在cmd命令行：进入到解压包中，进行安装。安装完成之后，如果是eclipse中,请 clean project之后，pydev才能识别新安装的包。

　第二种： 可以直接使用在命令窗口： pip install selenium进行安装。
　　使用selenium模拟浏览器登录时，需要下载对应浏览器的内核：
　　将chromedriver,放在chorme.exe启动的相同位置。

python代码：

1. # -*- coding:utf-8 -*-
   
2. 　　from selenium import webdriver
   
3. 　　import os
   
4. 　　#引入chromedriver.exe
   
5. 　　chromedriver="C:/Program Files (x86)/Google/Chrome/Application/chromedriver.exe"
   
6. 　　os.environ["webdriver.chrome.driver"] = chromedriver
   
7. 　　browser = webdriver.Chrome(chromedriver)
   
8. 　　#设置浏览器需要打开的url
   
9. 　　url = "www.baidu.com/"
   
10. 　　browser.get(url)
    
11. 　　#在百度搜索框中输入关键字"python"
    
12. 　　browser.find_element_by_id("kw").send_keys("python")
    
13. 　　#单击搜索按钮
    
14. 　　browser.find_element_by_id("su").click()
    
15. 　　#关闭浏览器
    
16. 　　#browser.quit()

复制代码

以上是使用selenium进行模拟浏览器登录，需要打开浏览器，其实可以增加无头参数，不启动浏览器进行爬取操作。

applepen

我经常这么干