【干货】使用python和Selenium爬取新浪微博信息（下篇）
本帖最后由 阿蛮的开心姐 于 2018-10-24 15:08 编辑相关作品链接：点击链接概述：本文主要内容是使用python+selenium 爬取微博的热点话题以及评论信息。注意：该方法爬虫的效率低，是傻瓜式的爬虫，不能并行执行。该方法的优点在于采取分析DOM树结构分析网页源码并进行信息爬取。
1. 登陆部分核心代码及对应DOM树结构分析#调用Firefox浏览器 driver =webdriver.Firefox()driver.get("http://login.weibo.cn/login/")#用户名elem_user = driver.find_element_by_name("mobile") elem_user.send_keys(username) #密码 name=password_6785elem_pwd = driver.find_element_by_xpath("/html/body/div/form/div/input")elem_pwd.send_keys(password) #记住登录状态elem_rem = driver.find_element_by_name("remember")elem_rem.click() #重点:暂停时间输入验证码(http://login.weibo.cn/login/ 手机端需要)time.sleep(20)#点击submit按钮登陆方式或输入回车键登陆方式elem_sub = driver.find_element_by_name("submit")elem_sub.click() elem_pwd.send_keys(Keys.RETURN)PS：在这里我们选择使用移动端进行爬取，这是因为我们在使用客户端登陆爬取微博评论信息的时候，后台都是通过 JavaScript动态加载的，需要手动点击按钮才能进行加载，而且在获取评论节点或使用正则表达式爬取评论的 HTML 源码时候都是空值。而且客户端和移动端两者内容基本上都是一样的，区别在于图片较小，关注表粉丝表只能显示20页。但是移动端的数据更加简洁。所以我们采取移动端进行爬取。
2. 跳转页面，大多数网站的常用方法，都是分析URL的&构成进行的，微博也是是这样的：http://weibo.cn/search/mblog?hideSearchFrame=&keyword=欢乐颂&page=2这里的搜索关键字"欢乐颂"，只要修改 page 页面就可以了。但是其中"欢乐颂"中文字符转换为URL编码时很容易报错，python使用中文转换url编码方法：urllib.quote(key)。但是我们这次使用的是另一种方法，首先获取下一页的URL，再进行driver.get(url)访问，循环N从2到10。#获取下页url_get = driver.find_element_by_xpath("//div[@id='pagelist']/form/div/a")url = url_get.get_attribute("href")driver.get(url)#评论URLcomment = driver.find_elements_by_xpath("//a[@class='cc']")#微博内容 需过滤其它class=c content = driver.find_elements_by_xpath("//div[@class='c']")
3. 重点获取URL队列依次爬取评论因为微博是需要模拟登陆，所以我们可以再获取微博内容的同时获取评论的URL。但是因为它在循环中的 driver 还在使用，所以使用的浏览器 driver 不能同时访问评论信息。也就是我们的find_elements_by_xpath可以获取多个值，但是需要再开一个driver2。常用的爬虫通常都会有URL 队列的概念，会把爬取的评论 URL 存储在一个队列或者是数组中。该程序循环先N从2到10，爬取10页的微博信息及评论URL，再依次爬取评论信息，如果获得了URL，也能爬取微博内容的。#方位评论URL并进行爬取print u'\n\n评论'infocomment = codecs.open("SinaWeibo_Info_best_2.txt", 'w', 'utf-8')for url in all_comment_url: print url driver.get(url) #driver.refresh() time.sleep(2) infocomment.write(url+'\r\n') test = driver.find_elements_by_class_name('c') print len(test) k = 0 while k<len(test): print test.text infocomment.write(test.text + '\r\n') k = k + 1 infocomment.write('\r\n')infocomment.close()
4.在爬取过程中可能会遇到错误：Error:Message: Element not found in the cache - perhaps the page has changed since it was looked up参考：http://www.51testing.com/html/21/n-862721-2.html会出现这种异常是因为：在cache中找不到元素，在元素被找到之后页面变换了。这就是说，当页面发生跳转，存在cache中的关于这个页面的元素也被清空了。这种情况driver.get(url)访问评论时显示太快，没有从加载页面中获取元素。可以使用time.sleep(2)显示2秒这种方法来解决。
5. 运行结果
运行结果两个文件，一个是微博内容评论对应的URL，一个是爬取URL中的评论信息。
有没有对爬虫感兴趣的人呢
页:
[1]
