51Testing软件测试论坛

标题: 【干货】使用python和Selenium爬取新浪微博信息（下篇） [打印本页]

作者: 阿蛮的开心姐 时间: 2018-10-23 11:50
标题: 【干货】使用python和Selenium爬取新浪微博信息（下篇）
本帖最后由阿蛮的开心姐于 2018-10-24 15:08 编辑

相关作品链接：点击链接

概述：

本文主要内容是使用python+selenium 爬取微博的热点话题以及评论信息。注意：该方法爬虫的效率低，是傻瓜式的爬虫，不能并行执行。该方法的优点在于采取分析DOM树结构分析网页源码并进行信息爬取。

1. 登陆部分核心代码及对应DOM树结构分析

#调用Firefox浏览器

driver = webdriver.Firefox()

driver.get("http://login.weibo.cn/login/")

#用户名

elem_user = driver.find_element_by_name("mobile")

elem_user.send_keys(username)

#密码 name=password_6785

elem_pwd = driver.find_element_by_xpath("/html/body/div[2]/form/div/input[2]")

elem_pwd.send_keys(password)

#记住登录状态

elem_rem = driver.find_element_by_name("remember")

elem_rem.click()

#重点:暂停时间输入验证码(http://login.weibo.cn/login/ 手机端需要)

time.sleep(20)

#点击submit按钮登陆方式或输入回车键登陆方式

elem_sub = driver.find_element_by_name("submit")

elem_sub.click()

elem_pwd.send_keys(Keys.RETURN)

[attach]119028[/attach]

PS：在这里我们选择使用移动端进行爬取，这是因为我们在使用客户端登陆爬取微博评论信息的时候，后台都是通过 JavaScript动态加载的，需要手动点击按钮才能进行加载，而且在获取评论节点或使用正则表达式爬取评论的 HTML 源码时候都是空值。而且客户端和移动端两者内容基本上都是一样的，区别在于图片较小，关注表粉丝表只能显示20页。但是移动端的数据更加简洁。所以我们采取移动端进行爬取。

2. 跳转页面，大多数网站的常用方法，都是分析URL的&构成进行的，微博也是是这样的：

http://weibo.cn/search/mblog?hideSearchFrame=&keyword=欢乐颂&page=2

这里的搜索关键字"欢乐颂"，只要修改 page 页面就可以了。

但是其中"欢乐颂"中文字符转换为URL编码时很容易报错，python使用中文转换url编码方法：urllib.quote(key)。

但是我们这次使用的是另一种方法，首先获取下一页的URL，再进行driver.get(url)访问，循环N从2到10。

#获取下页

url_get = driver.find_element_by_xpath("//div[@id='pagelist']/form/div/a")

url = url_get.get_attribute("href")

driver.get(url)

#评论URL

comment = driver.find_elements_by_xpath("//a[@class='cc']")

#微博内容需过滤其它class=c

content = driver.find_elements_by_xpath("//div[@class='c']")

3. 重点获取URL队列依次爬取评论

因为微博是需要模拟登陆，所以我们可以再获取微博内容的同时获取评论的URL。但是因为它在循环中的 driver 还在使用，所以使用的浏览器 driver 不能同时访问评论信息。也就是我们的find_elements_by_xpath可以获取多个值，但是需要再开一个driver2。

常用的爬虫通常都会有URL 队列的概念，会把爬取的评论 URL 存储在一个队列或者是数组中。该程序循环先N从2到10，爬取10页的微博信息及评论URL，再依次爬取评论信息，如果获得了URL，也能爬取微博内容的。

#方位评论URL并进行爬取

print u'\n\n评论'

infocomment = codecs.open("SinaWeibo_Info_best_2.txt", 'w', 'utf-8')

for url in all_comment_url:

print url

driver.get(url)

#driver.refresh()

time.sleep(2)

infocomment.write(url+'\r\n')

test = driver.find_elements_by_class_name('c')

print len(test)

k = 0

while k<len(test):

print test[k].text

infocomment.write(test[k].text + '\r\n')

k = k + 1

infocomment.write('\r\n')

infocomment.close()

4.在爬取过程中可能会遇到错误：

Error: Message: Element not found in the cache - perhaps the page has changed since it was looked up

参考：http://www.51testing.com/html/21/n-862721-2.html

会出现这种异常是因为：在cache中找不到元素，在元素被找到之后页面变换了。这就是说，当页面发生跳转，存在cache中的关于这个页面的元素也被清空了。这种情况driver.get(url)访问评论时显示太快，没有从加载页面中获取元素。可以使用time.sleep(2)显示2秒这种方法来解决。

5. 运行结果
运行结果两个文件，一个是微博内容评论对应的URL，一个是爬取URL中的评论信息。

[attach]119029[/attach]

[attach]119030[/attach]

作者: 阿蛮的开心姐 时间: 2018-10-24 16:45
有没有对爬虫感兴趣的人呢

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)