51Testing软件测试论坛

标题: selenium怎么获取全部的粉丝和文章内容并且写进excel表？ [打印本页]

---

作者: 测试积点老人    时间: 2022-1-4 10:29
标题: selenium怎么获取全部的粉丝和文章内容并且写进excel表？
问题遇到的现象和发生背景
无法获取全部数据，不知道文章和粉丝之间的页面的数据怎么进行连接

1. from selenium import webdriver
   
2. import random
   
3. 
   
4. from selenium.webdriver.common.keys import Keys
   
5. import time
   
6. import re
   
7. 
   
8. 
   
9. # user_ = input('请输入账号:')
   
10. # password = input('请输入密码:')
    
11. url = "https://weibo.com/login.php"
    
12. dirver = webdriver.Chrome()
    
13. dirver.get(url)
    
14. time.sleep(0.5)
    
15. dirver.maximize_window()
    
16. 
    
17. 
    
18. dirver.find_element_by_id('loginname').send_keys('18327862307')
    
19. time.sleep(2)
    
20. 
    
21. 
    
22. dirver.find_element_by_xpath('//*[@id="pl_login_form"]/div/div[3]/div[2]/div/input').send_keys('love572461914')
    
23. time.sleep(2)
    
24. dirver.find_element_by_xpath('//*[@id="pl_login_form"]/div/div[3]/div[6]/a').click()
    
25. time.sleep(20)
    
26. 
    
27. # 登录进入六星网页
    
28. url_six = "https://weibo.com/liuxingedu"
    
29. dirver.get(url_six)
    
30. time.sleep(2)
    
31. # dirver.find_element_by_xpath('//*[@id="__sidebar"]/div/div[1]/div/div[2]/div/div[1]/div[1]/div[2]/div[2]').click()
    
32. 
    
33. # 进行页面滚动
    
34. for i in range(1,1000):
    
35.     js="var q=document.documentElement.scrollTop=%s"%(i*300)
    
36.     time.sleep(0.3)
    
37.     dirver.execute_script(js)
    
38. 
    
39. # 获取文章内容
    
40. title_url = "https://weibo.com/ajax/statuses/mymblog?uid=7617227236&page=1&feature=0"
    
41. dirver.get(title_url)
    
42. titles = dirver.find_elements_by_xpath('//*[@id="app"]/div[1]/div[2]/div[2]/main/div[1]/div/div[2]/div[2]')
    
43. for title in titles:
    
44.     print(1,title.text)
    
45. 
    
46. # 点击进入粉丝页
    
47. dirver.find_element_by_xpath('//*[@id="app"]/div[1]/div[2]/div[2]/main/div[1]/div/div[2]/div[1]/div[1]/div[2]/div[2]/div[2]/a[1]').click()
    
48. 
    
49. fans_url = 'https://weibo.com/u/page/follow/7617227236?relate=fans'
    
50. dirver.get(fans_url)
    
51. fans_list = []
    
52. fans_nums = dirver.find_elements_by_class_name('vue-recycle-scroller__item-view')
    
53. for fans in fans_nums:
    
54.     f_dict = {fans}
    
55.     fans_list.append(f_dict)
    
56. print(fans_list)
    
57. 
    
58. # 进行页面滚动
    
59. for i in range(1,1000):
    
60.     js="var q=document.documentElement.scrollTop=%s"%(i*300)
    
61.     time.sleep(0.3)
    
62.     dirver.execute_script(js)

复制代码

---

作者: qqq911    时间: 2022-1-5 10:46
参考下爬虫的方式

---

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)

Powered by Discuz! X3.2