美团selenium爬虫貌似被检测为webdriver不知如何解决

测试积点老人

导师让爬美团数据，自己编写了selenium爬取程序尝试爬取，但一到打开店铺处便弹出网络错误，貌似被检测为webdriver拒绝访问，代码如下，求带神指导

1. 
   
2. ```python
   
3. from selenium import webdriver
   
4. import time
   
5. from selenium.webdriver import ChromeOptions
   
6. import time
   
7. option = ChromeOptions()
   
8. #224反屏蔽,webdriver属性设置为空 224
   
9. # 设置headless模式，这种方式下无启动界面，能够加速程序的运行
   
10. # chrome_options.add_argument("--headless")
    
11. # 禁用gpu防止渲染图片
    
12. # option.add_argument('disable-gpu')
    
13. # # 设置不加载图片
    
14. # option.add_argument('blink-settings=imagesEnabled=false')
    
15. 
    
16. 
    
17. option.add_experimental_option("excludeSwitches",["enable-automation"])
    
18. option.add_experimental_option("useAutomationExtension", False)
    
19. bro = webdriver.Chrome(executable_path="./chromedriver.exe",options=option)
    
20. # bro.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    
21. #     "source": """
    
22. #                     Object.defineProperty(navigator, 'webdriver', {
    
23. #                       get: () => undefined
    
24. #                     })
    
25. #                   """
    
26. # })
    
27. 
    
28. bro.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    
29.   "source": """
    
30.     Object.defineProperty(navigator, 'webdriver', {
    
31.       get: () => undefined
    
32.     })
    
33.   """
    
34. })
    
35. 
    
36. #最大化窗口
    
37. bro.maximize_window()
    
38. #登陆美团
    
39. bro.get("https://passport.meituan.com/account/unitivelogin")
    
40. bro.find_element_by_xpath('//*[@id="J-mobile-link"]').click()
    
41. bro.find_element_by_xpath('//*[@id="user-agreement-wrap-text-circle"]/i').click()
    
42. bro.find_element_by_xpath('//*[@id="login-mobile"]').send_keys('18602763878')
    
43. bro.find_element_by_xpath('//*[@id="J-verify-btn"]').click()
    
44. #接收验证码
    
45. bro.find_element_by_xpath('//*[@id="login-verify-code"]').send_keys(input('请输入验证码:'))
    
46. bro.find_element_by_xpath('//*[@id="J-mobile-form"]/div[6]/input[3]').click()
    
47. #点击城市武汉
    
48. cookies = bro.get_cookies()
    
49. cookies_dict = {cookie['name']:cookie['value'] for cookie in cookies}
    
50. # print(cookies_dict)
    
51. # print(bro.window_handles)
    
52. # #点击美食
    
53. time.sleep(2)
    
54. bro.find_element_by_xpath('//a[@href="//wh.meituan.com"]').click()
    
55. time.sleep(2)
    
56. bro.find_element_by_xpath('//*[@id="react"]/div/div/div[1]/div[1]/div/div[2]/ul/li[1]/span/span/a').click()
    

复制代码

千里

还是玩简单点的系统比较好

jingzizx

是不是又什么机制

qqq911

估计是反爬机制吧