51Testing软件测试论坛

标题: selenium无法退出进程 [打印本页]

---

作者: 测试积点老人    时间: 2022-9-9 15:28
标题: selenium无法退出进程
使用python的selenium抓取大量数据的时候总是遇到内存泄漏的问题，排查优化了很久得不到解决，使用kill和kill -9的方式也没办法杀掉，

1. for p_pid in ps -ef | grep chromedriver | grep -v grep | awk '{print $2}'
   
2. do
   
3. /usr/bin/kill -9 $p_pid
   
4. echo "kill driver ==> $p_pid"
   
5. done
   
6. 脚本1
   
7. 
   
8. for p_pid in ps -ef | grep chrome | grep -v grep | awk '{print $2}'
   
9. do
   
10. /usr/bin/kill -9 $p_pid
    
11. echo "kill ==> $p_pid"
    
12. 脚本2

复制代码

单独运行1完全杀不掉，运行2能杀掉一部分，但还是存在，内存能得到一小部分的释放
[attach]142711[/attach]
我的解答思路和尝试过的方法

自己写了一个脚本，先杀chromedriver，再清理chrome的，没有效果

我想要达到的结果

目前使用selenium截图网页快照，12个爬虫并行运行，希望能解决这个顽固问题

---

作者: qqq911    时间: 2022-9-13 11:33
杀掉父节点进程

---

作者: kallinr    时间: 2022-9-13 14:59
没遇到过

---

作者: jingzizx    时间: 2022-9-13 17:41
内容太多?

---

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)

Powered by Discuz! X3.2