为什么使用 PyCharm 运行用例成功却无法退出？

lsekfe

前言
　　前段时间由于将项目使用的某 SDK 进行了升级，在使用 PyCharm+unittest 运行一个用例时，能运行并输出果，却一直无法退出用例。随着排查的深入，发现是此 SDK 中的线程在“作祟”。
　　用简单的代码复现
　　简单起见，下面这段代码（Python 2）包含了简单的线程逻辑和一个用例，来复现遇到的问题：

1. 　# coding: utf-8
   
2. 　　import threading
   
3. 　　import time
   
4. 　　import unittest
   
5. 　　def tick():
   
6. 　　    while True:
   
7. 　　        print('tick')
   
8. 　　        time.sleep(3)
   
9. 　　t = threading.Thread(target=tick)
   
10. 　　t.start()
    
11. 　　class TestString(unittest.TestCase):
    
12. 　　    def test_upper(self):
    
13. 　　        self.assertEqual('foo'.upper(), 'FOO')

复制代码

这段代码开启了一个线程，每隔 3 秒输出 tick。另一方面，定义了一个用例，判断字符串的upper()方法。如果删除线程逻辑，用例能正常结束；反之，PyCharm 显示用例执行成功，却一直无法退出用例，如下图所示：

为什么不能退出？
　　运行用例前一定会开启新线程，执行 tick()  函数，由于此函数使用 while  循环不断输出字符串，不难推断出是用例框架在退出时一直等待线程结束，进而导致用例无法退出。
　　为了验证这个想法，不妨查看 PyCharm 运行用例的入口代码。不同的[url=]操作系统[/url]、PyCharm（社区版、专业版）和单测框架下用例入口文件路径都有所不同。Mac 上的 PyCharm 社区版针对 unittest 的用例入口文件路径为 "/Applications/PyCharm CE.app/Contents/plugins/python-ce/helpers/pycharm/_jb_unittest_runner.py" ，该文件内容如下：

1. # coding=utf-8
   
2. 　　import os
   
3. 　　import sys
   
4. 　　from unittest import main
   
5. 　　from _jb_runner_tools import jb_start_tests, jb_doc_args, JB_DISABLE_BUFFERING, PROJECT_DIR
   
6. 　　from teamcity import unittestpy
   
7. 　　if __name__ == '__main__':
   
8. 　　    path, targets, additional_args = jb_start_tests()
   
9. 　　    args = ["python -m unittest"]
   
10. 　　    if path:
    
11. 　　        assert os.path.exists(path), "{0}: No such file or directory".format(path)
    
12. 　　        if sys.version_info > (3, 0) and os.path.isfile(path):
    
13. 　　            # In Py3 it is possible to run script directly which is much more stable than discovery machinery
    
14. 　　            # For example it supports hyphens in file names PY-23549
    
15. 　　            additional_args = [path] + additional_args
    
16. 　　        else:
    
17. 　　            discovery_args = ["discover", "-s"]
    
18. 　　            # Unittest in py2 does not support running script directly (and folders in py2 and py3),
    
19. 　　            # but it can use "discover" to find all tests in some folder (optionally filtering by script)
    
20. 　　            if os.path.isfile(path):
    
21. 　　                discovery_args += [os.path.dirname(path), "-p", os.path.basename(path)]
    
22. 　　            else:
    
23. 　　                discovery_args.append(path)
    
24. 　　            discovery_args += ["-t", PROJECT_DIR]  # To force unit calculate path relative to this folder
    
25. 　　            additional_args = discovery_args + additional_args
    
26. 　　    elif targets:
    
27. 　　        additional_args += targets
    
28. 　　    args += additional_args
    
29. 　　    jb_doc_args("unittests", args)
    
30. 　　    # Working dir should be on path, that is how unittest work when launched from command line
    
31. 　　    sys.path.insert(0, PROJECT_DIR)
    
32. 　　    sys.exit(main(argv=args, module=None, testRunner=unittestpy.TeamcityTestRunner, buffer=not JB_DISABLE_BUFFERING))

复制代码

前面的逻辑主要是在组合运行用例的参数，对本文遇到的问题而言最关键是最后一行 main(argv=args, module=None, testRunner=unittestpy.TeamcityTestRunner, buffer=not JB_DISABLE_BUFFERING)，这里的main 就是 unittest.TestProgram ，而相关核心内容如下：

1. class TestProgram(object):
   
2. 　　    """A command-line program that runs a set of tests; this is primarily
   
3. 　　       for making test modules conveniently executable.
   
4. 　　    """
   
5. 　　    USAGE = USAGE_FROM_MODULE
   
6. 　　    # defaults for testing
   
7. 　　    failfast = catchbreak = buffer = progName = None
   
8. 　　    def __init__(self, module='__main__', defaultTest=None, argv=None,
   
9. 　　                    testRunner=None, testLoader=loader.defaultTestLoader,
   
10. 　　                    exit=True, verbosity=1, failfast=None, catchbreak=None,
    
11. 　　                    buffer=None):
    
12. 　　        ...
    
13. 　　        self.exit = exit
    
14. 　　        ...
    
15. 　　        self.parseArgs(argv)
    
16. 　　        self.runTests()
    
17. 　　    def runTests(self):
    
18. 　　        ...
    
19. 　　        self.result = testRunner.run(self.test)
    
20. 　　        if self.exit:
    
21. 　　            sys.exit(not self.result.wasSuccessful())

复制代码

PyCharm 的 _jb_unittest_runner.py 调用 main() （即 TestProgram()）时，没有传入 exit 参数， 因此取默认值 True ，在指定 runTests()  运行用例的最后，根据用例结果决定退出码（0或1），进而调用 sys.exit() 退出用例执行进程。在此处打断点会发现一直卡在此句。
　　sys.exit() 的作用是退出当前线程，如果其他线程并没有结束，进程自然就不会结束。很显然，tick 函数所在的线程并没有被显式退出，就导致用例已被运行成功，却无法退出的现象。
　　该如何解决？
　　既然明白了原因，解决思路也就呼之欲出。
　　方法一：运行用例时不执行线程逻辑
　　如果执行周期性任务的线程逻辑并非用例所需，可通过环境变量、配置文件等方式进行控制，在运行用例时不执行线程逻辑，进而避免用例无法退出。
　　方法二：显式退出进程而不是线程
　　使用 os._exit(n) 退出进程。需要注意的是，这种方式并不会调用清理逻辑、刷新标准IO缓存等，它通常用于fork()后的子进程中。由于单元测试对进程无特殊要求，此处将之测试用例一般是不会引起副作用。
　　我们可以简单修改下 _jb_unittest_runner.py  最后的逻辑，显式指定 exit=False ，即不让 unittest 调用 sys.exit() ，而是在外部调用 os._exit()。

1. prog = main(argv=args, module=None, testRunner=unittestpy.TeamcityTestRunner, buffer=not JB_DISABLE_BUFFERING, exit=False)
   
2. 　　os._exit(not prog.result.wasSuccessful())
   

复制代码

　方法三：优雅地退出线程
　　_jb_unittest_runner.py  在用例运行结束时向当前进程发送 SIGKILL  信号，用例线程收到此信号时，执行清理逻辑（如果需要的话）优雅退出，进而退出进程。这种方法会专门再开一篇详细讲讲，本篇知道这种思路即可。
　　总结
　　如果通过 PyCharm 执行用例时触发了运行周期性任务的线程逻辑，那么就会导致用例执行完成却无法退出。原因在 sys.exit() 用于退出当前线程而非进程，如果某线程并没有退出，就会造成进程无法退出。而解决方法无外乎三种，不执行线程逻辑、退出进程或者优雅退出线程。