51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 2879|回复: 2
打印 上一主题 下一主题

[转贴] 情景 linux--shell 如何实现 “多线程”?

[复制链接]

该用户从未签到

跳转到指定楼层
1#
发表于 2017-6-27 15:03:57 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
情景

shell脚本的执行效率虽高,但当任务量巨大时仍然需要较长的时间,尤其是需要执行一大批的命令时。因为默认情况下,shell脚本中的命令是串行执行的。如果这些命令相互之间是独立的,则可以使用“并发”的方式执行这些命令,这样可以更好地利用系统资源,提升运行效率,缩短脚本执行的时间。如果命令相互之间存在交互,则情况就复杂了,那么不建议使用shell脚本来完成多线程的实现。

为了方便阐述,使用一段测试代码。在这段代码中,通过seq命令输出1到10,使用for...in语句产生一个执行10次的循环。每一次循环都执行sleep 1,并echo出当前循环对应的数字。

注意:

  • 真实的使用场景下,循环次数不一定等于10,或高或低,具体取决于实际的需求。
  • 真实的使用场景下,循环体内执行的语句往往比较耗费系统资源,或比较耗时等。

请根据真实场景的各种情况理解本文想要表达的内容。

$ cat test1.sh  #/bin/bashall_num=10a=$(date +%H%M%S)for num in `seq 1 ${all_num}`do    sleep 1    echo ${num}doneb=$(date +%H%M%S)echo -e "startTime:\t$a"echo -e "endTime:\t$b"

通过上述代码可知,为了体现执行的时间,将循环体开始前后的时间打印了出来。

运行结果:

$ sh test1.sh 12345678910startTime:  193649endTime:    193659

10次循环,每次sleep 1秒,所以总执行时间10s。

方案方案1:使用"&"使命令后台运行

在linux中,在命令的末尾加上&符号,则表示该命令将在后台执行,这样后面的命令不用等待前面的命令执行完就可以开始执行了。示例中的循环体内有多条命令,则可以以{}括起来,在大括号后面添加&符号。

$ cat test2.sh #/bin/bashall_num=10a=$(date +%H%M%S)for num in `seq 1 ${all_num}`do{    sleep 1    echo ${num}} &doneb=$(date +%H%M%S)echo -e "startTime:\t$a"echo -e "endTime:\t$b"

运行结果:

sh test2.sh startTime:  194147endTime:    194147[j-tester@merger142 ~/bin/multiple_process]$ 12345678910

通过结果可知,程序没有先打印数字,而是直接输出了开始和结束时间,然后显示出了命令提示符[j-tester@merger142 ~/bin/multiple_process]$(出现命令提示符表示脚本已运行完毕),然后才是数字的输出。这是因为循环体内的命令全部进入后台,所以均在sleep了1秒以后输出了数字。开始和结束时间相同,即循环体的执行时间不到1秒钟,这是由于循环体在后台执行,没有占用脚本主进程的时间。

方案2:命令后台运行+wait命令

解决上面的问题,只需要在上述循环体的done语句后面加上wait命令,该命令等待当前脚本进程下的子进程结束,再运行后面的语句。

$ cat test3.sh #/bin/bashall_num=10a=$(date +%H%M%S)for num in `seq 1 ${all_num}`do{    sleep 1    echo ${num}} &donewaitb=$(date +%H%M%S)echo -e "startTime:\t$a"echo -e "endTime:\t$b"

运行结果:

$ sh test3.sh 12345679810startTime:  194221endTime:    194222

但这样依然存在一个问题:

因为&使得所有循环体内的命令全部进入后台运行,那么倘若循环的次数很多,会使操作系统在瞬间创建出所有的子进程,这会非常消耗系统的资源。如果循环体内的命令又很消耗系统资源,则结果可想而知。

最好的方法是并发的进程是可配置的。

方案3:使用文件描述符控制并发数$ cat test4.sh #/bin/bashall_num=10# 设置并发的进程数thread_num=5a=$(date +%H%M%S)# mkfifotempfifo="my_temp_fifo"mkfifo ${tempfifo}# 使文件描述符为非阻塞式exec 6<>${tempfifo}rm -f ${tempfifo}# 为文件描述符创建占位信息for ((i=1;i<=${thread_num};i++))do{    echo }done >&6 # for num in `seq 1 ${all_num}`do{    read -u6    {        sleep 1        echo ${num}        echo "" >&6    } & } done wait# 关闭fd6管道exec 6>&-b=$(date +%H%M%S)echo -e "startTime:\t$a"echo -e "endTime:\t$b"

运行结果:

$ sh test4.sh 13245678910startTime:  195227endTime:    195229方案4:使用xargs -P控制并发数

xargs命令有一个-P参数,表示支持的最大进程数,默认为1。为0时表示尽可能地大,即方案2的效果。

$ cat test5.sh #/bin/bashall_num=10thread_num=5a=$(date +%H%M%S)seq 1 ${all_num} | xargs -n 1 -I {} -P ${thread_num} sh -c "sleep 1;echo {}"b=$(date +%H%M%S)echo -e "startTime:\t$a"echo -e "endTime:\t$b"

运行结果:

$ sh test5.sh 12345687910startTime:  195257endTime:    195259方案5:使用GNU parallel命令控制并发数

GNU parallel命令是非常强大的并行计算命令,使用-j参数控制其并发数量。

$ cat test6.sh #/bin/bashall_num=10thread_num=6a=$(date +%H%M%S)parallel -j 5 "sleep 1;echo {}" ::: `seq 1 10`b=$(date +%H%M%S)echo -e "startTime:\t$a"echo -e "endTime:\t$b"

运行结果:

$ sh test6.sh 12345678910startTime:  195616endTime:    195618总结

“多线程”的好处不言而喻,虽然shell中并没有真正的多线程,但上述解决方案可以实现“多线程”的效果,重要的是,在实际编写脚本时应有这样的考虑和实现。

另外:

方案3、4、5虽然都可以控制并发数量,但方案3显然写起来太繁琐。
方案4和5都以非常简洁的形式完成了控制并发数的效果,但由于方案5的parallel命令非常强大,所以十分建议系统学习下。

方案3、4、5设置的并发数均为5,实际编写时可以将该值作为一个参数传入。


分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏
回复

使用道具 举报

  • TA的每日心情
    无聊
    前天 09:07
  • 签到天数: 11 天

    连续签到: 2 天

    [LV.3]测试连长

    2#
    发表于 2017-6-27 15:13:29 | 只看该作者
    这叫多进程把. 我以前也写过类似的东西来封装自己的命令.
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    3#
     楼主| 发表于 2017-6-27 15:14:29 | 只看该作者
    八戒你干嘛 发表于 2017-6-27 15:13
    这叫多进程把. 我以前也写过类似的东西来封装自己的命令.

    嗯,均是利用了多开子进程的原理。
    回复 支持 反对

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-9-21 05:30 , Processed in 0.068941 second(s), 22 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表