多条指令后台执行怎么同时写一个数组

2019-09-01 17:04:46 +08:00
 DongDongXie

背景

有一堆文件,一些是 txt 文件,一些是 tag 文件,tag 文件里面放的是对应 txt 文件的 MD5 值,现在我需要校验 txt 文件的 MD5 值和 tag 文件里面记载的是否一致,文件比较多,所以我让校验那块儿逻辑在后台执行,如果一个文件校验没通过,我就把该文件名追加到一个名为 errfile 的文件中. 如果我不把文件名保存在文件中,要保存在一个数组里面,后台多个同时执行的任务就会同时写一个数组,这种有没有安全一点的处理办法呢

    for file in `hadoop fs -ls $tmptxtDir|awk '{print $8}'|awk -F'/' '{print $NF}'`
    do
        {
        tmpmd5=`hadoop fs -md5sum $tmptxtDir/$file`
        md5=`hadoop fs -cat $tmpmd5Dir/$file.tag`
        if [ "$tmpmd5" == "$md5" ];then
            hadoop fs -cp $tmptxtDir/$file $finaltxtdataDir/$timestamp
            hadoop fs -cp $tmpmd5Dir/$file.tag $finaltxtdataDir/$timestamp
        else
            echo $file >>errFile.txt
            echo "Failed now. $file::$tmpmd5::$md5"
        fi
        } &
        ((i++))
        echo $i
        val=$(( $i % 10 ))
        if [ $val -eq 0 ]; then wait; fi
    done
1576 次点击
所在节点    程序员
3 条回复
5thcat
2019-09-01 19:22:16 +08:00
[Terminal #1] $ lockfile -r 0 /tmp/the.lock
[Terminal #1] $

[Terminal #2] $ lockfile -r 0 /tmp/the.lock
[Terminal #2] lockfile: Sorry, giving up on "/tmp/the.lock"

[Terminal #1] $ rm -f /tmp/the.lock
[Terminal #1] $

[Terminal #2] $ lockfile -r 0 /tmp/the.lock
[Terminal #2] $
AX5N
2019-09-01 19:56:43 +08:00
用队列,处理一个就踢出一个
jinliming2
2019-09-01 21:12:47 +08:00

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/596949

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX