vus520
V2EX  ›  Bash

一个 shell 文件,里面有很多行命令,如何多线程去执行里面的命令

  •  
  •   vus520 · Oct 13, 2016 · 2662 views
    This topic created in 3498 days ago, the information mentioned may be changed or developed.
    curl a.com
    curl b.com
    

    现在有很多 url 的缓存需要建立,有大量的 url 需要通过 curl 请求一下。 为了加快速度,现在是把一个文件拆成多份,手工多进程。

    就想问问有没有一键的命令可以实现这样的效果。

    5 replies    2016-10-14 22:09:00 +08:00
    Jackliu91
        1
    Jackliu91  
       Oct 13, 2016 via iPhone
    curl a.com &
    curl b.com &
    vus520
        2
    vus520  
    OP
       Oct 13, 2016
    @Jackliu91 在 1000 左右这样干应该没问题。
    如果 CURL 耗时长且数量多的情况下,会出现大量不可控进程甚至服务器崩溃。
    imn1
        3
    imn1  
       Oct 13, 2016
    sudo apt install parallel
    qfdk
        4
    qfdk  
    PRO
       Oct 13, 2016 via iPhone
    fork ?
    Aksura
        5
    Aksura  
       Oct 14, 2016
    gnu parallel
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1204 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 23:22 · PVG 07:22 · LAX 16:22 · JFK 19:22
    ♥ Do have faith in what you're doing.