V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
vus520
V2EX  ›  Bash

一个 shell 文件,里面有很多行命令,如何多线程去执行里面的命令

  •  
  •   vus520 · 2016-10-13 11:49:23 +08:00 · 2141 次点击
    这是一个创建于 2967 天前的主题,其中的信息可能已经有所发展或是发生改变。
    curl a.com
    curl b.com
    

    现在有很多 url 的缓存需要建立,有大量的 url 需要通过 curl 请求一下。 为了加快速度,现在是把一个文件拆成多份,手工多进程。

    就想问问有没有一键的命令可以实现这样的效果。

    5 条回复    2016-10-14 22:09:00 +08:00
    Jackliu91
        1
    Jackliu91  
       2016-10-13 11:58:38 +08:00 via iPhone
    curl a.com &
    curl b.com &
    vus520
        2
    vus520  
    OP
       2016-10-13 13:05:19 +08:00
    @Jackliu91 在 1000 左右这样干应该没问题。
    如果 CURL 耗时长且数量多的情况下,会出现大量不可控进程甚至服务器崩溃。
    imn1
        3
    imn1  
       2016-10-13 13:13:32 +08:00
    sudo apt install parallel
    qfdk
        4
    qfdk  
       2016-10-13 13:52:31 +08:00 via iPhone
    fork ?
    Aksura
        5
    Aksura  
       2016-10-14 22:09:00 +08:00
    gnu parallel
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5888 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 01:52 · PVG 09:52 · LAX 17:52 · JFK 20:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.