V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
HLT
V2EX  ›  程序员

git clone & pull 大数据量代码时 服务器内存爆满

  •  
  •   HLT · 2016-12-04 03:03:40 +08:00 · 4189 次点击
    这是一个创建于 2901 天前的主题,其中的信息可能已经有所发展或是发生改变。

    centos 7

    1-2G 内存 clone 直接导致内存溢出, remote out of memery

    4G 内存, 4G SWAP git pull 也都跑满了。。。

    git-merge 内存占用最多

    clone & pull 后 内存也一直满着不释放。。。

    大家遇到这种情况都是怎么解决的呢?

    12 条回复    2016-12-08 09:54:40 +08:00
    wayslog
        1
    wayslog  
       2016-12-04 03:29:30 +08:00 via Android
    gitlab 服务器?换成 gogs 吧…我用着挺好用的
    zddhub
        2
    zddhub  
       2016-12-04 07:31:04 +08:00 via iPhone
    Git 只跟踪源码就好,大文件用 git lfs
    elgoog1970
        3
    elgoog1970  
       2016-12-04 09:53:48 +08:00
    换硬件
    9hills
        4
    9hills  
       2016-12-04 10:27:53 +08:00 via iPhone
    好几 G 的代码……里面都是什么
    shoaly
        5
    shoaly  
       2016-12-04 10:33:15 +08:00
    问一下 你们数据量有多大, 之前用 git 还没碰到过性能极限...
    auser
        6
    auser  
       2016-12-04 11:20:35 +08:00 via iPhone
    目测 linux 源码
    HLT
        7
    HLT  
    OP
       2016-12-04 14:14:05 +08:00
    @9hills
    @shoaly
    @wayslog
    @zddhub

    我们有个小需求,就是类似 clone 一个像 cdnjs 这种级别的,并且定时 pull
    ibrother
        8
    ibrother  
       2016-12-04 14:32:12 +08:00
    @HLT gitlab 企业版有 mirror 的功能,应该能满足你们这个需求
    xiamx
        9
    xiamx  
       2016-12-05 00:10:12 +08:00
    遇到这种情况大概就是加内存吧
    forcecharlie
        10
    forcecharlie  
       2016-12-05 10:23:34 +08:00   ❤️ 1
    第一得看是什么 git 搭建的服务,第二是看什么 git 协议的访问,比如有些 git http 服务器的实现就会致使进程内存占用过高,以 git clone ( fetch merge ) 本质上是 git fetch-pack 和 git upload-pack 在交换标准输出,这个过程是动态的,如果合理的话,内存占用并不会很高,当时有一些服务器,比如 HTTP 服务器,直接将标准输出写入到 http 响应包体,又不用 chunked 编码,这样的后果就是,一个大仓库, 2G , HTTP 的包体就需要 >2G , ( git 的 http 客户端基本上使用 curl , winhttp ( libgit2 )这样的实现,客户端内存一般不会爆掉。),老版本的 gitlab 使用的 grack 就是这样的。
    HLT
        11
    HLT  
    OP
       2016-12-08 02:47:04 +08:00
    @forcecharlie 所以。。怎么办呢
    forcecharlie
        12
    forcecharlie  
       2016-12-08 09:54:40 +08:00
    @HLT 你把你搭建的 git 服务器信息贴出来,还有访问方式。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1006 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 20:41 · PVG 04:41 · LAX 12:41 · JFK 15:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.