V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
winglight2016
V2EX  ›  程序员

8 核 CPU 终于达到了 80%以上的占用率~~~

  •  
  •   winglight2016 · 2017-12-23 19:24:44 +08:00 · 15186 次点击
    这是一个创建于 2287 天前的主题,其中的信息可能已经有所发展或是发生改变。

    自从配好了这台 pc 一直觉得配置太高浪费了,CPU/内存长期都在 10%以内。晚上在本地 build tensorflow CPU 一下子占了 80%多,感觉终于派上用场了,只是很遗憾,内存还是不到 20%

    下面是 mac 上安装 keras-tensorflow-gpu 的吐槽: 1.tf 编译的坑多,多到有 N 篇文章专门论述,各个版本( python、cuda、cudnn、tf )都有,太混乱了,不知道信哪一个好 2.conda+tf 的坑,其中 protobuf 就是坑中之坑,坑王之王

    这两个问题我分别花了两个晚上才搞定,现在可以在 jupyter notebook 上直接跑 keras-tf-gpu,速度快得飞起,同样程序相比 K80 还要快 5 倍( k80 上是 keras+theano ),所以结论是折腾是值得的!

    第 1 条附言  ·  2017-12-24 21:09:31 +08:00
    忽然发现我没有说明环境,导致大家有疑问:
    1.硬件:i7-8700k,16g,1080ti
    2.OS:macOS
    3.tensorflow:1.5
    4.keras:2.0
    5.python:3.6
    第 2 条附言  ·  2017-12-25 16:01:39 +08:00
    真是个悲伤的结局:16g 内存远远不够用啊,读取了 20000 多张图就爆了~~~
    63 条回复    2017-12-27 00:36:31 +08:00
    cybermay
        1
    cybermay  
       2017-12-23 19:30:31 +08:00
    也没说是什么配置啊
    winglight2016
        2
    winglight2016  
    OP
       2017-12-23 19:54:32 +08:00
    @cybermay 常见配置:i7 8700k+1080ti
    ZRS
        3
    ZRS  
       2017-12-23 20:14:10 +08:00 via iPhone
    总感觉 windows 下配环境是很蛋疼的事
    greyterry
        4
    greyterry  
       2017-12-23 20:16:08 +08:00 via iPhone
    我配了 64G 的内存才发现日常使用率 5%……
    JJaicmkmy
        5
    JJaicmkmy  
       2017-12-23 20:28:13 +08:00
    8700K 不是六核吗?
    cnta
        6
    cnta  
       2017-12-23 21:08:08 +08:00
    8 核 16 线程 自己主要是平时开虚拟机开得多吧 ,多核还是很有必要的。
    winglight2016
        7
    winglight2016  
    OP
       2017-12-23 21:51:12 +08:00
    @JJaicmkmy 哦呵呵,搞错了,是六核的
    @ZRS 习惯就好
    @greyterry 利用率低了感觉太浪费了
    @cnta 我现在已经完全不用虚拟机了,感觉各种不方便太多了
    Rorysky
        8
    Rorysky  
       2017-12-23 22:09:01 +08:00
    8400+1070ti 瑟瑟发抖
    ioriwong
        9
    ioriwong  
       2017-12-23 22:11:34 +08:00
    我 28 核 56 线程,从未满载过,很难超 50%,哈哈
    greenskinmonster
        10
    greenskinmonster  
       2017-12-23 23:20:16 +08:00
    装 gentoo 啊,前几天刚好重新编译了整个系统,4 核 8 线程 [email protected] 满载了大半天
    lycc
        11
    lycc  
       2017-12-23 23:32:12 +08:00 via Android
    Adobe 全家桶可以把你的内存吃干净 233333
    somebody
        12
    somebody  
       2017-12-23 23:33:26 +08:00
    编译 Java, C/C++ 的时候可以多线程,make -j8。编译 Android ROM 的时候 make -j8,8 核 满负荷运行了 1 小时
    hadoop
        13
    hadoop  
       2017-12-23 23:36:35 +08:00
    @ioriwong 啥 u ?
    snnn
        14
    snnn  
       2017-12-23 23:36:50 +08:00 via Android
    你内存得多大啊?编译 tf 需要 16G 内存才能 4 核全开不 oom。8 核得 32G 才对
    Tardis0127
        15
    Tardis0127  
       2017-12-24 00:13:41 +08:00 via iPhone
    yes > /dev/null &
    试试这个
    mattx
        16
    mattx  
       2017-12-24 00:16:17 +08:00
    挖 门罗吧.一年可以挖半个
    WildCat
        17
    WildCat  
       2017-12-24 00:27:42 +08:00   ❤️ 1
    1. 几张 1080Ti ?感觉你的 U 好亏,4 路的话 6850K 就足够了吧
    2. 没必要自己编译吧,pip install tensorflow-gpu 就好了。
    3. 即使官方版本不好,github 上边有别人发布的不少编译好的版本
    4. 第一次安装比较痛苦,之后就轻车熟路了,推荐 52nlp 的教程(感觉很好):《从零开始搭建深度学习服务器: 基础环境配置( Ubuntu + GTX 1080 TI + CUDA + cuDNN )》 http://www.52nlp.cn/%E4%BB%8E%E9%9B%B6%E5%BC%80%E5%A7%8B%E6%90%AD%E5%BB%BA%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E6%9C%8D%E5%8A%A1%E5%99%A8%E7%8E%AF%E5%A2%83%E9%85%8D%E7%BD%AEubuntu-1080ti-cuda-cudnn
    congeec
        18
    congeec  
       2017-12-24 00:28:17 +08:00
    @ioriwong make -j 呢?
    jhdxr
        19
    jhdxr  
       2017-12-24 00:49:46 +08:00
    sklearn 路过,72 核 144 线程( E7-8890 )很容易满 100%,但是内存( 1.2PB )的确用不完。
    wwqgtxx
        20
    wwqgtxx  
       2017-12-24 00:50:00 +08:00 via iPhone
    试试用 x265 压视频,分分钟 cpu 用满
    guochengjie
        21
    guochengjie  
       2017-12-24 00:58:26 +08:00 via Android
    Dual E5-2670 V1C2 洋垃圾配上 32G Samsung DDR3 ECC 洋垃圾
    日常使用根本超不过 20%
    fzinfz
        22
    fzinfz  
       2017-12-24 01:18:35 +08:00
    挖矿吧,分分钟告诉你电脑有多渣。
    要保险的话,找个容易提现的币挖;要投资的话,选 1~N 个山寨币挖。
    azh7138m
        23
    azh7138m  
       2017-12-24 01:39:08 +08:00 via Android   ❤️ 1
    压片啊,你立马就知道自己配置不够用了😀
    ppbaozi
        24
    ppbaozi  
       2017-12-24 02:08:30 +08:00
    用 pr ae 剪个 4k,cpu 内存都得爆
    realpg
        25
    realpg  
       2017-12-24 02:42:48 +08:00
    @winglight2016 #7
    cpu 利用率低有妙招
    开个进程挖 XMR 线程数设置 1.3~1.5 倍物理核心数即可
    aminic
        26
    aminic  
       2017-12-24 03:10:10 +08:00 via Android   ❤️ 1
    都是码界大壕啊,那个 e7 的哥哥,还需要男秘嘛
    20015jjw
        27
    20015jjw  
       2017-12-24 03:14:02 +08:00 via Android
    dev server 200 多核心不说话
    amai
        28
    amai  
       2017-12-24 05:54:07 +08:00
    @jhdxr 1.2PB 内存??是不是写错了 1.2TB 吧

    根据你所表述的我猜测应该是四路 v3,这个平台也不支持 1.2PB 这么大的内存
    shenyu1996
        29
    shenyu1996  
       2017-12-24 08:52:21 +08:00 via Android
    黑五买了战地 1 发现这游戏疯狂吃 u,不锁 fps,我的 e3 分分钟满载
    togodo
        30
    togodo  
       2017-12-24 09:14:26 +08:00
    开虚拟机
    i730
        31
    i730  
       2017-12-24 09:39:56 +08:00 via Android
    2 核 cpu 2.8GHz intel 的我瑟瑟发抖,显卡 N 820M
    vicence
        32
    vicence  
       2017-12-24 09:42:44 +08:00
    @winglight2016 单条内存多大,多少钱哪家买的,我在京东买金士顿(Kingston)骇客神条 Fury 系列 DDR4 2400 8G 台式机内存 749 入的。
    likuku
        33
    likuku  
       2017-12-24 10:12:37 +08:00
    @wwqgtxx 有这么强的 N 卡,干嘛不直接用 hevc_nvenc 压?速度快的飞起。
    silencefent
        34
    silencefent  
       2017-12-24 10:15:14 +08:00
    1.2PB,就算天顶星科技 512G 内存也要插 2048 条槽子
    ioriwong
        35
    ioriwong  
       2017-12-24 11:04:39 +08:00 via iPhone
    @hadoop 双 E5
    zetary
        36
    zetary  
       2017-12-24 11:18:08 +08:00
    7700k + 1070 瑟瑟发抖, 用的 manjaro, yaourt 装环境一个小时不到全都装好
    deepkolos
        37
    deepkolos  
       2017-12-24 11:24:55 +08:00
    运行跑分软件的时候~
    wwqgtxx
        38
    wwqgtxx  
       2017-12-24 11:36:23 +08:00 via iPhone
    @likuku 大部分压制组还是倾向于 cpu 压,因为无论是最后的成像质量,文件体积和参数可调性都比 gpu 的好的多
    aheadlead
        39
    aheadlead  
       2017-12-24 12:29:42 +08:00
    @amai 他那个可能是超算 和我们普通的 PC 不一样的
    PB 的内存也不难做 太湖之光就有 1.3PB 的内存
    winglight2016
        40
    winglight2016  
    OP
       2017-12-24 16:12:21 +08:00
    @snnn 有这种限制?我编译完成也才 12 分钟,没感觉 cpu、内存压力很大,而且编译时的内存也才占用 15%左右
    @WildCat 一个 1080ti,tf 在 Mac 上并没有官方支持,你那个链接上 ubuntu 的,区别还是很大的
    @jhdxr 内存 1.2pb ?单主板能放多少条内存啊?
    @realpg 挖矿最大的成本上电力,显卡太差得不偿失啊
    @vicence 2*8g,价钱并不了解,因为我是一起买的主机
    @wwqgtxx 压制质量大约只和算法和片源有关系吧,真的和 cpu、gpu 有关系?
    hadoop
        41
    hadoop  
       2017-12-24 17:49:18 +08:00 via Android
    @ioriwong 扫雷数框框?
    Nitromethane
        42
    Nitromethane  
       2017-12-24 19:25:36 +08:00
    可以跑 BOINC 啊~哈哈哈,框框永远不够用~
    afpro
        43
    afpro  
       2017-12-24 19:47:44 +08:00
    tensorflow 的编译并没有坑啊 bazel 很好用
    amai
        44
    amai  
       2017-12-24 20:00:53 +08:00
    @aheadlead 超算 72 核?
    winglight2016
        45
    winglight2016  
    OP
       2017-12-24 21:06:41 +08:00
    @afpro 你在 mac 下跑一遍就明白了
    ryd994
        46
    ryd994  
       2017-12-24 21:09:15 +08:00 via Android
    @aheadlead 超算根本不能直接跑 sklearn,也不能直接看 CPU 利用率。分给你一个节点就是全归你用。
    UnknownR
        47
    UnknownR  
       2017-12-24 23:20:34 +08:00
    ae 导出个视频,6700k 直接满载,还是我自己用手机拍的,不是摄像机。内存的话压缩文件,用大字典,16G 内存基本占满,不过平时用 cpu 不超过 5%,不开 chrome 内存不超过 10%,开了不超过 30%
    wekw
        48
    wekw  
       2017-12-24 23:52:58 +08:00
    @greenskinmonster 2600K 果然还能再战三年。。。。说真的换去年的 7700K 目测也有至少 100% 的性能提升,不能只看核心数量、频率、缓存,制程结构内存带宽都有大幅增长的。
    riggzh
        49
    riggzh  
       2017-12-24 23:53:41 +08:00
    @wekw 最大的提升是 AVX,这也是笔记本 CPU4 代以后被称为火炉的原因,7 代台式 i9 AVX 又升级了,火炉²
    riggzh
        50
    riggzh  
       2017-12-24 23:54:24 +08:00
    @wekw 2 代 SNB AVX1 4 代 Haswell AVX2 然后现在 7 代 i9 上的是 AVX512 ( 3 )
    riggzh
        51
    riggzh  
       2017-12-24 23:55:14 +08:00
    @wekw 带 AVX2 的 4 代和只有 AVX1 的 3 代同频浮点运算能力提升 40%以上
    laoyuan
        52
    laoyuan  
       2017-12-25 08:40:44 +08:00
    昨天刚狠心 50 块钱包邮买了两条 DDR2 800 内存,终于把 P35 主板内存槽插满了。。
    toono
        53
    toono  
       2017-12-25 08:49:49 +08:00
    @laoyuan 实话说体验怎样?最近内存太贵了,看看能不能 ddr4 配合 ddr3/2
    HangoX
        54
    HangoX  
       2017-12-25 09:00:30 +08:00 via Android
    只能说楼主不是写安卓的。。编译的时候基本能给你跑满
    winglight2016
        55
    winglight2016  
    OP
       2017-12-25 09:30:55 +08:00
    @HangoX android 我也做啊,只是比其他应用略慢,开发上 sbt 编译速度才上最感人的
    6rzgeek
        56
    6rzgeek  
       2017-12-25 09:45:20 +08:00
    什么主板?装 macos 有没有什么问题
    firebroo
        57
    firebroo  
       2017-12-25 10:34:45 +08:00
    吃鸡游戏可以把我的 i76700+32G+1050TI 整死机。
    zyp0921
        58
    zyp0921  
       2017-12-25 11:26:21 +08:00
    拿来吃鸡啊 不吃鸡浪费了
    winglight2016
        59
    winglight2016  
    OP
       2017-12-25 12:11:30 +08:00
    @6rzgeek z370,没有问题啊,都是主流配置
    @firebroo
    @zyp0921
    我都想试一下,不过 steam 上还要购买才能玩,我觉得可能会白花钱又不玩~~~
    HughRyu
        60
    HughRyu  
       2017-12-25 15:30:19 +08:00
    warcraft1236
        61
    warcraft1236  
       2017-12-25 16:01:40 +08:00
    你这是黑苹果吧?
    winglight2016
        62
    winglight2016  
    OP
       2017-12-25 20:19:24 +08:00
    @warcraft1236 是的
    wwqgtxx
        63
    wwqgtxx  
       2017-12-27 00:36:31 +08:00 via iPhone
    @winglight2016 因为有些算法并没有在 gpu 上实现,还有些 gpu 硬件加速是用专用电路完成的,所以无法选择算法
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3323 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 42ms · UTC 11:26 · PVG 19:26 · LAX 04:26 · JFK 07:26
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.