V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
suxiaozi
V2EX  ›  问与答

想组装一台电脑学习大数据,求助 V 友给点建议

  •  
  •   suxiaozi · 2017-09-07 21:35:27 +08:00 · 4270 次点击
    这是一个创建于 2668 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近想研究大数据方向,想组装一台高配的电脑,在电脑上用多个虚拟机搭建集群环境练练手,对于这样的电脑配置,不知道 V 友们有什么好的推荐吗,另外预算在两万以内的吧。
    第 1 条附言  ·  2017-09-08 09:53:32 +08:00
    感谢各位的意见
    30 条回复    2017-09-08 20:06:44 +08:00
    liprais
        1
    liprais  
       2017-09-07 21:58:02 +08:00 via iPhone
    去买个 aws 的集群,2 万可以用很久了
    cye3s
        2
    cye3s  
       2017-09-07 22:46:21 +08:00 via Android   ❤️ 1
    2 万,我部门是买几台 dell 小型机,好像是 T3420 小机箱,至强 E3/32G/1T,企业采购,5700 左右,比一台 2W 高配虚拟化快
    suxiaozi
        3
    suxiaozi  
    OP
       2017-09-07 23:02:33 +08:00
    @liprais 谢谢,没用过,回头我去查一下资料
    fcka
        4
    fcka  
       2017-09-07 23:04:19 +08:00 via Android
    自行购买普通 PC 硬件,性能秒杀各路云服务
    suxiaozi
        5
    suxiaozi  
    OP
       2017-09-07 23:05:39 +08:00
    @cye3s 家里放几台服务器太耗电,而且配置好一点的电脑闲暇之余还能打打游戏 [捂脸]
    suxiaozi
        6
    suxiaozi  
    OP
       2017-09-07 23:06:39 +08:00
    @fcka 列个清单哈,哥们
    fcka
        7
    fcka  
       2017-09-07 23:15:07 +08:00 via Android
    就不列就不列
    Suddoo
        8
    Suddoo  
       2017-09-07 23:48:31 +08:00 via Android
    大。。大数据,是不是得搞个 hadoop 或者 spark 集群,然后把 hadoop 生态圈的那些折腾一遍
    snnn
        9
    snnn  
       2017-09-08 01:10:05 +08:00
    这还不就是随便配吗?看你的预算加一个 GTX1060/1070/1080 显卡就行了。都 2 万预算了,怎么着也整个 PCI-E 的 SSD。CPU 要志强的,内存要带 ECC 的,硬盘多来几块,RAID 卡可要可不要。主板最好是 X99 这样的。
    msg7086
        10
    msg7086  
       2017-09-08 03:49:10 +08:00
    一台高配比多台低配贵啊。
    而且一般的服务器能有多耗电……
    我们这用的伪刀片 HP,单路 E5 单机空载 50w,一个伪刀箱加在一起才 400w 多。
    fox0001
        11
    fox0001  
       2017-09-08 06:21:16 +08:00   ❤️ 1
    买 200 个树莓派 3b,爽啊!
    xomix
        12
    xomix  
       2017-09-08 08:38:27 +08:00
    2w 配置建议淘宝几个二手刀片,大数据集群一起玩了
    neosfung
        13
    neosfung  
       2017-09-08 10:41:53 +08:00
    安利一把 threadripper
    Perseus1812
        14
    Perseus1812  
       2017-09-08 12:09:49 +08:00 via Android
    嗯。。。私以为你先把概率统计,线性代数,高等数学的课本先买回来再说😌
    suxiaozi
        15
    suxiaozi  
    OP
       2017-09-08 13:35:03 +08:00
    @Perseus1812 额,有道理,有没有 7 天读懂概率统计,15 天精通线性代数,30 天学会高等数据的课本推荐一下,在线等,急~ ☺
    Perseus1812
        16
    Perseus1812  
       2017-09-08 13:43:42 +08:00 via Android
    @suxiaozi 不可能,数学这个东西不可能速成的,从零开始半年时间还差不多,而且你每天都要吸收学习和训练。
    mansur
        17
    mansur  
       2017-09-08 13:57:51 +08:00
    你买个标压 i7 的笔记本,神舟的就行,再自己补点内存,弄到 16G 就可以了,然后开几个虚拟机互相搞吧。
    suxiaozi
        18
    suxiaozi  
    OP
       2017-09-08 14:27:35 +08:00
    @Perseus1812 哈哈 开玩笑的
    suxiaozi
        19
    suxiaozi  
    OP
       2017-09-08 14:30:29 +08:00
    @mansur 这个配置估计带不动啊,配置集群至少要跑 5 个虚拟机吧(两个 master+三个 slave)
    saran
        20
    saran  
       2017-09-08 14:36:59 +08:00
    @fox0001 树莓派 3 100 一个?
    snoopygao
        21
    snoopygao  
       2017-09-08 14:46:19 +08:00 via iPhone
    对自己投资可以,但重资产模式不推荐
    mansur
        22
    mansur  
       2017-09-08 14:51:07 +08:00
    怎么不够,标压 i7 是四核八线程,刨去母鸡,能开七个呢
    yw9381
        23
    yw9381  
       2017-09-08 15:35:09 +08:00   ❤️ 1
    https://www.v2ex.com/t/368193#reply25
    可以参考一下我这个单子,2W 的机器真的是随便配了,无脑堆配置就行。
    如果是多卡 SLI 的话估计预算有点不够,单卡的话妥妥的
    Z270X/I7-7700K/GTX1080TI/64G/256G+3T*2/750W
    不过个人建议等等 8 代的桌面 CPU 上市以后再做选择,听说这次 intel 牙膏挤多了
    0x8C
        24
    0x8C  
       2017-09-08 15:36:43 +08:00
    首先如果是业余你也没有这么大数据,其次做大数据很苦逼,入门很简单,但做好很难,特别是数据清洗方向的,你必须不停的造轮子,大数据这个概念有点泛,做大数据不如做机器学习,这个比较有意思,一台 mbp 足够玩一段时间
    yw9381
        25
    yw9381  
       2017-09-08 15:42:24 +08:00
    接上条。19 楼,不知道为啥后面的锚点不跳转。。。
    我自己配了 32G,因为大部分虚拟机没在本机跑,有一台 4 路 E7/64G 的机器在机房托管,主要在这里
    我这里虚拟机大部分都是手动做漏洞环境搞安全研究,对单机性能没太多要求。
    我这里本机按照虚拟机最大数量来算的话,大概能跑 30 个左右(1C/1G/40G),实际日常同时开的没超过过 5 个
    虚拟机不是 CPU 独占的哦,内存基本上都是独占的
    大数据我不知道 GPU 有没有加速,如果没有的话,那我建议上多路平台( X79/X99 )或者二手洋垃圾( 1U/2U 的服务器)
    不过个人的话我觉得 7700K 超 4.6G ,开三五个虚拟机跑 hadoop 这些应该没啥毛病吧
    数据固态酌情考虑,如果需要很高的磁盘 IO 的话建议再加一块 512 以上的 ssd ( 2K 左右)
    owenliang
        26
    owenliang  
       2017-09-08 15:43:59 +08:00
    大数据有啥好研究的。。。很明显是机器学习。
    loryyang
        27
    loryyang  
       2017-09-08 15:51:38 +08:00
    别乱花钱,安心看书看代码吧,光会用不就是个熟练工,没啥闪光点
    fox0001
        28
    fox0001  
       2017-09-08 16:53:48 +08:00
    @saran #20 不好意思,数学没学好…
    yuanfnadi
        29
    yuanfnadi  
       2017-09-08 20:04:03 +08:00 via iPhone
    阿里云 1 核 1g 内存的机器大约一小时 0.15 元。
    一下子买 10 台 一小时 1.5 元。
    一天业余学习 4 小时。大约 6 元。
    yuanfnadi
        30
    yuanfnadi  
       2017-09-08 20:06:44 +08:00 via iPhone
    一台配好了可以保存镜像,利用弹性伸缩来无限扩展。100 台的集群,也就一小时 15 元。
    不用的时候一键释放,岂不是美滋滋。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1822 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 16:25 · PVG 00:25 · LAX 08:25 · JFK 11:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.