V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hanh1985
V2EX  ›  服务器

生信专用服务器

  •  
  •   hanh1985 · 2023-12-25 18:18:17 +08:00 · 2758 次点击
    这是一个创建于 367 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想问问大家,海外有没有比较便宜的生物信息用的服务器租用呢?

    最近看到一些公众号在推广生物信息服务器租用,一般共享几十核的 CPU 加上几百 G 的内存,一个月数百元,倒是符合一般生物信息的应用了。但是最坑的是网络,不管是 github ,docker 还是 wget 一些海外数据库,速度和乌龟爬一样,尤其像 nf-core 这样重度依赖网络的流程基本就被坑死。

    于是进一步想到,海外有没有类似的面向生物信息的服务器(多核,大内存,上 T 的硬盘存储空间)租用的廉价方案呢?这样困扰就少了一大截了。

    希望了解情况的朋友能分享一下。

    44 条回复    2024-03-22 01:11:35 +08:00
    HTDit
        1
    HTDit  
       2023-12-25 18:34:38 +08:00 via Android
    海外杜甫,去 hostloc 看看
    opengps
        2
    opengps  
       2023-12-25 18:44:51 +08:00
    不要带着具体行业属性,换个关键字去了解:把“生信”替换为“大数据”
    BanShe
        3
    BanShe  
       2023-12-25 19:06:36 +08:00
    hostloc
    dji38838c
        4
    dji38838c  
       2023-12-25 19:13:58 +08:00
    国内搞科研就是又想省钱又想跟上时代
    多花点钱,选择就太多了
    lemonda
        5
    lemonda  
       2023-12-25 19:19:38 +08:00
    Fiberstate
    128G 独立服务器,才 50 美元一个月
    mason961125
        6
    mason961125  
       2023-12-25 19:29:46 +08:00   ❤️ 1
    建议首先考虑合规,生信的数据大概率受跨境数据监管规范约束。
    hertzry
        7
    hertzry  
       2023-12-25 19:56:25 +08:00
    Github 科学上网,docker 换源,wget 用 IDM 下载再上传。
    hanh1985
        8
    hanh1985  
    OP
       2023-12-25 21:24:56 +08:00
    @mason961125 其实没有这个问题,现在人遗都不约束粪便或者血液的数据了。而且主要还是海外的下载回来。
    hanh1985
        9
    hanh1985  
    OP
       2023-12-25 21:25:45 +08:00
    @hertzry 是这样的。但是挡不住有的工具集成程度比较高,要挨个改链接非常折腾。
    hanh1985
        10
    hanh1985  
    OP
       2023-12-25 21:30:44 +08:00
    hanh1985
        11
    hanh1985  
    OP
       2023-12-25 21:31:45 +08:00
    @dji38838c 是自己掏腰包搞项目,还是要省着花的 T_T
    hanh1985
        12
    hanh1985  
    OP
       2023-12-25 21:32:06 +08:00
    @HTDit 感谢,我去 hostloc 看看
    hanh1985
        13
    hanh1985  
    OP
       2023-12-25 21:32:26 +08:00
    @BanShe 感谢
    hanh1985
        14
    hanh1985  
    OP
       2023-12-25 21:35:13 +08:00
    @opengps 好的,我会注意。这样搜索后确实还了解到更多相关的信息。
    BanShe
        15
    BanShe  
       2023-12-25 21:43:55 +08:00
    @hanh1985 捡便宜可以看 https://lowendtalk.com
    mason961125
        16
    mason961125  
       2023-12-25 21:50:02 +08:00
    @hanh1985 感觉你这个情况应该不会满载?如果是类似于批处理跑完就结束的话,各大厂的云按量计费其实挺划算的。
    hanh1985
        17
    hanh1985  
    OP
       2023-12-25 22:11:57 +08:00
    @mason961125 没有跑程序的时候不会满载。 但是一旦跑就需要多 CPU 和大内存。这种配置的机器以前云厂商不见得说有就有,不知道现在怎样了。要是跑的东西一多可能费用就蹭蹭蹭上来了。

    当然现在的主要问题是网络,所以要是有台海外的机器会比较好。
    hanh1985
        18
    hanh1985  
    OP
       2023-12-25 22:20:31 +08:00
    简单做了一下功课,和大家分享一下。这个可能的范畴是高性能 CPU 或者游戏服务器的独立服务器。在 VPS 主机的网站里面找“独服”,可以看到不少相关的信息。
    chihiro2014
        19
    chihiro2014  
       2023-12-25 22:27:53 +08:00
    hetnzer ?这个便宜。我记得当年租的时候 150 块钱一个月,然后 4c8h 32G 内存 4tb hdd ,1G 带宽共享
    mason961125
        20
    mason961125  
       2023-12-25 23:42:09 +08:00
    @hanh1985 噢,我前面脑子抽了打错字了,我的意思是你应该不会持续跑满一个月吧,如果是间歇性的负载其实按量很划算。
    lemonda
        21
    lemonda  
       2023-12-26 03:35:47 +08:00
    @hanh1985
    https://lowendtalk.com/discussion/190499/b-l-a-c-k-i-s-h-f-r-i-d-a-y-s-a-l-e-fiberstate-mega-sale-giveaways-kaboom
    120 美元可以买到 7950x 了。
    50 美元买到的 5700g 回帖可以内存翻倍。
    sNullp
        22
    sNullp  
       2023-12-26 04:12:41 +08:00
    Up to 96G 内存 16 核,10T+硬盘,有兴趣联系我 用户名 @gmail
    SuperXX
        23
    SuperXX  
       2023-12-26 07:38:04 +08:00 via iPhone
    搞科研要? 学校没有 HPC 吗? 确实没有可以考虑 Google Cloud , 也可以申请 Credits 用于科研,AWS 也有类似的项目
    sunamask
        24
    sunamask  
       2023-12-26 08:53:17 +08:00
    理论上 nf-core 只在第一次运行的时候,对 github 的一些域名有要求,比如 raw.githubusercontent.com ,而且一般是企业用户的 config 文件、测试数据啥的。

    你可以排查一下,把所有这类情况单独修改到本地就 OK 了(下载测试数据/数据库 reference/config 到本地,修改 config 文件里测试数据的路径啥的),这类文件一般不会随着版本更新有改动。
    sunamask
        25
    sunamask  
       2023-12-26 08:55:43 +08:00
    或者你可以试用一下 nf tower ? Community edition 不花钱。
    PhoneGor
        26
    PhoneGor  
       2023-12-26 09:23:10 +08:00 via iPhone
    @sunamask 说得没错,先把 igenome 、数据库下载,然后修改 config 文件即可
    hanh1985
        27
    hanh1985  
    OP
       2023-12-26 09:26:26 +08:00
    @lemonda fiberstate 好像没有库存了。
    hanh1985
        28
    hanh1985  
    OP
       2023-12-26 09:30:11 +08:00
    @SuperXX 自己搞点项目,实践一些简单的想法。老有医院或者外面的人找,也可以把这些资源盘活起来。不想去蹭单位的资源,免得麻烦。云的那套也弄过,补助几年前也搞过。配置好了,成本也不低,现在就是想搞台单独的服务器,替代家里的工作站来用。
    hanh1985
        29
    hanh1985  
    OP
       2023-12-26 09:35:38 +08:00
    @sunamask nextflow 也提供 offline 的方式,这样我可以在支持外网的环境下下载好需要的组件,然后传到一台便宜的服务器上去。

    nf-core 只是个例子,我使用 R 编程的时候,常常还碰到要安装个库,然后就是连接超时。最近恰好碰到原来的服务器硬盘坏了,需要迁移所有的镜像和环境(屋里原来还有软路由)。如果加一点点钱可以避免这些麻烦,可以节省大量的时间。
    ushio
        30
    ushio  
       2023-12-26 09:37:30 +08:00
    要大内存和多核可以去看看 Hetzner ,几十欧到两三百欧都有很多选择,像云筏这样的生信云创业公司初期都是买 Hetzner 分割成 VPS 卖
    hanh1985
        31
    hanh1985  
    OP
       2023-12-26 11:29:00 +08:00
    @ushio 好,谢谢推荐。
    sunamask
        32
    sunamask  
       2023-12-26 12:37:00 +08:00
    @hanh1985 #29 第一次碰到技术栈这么贴近的同行,泪目。

    R 的话可以用 TUNA+renv 来管理环境,也可以做成容器,我的 R dev 环境就是和 Rstudio server 一起放在容器里的。

    我是想说网络问题都有解决方案的,可以具体问题具体分析。
    hanh1985
        33
    hanh1985  
    OP
       2023-12-26 15:31:52 +08:00
    fiberstate 没货。我在 dedioutlet 上找了一台,2x E5-2680V2 (20 核 40 线程), 96GB 内存,240GB SSD + 1T HDD, 64 美元一个月。用国内的双币信用卡付的账单。网上评价说与国内的通讯速度慢,但是我主要是在上面搭流程,做开发和分析,下载海外网站的速度快就可以。先用着看看,以后有更合适的再换。
    hanh1985
        34
    hanh1985  
    OP
       2023-12-26 16:30:24 +08:00
    @sunamask 后面可以多多交流。最近还在琢磨,针对细分领域的网络优化,数据代下等后续能不能做成业务😄。
    lemonda
        35
    lemonda  
       2023-12-26 17:20:43 +08:00
    @hanh1985
    哈,需要盯一下,刚取消了几台。
    LET 里大概需要什么配置,可以发 request ,商家看到会给报价,有时候比公开的 offer 好很多。
    hanh1985
        36
    hanh1985  
    OP
       2023-12-26 17:27:06 +08:00
    @lemonda 好的,学习了。
    SuperXX
        37
    SuperXX  
       2023-12-27 00:15:22 +08:00 via iPhone
    @hanh1985 那我推荐自己撸台二手服务器吧, 可以看看 EBay 上的准系统,比如 T7920 双路直接插满吧
    SuperXX
        38
    SuperXX  
       2023-12-27 00:17:18 +08:00 via iPhone
    T7920 准系统前不久看的价格是 349 , 也可以去 Reddit 上看看 HardwareSwap 或者 Homelabsales
    hanh1985
        39
    hanh1985  
    OP
       2023-12-27 00:38:16 +08:00
    @SuperXX 人在国内。是自己在 ebay 买了之后再托管到海外机房么?没有试过这种方案,不知道怎样。
    sNullp
        40
    sNullp  
       361 天前
    t/1004783
    sNullp
        41
    sNullp  
       361 天前
    Rollie
        42
    Rollie  
       282 天前 via iPhone
    需求量大吗 我可以提供
    hanh1985
        43
    hanh1985  
    OP
       280 天前 via iPhone
    @131393 还是自用为主
    Rollie
        44
    Rollie  
       280 天前
    @hanh1985 我有自己托管的服务器一个月 500
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   998 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 21:38 · PVG 05:38 · LAX 13:38 · JFK 16:38
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.