V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
darklowly
V2EX  ›  问与答

求教,海量图片存储方案

  •  
  •   darklowly · 2013-04-09 17:40:09 +08:00 · 5141 次点击
    这是一个创建于 4025 天前的主题,其中的信息可能已经有所发展或是发生改变。
    现有几千万的图片,单个文件大概是100-200K左右.
    假设不使用第三方云存储,并且单机解决.
    有什么现在的方案比较好?
    如果没有,有什么现有库可以在此基础上做二次开发?
    如果再没有,我再考虑自己从头开发。
    第 1 条附言  ·  2013-04-10 13:54:40 +08:00
    需要访问。和普通网站的图片服务器类似。只是说需要单机去解决。并且效率要高。不想直接用文件系统分层去管理。直接用文件系统的话效率上不会太好。
    9 条回复    1970-01-01 08:00:00 +08:00
    markmx
        1
    markmx  
       2013-04-09 18:03:02 +08:00
    简单的不考虑同步备份机制,
    让图片和网站分离开,就可以了,做很多个类似
    img01.xxx.com(图片服务器1)
    img02.xxx.com(图片服务器2)
    img03.xxx.com(图片服务器1)
    然后把图片随机传给这些地方。
    romotc
        2
    romotc  
       2013-04-09 18:10:00 +08:00
    貌似没说清楚具体的应用场景,单纯的存储 or 需要web访问 需不需要防盗链....
    And 预算情况
    glancesx
        3
    glancesx  
       2013-04-10 09:36:21 +08:00
    不知道遇到什么瓶颈了.
    Livid
        4
    Livid  
    MOD
       2013-04-10 09:45:07 +08:00 via iPhone   ❤️ 1
    Riak CS
    NemoAlex
        5
    NemoAlex  
       2013-04-10 10:15:44 +08:00
    就只是存储吗?不需要访问?
    darklowly
        6
    darklowly  
    OP
       2013-04-10 13:40:27 +08:00
    @romotc
    @glancesx
    @NemoAlex

    需要访问。和普通网站的图片服务器类似。只是说需要单机去解决。并且效率要高。不想直接用文件系统分层去管理。直接用文件系统的话效率上不会太好。
    glancesx
        7
    glancesx  
       2013-04-10 21:24:05 +08:00
    1)不是硬性单机的话,tfs性能还挺靠谱.
    2)要求效率的话,单机的性能能高到哪里去.
    gfreezy
        8
    gfreezy  
       2013-04-10 22:33:45 +08:00
    遇到同样的问题了,同问。
    nkliwenjian
        9
    nkliwenjian  
       2013-04-11 01:15:00 +08:00
    一个想法,行不通也别怪。挂几个硬盘,不同的分区。图片的存储按照一定的规则存到不同的分区上去。这样并发取的时候几个硬盘就有可能同时运作。还可以考虑图片同时存几个分区上面,然后取的时候根据访问队列做io吞吐均衡。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1449 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 17:20 · PVG 01:20 · LAX 10:20 · JFK 13:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.