V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
LuminousKK
V2EX  ›  云计算

腾讯轻量 COSCMD 上传 COS 低成本归档存储测试

  •  
  •   LuminousKK · 2021-01-21 16:48:04 +08:00 · 2972 次点击
    这是一个创建于 1434 天前的主题,其中的信息可能已经有所发展或是发生改变。

    关于腾讯轻量与深度归档配合的文章很早就想写了,早期轻量的下行是超千兆的,但是因为前段时间腾讯云调整了入网带宽的策略,顿时感觉这个用法不太合适就搁置了。昨天的时候朋友给我发说对于轻量的入网策略变化了,国内区域入网从原来的 10Mbps 上升到了 100Mbps,于是把这个翻出来还是把它写完吧~

    轻量+深度存储的组合,从轻量端而言,国内学生机跟阿里一样 108/年;除此之外现在秒杀的活动实例 1C1G3M 三年才 268 的价格,再加上很快会有一次对于轻量产品线的升配,算是入门的一个比较良好的选择。

    从存储端而言,深度归档存储定位的是类似于磁带机那样对于文件的贮存,储存的东西也就是是比较大的、较少查阅的一类,存储 1T 文件一年仅需 102 元。COS 与轻量通过内网通信不会产生额外的流量费用,此外 COS 还有 COSBrownser 这样的桌面可视化管理工具,使用体验是很不错的。存储低频大文件与网盘相比的话,外网取出成本略高,不过相应的也有可靠性好一些、S3 兼容 API 普适性很好的特点。 dVzA.png

    我测试的环境是腾讯上海的轻量,因此对应的 COS 要开在上海,存储类型是在上传的时候通过参数指定的,因此在这里不需要进行过多的设置。 d7YV.png

    因为上传的是特殊的归档存储类型,因此第三方程序比如 rclone 这样的兼容 S3 API 就不知道怎么办了,最好还是 COSCMD 来解决。我的服务器是 Debian 的系统,python 环境已经配置好了,因此直接使用 pip install coscmd 就能进行安装。其他更高级的操作参考文档( https://cloud.tencent.com/document/product/436/10866 )。

    配置存储桶的参数比较简单,先去云 API 密钥( https://console.cloud.tencent.com/capi )获取 ID 和 KEY,这里可以配置为仅拥有 COS 权限的子账户来提升安全性。配置桶的话很简单:

    coscmd config -a [secretID] -s [secretKey] -b [桶名] -r [地域]
    

    其中地域参考( https://cloud.tencent.com/document/product/436/6224 ),桶名不仅包含你自己给的名字,还有后面的一串数字,比如我的 archive-12520*****。无误的话程序会显示 Created configuration file in /root/.cos.conf,加载桶就完成了。 至于上传也是比较简单的,将 /root/my.mp4 上传到 archive 文件夹下即可这样操作:

    coscmd upload /root/my.mp4 archive/ -H "{'x-cos-storage-class':'DEEP_ARCHIVE'}"
    

    本来以为深度归档的速度会差一些,然而还是 80m/s 的样子: drcG.png

    这样通过轻量的中转可以实现从外面快速往回拉文件再通过内网快速上传,转存到 COS 的话效率很高,我的这台下载文件的话基本上也能到 80m/s 的样子。 K3uL.png

    归档存储还是为了存一些乱七八糟的价值比较低又不能丢的垃圾数据,毕竟只是偶尔需要拉出来进行一些查阅,之前一直存储在微软的 OneDrive,有些白嫖的账户也不知道能用多久。鹅厂宣传自家存储持久性敢说 11 个 9,有特殊需要作为备份那还是可以接受的。就是深度归档的灵活性比较差,解冻需要 12-24h 才能完成。 KFRa.png

    COS 详细计费信息参考( https://cloud.tencent.com/product/cos/pricing ),其他的就是不太清楚内网请求次数的收费,我这段时间的日常操作下购买的请求次数包也没有扣除额度,如果有实际经验的朋友可以给一个确切的答案。

    12 条回复    2021-01-23 09:55:40 +08:00
    iphoneXr
        1
    iphoneXr  
       2021-01-21 16:57:24 +08:00
    特意登陆上来吐槽腾讯云的深度归档存储
    读写请求数 是每万次 1 元 这是比正常存储的每万次 0.01 元 贵了 100 倍。
    上个月因为这个扣了我 100 多快钱 😪
    LuminousKK
        2
    LuminousKK  
    OP
       2021-01-21 16:59:41 +08:00
    @iphoneXr 是的,读写贵了好多……算不好的话你从存储省的钱就能从请求次数这里薅回去……
    stille
        3
    stille  
       2021-01-21 17:00:07 +08:00
    同楼上
    吐槽深度归档存储,在 centos 上做了 crontab 定时任务,COSCMD,每天定时传到 COS.一个月后账单多了不少.放弃了
    iphoneXr
        4
    iphoneXr  
       2021-01-21 17:04:15 +08:00
    @LuminousKK 关键问题是每次同步,肯定是要做文件比对的,我用 rclone 做备份同步,读请求超多,只能弃之。
    iphoneXr
        5
    iphoneXr  
       2021-01-21 17:09:09 +08:00
    并且 现在也没有 深度归档的 请求次数包 购买,只能按量付费。
    LuminousKK
        6
    LuminousKK  
    OP
       2021-01-21 17:11:41 +08:00   ❤️ 1
    @iphoneXr 深度归档就适合打包成相对比较大的文件,然后对单个文件用 cli 上传,要遍历的话文件一多那开销……还不如买世纪互联的 OneDrive (;´д`)ゞ
    eason1874
        7
    eason1874  
       2021-01-21 18:09:09 +08:00   ❤️ 1
    请求不分内外网,有请求就计费,包括查询、上传、下载、删除等等。

    普通读写请求很便宜,1 分钱 /万次。深度归档请求就贵了,标准取回 7 元 /万次,批量取回 2 元 /万次,读写 1 元 /万次,取回数据量还要另外收费,标准取回 0.14 元 /GB,批量取回 0.018 元 /GB 。

    日账单没有,因为是按月计费,计费单位是万次,不足一万次按一万次算。

    作为网盘,也就速度和安全有点优势,价格是没有优势的。
    gam2046
        8
    gam2046  
       2021-01-21 18:42:46 +08:00
    这玩意作为低频数据备份,例如家庭照片这类的,一般容量也不会特别大,很难超过 1T,平常数据本地也都有,就是不停的新增上传(比如每个月打包一个文件上传),如果出现意外了,就统一下载一次,应该费用还可以
    billlee
        9
    billlee  
       2021-01-21 21:33:38 +08:00
    @iphoneXr #5 归档存储就是代替磁带库的,适合写进去以后正常情况下就再也不读出来的数据。你要做同步肯定是不适合的
    daimaosix
        10
    daimaosix  
       2021-01-21 22:16:37 +08:00
    @LuminousKK 请问楼主,世纪互联的 OneDrive 有比较大的容量的吗?比如 40T 往上的,主要用于自动备份用的。
    LuminousKK
        11
    LuminousKK  
    OP
       2021-01-21 22:45:27 +08:00 via Android
    @daimaosix 如果需要 40T 的容量你需要够买 5 个 Sharepoint Online 2 许可证,这样才可以申请每个账户 OneDrive 空间扩容至 25T,另外不够用还可以再申请额外的 Sharepoint 配额……但是一个 SPO2 许可一年就是 700+……
    freecloud
        12
    freecloud  
       2021-01-23 09:55:40 +08:00
    /t/744069 还不错。腾讯云轻量最近活动力度很大。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1443 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 17:22 · PVG 01:22 · LAX 09:22 · JFK 12:22
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.