探讨一种低成的本大文件存储和传输方案，目前没辙了

[yishibakaien]

场景描述

• 文件（主要是视频）大小在 2 - 30G 之间，平均大小在 12G 左右一个，目前每天大约有 20 个左右该大小文件被创建，也就是 240G 左右
• 文件需要被保留至少 30 天，也就是最小存储空间需要 240G * 30 = 7200G ，考虑到冗余需要 10T 左右空间
• 该文件需要在创建完之后提供给异地下载（批量或并发下载），或者通过某种方式传输给异地（跨省）

遇到的困难

• 存储文件成本较高
  • 如果使用 OSS 、COS 等方式，10T 一年存储费需要 ￥ 8700
• 下载（传输）成本较高
  • 走 CDN 下载（直接 OSS 下载更贵）需要支付两部分费用
    • 回源流量费用（从 CDN 回源到 OSS ），240G/天 * 0.15 元/G * 365 天 = ￥ 13140
    • CDN 流量费用，240G/天 * 0.2 元/G * 365 = ￥ 17520
• 如果存储在本地
  • QQ wx 等不支持如此大的文件传输，对传输总流量也有限制
  • 家庭带宽上行最多可以到 20M/S 左右，也无法满足文件传输需求（存在多人同时下载），（如果有办法把家庭带宽上行扩大到 100M/S ，勉强可以使用，听说公网 IP 多播可以做到，但是容易封号）
• 如果采购云服务器提供下载
  • 大带宽成本天价，不考虑

待解决核心问题

• 最核心的是如何解决文件传输流量问题，存储在本地成本较低，可以接受！

特此求助 V 站各位老师，有没有低成本传输如此大批量文件的方案，感激不尽！欢迎讨论！

[locoz]

你直接开多个家宽套餐，在正经渠道下做负载均衡不就好了，为什么要多播呢

[google2020]

只考虑传输的话，网盘，几十块一个月的会员够了

[PrinceofInj]

视频文件首先考虑一下编码的问题。不知道你这些文件编码是什么，转成 AV1 可能会有奇效。

[B4a1n]

阿里云盘

[loveshuyuan]

网盘，国外大盘鸡

[yishibakaien]

@locoz 一个住宅只能签一条宽带入户吧？另外目前视频都是存储在本地一台家用 PC 上（目前一天大约产生 30G 左右文件，家用带宽还撑得住），多开几个账号需要多个身份吗？可能老哥你的方案是可行的！就是操作起来会比较繁琐！

[yishibakaien]

@google2020 我本地传到网盘的速度不行呀！当天出视频，马上就有人来要下载或者传输的

[PhaSelEza]

考虑过邮寄硬盘的方案吗？

[yishibakaien]

@PrinceofInj 视频原生是 RMVB ，转码有试过，有点慢，可能我机器 CPU 或显卡 不太行吧，12400 + 2080Ti ，或者我转码的方式不对，需要让 GPU 来转码，我尝试看看

[locoz]

@yishibakaien #6 当然可以签多个，无非就是钱的问题...你又不是明显有问题的那种一次几十上百个弄，20M/s 拉到 100M/s 也就 5 条宽带而已，正常需求。

[yishibakaien]

@PhaSelEza 讲究时效，要不然不会这难受

[mason961125]

老哥做古早 AV 高清修复的吗（ bushi

[yishibakaien]

@locoz 你这个可能是目前最优解了，我明天问问运营商或者宽带二哥

[locoz]

@yishibakaien #6 你可以找运营商客服要求分配个客户经理，让客户经理联系你，然后你直接跟客户经理说明需求就行了，剩下的事情客户经理会帮你搞定的，毕竟人家要赚钱。

[opengps]

oss 联系下高级客户经理，可以支持快递硬盘

[yishibakaien]

@mason961125 蜀黍直接破门按头 -_-!

[mainjzb]

...上传的能力都不够。。。还嫌网盘你上传不上去。。那没法了啊。只能顺丰了
*网盘可以满足多人同时下载，你只用上传一份
*网盘成本够低
*网盘的上传速度你解决不了，别的网络方案一样需要上传，别谈 cdn 和 oss 了。

所以你要解决的是上传带宽问题。

[yishibakaien]

@opengps 我这个体量应该不足以让高级客户经理出马！然后其实就 几百 G ，快递这种方案是不太行的

[Raynard]

和我们现在做的教育厅的项目需求差不多，

我们是移动的线路，但都是省内，没你这么远

我看你们这个成本，找运营商买线路便宜多了，点对点的专线

[yishibakaien]

@mainjzb 是的，目前核心问题就是传输问题，我最后的 **待解决核心问题** 有提到

[yishibakaien]

@google2020 能解决上传速度（上行带宽）问题，网盘是个好方案！

[yishibakaien]

@Raynard 不是点对点的，是点对 N ，下载的用户可能来自任意地方

[Raynard]

那你这个还一个方案，从生成端 上传 到 idc 机房，用点对点专线。保证速度和时效性。

到了 idc 之后再走正常下载，不用 cdn 。

江苏的 idc 价格便宜，和他们谈谈，v2 好像就有，你找找

[just1]

不管哪种方案都要从本地出去的，唯一办法就是拉带宽，专线你这点量也不至于

按照每天 300G ，均匀分布 24 小时的话就是需要 2.7MB/s 的速度，接受 8 小时延迟的话就是 8.1MB/s ，上传增强型家宽就可以够，一年 100T 出头，只是得问问会不会达量限速

[Pteromyini]

你这个全链路瓶颈在上行带宽上，上行带宽问题解决之后其实就是个 nas 的事

[Pteromyini]

另外有一个风险必须考虑：每天 200G+的上行存在宽带被停用的风险，你可以翻一下你的合同，作为服务端是违反家宽使用用途的，运营商如果想整你有理有据

[yishibakaien]

@just1 有这种上传增强型吗？其实上传到网盘让对方下载这个方案很好，现在苦于带宽问题！

[gamexg]

bt ？
除非是邮寄硬盘等方式，
只要是网络传输，那么都需要最少上传一次，都要加大宽带。

我看是 1 到 n ，那么 p2p 是比较好的方式。
设置好做种策略，源只用上传一次

[yishibakaien]

@Pteromyini 感谢耐心地帮忙分析！目前确实瓶颈就在上行带宽，如果我只是传输文件 或者干脆上传到网盘应该不至于被整吧！这个我明天咨询清楚，谢谢！

[yishibakaien]

我想到一个方案，能不能直接让产生的视频通过 api 直接写在网盘啊（视频的产生类似监控实时录制的），这样就不经过我本地了，直接起飞，没有烦恼

[yishibakaien]

@gamexg p2p 没整过，比较陌生，邮寄是万万不可行的

[wu67]

问问运营商，搞那种大带宽的套餐，记得沟通好/相当于提前报备，然后你整 nas 就行，你正规用途不用怕，直接说就可以啦

[gamexg]

@yishibakaien bt 或 电驴
以前网络宽带不高的情况下，1 对 N 分发文件的目的设计的

[yishibakaien]

@gamexg 嗯，这个不管怎么样都要把我本地的视频传上去才行吧，依然不能解决问题，我本地上行带宽太小了

[yishibakaien]

@wu67 好，看来还是要咨询运营商，家庭带宽能解决的话那就完美了！

[xtreme1]

友情提示: 上海联通家宽, 每日超过 100GB 上行流量, 且月上行流量到达 4000GB 的, 触发局停, 签署不使用 PCDN 或 BT 的承诺书后解封, 第二次触发局停后清退并进入黑名单

[yishibakaien]

@xtreme1 感谢提醒，看来这里面还有很多坑，运营商是不会轻易让你薅到的

[yufeng0681]

买三个二手安卓手机，支持 5G 的。
买 5G 的流量卡三张。 具体看你当地哪个运营商连网盘上传速度最快。
把要上传的视频分别放三个手机的云盘 app 探测目录下，自动上传
1 、设置云盘 app 只能用移动网络，这样就不会用局域网的 wifi 上传，堵在宽带出口
2 、三个手机插上电，放在公司不怕被偷

[Actrace]

钛盘可能比较符合需求，虽然最长只能免费 7 天。

[pxiphx891]

我觉得你这个场景，网盘是最好的。一天 240G ，24 小时上传网盘，一条宽带就够了吧？另外你用 handbrake 编码试试，用上 gpu ，编码成 h265 ，应该能压缩不少体积。

[lsk569937453]

可以换个思路。
1.一天 20 个文件每天都会有人下载吗？直接用播放器在线播放行不行？需要留存的在下载。
2.如果是监控视频的话，可以把静态的部分直接处理掉。

[june4]

视频是啥用途，压缩还是大有可为的，有可能变成原来的 1/10 大小，多买几个千元小机并行压就行。且 frame rate 要求不高的话把 fps 改低成 16 什么的看上去也不差，但文件小巨多。

[hullhutt]

别人要下载,你就必须解决上传问题.
移动的 100 兆上传千兆宽带一年也就三四百.再加 30/月,上传变 300 兆.
可以用一些同步工具,goodsync 类似的.
或者 bt 做种,这种比较好,缓解上传压力

[DT27]

美国的大盘服务器

[Pteromyini]

@yishibakaien #29 能传网盘最好，直接从家里拉数据万一被风控就说不清了，传网盘还有的解释，我自己传网盘属于个人用途，直接分发没法解释

[gogogaga123]

别听他们的 就是卡车拉硬盘 是目前最快的超大数据版搬运传输方式，不信你自己搜 [卡车拉硬盘]

[xqk111]

NAS ？

[blankmiss]

百度网盘（天翼云盘 Alist 直链下载） + 移动宽带（移动宽带 有的套餐上传可以达到 200M ，电信已经锁死 30M 了）

[blankmiss]

如上我所述 如果百度云盘你就得充 SVIP 不然容量不够，如果是天翼云盘你就得买 30T 的账号。然后搭建一个 alist 让天翼云盘承担下载， 再一个就是移动宽带，移动的上传带宽很大，天翼云盘 百度云盘这种上传是不限速的

[CaptainD]

我们公司有类似需求，买的美西的实体服务器托管，上下行千兆，你需要的配置估计每年一万多人民币吧，不需要担心流量问题，只是延迟会高一点，对于下载文件和远程开发来说问题不大

[forvvvv123]

我之前在某个大厦的电梯里看过运营商的广告，有上行增强型的线路，面向的是政府和企业的宣传需求，比如要搞网络直播宣传之类的；

所以建议还是联系下本地的运营商客户经理，他们遇到的场景应该比我们多很多；

[LinePro]

如果可以公网拉流的话，你可以考虑开个阿里云北京的 ECS 服务器，整个阿里云盘，部署 Alist 挂载阿里云盘并开启内部上传，把视频流拉到服务器本地后用 Alist 上传到阿里云盘。一般 ECS 服务器购买时标注的带宽指的是公网上传带宽，公网下载带宽是 100Mbps 不限速的。开启内部上传后上传走的是阿里云内网，也同样不限速。这样就解决了带宽问题。

[Greatshu]

感觉是需要存档的监控录像
传输可以用 P2P 同步工具，Resilio Sync ，Syncthing ，微力同步之类。宽带可以多开几条分流，三大运营商各一条避免一锅端。
有公网 IP 或者 ipv6 可以 VPN 组网，让异地自己来下载，千万别公网 IP 搭 web
网盘可以作为兜底，一来大规模上传下载可能会限速，至少曾今百度 SVIP 干过，我一天下载了 1.3TB ，速度降到 100KB/s ；二来体现不出工作量。

[expy]

现在什么流程还会用 rmvb ，你直接换成 x264/x265 都能保持清晰度并省很多码率。

[somebody1]

@yishibakaien #21
我刚刚测试了阿里云盘，上传大概是每秒 10-15M ，不过我是在公司测试的，公司是家用的宽带，但是上传更大一点。我没开会员

网盘是最优解，12G 一个文件，上传到网盘大概是 20 分钟左右，也就是之后 20 分钟后，就可以提供网盘的链接供客户下载了。

费用只有网盘的费用和家用宽带的费用，宽带上传要足够才行。

[adoal]

如果你有这么大的数据量，但给你带来的收益让你连一年不到 5 万的都觉得存储+下载费用都觉得太高，那是不是要考虑一下这个业务的价值，换个赛道了？

[niubee1]

按你这个需求 你是要做影视剧分享？

[ETiV]

换编码器+1 ，使用更高效的编码器可以在保持画面质量的同时降低码率，显著减小视频文件体积。

（ rmvb 感觉都是上个世纪的东西了…）

我娃幼儿园的直播视频，一天 10 个小时，2GB

不如你说说自己的业务场景，说不定当个 UP 主，可以直播推流到斗鱼什么的，然后开启直播回放功能…
你只需要有上传带宽就行了，视频文件的存储和点播都靠直播网站帮你做了…

[shimanooo]

根据这个网站的测试, https://rigaya.github.io/vq_results/

Intel A 系列显卡 HEVC 硬编码质量最好. 其次是 12 代酷睿核显.

(软压肯定不用看了. AV1 硬编码目前也没 HEVC 好)

[zjsxwc]

300 元包年开通百度云盘一个会员有 5T 空间，
楼主要 10T 就开通 2 个百度云盘会员。

github 扒个使用百度云盘的接口 sdk 集成到你客户端，

搞定

[Eagleyes]

巨量数据异地传输，请快递硬盘

一辆满载硬盘的卡车的带宽，是任何光纤都无法比拟的。

[JuSH]

试试联通、电信的政企服务，比如联通云宽带 https://gec.10010.com/jl/product/1001009
可以定制宽带服务

[icyalala]

等一下。。RMVB ？这么老的编码，是怎么生成的？

[Huelse]

压缩分包处理，比如每个包 256M ，写个工具分批上传到多个云盘或 OSS （最好是支持接口的）并生成记录文件，后续根据记录文件下载或继续分发。

[tuotu]

@yishibakaien #6 一户可以多条宽带的

[wyx119911]

@yishibakaien #30 用对象存储是可以的，对象存储都支持流式上传。但像百度网盘是不支持流式上传的。
如果用云厂商的对象存储，可以同时采购他们的 CDN 服务，同一个厂商的 CDN 到对象存储是走的内网（例如腾讯云的 cos + cdn 方案，免回源流量费。
这样只需要接入流式上传 api 就可以了，方案简单可靠，也省去了你本地拉宽带的费用和 cdn 回源费用。

[kulous]

移动宽带还送网盘，4T

[byte10]

本地上传网盘慢？那你上传到 OSS 、COS 不也一样慢吗? 不管是什么方案都是要本地上传宽带快才行的。

拉几条宽带分包后上传吧，最优解了。用天翼网盘 可以拉满速度的，10T 的账号 才 250 元，再开个会员完事。

[alfawei]

直接办理直播宽带，大上传的

[JavaGym]

https://wormhole.app/ 这个就能解决了 最大支持 10G 文件传输即使文件流 可以设置分享条件 实现阅后即焚的效果 没有上传完对方也能通过分享链接下载

[c2const]

量还不够大，不然邮寄硬盘就行了 :)

[lakehylia]

网盘+运营商上传套餐

[InDom]

🤔 一天创建 24G 数据，如果是多个用户都要下载，是不是 P2P 方案更好？

普通家宽一天 100G 上传还是能做到的。

[Kinnice]

你需要的只是来个猛的 GPU 转码

[guazao]

打电话口述二进制

[wolfan]

你这个是监控视频吧，为什么要自己麻烦。
如果不涉及保密需求，你找找当地（国内）的网络服务商（电信、联通、移动、广电），他们是有网络监控服务的，多头好像只是安装价加设备费。

缺点就是只能使用他们提供的设备，如果你已有设备就麻烦点。

[cover]

热数据（网盘未上传完部分）走宽带或者 OSS +CDN ，冷备部分（ 7 天）走网盘，混合模式走一波，应该能节省不少成本

[hefish]

我觉着传输问题。。。还是买几个 U 盘或者 ssd 快递过去吧。也许更快些。

[maizero]

1 、没讲清楚数据多地同步的时效需求，如果是 T+1 ，那么总容量/时效=时效内上行带宽需求，评估下就可以知道 30M 家庭上行是否可以满足，如果不行，100M 的直播宽带是否可以满足？（电信 599 一个月，之前 299 ）；
2 、30 天的存量不超过 20T 的话，TO C 的阿里云盘都可以解决了，可以解决多点分发的下载需求；

总体思路是数据源》分发源的带宽 是否满足指定容量同步时效需求；
分发源的下行带宽，是白嫖 TO C 服务，还是选择商业化——取决于多端分发对端下行的带宽和时效需求；

核心问题解决了，其他无非方案选择罢了。

[8E9aYW8oj31rnbOK]

楼主没想到过开个百度网盘的会员吗？一个上传，几个下载，多开几个会员。一个会员一年也就二百左右吧。

[maizero]

我毛估估了下 每天 240G 也就是一个小时 10 个 G 要上传 家宽 30M 的上行应该是满足不了的
理论需求大概是打满 22.75M/s ，你得有 50M 以上的上行

[maizero]

如果你拉不到便宜的 100M 直播宽带，商宽太贵，有个不违规的办法就是同一个地址拉二宽。
电信 199 以上的融合宽带可以 30 一个月拉二宽，下行 300M （上行 30M ）
找师傅在楼道的光纤做分光——如果你入户是光纤入户的话，那么同一个地址安装 2 个家宽问题不大
然后在你家里一个光纤做分光
那么你有 2 条宽带 1000M 30M 上行，300M 30M 上行
不需要多拨的情况下，2 个 wan ，也不用聚合，分配给 2 个客户端，2 个账号往网盘写入
240G 24 小时内上传完毕 完全没问题

[mxT52CRuqR6o5]

花钱给宽带加上传不就好了，然后用网盘

[penissponge]

Resilio Sync

[Admstor]

奇怪别扭的解决方案必然来自奇怪的需求

你还是说说到底为什么需要这种操作吧

如果是某楼提到你是可能做视频修复，修复好的视频传输给客户
那么网盘其实才是最好的

另外 240G 这个体积都能装 10 部 4K 电影了，你编码是不是考虑更换为更高效的编码，按你的配置完全不是问题啊

[cailiang]

我可以让你使用云的成本大幅下降，想了解一下的话可以加我 v: d2R3eHpoMDgwOQo=

[kangxt]

不晓得 steam 这个方案可行吗

[tom8]

运营商云盘 https://cloud.189.cn/web/vip#/platinum

[nekoneko]

1 对 N 的话
无论如何, 上传是你绕不过去的槛.
PT+订阅, 能有效减少自己主机的上传量

[SenLief]

你需要的是上传，无论哪一种方案你都是要上传，所以很简单，你直接问宽带那边上传多少钱就完事了。分发可以用网盘。

[jonty]

存储不知道，但是低成本大容量传输的话是卡车/飞机 物理运

[b2504420230]

不是，我算了一下。你这对上传带宽要求也不高啊。同时异地备份呗，就是数据同时在两个设备上同时存储。算了一下，一小时 10G ，差不多上传带宽 30Mbps 就够了啊，正常家宽就够了。然后走 ipv6 公网，不是妥妥的吗。

[whp1473]

本地弄个 8T 硬盘存储好，然后做个任务不断同步至备份盘，1 个主写入，其他做备份盘，谁需要下载时 1000 块钱顺丰邮寄过去，1 天就到了。8T 下载速度 2M 要一个月，但是顺丰只要 1 天。