有个网站有时会涉及几百号人同时上传 2M 左右的图片好多张,这种情况下经常会丢失图片,怎么处理好呢?
1
sujin190 2019-05-07 14:50:36 +08:00 1
用又拍或者七牛
|
2
HanSonJ 2019-05-07 15:10:03 +08:00
前端上传
|
3
itchihuo 2019-05-07 15:10:41 +08:00
1 楼正解,直接前端上传云存储平台
|
4
tanszhe 2019-05-07 15:26:34 +08:00
关键在带宽
|
5
DefineJ 2019-05-07 15:32:51 +08:00
一定要自己的服务器搞个队列也行
|
6
keepeye 2019-05-07 15:36:04 +08:00
我觉得还是先搞清楚为什么会丢失图片比较好
|
7
googlecomhk 2019-05-07 15:37:52 +08:00 via Android
|
8
feiandxs 2019-05-07 15:39:32 +08:00
我觉得这里搞清思路找到问题所在就好,但这个场景下造轮子真的是最没有必要的。。
1 效果没前端直传第三方好。 2 造一遍也是各种封装,还涉及 token 鉴权之类的,开发成本高。 3 你造出来也没人家好,从业务角度来说就不该考虑。 4 也不用担心第三方平台倒闭之类的。。。带宽足,成本低,一般倒的比别家公司还晚。。。 就知识可以学学,自己再试图强行搞定高并发下的图片上传,又费钱又费人还学不到啥。。。 |
9
cnbattle 2019-05-07 16:39:20 +08:00
同 1 楼 直接往第三方上面怼
|
10
zhengwhizz OP |
11
zhengwhizz OP @keepeye 丢图应该就是处理不过来挂了,反正很怪异,没任何规律,重名也不可能,重名覆盖的话数据库有记录至少会破图,上传的时候 3-4 天有 40G 的量,时间点上来说还相对集中。
|
12
plqws 2019-05-07 20:21:40 +08:00
几百人同时上传 2M 的图片并不是什么大压力的场景啊,难道不是代码逻辑有问题吗
|
13
zhengwhizz OP @plqws 问题服务器只有 4M 带宽,并且上传的时候每个人都是一批的传,同时有对图片生成缩略图的操作,并且有些还有水印操作,也就是每个人估算会传十几二十张甚至更多,虽然并发时不一定有几百人,从以往的数据量来看,3 天左右 40G 的量,时间也相对集中。
|
14
zhengwhizz OP @plqws 有没有什么方法检测到当时的并发量?或者图片上传请求量?
|
15
ouou8 2019-05-07 21:01:28 +08:00
@zhengwhizz 暂时没有办法解决的情况下,你先限制一下每人一次只能上传图片的数量,比如一次最多只能上传 20 张,甚至更少一些。
|
16
mamahaha 2019-05-07 21:01:48 +08:00
你介四传的太慢超时了啊,ini 里可以调节一下,要想可靠就做队列或断点续传,断点续传的工具很多的一搜一堆。
|
17
server 2019-05-07 21:08:52 +08:00
临时授权,不过低版本 ie 不行, https://help.aliyun.com/document_detail/31953.html
|
18
zhengwhizz OP @mamahaha 接收代码里直接设置 0 的,
|
19
zhengwhizz OP @ouou8 客户不让限,而且也不让压,本来可以客户端压一下,但是客户看图片质量就看 KB 数。
|
20
dobelee 2019-05-07 21:15:54 +08:00 via Android 2
几百个人同时上传 2m 图片,带宽只有 4m。
这个背景下讨论架构有意义? |
21
shiny 2019-05-07 21:16:23 +08:00
云服务器流入的带宽不是没什么限制吗
|
22
opengps 2019-05-07 21:41:53 +08:00
如果是阿里云的话:
正常使用服务器的带宽上传,然后服务器内网传输给 OSS,然后引用地址返回 OSS 的公网地址。参考我的博客最后两段 https://www.opengps.cn/Blog/View.aspx?id=43&from=v2 |
23
king2014 2019-05-07 21:44:39 +08:00
10M 的带宽 8 核 16g 的机子,7 天有 3000 个人上传手机照片(手机照片不小 7,8M 有的),整个活动下来没有出现问题,可能并发没有我想的那么高的缘故吧
|
24
2kCS5c0b0ITXE5k2 2019-05-07 21:45:13 +08:00
带宽问题吧. 4m 水管单传一个 2m 的图片都要 2 秒了 更别说同时了
|
25
king2014 2019-05-07 21:57:13 +08:00
每个人估算会传十几二十张甚至更多,每张图片 2M。。。这还怎么搞?
相当于一个人就要上传 20M-40M 的图片,再来个 100 并发岂不是瞬间上传 2G-4G 的图片,几百号人岂不是更多。。。 |
27
opengps 2019-05-07 21:58:31 +08:00
22 楼补充:
对于传统机房的对等带宽,除了加带宽没别的办法。 对于国内各种云,带宽几乎全是只限制服务器出方向大小(入方向一般是 100M 或 200M 并且免费)。对象存储都是按流量收费,峰值带宽往往是 100M 起步 所以,这个问题可以用内网可打通的云服务器和对象存储搭配解决 |
29
yc8332 2019-05-07 22:08:14 +08:00
第三方存储服务搞起来。。。
|
30
KasuganoSoras 2019-05-07 22:11:57 +08:00
你要是只有 4M 宽带,就算你把程序优化成神仙也没用,速度还是只有 4M,就那个样
解决方法就是加宽带,或者用第三方储存服务 |
32
opengps 2019-05-07 22:19:23 +08:00
|
33
opengps 2019-05-07 22:20:34 +08:00
新找的图床好像不太好用,倒数第二个图片链接是官网文档截图
|
34
zhengwhizz OP @opengps 你是说上传图片的时候带宽并不是 4M?? 而是 100-200M ?只是访问的时候是 4M ?
|
35
opengps 2019-05-07 22:49:29 +08:00
@zhengwhizz 是的。注意前提条件是:你用的是云服务器这种“非对等”带宽
|
36
zhengwhizz OP @opengps 用的就是阿里,我也看了阿里的说明,这么说的话上传的瓶颈其实就是用户端这边了,但是这边只有他一人在传,假如同一时间有 10 个人在传,每人 6M,服务器处理 60M 的图片进行压缩 /打水印,是服务器运力不够了?服务器好像是 4 核 8G。
|
37
opengps 2019-05-07 23:20:53 +08:00 1
@zhengwhizz 你好像没 get 到我的点,我不是说你上传不够。
我是说你的上传之后的引用加载,占用了服务器的 4M 带宽,导致交互通讯时候有一个方向受阻了,可能在这个地方导致的其他人失败(上传过程也会需要一点下载流量的) |
38
jugelizi 2019-05-07 23:40:34 +08:00
怎么看上去就是发包攻击了
|
39
mumbler 2019-05-07 23:45:51 +08:00
阿里云的 ECS 和 OSS 上行数据都是免费的,最高 1G 带宽,4M 只是下行带宽而已.
|
40
z5864703 2019-05-08 00:49:16 +08:00
应该就是像 37 楼所说,上传没问题,只是因为页面展示图片的时候把 4M 的出网带宽占满导致别的入网请求交互握手阻塞。
如果是这种,可以考虑把页面展示的使用缩略图,压缩出网带宽开销 |
41
2kCS5c0b0ITXE5k2 2019-05-08 01:30:57 +08:00
@z5864703 再怎么压缩 并发那么高的话 4m 怎么够
|
42
akira 2019-05-08 03:13:05 +08:00
直传 3 方存储 是最好的方案了
|
43
zhengwhizz OP @opengps 了解了,应该就是这原因了
|
44
zjsxwc 2019-05-08 08:18:21 +08:00 via Android
七牛或别的 提供 token 前端上传
|
45
liuyang3688 2019-05-08 08:37:11 +08:00
同意 37 楼和 40 楼 通过服务器端验证下 就知道有没有上传成功。如果确实是上传成功后 拉取图片显示的问题 那么服务端生成缩略图可解 但是高并发下 即便是缩略图 也要考虑你的 4m 带宽
上云 引用地址最靠谱 |
46
lscho 2019-05-08 09:14:36 +08:00
4m 带宽谈什么架构。。。。
|
47
luozic 2019-05-08 09:18:13 +08:00
4m 出口 還要上傳圖片? 哈哈哈哈哈哈哈哈哈
|
48
fuxkcsdn 2019-05-08 09:27:22 +08:00 via iPhone
如果上传带宽没问题,那就上队列,4 核 8G 应对这个量足够了
web 只负责接收图片并把图片移动到指定目录,然后任务入列,之后由队列处理后续事宜 |
49
qbhy 2019-05-08 09:35:42 +08:00
前端上传到云存储就行了,php 生成个 token 就好,压力不大
|
50
opengps 2019-05-08 09:38:14 +08:00 via Android
前端上传有风险,你自己能上传的同时别人也能上传,慎用!
|