V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
itertools
V2EX  ›  Python

关于 s3

  •  
  •   itertools · 2017-09-23 19:11:36 +08:00 · 2951 次点击
    这是一个创建于 2623 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近项目中有这样的需求:

    • 通过上传图片,然后,后台经过处理把结果(json 格式)返回调用方。
    • 通过传递图片的 url, 服务端通过下载 url 对应的图片,然后,服务器对下载的图片处理,把处理结果(json 格式)返回给调用方。

    PS: 服务端需要保存图片。 之前都是通过图片,保存在服务器特定目录下,然后把路径传递给处理函数。

    现在由于处理图片的服务器要扩展为多台( api 服务器还是一台),所以就想把图片存放在 s3 上面,然后,把 s3 上面图片对应的 url 传递给处理函数。但是,现在我的做法是:

    • 把调用者上传到服务器图片数据再次上传到 s3,然后,获取对应的 url,给后面函数处理。
    • 如果调用者是通过传递图片 url 上传图片数据,服务端通过下载 url 对应的图片,然后在上传到 s3,最后再获取图片在 s3 的 url,给后面的函数处理。

    问题: 改为 s3 存放图片之后,响应时间相差很多,有什么方法可以优化?或者是我的做法欠妥还有更好的方法?

    6 条回复    2017-09-24 12:21:04 +08:00
    guyskk0x0
        1
    guyskk0x0  
       2017-09-23 20:05:44 +08:00 via Android
    1. s3 支持客户端直传吗?服务端发个 token 给调用方,调用方自己上传到 s3,我记得七牛支持这个。
    2. 同理,s3 支持直接下载并保存图片吗,这样就不用服务端重复下载了,七牛支持这个,s3 应该也支持。
    3. 加带宽吧
    whileFalse
        2
    whileFalse  
       2017-09-23 20:37:35 +08:00 via iPhone
    s3 可以客户端直传。
    derek80
        3
    derek80  
       2017-09-23 20:39:58 +08:00 via Android
    楼上的 1,2 可以用 STS 发 token 解决。
    itertools
        4
    itertools  
    OP
       2017-09-23 20:42:41 +08:00
    @guyskk0x0 第二点可行,但是第一点有个疑点,比如:我这个 api 可能给合作方或者以后开放给更多人。这时候,调用方就不可控,可能就不愿意自己调用 s3 相关 api (通过 token )上传。
    calease
        5
    calease  
       2017-09-24 09:17:41 +08:00
    s3 有 pre-signed url
    调用你的 api 得到 pre-signed url 然后调用方直接上传,
    通过 s3 notification 发通知给 lambda 处理上传结果。
    guyskk0x0
        6
    guyskk0x0  
       2017-09-24 12:21:04 +08:00 via Android
    @itertools token 有效期很短+只能用一次,颁发 token 时验证调用方
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3096 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 14:42 · PVG 22:42 · LAX 06:42 · JFK 09:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.