V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
northisland
V2EX  ›  问与答

急求往 AWS 的 S3 上传东西的经验

  •  1
     
  •   northisland · 2015-10-21 11:00:18 +08:00 · 7292 次点击
    这是一个创建于 3101 天前的主题,其中的信息可能已经有所发展或是发生改变。

    公司的某个集群因为欠费被回收了。因为我之前玩过 AWS ,老板就让我在 AWS 上折腾集群 ToT , 20 多 G 的数据要上传。

    用的是 ap-northeast-1 区域的 S3 ,建立的存储

    aws configure 没问题
    挂上 VPN 的时候,发现$ aws s3 ls 没问题, cp 也没问题

    不挂 VPN ,就虾米了,直接什么都不出来~~

    请问有办法上传到 S3 上么? 多谢多谢!

    13 条回复    2019-01-29 10:48:07 +08:00
    northisland
        1
    northisland  
    OP
       2015-10-21 11:06:01 +08:00
    楼主测试 s3cmd 还能用=_=速度比较慢

    $ s3cmd put gpu s3://s3-bucket-1-mm --recursive
    WARNING: Module python-magic is not available. Guessing MIME types based on file extensions.
    gpu/gpu.pdf-aa -> s3://s3-bucket-1-mm/gpu/gpu.pdf-aa [1 of 45]
    1048576 of 1048576 100% in 35s 29.00 kB/s done
    gpu/gpu.pdf-ab -> s3://s3-bucket-1-mm/gpu/gpu.pdf-ab [2 of 45]
    1048576 of 1048576 100% in 25s 40.38 kB/s done
    gpu/gpu.pdf-ac -> s3://s3-bucket-1-mm/gpu/gpu.pdf-ac [3 of 45]
    fwrq41251
        2
    fwrq41251  
       2015-10-21 11:07:45 +08:00   ❤️ 1
    现在 aws 有北京区域啊,我们也用的 S3 ,都是直传的,没问题
    northisland
        3
    northisland  
    OP
       2015-10-21 11:12:39 +08:00
    @fwrq41251
    多谢多谢,我用的是老板国外信用卡绑定的账户,只有如下的区域

    US East (N. Virginia)
    US West (Oregon)
    US West (N. California)
    EU (Ireland)
    EU (Frankfurt)
    Asia Pacific (Singapore)
    Asia Pacific (Tokyo)
    Asia Pacific (Sydney)
    South America (São Paulo)


    你们用的是什么渠道的 aws 呢?
    northisland
        4
    northisland  
    OP
       2015-10-21 11:19:59 +08:00
    @fwrq41251
    看明白了,中国特色啊,
    Customers who wish to use AWS resources in China is required to create a AWS (China) Account, a set of credentials that are distinct and separate from other global AWS Accounts.
    fwrq41251
        5
    fwrq41251  
       2015-10-21 11:20:47 +08:00   ❤️ 1
    @northisland
    那你们可能要新开个账户了,http://www.amazonaws.cn/
    cn 下面有注册中国账号的
    wkdhf233
        6
    wkdhf233  
       2015-10-21 11:26:44 +08:00   ❤️ 2
    可以用 vxtrans 中转下 AWS 的端口,也可以开一台 Vultr 一类按需的把数据传上去再从 AWS 拖。。
    northisland
        7
    northisland  
    OP
       2015-10-21 11:41:38 +08:00
    @wkdhf233 多谢~还有公司做这个服务的,真不错
    saharabear
        8
    saharabear  
       2015-10-21 11:52:13 +08:00   ❤️ 1
    中国特色累死程序员
    aec4d
        9
    aec4d  
       2015-10-21 12:12:20 +08:00   ❤️ 1
    写个脚本上传到到 CDN 然后用美国 VPS 下载 再写个脚本上传到 aws
    这是我写的阿里云 OSS 上传脚本 https://gist.github.com/Ficapy/25960a11472ad4cde359
    P.S upyun 搞这个不错 不过官方 SDK 还没有写大文件分段上传需要自己写
    阿里云 API 设计非常好 不过 OSS 不是 CDN ,杭州的 OSS 在美国下载是龟速
    七牛 SDK 应该写的不错 支持大文件分段上传 可是文档&界面渣的要死
    diligentpig
        10
    diligentpig  
       2015-10-21 13:07:11 +08:00
    aws cn 与美国的 aws 是完全隔离的,虽然 aws cn 在国内访问速度很快。。。除非你的用户都在国内,除非你能忍受 aws cn 那被严重阉割的功能服务。。。
    回答楼主的问题,建议找一台国外主机,用 ftp 工具将所要传输的文件拷贝到该机器上,然后在 aws 实例里下载该文件,最后 aws s3 cp 到 s3 上去。国外主机和 aws 实例,实例和 s3 的传输时间基本都可以忽略不计的。或者直接在实例上开 ftp ,起码 ftp 是支持断点续传的。
    imxieke
        11
    imxieke  
       2015-10-21 13:49:43 +08:00 via iPhone
    下载 S3 文件(大部分为 Github )速度无法忍受,安徽合肥电信 10k 以内。
    heaventear
        12
    heaventear  
       2017-05-15 14:11:33 +08:00
    天路加速器上有命令行加速教程,https://91tianlu.cn
    explore8989
        13
    explore8989  
       2019-01-29 10:48:07 +08:00
    上面的链接挂了, 看这里 91tianlu.agency
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5877 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 01:51 · PVG 09:51 · LAX 18:51 · JFK 21:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.