首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

关于在 django 里 异步请求的一个小问题

  •  
  •   snoopy1024 · 320 天前 · 585 次点击
    这是一个创建于 320 天前的主题,其中的信息可能已经有所发展或是发生改变。

    写爬虫异步处理,会大大加快请求速度。我尝试在 django 里写了这么一个爬虫模块,用的 gevent,给 view 提供数据;逼不得已,要异步爬数据,前端请求 20 条数据,后端我要向对方服务器请求 3 种不同的 URL,共 60 条请求。不异步的话,前端会等上 10s... 前端:微信小程序,后端:我的 Django 服务器,数据提供方:对方 web 服务器。谷歌了下,貌似不倡导在 django 直接使用异步请求。实在没办法了,求大佬们指条明路。

        1
    linnchord   320 天前
    celery
        2
    snoopy1024   320 天前 via Android
    @linnchord 我可能没说清楚 后端的数据要及时返回给前端,后端大部分模块就是个爬虫爬数据。用类似 gevent 可以加快爬取速度。但是 在 django 里使用 异步操作就会报错… celery 我了解了下,适合做那些不需要及时返回给前端的事,例如发个邮件。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4154 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 36ms · UTC 09:09 · PVG 17:09 · LAX 01:09 · JFK 04:09
    ♥ Do have faith in what you're doing.