首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
V2EX  ›  Python

scrapy 疑问🤔️,各位大佬都是怎么把 scrapy 部署到服务器?

  •  
  •   xiaopenggggggg · 69 天前 · 1191 次点击
    这是一个创建于 69 天前的主题,其中的信息可能已经有所发展或是发生改变。

    小弟敲了一个小爬虫,网上搜到有 scrapyd 方式部署,于是本地 pip install scrapyd。在本地测试完全爬虫跑得妥妥的,于是想仍到 docker 容器里面去。写了一个 DockerFile,内容大致如下:

    FROM python:3.5.5
    ENV PATH /usr/local/bin:$PATH
    ADD . /scrapy_weather
    WORKDIR /scrapy_weather
    COPY ./scrapyd.conf /etc/scrapyd/
    EXPOSE 6800
    CMD scrapyd
    

    构建了一个 docker 镜像,然后在自己的 mac 本的 docker 里面跑得飕飕的,没有一点问题,于是把镜像推送出去,结果在 centos 的服务器上面,同样的镜像,会报以下错误:

    Another twistd server is running, PID 5
    
    This could either be a previously started instance of your application or a
    different application entirely. To start a new one, either run it in some other
    directory, or use the --pidfile and --logfile parameters to avoid clashes.	
    

    小弟实在是没招了,想与各位 py 大佬们交流一波,scrapy 的优雅部署方式

    6 回复  |  直到 2018-07-13 19:40:37 +08:00
        1
    lanpong   69 天前 via iPhone
    哪有什么优雅的方式。
    1. 推一份源码,直接跑
    2. 推一份源码,用虚拟环境
    3. docker

    推源码的方式有很多种,scp、git、upload
        2
    lightening   69 天前
    怎么会这样,不应该发生啊
        3
    xiaopenggggggg   69 天前
    @lightening 确实很奇怪,在本地的 mac 本的 docker 中跑这个镜像不会报错,但是仍到服务器会报这个错误。然后在本机进入 docker 容器里面,敲 scrapyd 命令也会报同样的错误。实在不知道为什么服务器抽风了😫
        4
    Molita   69 天前
    按提示的那个 加上 pidfile logfile 试一试呗
        5
    lightening   68 天前 via iPhone
    去服务器重新 build 试试。感觉像是 pid 文件没删掉?
        6
    xiaopenggggggg   68 天前
    @lightening 解决了该问题,是内存不足,直接把容器给 kill 掉了。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3369 人在线   最高记录 3762   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 15ms · UTC 03:36 · PVG 11:36 · LAX 20:36 · JFK 23:36
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1