首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
华为云
V2EX  ›  Python

Python 安装一个 Scrapy 快疯了,一个下午没了

  •  
  •   musclepanda · 132 天前 · 4495 次点击
    这是一个创建于 132 天前的主题,其中的信息可能已经有所发展或是发生改变。
    哎,新手想学习 scrapy,结果一个下午都耗费在安装上了
    先是在 pycharm 里面直接安装,提示安装不了,也不知道啥原因,一堆红字

    然后跑去下载了一个 Anaconda3,几百兆大小,下载好了之后,按照官方的教程
    conda install -c scrapinghub scrapy

    结果提示 conda 不存在,又去折腾设置环境变量,conda 能用了,scrapy 安装上也能用了

    用 cmd 玩了记下命令行的 scrapy 正常

    又跑回去 pycharm,结果 import scrapy 出错,提示 No module named 'scrapy'

    网上一堆百度 google,找到个设置 run 选项的,
    https://blog.csdn.net/l1336037686/article/details/78471856

    哎,还是不行,差不多快放弃了。。

    求 v 友安慰
    72 回复  |  直到 2018-07-20 15:43:51 +08:00
        1
    xuegj1010   132 天前 via Android   ♥ 4
    哈哈,不好意思,没忍住
        2
    xuegj1010   132 天前 via Android
    在 pycharm 里面设置一下环境指向 anaconda 里面的 Python 就可以在 pycharm 中用你在 anaconda 里面装的 scrapy 了
        3
    just1   132 天前
    你可以直接搜索如何安装 scrapy...
    或者看文档
    然后看看红字是什么,看不懂可以翻译嘛
        4
    xuegj1010   132 天前 via Android
    折腾是正常的,想当年刚学 Python 就装了 Ubuntu,还各种扩展 Vim,系统不知道重装了多少次,差点就砸电脑了。
        5
    riggzh   132 天前 via iPhone
    我为啥 pip install scrapy 就可以了
        6
    musclepanda   132 天前
    @xuegj1010 一句话点通我了。。pycharm 用的也不熟,不过设置了下环境,可以了,谢谢*1024
        7
    est   132 天前   ♥ 4
    装不上主要是网络差。。网络差主要原因是。。。。

    拒绝反动脚本语言从我做起,支持国产中文编程。
        8
    musclepanda   132 天前
    @est 装 whl 也不行…………
        9
    Leigg   132 天前 via iPhone
    都是这么过来的,只不过你的可能更坎坷一点
        10
    WildCat   132 天前   ♥ 5
    1. anaconda pip 都有国内源,你为什么不折腾下?
    2. TG Python 中文交流群问一句大家都愿意帮你,求什么安慰?
    3. PyCharm 你按 Alt + Enter 都会提示你安装 scrapy 的选项吧?
    4. 新手用什么 PyCharm ?尤其是你这种环境设置都不知道修改的?
    5. 心灵脆弱就不要来学编程
    6. 搜索和变通不仅仅是编程需要的技能,你想在这个世界好好活下去就需要。

    截图:

        11
    chinvo   132 天前 via iPhone   ♥ 1
    快速解决:装个 Linux 先
        12
    WildCat   132 天前
    不要求安慰了,我当年自己搞 Android Eclipse 开发环境搞了三个月都没求安慰。
        13
    WildCat   132 天前
    7. 另外,如果你这么喜欢看某搜索引擎和某 SDN 的话,强烈建议不要学编程了真的,这两个网站的内容质量呵呵哒。
        14
    andylsr   132 天前 via Android   ♥ 1
    https://www.lfd.uci.edu/~gohlke/pythonlibs/

    记住这个网址~你用的包人家早已帮你打包成了 whl~直接 pip 就可以了
        15
    YehShs   132 天前
    从坑里爬出来了就好了,哈哈哈
        16
    jiangnanyanyu   132 天前 via Android
    这点就算受到打击了?
        17
    zjp   132 天前 via Android   ♥ 2
    #10 说的可能不是很好听,但在理

    顺带吐槽 CSDN。下午谷歌搜了下一个库怎么配置,国内博客站清一色的使用类 A,特别有几篇 CSDN 文章还是新的。然而我发现根本就没有这个类。再往下翻,看到 10 年 StackOverflow 的提问:类 A 被标记过时了怎么办
        18
    wnh3yang   132 天前 via Android   ♥ 1
    你是用 windows 环境吧,参考这个帖子 http://www.zues.pub/archives/25/
        19
    haon   132 天前
    常规操作
        20
    40huo   132 天前
    Windows 上装这个确实挺恶心的
        21
    townmu   132 天前 via Android
    @WildCat 别在新人面前秀你的优越感
        22
    WildCat   132 天前
    @townmu 你的优越感?呵呵。
        23
    saran   132 天前
    win 上想用上 python 里的 scrapy 就别想了,还是买台 MB 吧……
        24
    ThirdFlame   132 天前
    我觉得新手 不应该直接安装 python、pip 然后来先跑起来么? 直接安装这俩应该坑稍微少点吧。
        25
    mimzy   132 天前
    @townmu #21 #10 其实回答了问题还提供了不少有用的信息…挺好的。
        26
    xpresslink   132 天前
    @saran 别瞎说,我就用的好好的。在 windows 上装其实就一个小坑是装 twisted。
    把这个 Twisted-17.9.0-cp36-cp36m-win_amd64.whl 下到本地用 pip 装就可以了
        27
    golmic   132 天前 via Android
    @WildCat 支持
        28
    saran   132 天前
    @xpresslink 反正我怎么都没办法把 twisted 给装上,把 python 降回 2.7x 也没成功。
        29
    musclepanda   132 天前
    @WildCat TG Python 是啥?
        30
    epicnoob   132 天前
    答案都在红字里,在第一条路里就能解决。
    一般都是没有 VC++编译器
        31
    kokutou   132 天前
    Twisted 装了,剩下的 pip 就行。
        32
    F0nebula   132 天前
    @musclepanda #29 Telegram Python 群
        33
    crab   132 天前
    pip install scrapy

    不行吗?
        34
    ranwu   132 天前
    命令行能跑就行了呗。干嘛偏要用 IDE
        35
    WildCat   132 天前
    @musclepanda Telegram
        36
    UNDEFlNED   132 天前
    把报错的包单独用 whl 装就行了
        37
    mingyun   132 天前
    14 楼正解
        38
    genius2k   132 天前
    python 用什么 ide。。。vim+pylint 解决一切
        39
    whwq2012   132 天前 via Android
    也许是你没有计算机的基础才装得这么辛苦吧,有的问题,比如环境变量的设置,pip 安装包,应该是常识的,但是你却需要临时搜。。。。没关系,被 cao 过几次,你就能举一反三了。
        40
    TuxcraFt   132 天前
    主要不是 scrapy 的问题
    而是你用的是 windows
        41
    tempdban   132 天前 via Android
    新手用 Linux 反倒是最简单的
        42
    Asterism   132 天前
    小哥,学编程不是来求安慰的。遇的坎解决它,记录下来问题,以后其他人遇到了,你也可以帮助其他人。
        43
    20015jjw   132 天前 via Android   ♥ 1
    别用 windows 啊 游戏机系统搞开发就跟去 ps4 上炒股一样
        44
    Geo200   132 天前 via iPhone
    @zjp @zjp csdn 上清一色都是互相抄,有些东西根本没实践过也能写出来,最近简书也有这样的趋势
        45
    Lwf1995   132 天前 via Android
    Ubuntu 你先高个,一个 sudo apt — get install scrapy 就结束了
        46
    tohearts   131 天前
    求你用 linux, 毕竟以后做开发部署大多数情况下都是 Linux。
        47
    ioth   131 天前
    高中没毕业,职校读一半吧。
    一下午搭环境也算事?
        48
    tonghuashuai   131 天前
    我曾经有个同事,想做 Python 开发,结果环境已经装不对,于是一怒之下去写 PHP 了……
    新手折腾 Python 遇到的问题,绝大多数是因为 Windows 系统……
        49
    simapple   131 天前
    开始折腾的时候,搭建环境确实是个费事费力的活
        50
    lihongjie0209   131 天前
    基本操作, 玩多了就熟悉了
        51
    zhuangzhuang1988   131 天前
    1.好好先学英语
    2.再学基础 python
    3.再搞这个
    真用 linux 了,都不知道怎么死的
        52
    LokiSharp   131 天前
    别用 Windows 啊
        54
    jeremaihloo   131 天前
    学编程别用 Windows
    还有,要有耐心
        55
    RockShake   131 天前
    过两年你再回来看的时候肯定觉得搞笑的
        56
    killerv   131 天前
    如果你是个 Python 新手,建议不要一上来就折腾那些 IDE 和框架。Windows 上装 Scrapy 是没问题的,就是可能会有一些坑需要填一下。另外现在 wsl 貌似也比较稳定了,你可以试试这个。
        57
    RicardoScofileld   131 天前
    conda create --name env
    soucre activate env
    conda install scrapy
    pycharm 配置环境解释器
        58
    recall704   131 天前
    之前搞 python 的时候,windows 就是最大的问题。
        59
    wangyadong   131 天前
    我还记得,我前老板说的那句话:遇到什么问题,别怕,弄就行,一次不行两次,总有弄好的时候,碰见能别你一下的问题才有意思,一帆风顺的学不到嘛
        60
    yylucifer   131 天前
    看到楼主的描述..

    我默默赞了一楼.
        61
    xio   131 天前
    不要用 Windows
        62
    q397064399   131 天前
    @zjp #17 都 8012 年了,,还用中文社区,,简直浪费时间
        63
    tabris17   131 天前
    https://www.douban.com/note/664537261/

    按照这篇文章,即可成功
        64
    qqjt   131 天前
    如果用的是 linux 系统或者虚拟机,会方便很多
        65
    anhoo   131 天前
    膜拜大牛
        66
    nancheng   131 天前
    用 pip 就好了,pyCharm 自带的解释器,和你 cmd 的解释器,如果指向不一样,就会有这种问题
        67
    meisky6666   131 天前
    路由器$$,装各种东西一步到位
        68
    lyluyaoh   131 天前   ♥ 1
    Pycharm 根据你选的 Python 解释器创建一个虚拟环境 Conda 或者 virtualenv, 你需要在 settings-project 里面下载需要的包自动安装到你的虚拟环境. 大部分情况下跟用 Windows 还是 Linux 无关.
    另外不要在意很多老哥的几连问号和嘲笑, 什么不懂搜什么, 搜不到就问.
        69
    tujin   131 天前
    linux 吧,windows 下面新手基本都要被坑
        70
    gordon797   131 天前 via Android
    Linux 就很方便 233
        71
    JCZ2MkKb5S8ZX9pq   131 天前
    最初写爬虫也是直接下了 scrapy,结果现在全靠 requests 了。
        72
    zhang0320   121 天前
    推荐 装个虚拟机 manjaro 开发。。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2009 人在线   最高记录 3821   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 28ms · UTC 00:43 · PVG 08:43 · LAX 16:43 · JFK 19:43
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1