首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
V2EX  ›  Python

Python 安装一个 Scrapy 快疯了,一个下午没了

  •  
  •   musclepanda · 7 天前 · 3865 次点击
    哎,新手想学习 scrapy,结果一个下午都耗费在安装上了
    先是在 pycharm 里面直接安装,提示安装不了,也不知道啥原因,一堆红字

    然后跑去下载了一个 Anaconda3,几百兆大小,下载好了之后,按照官方的教程
    conda install -c scrapinghub scrapy

    结果提示 conda 不存在,又去折腾设置环境变量,conda 能用了,scrapy 安装上也能用了

    用 cmd 玩了记下命令行的 scrapy 正常

    又跑回去 pycharm,结果 import scrapy 出错,提示 No module named 'scrapy'

    网上一堆百度 google,找到个设置 run 选项的,
    https://blog.csdn.net/l1336037686/article/details/78471856

    哎,还是不行,差不多快放弃了。。

    求 v 友安慰
    71 回复  |  直到 2018-07-10 23:11:28 +08:00
        1
    xuegj1010   7 天前 via Android   ♥ 4
    哈哈,不好意思,没忍住
        2
    xuegj1010   7 天前 via Android
    在 pycharm 里面设置一下环境指向 anaconda 里面的 Python 就可以在 pycharm 中用你在 anaconda 里面装的 scrapy 了
        3
    just1   7 天前
    你可以直接搜索如何安装 scrapy...
    或者看文档
    然后看看红字是什么,看不懂可以翻译嘛
        4
    xuegj1010   7 天前 via Android
    折腾是正常的,想当年刚学 Python 就装了 Ubuntu,还各种扩展 Vim,系统不知道重装了多少次,差点就砸电脑了。
        5
    riggzh   7 天前 via iPhone
    我为啥 pip install scrapy 就可以了
        6
    musclepanda   7 天前
    @xuegj1010 一句话点通我了。。pycharm 用的也不熟,不过设置了下环境,可以了,谢谢*1024
        7
    est   7 天前   ♥ 4
    装不上主要是网络差。。网络差主要原因是。。。。

    拒绝反动脚本语言从我做起,支持国产中文编程。
        8
    musclepanda   7 天前
    @est 装 whl 也不行…………
        9
    Leigg   7 天前 via iPhone
    都是这么过来的,只不过你的可能更坎坷一点
        10
    WildCat   7 天前   ♥ 5
    1. anaconda pip 都有国内源,你为什么不折腾下?
    2. TG Python 中文交流群问一句大家都愿意帮你,求什么安慰?
    3. PyCharm 你按 Alt + Enter 都会提示你安装 scrapy 的选项吧?
    4. 新手用什么 PyCharm ?尤其是你这种环境设置都不知道修改的?
    5. 心灵脆弱就不要来学编程
    6. 搜索和变通不仅仅是编程需要的技能,你想在这个世界好好活下去就需要。

    截图:

        11
    chinvo   7 天前 via iPhone   ♥ 1
    快速解决:装个 Linux 先
        12
    WildCat   7 天前
    不要求安慰了,我当年自己搞 Android Eclipse 开发环境搞了三个月都没求安慰。
        13
    WildCat   7 天前
    7. 另外,如果你这么喜欢看某搜索引擎和某 SDN 的话,强烈建议不要学编程了真的,这两个网站的内容质量呵呵哒。
        14
    andylsr   7 天前 via Android   ♥ 1
    https://www.lfd.uci.edu/~gohlke/pythonlibs/

    记住这个网址~你用的包人家早已帮你打包成了 whl~直接 pip 就可以了
        15
    YehShs   7 天前
    从坑里爬出来了就好了,哈哈哈
        16
    jiangnanyanyu   7 天前 via Android
    这点就算受到打击了?
        17
    zjp   7 天前 via Android   ♥ 2
    #10 说的可能不是很好听,但在理

    顺带吐槽 CSDN。下午谷歌搜了下一个库怎么配置,国内博客站清一色的使用类 A,特别有几篇 CSDN 文章还是新的。然而我发现根本就没有这个类。再往下翻,看到 10 年 StackOverflow 的提问:类 A 被标记过时了怎么办
        18
    wnh3yang   7 天前 via Android   ♥ 1
    你是用 windows 环境吧,参考这个帖子 http://www.zues.pub/archives/25/
        19
    haon   7 天前
    常规操作
        20
    40huo   7 天前
    Windows 上装这个确实挺恶心的
        21
    townmu   7 天前 via Android
    @WildCat 别在新人面前秀你的优越感
        22
    WildCat   7 天前
    @townmu 你的优越感?呵呵。
        23
    saran   7 天前
    win 上想用上 python 里的 scrapy 就别想了,还是买台 MB 吧……
        24
    ThirdFlame   7 天前
    我觉得新手 不应该直接安装 python、pip 然后来先跑起来么? 直接安装这俩应该坑稍微少点吧。
        25
    mimzy   7 天前
    @townmu #21 #10 其实回答了问题还提供了不少有用的信息…挺好的。
        26
    xpresslink   7 天前
    @saran 别瞎说,我就用的好好的。在 windows 上装其实就一个小坑是装 twisted。
    把这个 Twisted-17.9.0-cp36-cp36m-win_amd64.whl 下到本地用 pip 装就可以了
        27
    golmic   7 天前 via Android
    @WildCat 支持
        28
    saran   7 天前
    @xpresslink 反正我怎么都没办法把 twisted 给装上,把 python 降回 2.7x 也没成功。
        29
    musclepanda   7 天前
    @WildCat TG Python 是啥?
        30
    epicnoob   7 天前
    答案都在红字里,在第一条路里就能解决。
    一般都是没有 VC++编译器
        31
    kokutou   7 天前
    Twisted 装了,剩下的 pip 就行。
        32
    F0nebula   7 天前
    @musclepanda #29 Telegram Python 群
        33
    crab   7 天前
    pip install scrapy

    不行吗?
        34
    ranwu   7 天前
    命令行能跑就行了呗。干嘛偏要用 IDE
        35
    WildCat   7 天前
    @musclepanda Telegram
        36
    UNDEFlNED   6 天前
    把报错的包单独用 whl 装就行了
        37
    mingyun   6 天前
    14 楼正解
        38
    genius2k   6 天前
    python 用什么 ide。。。vim+pylint 解决一切
        39
    whwq2012   6 天前 via Android
    也许是你没有计算机的基础才装得这么辛苦吧,有的问题,比如环境变量的设置,pip 安装包,应该是常识的,但是你却需要临时搜。。。。没关系,被 cao 过几次,你就能举一反三了。
        40
    TuxcraFt   6 天前
    主要不是 scrapy 的问题
    而是你用的是 windows
        41
    tempdban   6 天前 via Android
    新手用 Linux 反倒是最简单的
        42
    Asterism   6 天前
    小哥,学编程不是来求安慰的。遇的坎解决它,记录下来问题,以后其他人遇到了,你也可以帮助其他人。
        43
    20015jjw   6 天前 via Android   ♥ 1
    别用 windows 啊 游戏机系统搞开发就跟去 ps4 上炒股一样
        44
    Geo200   6 天前 via iPhone
    @zjp @zjp csdn 上清一色都是互相抄,有些东西根本没实践过也能写出来,最近简书也有这样的趋势
        45
    Lwf1995   6 天前 via Android
    Ubuntu 你先高个,一个 sudo apt — get install scrapy 就结束了
        46
    tohearts   6 天前
    求你用 linux, 毕竟以后做开发部署大多数情况下都是 Linux。
        47
    ioth   6 天前
    高中没毕业,职校读一半吧。
    一下午搭环境也算事?
        48
    tonghuashuai   6 天前
    我曾经有个同事,想做 Python 开发,结果环境已经装不对,于是一怒之下去写 PHP 了……
    新手折腾 Python 遇到的问题,绝大多数是因为 Windows 系统……
        49
    simapple   6 天前
    开始折腾的时候,搭建环境确实是个费事费力的活
        50
    lihongjie0209   6 天前
    基本操作, 玩多了就熟悉了
        51
    zhuangzhuang1988   6 天前
    1.好好先学英语
    2.再学基础 python
    3.再搞这个
    真用 linux 了,都不知道怎么死的
        52
    LokiSharp   6 天前
    别用 Windows 啊
        54
    jeremaihloo   6 天前
    学编程别用 Windows
    还有,要有耐心
        55
    RockShake   6 天前
    过两年你再回来看的时候肯定觉得搞笑的
        56
    killerv   6 天前
    如果你是个 Python 新手,建议不要一上来就折腾那些 IDE 和框架。Windows 上装 Scrapy 是没问题的,就是可能会有一些坑需要填一下。另外现在 wsl 貌似也比较稳定了,你可以试试这个。
        57
    RicardoScofileld   6 天前
    conda create --name env
    soucre activate env
    conda install scrapy
    pycharm 配置环境解释器
        58
    recall704   6 天前
    之前搞 python 的时候,windows 就是最大的问题。
        59
    wangyadong   6 天前
    我还记得,我前老板说的那句话:遇到什么问题,别怕,弄就行,一次不行两次,总有弄好的时候,碰见能别你一下的问题才有意思,一帆风顺的学不到嘛
        60
    yylucifer   6 天前
    看到楼主的描述..

    我默默赞了一楼.
        61
    xio   6 天前
    不要用 Windows
        62
    q397064399   6 天前
    @zjp #17 都 8012 年了,,还用中文社区,,简直浪费时间
        63
    tabris17   6 天前
    https://www.douban.com/note/664537261/

    按照这篇文章,即可成功
        64
    qqjt   6 天前
    如果用的是 linux 系统或者虚拟机,会方便很多
        65
    anhoo   6 天前
    膜拜大牛
        66
    nancheng   6 天前
    用 pip 就好了,pyCharm 自带的解释器,和你 cmd 的解释器,如果指向不一样,就会有这种问题
        67
    meisky6666   6 天前
    路由器$$,装各种东西一步到位
        68
    lyluyaoh   6 天前   ♥ 1
    Pycharm 根据你选的 Python 解释器创建一个虚拟环境 Conda 或者 virtualenv, 你需要在 settings-project 里面下载需要的包自动安装到你的虚拟环境. 大部分情况下跟用 Windows 还是 Linux 无关.
    另外不要在意很多老哥的几连问号和嘲笑, 什么不懂搜什么, 搜不到就问.
        69
    tujin   6 天前
    linux 吧,windows 下面新手基本都要被坑
        70
    gordon797   5 天前 via Android
    Linux 就很方便 233
        71
    JCZ2MkKb5S8ZX9pq   5 天前
    最初写爬虫也是直接下了 scrapy,结果现在全靠 requests 了。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   鸣谢   ·   实用小工具   ·   2040 人在线   最高记录 3541   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 23ms · UTC 14:18 · PVG 22:18 · LAX 07:18 · JFK 10:18
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1