新手请教两个问题 限时输入和实时暂停

[hcwhan]

刚看 python,在试着写爬虫,遇到两个问题请教下大家,谢谢了(python 3.5.0 64bit)

1. 在获取用户输入时,设定一个时间,
限时内,有输入为输入
无输入则设定输入为一个默认值

2.在一个下载 for 循环中,如何做到在 cmd 运行中想暂停就可以暂停
谢谢

[hcwhan]

我想的第二个问题解决办法就是 设定一个很短时间的 1 所用的获取输入

[iwannaflytomoon]

1) while True: , 内部计时, 有输入或者到时间后 break
2) 发信号

[hcwhan]

@iwannaflytomoon
1)输入函数不是会暂停函数,如何实现计时?

[hcwhan]

@iwannaflytomoon
2)发信号 不懂什么意思啊 哭了 能说一下是那个函数吗?

[MrGba2z]

1. http://stackoverflow.com/questions/2933399/how-to-set-time-limit-on-input

[iwannaflytomoon]

@hcwhan
1) 其实我不太明白你第一个需求是什么意思,一个 spider 为啥需要用户输入?
2) linux 的信号, 在 python 中 import signal, 不懂可以 google 一下

[hcwhan]

@iwannaflytomoon
1)是用来确认是否对失败列表进行重试的,默认 2s 无输入重试
2)谢谢

[hcwhan]

@MrGba2z 是这个 非常感谢

[iwannaflytomoon]

@hcwhan
这种一般用配置文件就 ok 了, 或者你打个日志, 失败的可以来爬第二遍

spider 一般都是多线程来抓取的, 一般不会设计成人机交互式的⊙﹏⊙b 汗

[cdxem713]

@hcwhan 额，你这个需求岂不是需要有个人实时监控这个爬虫了，而且还是不能开小差那种
爬虫尽量做到自动化，不要过多的交互，@lwannaflytomoon 已经提到重试和 Log 。这种方式才是正常的。

[cdxem713]

@hcwhan 第二个需求可以通过将爬虫队列持久化实现，每次重启爬虫后检查一下之前存储的队列

[hcwhan]

@cdxem713 额 就是为了实现自动化 是默认重试的 想失败次数过多后给一个选择中断继续
用多线程来做的

[hcwhan]

@cdxem713 现在写的是每次下载一个文件 用多线程下载这个文件
准备改成多线程同时下载几个文件 每个文件同时用多线程下载

[hcwhan]

@cdxem713 问题是感觉多线程同时下载几个文件 log 就会有点混乱

[cdxem713]

@hcwhan 类似于下载器？多线程下载文件么？

[hcwhan]

@cdxem713 恩

[cdxem713]

@hcwhan 可否用现成的下载器进行下载呢？爬虫专注做链接发现，程序复杂度可能会低一些。

[hcwhan]

@cdxem713 恩 小白 就用的 python3.5.0 自带 urllib

[hcwhan]

@cdxem713 只知道标准库 有什么网络方面的库值得推荐？

[cdxem713]

@hcwhan github 上面找一下？我也没学几天 Python 。
我是觉得在爬虫里面还有实现多线程下载太复杂了，你单独开发多线程下载，用参数传进去启动都会好一些，而且调试也方便。

[hcwhan]

@cdxem713 恩 就是把多线程下载封装到一个函数里的