推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 3595 天前的主题，其中的信息可能已经有所发展或是发生改变。
# -*- coding: utf-8 -*-
import urllib2
import sys
#BeautifulSoup3不需要修改，BeautifulSoup4，改成from bs4 import BeautifulSoup
from BeautifulSoup import BeautifulSoup
reload(sys)
sys.setdefaultencoding( "utf-8" )
def getcontent(url):
print url
req = urllib2.Request(url)
res = urllib2.urlopen(req)
magnetlist=[]
html = res.read()
res.close()
soup = BeautifulSoup(html)
#BeautifulSoup3不需要修改，BeautifulSoup4，改成soup.find_all('a')
allentry=soup.findAll('a')
for link in allentry:
if "magnet:"==link.get('href')[0:7]:
magnetlist.append(link.get('href'))
magnetlist = [line+'\n' for line in magnetlist]
f =open("magnet.txt", "a")
f.writelines(magnetlist)
f.close()
def main():
site="http://bt.shousibaocai.com/search/"
keyword="地心引力"
keyword=urllib2.quote(keyword)
#总共抓前多少页
page=3
for i in range(1,page):
searchurl=site+keyword+"/"+str(i)
getcontent(searchurl)
if __name__ == '__main__':
main()
#end Jarett
import urllib2
import sys
#BeautifulSoup3不需要修改，BeautifulSoup4，改成from bs4 import BeautifulSoup
from BeautifulSoup import BeautifulSoup
reload(sys)
sys.setdefaultencoding( "utf-8" )
def getcontent(url):
print url
req = urllib2.Request(url)
res = urllib2.urlopen(req)
magnetlist=[]
html = res.read()
res.close()
soup = BeautifulSoup(html)
#BeautifulSoup3不需要修改，BeautifulSoup4，改成soup.find_all('a')
allentry=soup.findAll('a')
for link in allentry:
if "magnet:"==link.get('href')[0:7]:
magnetlist.append(link.get('href'))
magnetlist = [line+'\n' for line in magnetlist]
f =open("magnet.txt", "a")
f.writelines(magnetlist)
f.close()
def main():
site="http://bt.shousibaocai.com/search/"
keyword="地心引力"
keyword=urllib2.quote(keyword)
#总共抓前多少页
page=3
for i in range(1,page):
searchurl=site+keyword+"/"+str(i)
getcontent(searchurl)
if __name__ == '__main__':
main()
#end Jarett
27 条回复 • 2015-01-16 15:31:44 +08:00
 |
1
tuuuz 2015-01-15 13:43:23 +08:00  1
看的好累
|
 |
2
POP OP （T_T）
|
 |
3
mhycy 2015-01-15 14:07:34 +08:00 1
初学还别人的源码，为何不自己改呢？就是一个学习的过程而已~
|
 |
4
Kilerd 2015-01-15 14:21:54 +08:00 1
python的缩进，一贴上来就全乱了，怎么看，扯淡啊
LZ你压根就不懂py吧，，拒绝伸手党 |
 |
7
justjavac 2015-01-15 14:42:54 +08:00
已block
|
 |
8
bigtan 2015-01-15 14:47:34 +08:00 1
|
 |
10
virusdefender 2015-01-15 15:51:16 +08:00 1
|
 |
11
Septembers 2015-01-15 16:02:30 +08:00
|
|
12
POP OP @virusdefender 我还是先自己改改看。。。谢谢了
|
 |
13
lxkaka 2015-01-15 17:17:57 +08:00 1
python 的多线程无法榨干cpu吧，要用多进程
|
 |
15
libo26 2015-01-15 18:47:48 +08:00
个人用requests代替urllib2
|
 |
16
langxuan 2015-01-15 19:15:15 +08:00
不会是熊厂在过good coder吧。。。囧
|
 |
17
Anybfans 2015-01-15 19:41:31 +08:00 1
为什么没缩进。。。我也初学，PY很注重缩进的。。我一般都是一个tab..不知道对不对，看别人都是4个空格。。
|
 |
20
surewen 2015-01-15 23:10:53 +08:00
要是v2ex支持markdown就好了
|
 |
23
wezzard 2015-01-16 01:29:29 +08:00 via iPhone
你們都中招了，樓主是來黑Python的！
|
 |
24
icedx 2015-01-16 02:08:57 +08:00 via Android
如果楼主不想深入学多* 程的哲学 可以试试map()
|
 |
25
ivanlw 2015-01-16 02:36:52 +08:00
原来不只有我一个人看没有缩进的代码很累呀……怪不得天然适合python……
|
 |
26
xylophone21 2015-01-16 15:27:00 +08:00
把range(1,page):这里的1,page两个参数改为从argc获取
然后shell多启几个 不会shell的话手动启也行,反正你也不会想要太多进程的. |
|
27
POP OP @xylophone21 这都行！厉害！！
|
Select Language