三楼正解

hostker.com
用 FTP 上传就能直接用了

疑犯追踪

yu.xiao.fr@gmail.com

@JiShuTui 找不到 ipinfo.net 的服务器 DNS 地址。

那些个喷子真讨厌 本来就是爱买买不买滚的事情 你们买一个用一下 觉得被坑了再来喷的有点技术含量好不好

你们一个最让人心寒的是什么么

楼主做这个显然不是为了糊口 是因为爱这个社区啊 而现在看到社区养了一帮这种人 要是我都后悔做这个 app 了

哎 T_T

如五楼所说 re.findall("\d{4}-\d{2}-\d{2}",html_content) 就能拿到所有形如 yyyy-mm-dd 的日期

意思是每个页面的 DOM 结构还不一样？其他页面还不是 li->span ？

最好是把每个页面的结构都看一下才好分析出共通的代码，但好像看题主的意思是只要提取每页形如 yyyy-mm-dd 的日期？拿着就没法 beautifulsoup 了 直接上正则匹配。

@JhOOOn 还有知乎 好像都想爬知乎 也不知道爬完了做什么 好像只有一个看知乎还有点意思

希望每个月都有一次ꉂ ೭(˵¯̴͒ꇴ¯̴͒˵)౨”

@practicer requests futures 有 ThreadPoolExecutor 和 ProcessPoolExecutot 两个用法
用 max worker 直接控制频率多好

@ericls 我还在用 flux

我用 python

我也在学 React 也用 material ui

Python3.5 运行通过 需要 BeautifulSoup 和 requests_futures
max_workers=20 这里根据你的需要你自己改一下
我只写到了 data = fetchBookInfo(books)这一步，怎么弄这些个数据就看你了

其实有用的只有一句话 用 requests_futures
https://github.com/ross/requests-futures

from concurrent.futures import ThreadPoolExecutor
from requests_futures.sessions import FuturesSession
session = FuturesSession(executor=ThreadPoolExecutor(max_workers=20))
import requests
from bs4 import BeautifulSoup
import re

def fetchPages(first_page):
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
content = requests.get(first_page, headers=headers).text
soup = BeautifulSoup(content, "html.parser")
a_tags_final = soup.find("div", { "class" : "paginator" }).find_all("a")[-2].get("href")
page_max = int(re.findall("start=(.*)&",a_tags_final)[0])
pages = []
for k in range(0,page_max+20,20):
pages.append(first_page+"?start="+str(k))
return pages


def fetchBooks(pages):
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
books = []
for page in pages:
books.append(session.get(page, headers = headers))
def get_books_url(book):
soup = BeautifulSoup(book, "html.parser")
book_list = list(map(lambda li: li.find("div", { "class" : "info" }).find("h2").find("a").get("href"), soup.find_all("li", { "class" : "subject-item" })))
return book_list
books = list(map(lambda book: get_books_url(book.result().text), books))
books_url = []
for book in books:
books_url += book
return books_url



def fetchBookInfo(books):
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
books_info = []
for book in books:
books_info.append(session.get(book, headers = headers))
def get_books_data(book_info):
soup = BeautifulSoup(book_info, "html.parser")
info = soup.find("div", { "id" : "info" })
return info
book_data = list(map(lambda book: get_books_data(book.result().text), books_info))
return book_data



if __name__ == '__main__':
pages = fetchPages("https://book.douban.com/tag/%E7%BC%96%E7%A8%8B")
books = fetchBooks(pages)
data = fetchBookInfo(books)

Linter 让写就写

@xujialiang https://yux.io/2016/04/21/use-nginx-proxy-for-docker/
你需要 nginx-proxy