首页   注册   登录
 harvies 最近的时间轴更新

harvies

V2EX 第 203237 号会员,加入于 2016-11-28 00:50:51 +08:00
今日活跃度排名 11337
harvies 最近回复了
7 天前
回复了 Graves 创建的主题 问与答 前端敏感信息泄露?
服务器需要校验当前用户是否有查看该 ID 数据的权限
24 天前
回复了 zhuangzhuang1988 创建的主题 程序员 pycharm 要对我电脑干嘛?
@snoopygao 被防盗链了,复制到地址栏打开
46 天前
回复了 571726193 创建的主题 Java mysql 查询速度慢仅仅不到 3000 条数据 3.8 秒
46 天前
回复了 571726193 创建的主题 Java mysql 查询速度慢仅仅不到 3000 条数据 3.8 秒
这个 4 秒包含网络传输吧,用 heidisql 查下,能看到查询和传输单独用了多久 https://imgur.com/Ggp4Rhg
15 楼正解
164 天前
回复了 melonux 创建的主题 Python 哪里可以买到价格实惠的代理池?
@melonux 上个月我爬过淘宝,绕过了反爬机制(人工智能检测,就像 google 的验证码),没有换 ip,你正常上微博,它会封你吗,很多用户都是内网,容易误封
165 天前
回复了 melonux 创建的主题 Python 哪里可以买到价格实惠的代理池?
不是代理的问题,是检测你的行为
174 天前
回复了 onecode 创建的主题 Python 技术渣,谁给写个爬虫,感谢
import json
import os

import requests

if __name__ == '__main__':
flag = True
page = 1
while flag:
print("page:" + str(page))
list_html = requests.get("http://adr.meizitu.net/wp-json/wp/v2/posts?page=" + str(page) + "&per_page=20")
content = list_html.content
json_loads = json.loads(content)
if isinstance(json_loads, list):
print(json_loads)
for list_item in json_loads:
id_ = list_item['id']
title = list_item['title']
print(title)
detail_html = requests.get("http://adr.meizitu.net/wp-json/wp/v2/i?id=" + str(id_))
detail_json = json.loads(detail_html.content)
print(detail_json)
str_content_ = detail_json['content']
content__split = str_content_.split(',')
print('downloading ' + str(content__split))
for detail_item in content__split:
print(detail_item)
rfind = detail_item.rfind('/')
file_name = detail_item[rfind + 1:len(detail_item)]
folder_path = "./images/" + title + '/'
if not os.path.exists(folder_path):
os.makedirs(folder_path)
requests_get = requests.get(detail_item)
with open(folder_path + file_name, "wb") as f:
f.write(requests_get.content)
else:
code_ = json_loads['code']
if code_ != 'rest_post_invalid_page_number':
print(code_)
else:
print(code_ + " exit")
flag = False
page += 1
254 天前
回复了 VoidChen 创建的主题 问与答 求教最好的 Linux 日常使用方案
manjaro 也可以(archlinux 衍生版),用过好多 linux 发行版,最后还是选择 arch 了,
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2496 人在线   最高记录 5043   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 11ms · UTC 14:33 · PVG 22:33 · LAX 06:33 · JFK 09:33
♥ Do have faith in what you're doing.