V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  jakeyfly  ›  全部回复第 10 页 / 共 14 页
回复总数  279
1 ... 2  3  4  5  6  7  8  9  10  11 ... 14  
@hanzichi 主要另一个数据,我是直接分析出后台传来的值的规律。获取的。碰到这个恶心的 直接在模板上的。有点崩贵了
@hanzichi 如果取 html 上的值,那页面有一万个,我就得请求一万次,如果能找到传来的值。我只需要请求 3 次。这样的区别啊。所以才一直找这个原因。 如果后台渲染的。无法取得传来的值。那我只好老实的爬页面取值,再构造 URL 了
@geelaw 您说的是无端浏览器吗,我尽量少用那个东西,会有依赖感 ,我一般分析请求直接获取数据。那大佬,那这样的情况是否就像,django 的 views 渲染的模板一样,显示出来的时候就带有了? 是无法通过分析请求取得这个值的吧。那只能先抓页面,节取要的值,构造请求 URL 这一条路啦
@geelaw 大佬我关了 还是有,页面上的东西全没了,源码还是原来的源码。 请教这种情况,要怎么理解。
@qiayue 因为要有几千个,那就变成要先爬这个页面,正则把这一段搞下来。再清洗,或者用 JS 包跑一下把值取出来,会多好多访问,难度 会加大好大,对稳定的爬取难度变高了
@geelaw 怎么关掉啊 chrome 没试过
2018-02-28 11:54:43 +08:00
回复了 hippoboy 创建的主题 Python 请问使用 scrapy 的优势是什么?直接用 requests 不是很简单?
@gouchaoer 这才是真的会爬虫的
@carlclone 大佬你说的这是什么操作
有答案了,positions>x and postions<x
@lgh 也就是说 xpath 像 ORM 一样 只要给一个节点 就能跳 到任何有关联的节点是吧
还有,我 extract() 这个方法不管怎么用都 是说没这个属性。这是不是那个框架里的方法呀。我直接用 requests.get 到的不用 etree.HTML 也一样能用 xpath 是否 requests 内置 xpath
@SourceMan 大佬 明白了
@yangqi 插入的时候不写秒都是 00 是吧
2018-02-26 01:32:09 +08:00
回复了 jakeyfly 创建的主题 问与答 大佬们好,我又有了一个数据库的问题求解,是关于排名的
@c6h6benzene 因为名次这个数据要经常用到,如果要用的时候实时算,不太好吧。另:存起来的意思是这个赛季完了,就在数据库里 生个一个表存起来的意思?

其实 我纠结的地方是:我现 在的结构是一个所有球队的表,每条数据像你说的加个 LID 连接到联赛表。还有一个比赛场次表是接到球队表的,如果还要搞个排名表,那就是照球队表的形势再搞个结构差不多的表 加上一些积分胜场之类的字段。这个表是一年一张存,还是说加个年份 ID 也只存一张表?或者 我都想说是否把这类的东西存到 nosql 里去 因为偶尔也会要查询这个数据
2018-02-24 20:47:58 +08:00
回复了 jakeyfly 创建的主题 问与答 大佬们好,我又有了一个数据库的问题求解,是关于排名的
@loginv2 大佬 如果我以后加个联赛进来,是做两个表,还是在一个表里用某个字段区别?
2018-02-24 20:23:53 +08:00
回复了 jakeyfly 创建的主题 问与答 大佬们好,我又有了一个数据库的问题求解,是关于排名的
@loginv2 存这个表,只是有时候需要知道某个球队某一年的排名情况,还有那一年这球队进了几个球之类的
2018-02-24 20:21:37 +08:00
回复了 jakeyfly 创建的主题 问与答 大佬们好,我又有了一个数据库的问题求解,是关于排名的
@loginv2 我是纠结存那里,存数据库里不就是个表吗,还是说存 NOSQL 里
@symons 我只知道 别人搞过 比较详细的记录 一年就 200M 这样
是否 非一对多 一对一 只能是 多对多
@gstqc 大佬 这些数据其实就是一条数据里的一个字段啊,又不是实时记录,也没那 API。
1 ... 2  3  4  5  6  7  8  9  10  11 ... 14  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1453 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 21ms · UTC 17:07 · PVG 01:07 · LAX 10:07 · JFK 13:07
Developed with CodeLauncher
♥ Do have faith in what you're doing.