有什么办法能弄到v2ex里面所有用户的头像图片？

[314x]

求支招

[ovear]

我说一个思路吧，虽然不是所有的头像，但是大部分还是没问题的。

搜索引擎site:http://v2ex.com/member
然后分析下内容就可以拿到头像。当然更快捷的方法是分析头像连接的生成。。

[shiny]

简单，观察下 url 规律，举例：
我的 id 是5670，md5 hash下，8909a6e385b0fbc1f3885c00ae838de7
把结果的前8位及用户 id 代入头像的 URL。
http://cdn.v2ex.com/avatar/8909/a6e3/5670_large.png

然后循环 uid 就可以得到所有头像了。

[Tink]

@shiny 赞啊！牛逼

[lijinma]

@shiny 厉害。

[niseter]

@shiny 厉害啊

[Mutoo]

哈哈，果断加盐。

[fangzhzh]

@shiny 头像存储的代码就是你写的吧? ╮(╯▽╰)╭

[lei2xiao]

@shiny 厉害，点赞。

[isayme]

按照
@shiny 的方法写了简单python脚本：https://gist.github.com/isayme/8192703

[shiny]

@fangzhzh 呃，真不是我写的，只不过储存头像的时候考虑的因素都是差不多的，如果是我也会用差不多的方法来写。

[kevinroot]

这个肯定有算法嘛，不然v2ex自己也没法取。

[kevinroot]

现在问题是所有uid去哪里取？你有库？

[314x]

@isayme 能把你抓到的头像打包分享一下么

[wherefor]

@shiny
能解惑下
为什么是取uid md5的前八位？md5算法有会保证前八位冲突最小吗？

[shiny]

@kevinroot uid 不是自增的么，从1到最新注册的用户的 uid，跳过404嘛。

@wherefor 因为头像不能放一个文件夹里，需要用 uid 为变量来分割到不同文件夹（也可以用其他变量，但是会把事情搞复杂）。hash 下是其中一种办法，取八位是等于把头像分割到二级目录里，每个文件夹里有数万个文件/文件夹，同时路径也不会太长。
其他还有比如 uid / 1000 这类分割方法。

头像也不是什么敏感数据，不需要做太多防范吧。

[kevinroot]

@shiny 有道理O(∩_∩)O哈哈~

[fdsfsdfsdf3334]

帅啊

[mahone3297]

辛苦写了一下午，贡献给大家。。。不知道怎么贴代码
<code>
require 'net/http'
require 'digest'

desc "fetch avatar from http://www.v2ex.com/"
task :fetch_avatar do
prefix = 'images/'

(1..50000).each do |idx|
puts "process id = " + idx.to_s + "\n"

md5 = Digest::MD5.hexdigest(idx.to_s)
remote_dir = md5[0,4] + '/' + md5[4,4] + '/'
local_dir = prefix + remote_dir
FileUtils.mkdir_p local_dir if ! Dir.exists? local_dir

remote_filename = remote_dir + idx.to_s + '_large.png'
local_filename = prefix + remote_filename
next if File.exists? local_filename

url = 'http://cdn.v2ex.com/avatar/' + remote_filename
IO.binwrite(local_filename, Net::HTTP.get(URI(url)))
end
end
</code>

[shiny]

@mahone3297 我也很喜欢 Ruby。在 v2ex 贴代码只要贴 gist 的 URL 就可以了。

[isayme]

@314x 哥，你自己执行下脚本就好了。。。 我更新了下，处理了404的那些。。。
PS：图片下载在脚本所在的目录。。