V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  aljun  ›  全部回复第 1 页 / 共 12 页
回复总数  237
1  2  3  4  5  6  7  8  9  10 ... 12  
@dcsuibian 其实问问题的本意就是想问 2022 年了,Java 仍旧如此一枝独秀么😂
@msg7086 其实问问题的本意就是想问 2022 年了,Java 仍旧如此一枝独秀么😂
@xiaofan305 这里泛指搞项目,多人协作场景
@zzl22100048 好的,感谢建议,我们会完善这块的建设
@zzl22100048 我看你貌似提了个 issue,应该已经找到了对吧
@honkki 其实还是不少坑,比如 Rust 现在的 SIMD 支持就不能算很完善,所以严格来说我 bench 实在 SIMD + nightly ( llvm12 )开启的情况下,才比 Faiss ( openmp + BLAS )有更快的水平(具体速度可以参考上面的 benchmark 图)
@timpaik 感谢🙏
@messense 说起来,maturin 我在发布 pypi 时还遇到了一些 bug,我这两天提个 patch😂😂
@LeeReamond 可以体验下我 homepage 的 demo,是用 actix-web 搭的应用,底层跑了这个算法,反应应该是毫秒级的,其他的体感相关的耗时就只有 nginx 的静态文件 serving 速度了

我这边体感速度应该是非常快的,可以试试

http://horasearch.com/
@LeeReamond 是一种普遍算法,我的文档应该有写清楚这是个什么问题 ( https://horasearch.com/doc/#introduction)

拿图像检索举个例子,一个图像可以提供模型输出一个定长(dimension)的 embedding,我们可以通过 embedding 的距离(比如 euclidean distance )找到距离最小的 k 个 embedding,对应的对象也就最相近(比如图片最相近),但这样最基本你要 O( n * d)暴力穷举一遍,当你 N 和 dimension 都比较大的时候,这个就很慢了,可以看看上图,上了 SIMD 的穷举( bruteforce )速度大概要慢其他算法千倍
@messense 感激🙏
@aljun 😢
没有人关注么😢
@aljun - -
@jdhao
在 github readme 我应该有写和其他项目的 comparison,其实主要是这么几点不同,我们可能希望未来能部署在各个地方,同时提供多个语言包,尽可能充分压榨 Rust 的潜力,Faiss 现在越来越偏向 GPU 了,看 pr (同时我的文档应该比 Faiss 强 hhh

另外 ANN bench 是有跑的,上面不就有跑出来的 bench 图嘛,不过目前 search 速度是和 Faiss 无差,但 build 速度还是比 Faiss 的实现慢了一点点,之后会优化,感兴趣一起来搞呀 (≧∇≦)ノ
@jdhao 算法是我和另一个朋友一起搞的,感兴趣的话可以一起实现,还有很多算法未实现,目前是 **0.1.0** 挺早期的
@aljun 复制的 readme 。。。详情可以看看 github readme 😂
@jdhao 实现了多个,目前的:

* Hierarchical Navigable Small World Graph Index (HNSWIndex) (details)
* Satellite System Graph (SSGIndex) (details)
* Product Quantization Inverted File(PQIVFIndex) (details)
* Random Projection Tree(RPTIndex) (LSH, WIP)
* BruteForce (BruteForceIndex) (naive implementation with SIMD)
貌似在 v2 不是很叫座🤔 ?
@3dwelcome 我还是踩了不少坑的,最典型的就是多线程支持了,毕竟是个算法库,速度还是比较重要的,但是 wasm 以及 rust-wasm 的多线程支持明显还是不成熟的

不过 wasm 比 js 快还是应该的(虽然 V8 快到不行),主要还是这块是个方向,可以借着方向发展,一起快
1  2  3  4  5  6  7  8  9  10 ... 12  
关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2468 人在线   最高记录 5497   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 29ms · UTC 05:01 · PVG 13:01 · LAX 22:01 · JFK 01:01
Developed with CodeLauncher
♥ Do have faith in what you're doing.