V2EX › RoccoShi 的所有回复 › 第 6 页 / 共 30 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 2 3 4 5 6 7 8 9 10 11 ... 30

❮

❯

353 天前

回复了 pretty66 创建的主题 › 问与答 › 求助贴，业务需求要把服务器迁移到日本，用户主要是中国大陆用户，推荐下合适的服务器

日本三网优化一般都是 gia ，价格贵流量少不抗打。
建议服务器日本随便买，然后访问流量走其他地区的反代

355 天前

回复了 coolair 创建的主题 › 问与答 › 有对图片/附件管理比较友好的 Markdown 笔记软件吗？

https://github.com/chenfeicqq/obsidian-attachment-manager/blob/master/README_ZH.md

你这个需求，装个插件的事

355 天前

回复了 fuhanfeng 创建的主题 › 互联网 › 最近一年搜索引擎的使用的频率越来越低了

确实，现在基本都是小红书和各类 AI 了

357 天前

回复了 huc2 创建的主题 › 机器学习 › LLM 静态批处理和 Continuous Batch 相关疑问的求解

op 理解都没啥问题吧我感觉, static batching 和 continuous batching 区别就是每一次 decode 生成新 token 后如何处理, 和 prefill 没啥关系, prefill 肯定都是一起的

静态 batching 就是生成 eos_token 后的 sequence 还要等着 batch 里其他所有 sequence 都生成 eos_token 后一起输出

continuous batching 就是发现有 eos_token 就直接拿出来, 塞一个新的 sequence 进来, 至于 prefill 是塞进来后再做还是做好再塞进来, 都可以

PS: 随便找了个 huggingface TGI continuous batching 的伪代码 ( https://medium.com/@martiniglesiasgo/anatomy-of-tgi-for-llm-inference-i-6ac8895d903d)

https://i.imgur.com/byYMNgm.png

PPS: 理解可能也有问题, 也不是专业的, 就碰巧之前也看过这个博客, 期待其他大佬补充(

357 天前

回复了 Cellinlab 创建的主题 › 分享发现 › 产品起名字一定要注意⚠️，你完全想不到用户理解的你的名字和你想表达的效果

podreddit

359 天前

回复了 jinlan 创建的主题 › 问与答 › 大家有使用什么 AI 产品？都是如何使用的？

claude, gemini, chatgpt

359 天前

回复了 lixin23 创建的主题 › 职场话题 › 面试成绩已公示，我的互联网开发生涯应该快要结束了

恭喜上岸

361 天前

回复了 sikuu2al 创建的主题 › 发音 › 优惠券读 quan 不读 juan。

螺蛳粉