这是一个创建于 41 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前的主流推理引擎：vLLM 、sglang 等目前都已经随着优化需求更高，优化方法更加丰富，支持平台越来越多而丢失了原本简洁，可读的代码结构，所以在看到 github 最近比较火的[nano-vllm][https://github.com/GeeeekExplorer/nano-vllm]，之后也是打算为 SGLang 构建一个更适用于初学者，并且保留了 SGLang 最核心的设计思想--RadixAttention 的一个简洁的项目[nano-sglang][https://github.com/Hayden727/nano-sglang]，能够帮助初学者更快理解 SGLang 推理的工作流程! 欢迎感兴趣的小伙伴一起来开发!(预计与 3 ～ 5 个核心 contributers 一起开发)
感兴趣的小伙伴可以发送邮件至我的[个人邮箱][hayden.cc@zohomail.com]，记得附带简历或者个人经历介绍喔
 |
1
aminobody 25 天前
dd 大佬带带
|
 |
2
re2ikotr 23 天前
顶，看到 nanovllm 顺手 Google 一下 nanosglang ，发现还真有而且就在 v 站宣传，支持
|
Select Language