kenshinhu 最近的时间轴更新 kenshinhu 最近的时间轴更新
打卡
2015-11-29 15:02:01 +08:00
广东中山
| 过保 apple watch 如何维修 WATCH • kenshinhu • 2021-06-30 12:12:31 PM • 最后回复来自 kenshinhu | 17 |
| 迫于生计，出搭载 RX470 的 EGPU 扩展坞一台 二手交易 • kenshinhu • 2021-06-25 11:04:49 AM • 最后回复来自 qwetrz007sh | 4 |
| 出 Macbook Pro 2019 年中 32G 1T + apple care + UAG 保护套 二手交易 • kenshinhu • 2021-06-28 09:18:04 AM • 最后回复来自 kenshinhu | 43 |
| 出三星 budslive 国行耳机 二手交易 • kenshinhu • 2020-11-30 09:37:44 AM • 最后回复来自 kenshinhu | 2 |
| 出 LG 34uc99 二手交易 • kenshinhu • 2020-12-03 11:52:39 AM • 最后回复来自 KKLeon | 21 |
| 出国行 2018 mac mini TT2 二手交易 • kenshinhu • 2020-11-29 09:19:25 AM • 最后回复来自 kenshinhu | 5 |
| 不想写 Java 但是想从事后端开发有什么路子可走？ 问与答 • kenshinhu • 2020-10-22 15:09:01 PM • 最后回复来自 ericxu131 | 36 |
| osx10.15.4 出现 airpods 连接不稳定的情况 macOS • kenshinhu • 2020-03-08 14:30:29 PM • 最后回复来自 deplives | 2 |
| 使用 mqtt 时如何区分开发和生产环境？ 服务器 • kenshinhu • 2019-04-24 00:31:58 AM • 最后回复来自 kenshinhu | 2 |
| mojave 使用 EGPU 踩坑记录,手中的 rx580 sp2048 是留还是出？ MacBook • kenshinhu • 2019-10-02 19:29:32 PM • 最后回复来自 huyinjie | 20 |
kenshinhu 最近回复了
1 天前 回复了 bululutech 创建的主题 › 创业组队 › AI 项目寻全栈/后端合伙人 |
@bululutech 那这样的确很棒！是否可以也提供结果提供的向量数据 的 通过 case ? 这个又是一个针对 RAG 应用的优化场景！
1 天前 回复了 bululutech 创建的主题 › 创业组队 › AI 项目寻全栈/后端合伙人 |
@bululutech 我可否了解成是一个 Prompt 来给另一个 Prompt 做基准相关的测试？但是这个会否把整个 Context 上下文 都带入？就像单例测试，得需要有测试数据，毕竟 Prompt 的测试就像黑盒测试，仅能通过输入输出结果来判断？
但是如果一但超出 token 的限制又会有幻觉的出现，这是否就是说“调 prompt 就像跷跷板”的意思？
但是如果一但超出 token 的限制又会有幻觉的出现，这是否就是说“调 prompt 就像跷跷板”的意思？
1 天前 回复了 bululutech 创建的主题 › 创业组队 › AI 项目寻全栈/后端合伙人 |
Function Calling ？ 最近我也学习研究做 RAG ，后期也需要用到 Prompt 工程。
4 天前 回复了 smalltong02 创建的主题 › 程序员 › 对 Llama-3-8B 模型在指令跟随方面的测试。 |
@smalltong02
之前是在 腾讯云上租用 Hai 算力服务器上部署 8B 模型时（直从 GitHub 下载）就出现 以下错误：
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 1002.00 MiB. GPU 0 has a total capacity of 15.57 GiB of which 961.12 MiB is free. Process 68255 has 14.63 GiB memory in use. Of the allocated memory 13.99 GiB is allocated by PyTorch, and 129.49 MiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation. See documentation for Memory Management
看似是显卡的内存都被 PyTorch 所占用了但不知道怎样解决
之前是在 腾讯云上租用 Hai 算力服务器上部署 8B 模型时（直从 GitHub 下载）就出现 以下错误：
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 1002.00 MiB. GPU 0 has a total capacity of 15.57 GiB of which 961.12 MiB is free. Process 68255 has 14.63 GiB memory in use. Of the allocated memory 13.99 GiB is allocated by PyTorch, and 129.49 MiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation. See documentation for Memory Management
看似是显卡的内存都被 PyTorch 所占用了但不知道怎样解决
5 天前 回复了 smalltong02 创建的主题 › 程序员 › 对 Llama-3-8B 模型在指令跟随方面的测试。 |
哥，想问一下这个 7B 模型是直接从 GitHub 上下载部署的这个吗？我这边用 16G 的显卡打开也是报 GPU 内存不足
16 天前 回复了 zhaomanong 创建的主题 › 远程工作 › 招 远程 [全职] 前端 |
招五线城市的兼职吗？可以高效输出
24 天前 回复了 blueeon 创建的主题 › 程序员 › 准备结束独立开发，是一段非常棒的经历！ |
@blueeon 谢谢邀请! 感觉应该是个很 Cool 的项目,也很乐意为其做出贡献。项目启动后方便的话能否分享一下链接
Select Language