4 人关注
ansible-role-frp
this role will install frp and setup supervisor for frp to server continuously
uncat's repos on GitHub
1 人关注
.emacs.d
ˊ・ω・ˋ Emacs~~
Shell · 1 人关注
asdf-java
A Java plugin for asdf-vm.
Python · 1 人关注
black-dnsync
DNS Syncer...
0 人关注
ansible-role-nginx
Ansible role for NGINX
Shell · 0 人关注
ansible-role-v2ray
0 人关注
ansible-slurm
Ansible role for installing and managing the Slurm Workload Manager
0 人关注
app-playground
https://app-dir.vercel.app/
0 人关注
arch-security-tracker
Arch Linux Security Tracker
0 人关注
archweb
Arch Linux website code
0 人关注
aurweb
Hosting platform for the Arch User Repository (AUR), a collection of packaging scripts created by the Arch Linux community (read-only mirror)
0 人关注
authlib
The ultimate Python library in building OAuth, OpenID Connect clients and servers. JWS,JWE,JWK,JWA,JWT included.
0 人关注
bazarr
Bazarr is a companion application to Sonarr and Radarr. It manages and downloads subtitles based on your requirements. You define your preferences by TV show or movie and Bazarr takes care of everything for you.
0 人关注
bpftrace
High-level tracing language for Linux eBPF
Ruby · 0 人关注
capistrano
Remote multi-server automation tool
Ruby · 0 人关注
capistrano-sidekiq
Sidekiq integration for Capistrano
Go · 0 人关注
cert-manager-webhook-example
A cert-manager sample repository for creating an ACME DNS01 solver webhook
0 人关注
chatbot-ui
An open source ChatGPT UI.
TypeScript · 0 人关注
chatbox
Your Ultimate Copilot on the Desktop. Chatbox is a desktop app for GPT-4 / GPT-3.5 (OpenAI API) that supports Windows, Mac & Linux.
0 人关注
ChatGPT
🔮 ChatGPT Desktop Application (Mac, Windows and Linux)
0 人关注
chatgpt-api
Node.js client for the official ChatGPT API. 🔥
0 人关注
chatgpt-jetbrains-plugin
This project is a plugin that supports ChatGPT running on JetBrains series IDE.
0 人关注
ChatGPT-Paper-Reader
This repo offers a simple interface that helps you to read&summerize research papers in pdf format. You can ask some questions after reading. This interface is developed based on openai API and using GPT-3.5-turbo model.
0 人关注
chatgpt-reverse-proxy-js
OpenAI API Free Reverse Proxy
0 人关注
chatgpt-wrapper
API for interacting with ChatGPT and GPT4 using Python and from Shell.
0 人关注
chrome-extension-typescript-starter
Chrome Extension TypeScript Starter
Python · 0 人关注
cita-monitor
A Prometheus project to monitor running status of CITA.
0 人关注
clients
Bitwarden client applications (web, browser extension, desktop, and cli)
Go · 0 人关注
cloud-provider-alibaba-cloud
CloudProvider for Alibaba Cloud
0 人关注
comfyui-api
 |
uncatV2EX 第 222542 号会员，加入于 2017-03-23 11:13:16 +08:00 |
blog.jinmiaoluo.com
jinmiaoluo
jinmiaoluo
jinmiaoluo
uncat 最近回复了
21 天前 回复了 pdog18 创建的主题 › 问与答 › 本地部署 AI 的意义在哪里？涉密？ |
本地 4 块 3090 。
2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为沉浸式翻译的翻译后端 + openwebui 后端。看论文/文档很爽。
另外 2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为 vscode continue 的后端（体验一般）。
因为 continue 会导致 ollama 模型重新加载，所以就独立部署了 2 个 ollama 服务端（每台主机 2 张卡）。
2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为沉浸式翻译的翻译后端 + openwebui 后端。看论文/文档很爽。
另外 2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为 vscode continue 的后端（体验一般）。
因为 continue 会导致 ollama 模型重新加载，所以就独立部署了 2 个 ollama 服务端（每台主机 2 张卡）。
32 天前 回复了 lxnelly 创建的主题 › 宽带症候群 › 广东联通在一个楼盘内的两个独立宽带下的电脑可以 ipv4 直连吗？ |
实际测试见截图： https://blog.jinmiaoluo.com/upload/natmap-benchmark.png
PS：我是基于 NatMap + WireGuard 组网的方案（你的需求组网通过 RDP 内网互联即可解决）。
PS：我是基于 NatMap + WireGuard 组网的方案（你的需求组网通过 RDP 内网互联即可解决）。
32 天前 回复了 lxnelly 创建的主题 › 宽带症候群 › 广东联通在一个楼盘内的两个独立宽带下的电脑可以 ipv4 直连吗？ |
可以试试这个方案：买两个小米路由器刷 OpenWRT ，跟着 NatMap 的 Wiki 配置一下 NAT 打洞。
我的情况：广州移动宽带用户，没有公网 IP ，通过 NatMap 在运营商 NAT 设备上打洞，成功。
实际效果：延迟 10 ms ，瓶颈是家里移动宽带的上行速度（ 6.25 MBytes/Second)。
我的情况：广州移动宽带用户，没有公网 IP ，通过 NatMap 在运营商 NAT 设备上打洞，成功。
实际效果：延迟 10 ms ，瓶颈是家里移动宽带的上行速度（ 6.25 MBytes/Second)。
51 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
51 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
1. ollama pull deepseek-r1:671b
2. ollama show --modelfile deepseek-r1:671b | sed -e 's/^FROM.*/FROM deepseek-r1:671b/' > Modelfile
3. echo "PARAMETER num_gpu 0" >> Modelfile
4. ollama create deepseek-r1:671b-custom
第 3 步，将 0 替换为 2 （假设你是 24G 显存的显卡，实际显存除以 9 取整数商）
2. ollama show --modelfile deepseek-r1:671b | sed -e 's/^FROM.*/FROM deepseek-r1:671b/' > Modelfile
3. echo "PARAMETER num_gpu 0" >> Modelfile
4. ollama create deepseek-r1:671b-custom
第 3 步，将 0 替换为 2 （假设你是 24G 显存的显卡，实际显存除以 9 取整数商）
51 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
> 是直接 ollama run deepseek-r1:671b 这个就行吗？
先 ollama pull deepseek-r1:671b 拉下来后，保存 modefile 到本地，添加 num_gpu 参数后再重新导入即可。
参考这个： https://github.com/ollama/ollama/issues/6950#issuecomment-2373663650
@vpsvps
先 ollama pull deepseek-r1:671b 拉下来后，保存 modefile 到本地，添加 num_gpu 参数后再重新导入即可。
参考这个： https://github.com/ollama/ollama/issues/6950#issuecomment-2373663650
@vpsvps
51 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
Select Language