V2EX › liuxu 的所有回复 › 第 1 页 / 共 147 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 2 3 4 5 6 7 8 9 10 ... 147

❮

❯

1 小时 19 分钟前

回复了 hefmt137 创建的主题 › OpenAI › openai 啥时候能回复订阅 20X 的

我看有 1000 出头的

4 天前

回复了 uni 创建的主题 › OpenAI › gpt plus 会员，网页聊天都降智了，怎么解决

换 claude code

6 天前

回复了 fankcoder 创建的主题 › 程序员 › 我的 v 站余额是什么水平？

V2EX 第 62234 号会员，加入于 2014-05-09 03:02:29 +08:00
1G43S15B

8 天前

回复了 AlexaZhou 创建的主题 › Claude › 分享下轻量好用的模型网关 GT AI Gateway 新版本，增加了多上游负载均衡和自动故障切换

@AlexaZhou 还有个很核心的需求，有很多上游的时候，上游的 response 返回时间不一，质量参差不齐，高峰和闲时返回速度也不一样，现在一直等着第一个超时，太占用总时间了
能不能自行设置一个并行数发送上游，优先返回第一个，同时前 20%放到 memory 中的 lru （或其他内存模型），下次优先选它们+一点探测不断更新 lru ，这样既可以保证亲合度稳定被 lru 优先返回，同时还能提供模型首 token 速度

8 天前

回复了 AlexaZhou 创建的主题 › Claude › 分享下轻量好用的模型网关 GT AI Gateway 新版本，增加了多上游负载均衡和自动故障切换

prompt_cache_key 是什么特性，模型选择“首选可用”，配置了 1 个账号，有多个上游，现在一直命中第一个，即使第一个返回错误，也没有切到第二个上游。用 docker 部署的 latest

这是上游的 response：
{
"type": "response.failed",
"response": {
"id": "resp_05213572943d5c61016aa794c408a887d0b53591e0b90bc990",
"object": "response",
"created_at": 1789367492,
"status": "failed",
"background": false,
"completed_at": null,
"error": {
"code": "server_error",
"message": "Our servers are currently overloaded. Please try again later."
},
"frequency_penalty": 0,
"max_tool_calls": null,
"model": "gpt-5.6-terra",
"moderation": null,
"presence_penalty": 0,
"previous_response_id": null,
"prompt_cache_key": "3ac9a2e42f9ce975",
"prompt_cache_retention": "24h",
"safety_identifier": "user-FUNwHz0HFakp",
"service_tier": "default",
"store": false,
"temperature": 1,
"tool_usage": {
"image_gen": {
"input_tokens": 0,
"input_tokens_details": {
"image_tokens": 0,
"text_tokens": 0
},
"output_tokens": 0,
"output_tokens_details": {
"image_tokens": 0,
"text_tokens": 0
},
"total_tokens": 0
},
"web_search": {
"num_requests": 0
}
},
"top_logprobs": 0,
"top_p": 0.98,
"user": null
},
"sequence_number": 4
}

8 天前

回复了 AlexaZhou 创建的主题 › Claude › 分享下轻量好用的模型网关 GT AI Gateway 新版本，增加了多上游负载均衡和自动故障切换

好东西，已 star

11 天前

回复了 arrayxiangxiang 创建的主题 › 程序员 › 大 token 用户一般除了砸钱，还能咋办，存粹个人用

你建的这个中转站上游上自建号池吗

14 天前

回复了 at5pm 创建的主题 › 推广 › [YAN+] 新站上线内测，注册用户每人送 10 刀（暂不支持充值，赠送额度用完可以找群主再要），支持 gpt-6-astra， GPT 最低 0.1×， DeepSeek V4 0.25×， GLM-5.3-Flash 0.25×

id: 373 谢谢老板

14 天前

回复了 shanghui 创建的主题 › 程序员 › gpt pro 20x 找个车队希望没有日限额

这种峰值类需求得上中转站