V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
oktp123
V2EX  ›  OpenAI

通义千问 2.5“客串”ChatGPT4,来试试能不能分出谁是谁

  •  
  •   oktp123 · 168 天前 · 1149 次点击
    这是一个创建于 168 天前的主题,其中的信息可能已经有所发展或是发生改变。

    引子

    OpenAI 发布了最新的 GPT-4o 模型,通义千问也在前不久刚发布通义千问 2.5 ,已经和 GPT-4-Turbo 不分伯仲:

    既然目前还没有和 GPT-4o 文本生成能力的对比数据,就让我们来和大模型一起做个游戏测试一下:

    我们让通义千问 2.5 扮演 GPT4 ,来和真正的 GPT4 进行问答 PK ,读者不妨来猜一猜谁是通义千问。

    两名选手的头像和昵称分别是:

    🌝 :我是 GPT4

    🌚 :如假包换 GPT4

    谁是通义千问,谁是 ChatGPT ,答案将在文末揭晓。

    Round 1

    第一轮由“我是 GPT4”选手提问,由“如假包换 GPT4”选手作答

    🌝:角色设定+第一个问题

    QA

    🌚 :角色设定+第一个回答

    QA

    QA

    🌝 :第二个问题

    QA

    🌚 :第二个回答

    QA

    🌝 :第三个问题

    QA

    🌚 :第三个回答

    QA

    Round 2

    第二轮由“如假包换 GPT4”选手提问,由“我是 GPT4”选手作答

    🌚 :角色设定+第一个问题

    QA

    🌝 :角色设定+第一个回答

    QA

    QA

    🌚 :第二个问题

    QA

    🌝 :第二个回答

    QA

    🌚 :第三个问题

    QA

    🌝 :第三个回答

    QA

    🌚 的回答更简短,更符合设定的要求,也是因为 🌝 的提问根据给定的要求更聚焦,相比下 🌚 的问题更发散,且都包含子问题,比较难用一两句话来作答。整体来说确实不分伯仲。

    不过,聪明的你,可能已经有了答案。如果急于验证,可以直接划到文末查看。如果你对上面通义千问是如何扮演 ChatGPT ,以及聊天框工具感到好奇,不妨先来看我们是如何搭建这个测试场景的。

    测试场景介绍

    我们使用了两个开源软件工具来搭建:NextChatHigress

    NextChat (ChatGPT Next Web) 是一个可以私有化部署的开源 ChatGPT 网页应用,目前支持对接 OpenAI 、Azure OpenAI 、Google Gemini Pro 和 Anthropic Claude 这些 LLM 服务提供商。

    Higress 是阿里云开源的高集成、易使用、易扩展、热更新的云原生 API 网关,遵循开源 Ingress/Gateway API 标准,提供流量调度、服务治理、安全防护三合一的网关能力。

    我们使用 NextChat 来搭建前端,并使用 Higress 将通义千问的应答转换为 OpenAI 协议返回给 NextChat 。

    具体搭建步骤:

    第一步:启动容器

    完整的 docker compose 配置贴在 Higress 社区的这个 issue 中。

    注意:

    Higress 容器环境变量中的 YOUR_DASHSCOPE_API_KEY 需要替换为你自己的通义千问的 API Key

    docker compose -p higress-ai up -d
    

    第二步:在浏览器里访问 http://localhost:3000/,打开 NextChat 页面;

    image

    第三步:点击对话输入框工具栏最右侧的模型设置按钮,切换模型

    因为 Higress 的 AI Proxy 插件(可以访问 http://localhost:8001 登录 Higress 的控制台查看插件配置)配置了 gpt-4o 到 qwen-max (即通义千问 2.5 )的模型映射,所以实际上这里提供的模型服务是 qwen-max

    image

    完成!现在你就可以与 AI 进行对话了。

    可以看到 Higress 实现了流式的效果,这不仅基于 Higress 底层对 SSE 等流式协议的良好支持,也依赖 Higress 的 Wasm 插件扩展机制可以实现通义千问协议到 OpenAI 协议的流式转换

    答案揭晓

    最后,我们来揭晓前面问题的答案。不知道各位猜对了吗?

    4 条回复    2024-06-18 13:27:21 +08:00
    googlefans
        1
    googlefans  
       168 天前
    我觉得 qianwen 比 gpt4fo 强
    zhiyu1998
        2
    zhiyu1998  
       168 天前 via Android
    有意思,通义站起来了
    oktp123
        3
    oktp123  
    OP
       162 天前
    qwen max 降价了好多
    AiBoy
        4
    AiBoy  
       135 天前
    不错不错
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1428 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 23:51 · PVG 07:51 · LAX 16:51 · JFK 19:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.