V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
coinbase
V2EX  ›  分享发现

Groq 的速度真的好快啊

  •  1
     
  •   coinbase · 234 天前 · 4089 次点击
    这是一个创建于 234 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这是什么原理

    29 条回复
    BIND
        1
    BIND  
       234 天前 via Android
    确实快,感觉这个 AI 它上辈子是个哑巴,这辈子急着说话。我问题刚问完,它就库喳一下子答完了。
    a1b2c3T
        2
    a1b2c3T  
       234 天前 via iPhone
    刚去试了一下,确实好快啊,不像 gpt 一个字一个字往外蹦…蹲一个大佬解释一下
    waynevan
        3
    waynevan  
       234 天前
    用的自研芯片,不是英伟达的
    xiaohundun
        4
    xiaohundun  
       234 天前
    你不看看他用的什么模型,lama3-8b
    cat9life
        5
    cat9life  
       234 天前
    @xiaohundun #4 所以算力要求很低?
    xiaohundun
        6
    xiaohundun  
       234 天前
    @cat9life 8b 很低,不过我看他可以切换模型 70b ,也挺快的,这要看他的使用量,像是 ChatGPT 、Claude.ai 使用量大,慢一点不奇怪,当然也可能是他的 LPU 引擎很牛
    tianzi123
        7
    tianzi123  
       234 天前
    我去,速度太快了,有点不适应了
    yianing
        8
    yianing  
       234 天前
    @xiaohundun #4 8b 是 800t/s ,70b 是 280b/s ,都挺离谱的
    idragonet
        9
    idragonet  
       234 天前
    测试下还是快,不过正式库很老。
    ThinkStu
        10
    ThinkStu  
       234 天前
    感觉速度挺快,质量不如 GPT3.5...
    492
        11
    492  
       234 天前
    准确率怎么样,我随手测了下速度确实快
    rambo92
        12
    rambo92  
       234 天前
    确实快,不过还是没有解决 鲁迅为什么殴打周树人 的问题 哈哈哈
    youmilk
        13
    youmilk  
       234 天前   ❤️ 1
    @rambo92 模型换 70b
    securityCoding
        14
    securityCoding  
       234 天前 via Android
    llama3 8b 模型我在 8G 显存开发机上跑,速度快到起飞
    WashFreshFresh
        15
    WashFreshFresh  
       234 天前
    为啥 web 登录上去不能发消息...
    aduangduang
        16
    aduangduang  
       234 天前   ❤️ 1
    快是真快,傻也是真傻
    pkoukk
        17
    pkoukk  
       234 天前   ❤️ 2
    你别问我对不对,我就问你快不快吧
    lichuyi
        18
    lichuyi  
       234 天前
    @rambo92
    鲁迅为什么殴打周树人
    鲁迅( 1881-1936 )和周树人( 1885-1957 )是中国现代文学家和作家,两人都是中国文学界的知名人物。关于鲁迅殴打周树人,实际上是鲁迅在 1927 年的一篇文章《周树人》中提到的事件。

    根据鲁迅的描述,1925 年,他和周树人在上海的一家咖啡馆中遇见,周树人在喝咖啡时,鲁迅认为他喝的咖啡太多,鲁迅便殴打周树人。鲁迅在文章中解释说,他殴打周树人是因为周树人喝的咖啡太多,鲁迅认为这是对中国文化的污染。

    然而,这个事件的真实性和鲁迅的描述是否准确,仍然是一个争议的问题。一些学者认为,这个事件可能是鲁迅的虚构或夸大,旨在攻击周树人和中国文化。周树人本人也没有留下关于这个事件的记载。

    总之,鲁迅殴打周树人事件的真实性和原因仍然是一个争议的问题,需要更多的证据和研究来确定事件的真实性。
    ZekeChin
        19
    ZekeChin  
       234 天前
    https://www.reddit.com/r/LocalLLaMA/comments/1auxm3q/groq_is_lightning_fast/
    有个自称 Groq Engineer 的哥们在解释可以看看
    ZekeChin
        20
    ZekeChin  
       234 天前
    @rambo92 准不准是模型的问题啊,Groq 单单只负责推理。
    当然他有没有对模型做量化是不知道的,如果做的那确实会影响部分结果
    0312birdzhang
        21
    0312birdzhang  
       234 天前
    @ZekeChin 模型越大推理速度越慢
    LesterZz
        22
    LesterZz  
       234 天前
    @lichuyi 选 Llama3-70b-8192 回答的很正确,也很快
    chiu
        23
    chiu  
       234 天前
    Q: 鲁迅为什么殴打周树人

    GPT-4-1106-preview: 实际上,鲁迅与周树人是同一个人。鲁迅是周树人的笔名,他是中国现代文学的重要作家、思想家。所以,鲁迅和周树人不存在任何殴打事件,因为不存在两个不同的人。
    你可能是对鲁迅的生平或文学作品产生了一些误解。在鲁迅的作品中,他以深刻的社会批判和讽刺知名,但这些都是通过文字表现出来的,而非真实生活中的肢体冲突。
    如果有人谈论“鲁迅殴打周树人”,那么这很可能是对他的写作风格的一种比喻性描述,意指他在作品中对自己或者社会某种倾向的无情剖析和自我批判。
    elonlo
        24
    elonlo  
       234 天前
    @lichuyi
    llama3-70b 回复已经很好了
    A famous myth-busting opportunity! 😄

    鲁迅 (Lu Xun) did not beat up 周树人 (Zhou Shuren). In fact, 周树人 is actually the pen name of 鲁迅 himself.

    鲁迅 (1881-1936) was a renowned Chinese writer, critic, and intellectual, considered one of the most important figures of modern Chinese literature. His real name was 周树人 (Zhou Shuren), and 鲁迅 was his pen name.

    So, it's not possible for 鲁迅 to have beaten up 周树人, as they are the same person! 😊
    lurui45
        25
    lurui45  
       234 天前
    哪个模型性能最强
    Jerry23333
        26
    Jerry23333  
       234 天前
    快是真的快,但是感觉能力上有欠缺,比如问他 “what's jsvm",回答是 Java Virtual Machine, gpt3.5 知道是 javascript virtual machine.
    allentown0406
        27
    allentown0406  
       232 天前
    快,但是感觉能力上有欠缺
    FuzzySloth2
        28
    FuzzySloth2  
       225 天前 via iPhone
    @lichuyi I think there may be some confusion. 鲁迅 (Lu Xun) and 周树人 (Zhou Shuren) are actually the same person. Lu Xun is the pen name, while Zhou Shuren is his real name.

    Lu Xun was a renowned Chinese writer, critic, and thinker, and is considered one of the most important figures in modern Chinese literature. He was born in 1881 and died in 1936.

    So, to answer your question, Lu Xun did not "殴打" (beat up) Zhou Shuren, because they are the same person!
    FuzzySloth2
        29
    FuzzySloth2  
       225 天前 via iPhone
    @FuzzySloth2 llama3-70b
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   899 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 21:23 · PVG 05:23 · LAX 13:23 · JFK 16:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.