V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
blakegger731
V2EX  ›  程序员

最近一年持续关注 LLM 技术,发现一个技术发展规律: 全球顶尖公司、高校和极少牛人引领技术发展,其余的人和公司都是追随者

  •  
  •   blakegger731 · 29 天前 · 5120 次点击
    50 条回复    2024-06-14 14:48:22 +08:00
    wizzer
        1
    wizzer  
       29 天前   ❤️ 1
    不然呢……
    ResidualSoils
        2
    ResidualSoils  
       29 天前
    可能是少数牛且幸运的人发现了新的技术,然后其他公司的“老板”们让他们公司的牛人去追随
    Mithril
        3
    Mithril  
       29 天前
    因为做这方向的公司,或者说科技创业公司。创始人和核心团队里没几个牛校毕业的,或者大公司技术高管,你是根本拉不到投资的。
    squarefong17
        4
    squarefong17  
       29 天前
    不然呢。你看百把年过去了,现代物理学基础理论还是相对论和量子力学
    hxzhouh1
        5
    hxzhouh1  
       29 天前   ❤️ 3
    任何行业都这样把?
    HongXinss
        6
    HongXinss  
       29 天前   ❤️ 10
    最近一年持续关注饮食,发现一个饮食发展规律:全球顶尖菜品都是厨师做的,其余的人只是用嘴吃饭
    KINGWAY
        7
    KINGWAY  
       29 天前
    大部分人是乌合之众, 但是其中很多人以为自己是天选之才.
    fds
        8
    fds  
       29 天前
    科研领域也一样。所以就是要维护好环境,让万物自由生长开花结果。虽然果子只有那些,但没有根茎绿叶也是长不出来的。
    hhhh115
        9
    hhhh115  
       29 天前
    人类群星闪耀时
    这些人属于群星
    chendy
        10
    chendy  
       29 天前   ❤️ 2
    追随者是这样的,塔尖的组织只需要持续投入研发就可以了,而追随者要决定追随什么追随谁怎么追随,要考虑的就很多了
    iOCZS
        11
    iOCZS  
       29 天前
    人类知识边界掌握在少数人手里
    bensky
        12
    bensky  
       29 天前   ❤️ 1
    行行都是如此。人类几万年演化史都这么过来的。
    line
        13
    line  
       29 天前
    即使是顶尖研究者也是在相互启发,借鉴。 人类作为一个整体在前进。
    supuwoerc
        14
    supuwoerc  
       29 天前
    我前两天看了 FFmpeg 作者的经历,感觉世界是他们推动的,我们都是在这些巨人后面拾麦穗的人。
    LandCruiser
        15
    LandCruiser  
       29 天前
    事儿是这么回事儿,但是目前没看到 large language model 的价值。
    powerman
        16
    powerman  
       29 天前
    @LandCruiser 快了,要不了几年,搜索引擎会彻底消失,互联网会变成 内容孤立岛,每个孤立的岛屿都会有自己的大模型
    haiku
        17
    haiku  
       29 天前 via Android
    另一个移动互联网时代罢了
    之前成功的手机操作系统也就 iOS Android ,早期开发 App 的不也赚大钱了吗
    seakingii
        18
    seakingii  
       29 天前
    看数学就知道了
    powerman
        19
    powerman  
       29 天前
    @LandCruiser 现在中文 有价值的 UGC 内容 都已经只在 互联网孤岛发布了,
    本地要搜索一下相关的吃喝 旅游 出行攻略 还有 租房, 小红书 咸鱼 比百度要靠谱多了,一个个都成为内容孤岛
    kristofer
        20
    kristofer  
       29 天前
    这不很正常。
    NoOneNoBody
        21
    NoOneNoBody  
       29 天前
    是不是按错 enter 发送了,没见网址、关注一年就这一句话?
    jmy
        22
    jmy  
       29 天前
    听君一席话,如听一席话
    woctordho
        23
    woctordho  
       29 天前 via Android
    引领技术发展的人真的少吗,你再数数有多少
    idealhs
        24
    idealhs  
       29 天前   ❤️ 1
    @LandCruiser 哦哦嗯嗯,LLM 的价值去年年初的时候全世界都看到了,就你牛逼装着哈
    LandCruiser
        25
    LandCruiser  
       29 天前
    @idealhs 什么叫装着,纯粹觉得用处不大而已。
    Foralrec
        26
    Foralrec  
       29 天前
    @supuwoerc 挺感兴趣的,可以发下么
    chitanda
        27
    chitanda  
       29 天前   ❤️ 1
    @chendy #10 我去,潮式做题就是快
    ShuWei
        29
    ShuWei  
       29 天前
    废话,哪个行业不是这样?
    dog82
        30
    dog82  
       29 天前
    楼主太后知后觉了。这个世界,是一小撮聪明人拽着大家前进的
    kneo
        31
    kneo  
       29 天前 via Android   ❤️ 1
    你还真是持续一年关注了个寂寞。
    loryyang
        32
    loryyang  
       29 天前
    这其实是互相影响的,也就这些人在搞重要的研究,而且里面的人也是经过筛选进去的,没能力搞研究的就进不去
    lambdaq
        33
    lambdaq  
       29 天前
    爱迪生说过,天才等于 1%的灵感,加 99%的汗水。。。。


    他接着说:

    那 1%的灵感,远比 99%的汗水更重要
    masterclock
        34
    masterclock  
       29 天前
    唯物历史观是初中内容吗?
    yankebupt
        35
    yankebupt  
       29 天前
    @blakegger731 光高质量的训练用数据和训练费用(硬件/电费)就吓跑了一大帮人
    更别说没经验的训练过程随时可能跑飞,大把的钞票直接打水漂
    更可怕的是还要竞赛,比别人晚一点点,双盲性能差一点点,因为都要收费用户就跑到对面去了……
    要不是中国要备案只能用中国的 LLM 保活了那么几家做了起来全得被欧美日卷死……

    这个问题得等到显卡白菜价,或者可计算式内存(内存自带计算单元)开发成功,才有可能改观。
    Groq 开发了个 SRAM 推理机,就是将来差不多可计算式内存的推理速度,但是 SRAM 太贵了良率太低,做不了大,只能跑不大的模型而且不能用来训练……但你可以提前体验下将来的可计算内存 LLM 推理什么速度
    shinsekai
        36
    shinsekai  
       29 天前
    上学时应该学过英雄史观和人民史观吧?
    signin
        37
    signin  
       29 天前
    追随者又有什么问题呢,大文豪就那么几个,文字工作者没口饭吃吗?
    secondwtq
        38
    secondwtq  
       29 天前
    不如这么说,他们是因为站在技术的前沿才变得顶尖,而不是顶尖的人/实体站在技术的前沿。

    数学和科学中的重要成果,经常被冠以 XX 人定理,YY 人定律,为什么不是 AA 州定理,或者 BB 国定律,或者 NM 年猜想呢?自然是因为能做出前无古人的重大发现,并且以合适的形式表述并公布的人一直都是极少数,但是你如果真的做出来了,你也能冠个名,你就变成“引领”的人了。
    然后再去看这些 XX 和 YY ,你又会发现其中很多人一生中做出的真正重大的成果就这么一条,在这个成果发表之前可能是个 nobody ,在做出了之后想再其他的东西又不顺利。能连续做出重大贡献的,又是极少数中的少数。
    metalvest
        39
    metalvest  
       29 天前 via Android
    恭喜你重新发现了二八定律
    IDKAFK
        40
    IDKAFK  
       29 天前
    @lambdaq 爱迪生没说过“那 1%的灵感,远比 99%的汗水更重要”
    Fred0410
        41
    Fred0410  
       29 天前
    同意
    liyafe1997
        42
    liyafe1997  
       29 天前
    恭喜你发现了这个世界的运行规律之一:二八定律
    不止是技术,这个世界任何地方,各行各业,各种事情都适用
    MajestySolor
        43
    MajestySolor  
       28 天前
    整个人类族群就是这样发展过来的,不管是技术还是思想,都是凤毛麟角的一小撮天降猛男带动整个族群发展,99.9999999%的人哪怕从未出生过,也不影响人类的发展🤣
    duanzhanling
        44
    duanzhanling  
       28 天前
    不然呢
    lambdaq
        45
    lambdaq  
       28 天前
    @IDKAFK Genius is 1% inspiration, 99% perspiration

    一个是 in-,一个是 per- 如果没有 in 是没有后面的 per 的。
    Meteora626
        46
    Meteora626  
       28 天前
    因为你不牛根本拉不到钱,gpt2 gpt3 当时结论就是堆参数量行不通,很多公司就舍不得继续砸钱了,结果 openai 继续砸,3.5 出来以后发现以前纯纯堆得不够多.
    devzhaoyou
        47
    devzhaoyou  
       28 天前
    整个人类历史不也是这样么
    IDKAFK
        48
    IDKAFK  
       28 天前
    @lambdaq #45 补充下,豆瓣 @桥之暗面 ,已经调查的足够详细,https://www.douban.com/note/134288386/?_i=8293283wh-9gwg,8338627wh-9gwg

    如果爱迪生真有说过,那也请给出英文原文
    lambdaq
        49
    lambdaq  
       28 天前
    @IDKAFK

    Edison Papers editors recently discovered a fragment penned by Edison in 1915 in which he placed doubt upon his own famous quote:
    "[T]hey attribute this saying to me,” he wrote, “but I did not cannot remember that I ever said it."

    大意即“一些爱迪生的研究者近期发现了一些留有爱迪生笔记的碎片,这些内容是 1915 年爱迪生写的。
    (爱迪生写道)‘他们说这句话是我说的,但是我并不记得我曾那样说过’


    这下好了。前面这句也没了
    zzzzzzggggggg
        50
    zzzzzzggggggg  
       28 天前
    最近一年持续关注高考,发现一个考试结果规律: 全国顶尖 985 、211 都是极少牛人考上,其余的人都是追随者
    最近一年持续关注锻炼健身,发现一个身材规律: 顶尖毅力、自制力和极少牛人练出好身材,其余的人都是追随者
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1039 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 19:00 · PVG 03:00 · LAX 12:00 · JFK 15:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.