V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  ShadowPower  ›  全部回复第 23 页 / 共 80 页
回复总数  1595
1 ... 19  20  21  22  23  24  25  26  27  28 ... 80  
那是 C#程序吧……
.NET Framework 4.0 的话,无解
静态链接
编译选项/MT
167 天前
回复了 mysoko 创建的主题 Apple MacBook Air m2 投屏不了小米 Mini LED 电视?
除了苹果自家的设备以外,其他品牌的 AirPlay 都是逆向得到的……
不能用也正常
168 天前
回复了 Arguments 创建的主题 Apple Apple Music 资料库机制真的很垃圾
@FaneLau 竞品太多了,绑住用户得靠优势
@highsun16 其实目前还没达到令我满意的效果,后面还得看看怎么把数据清洗一下。之后还得再试试训练的时候能不能额外带上 Prompt ,让生成的内容更可控。

折腾完了之后,等有空我写一篇吧。
@daiv 是的
@isouu 我还没想过这个问题
@isouu Chat 模型,训练数据是一些大 V 的回答
@iorilu
Yi-6B 就挺好的,预训练数据里已经有好多小说数据了。
如果还想更小一些,还有 RWKV ,不过相关的生态比较少。

embeding 用这个: https://huggingface.co/moka-ai/m3e-base
@iorilu 只想双显卡加快训练速度的话,用 huggingface 的 accelerate 库就可以了,官方文档: https://huggingface.co/docs/accelerate/index

不过它只支持数据并行,所以不能解决那种一块显卡显存不够,用多块才够的问题。

之前看过一些框架,据说支持把模型拆分到多块显卡上训练。例如 DeepSpeed 、ColossalAI 之类的。只是我还没成功跑起来……
想给大家分享几点:
1. 虽然个人制作一个预训练模型不太现实,但是其实微调模型的门槛很低;
2. 如果你只有 6GB 显存,可以尝试微调 Qwen 1.8B 。虽然不能指望它给你准确回答问题,或者帮你写出正确的代码,但用于只需要想象力的文学创作方面还不错;
3. 零一万物的 Yi 系列模型其实很强,尽管中文互联网上讨论得少。主要优势在中文写作上。虽然它不那么遵循指令,然而 34B-Chat 的中文写作质量真的可以超过 GPT4 ;
4. 除了在 LLaMa 1 刚出来的那个时代,实际上,参数量大的开源模型效果往往不理想。参数量小的开源模型反而更实用;
5. 不要迷信 M2 Ultra 192GB ,想玩出花样,目前看来,NVIDIA 仍然是首选。


说说为什么参数量大的开源模型效果不理想吧。其实最大的原因在于参数量越大,训练成本越高。哪怕对于商业公司来说,预算也不是无限的。训练大模型其实有很多复杂的工程问题,需要多机器的都不简单。

参数量小的模型因为训练成本比较低,很快就能迭代新版本,不断地追加训练数据。
于是,小一点的模型相比大一点的模型,训练得更加充分,数据也更多样。
对商业公司来说,也更适合尝试不同的训练方法。全参数训练 6B 模型最低其实只要一块显卡,60 多 GB 显存。

还有,为什么不要迷信 M2 Ultra 192GB 。
我尝试了市面上绝大多数比较受欢迎的模型(仅中/英文),绝大多数有用的模型都在 1~34B 内。其中又有几乎 95%的模型在 1.5~14B 这个范围内。

M2 Ultra 192GB 的优势则是可以在输出效率能接受的情况下尝试 70B 、120B 、180B (只有一个)的模型。
不过很快你就会发现这些模型一点用都没有:
写作很差,都是那种总-分-总的议论文结构,而且非常机械、死板;
写代码或者回答问题都是错误百出……写代码最好的模型大多数有 34B 左右的参数量;
角色扮演也很无趣,输出实在是太正经了。无论扮演什么,都像在跟售后客服聊天,而且服务范围很有限。最好的角色扮演模型大多数是 13B 左右的参数量。原因很简单,网友自己微调模型,能接受的最高成本在这里。

另外大型语言模型其实可以量化运行,而且性能损失很小。llama.cpp 的 Q5_K_M 量化几乎不影响写作性能,依然能保持和 fp16 同等的质量。只是输出的内容不完全相同。

如果想用 M2 Ultra 192GB 训练模型,其实并不好使。坑很多,有这些:
运行不一定报错,但是训练出来的模型可能是废的。还不好排查问题在哪,网上没人讨论。比如,训练 Stable Diffusion 的 LoRA 拿来用,输出的图都是黑的……
训练速度超级慢。要是模型本身就不大,其实用 NVIDIA 游戏显卡坑少效率还高。模型大到 NVIDIA 游戏显卡跑不起来的情况下,训练速度就相当慢了。你不会愿意把它放着跑个一两年,还保持满载。

PyTorch 的 MPS 后端跑很多模型看起来“能跑”,但是有一些算子实际上没有 MPS 实现,会回退到 CPU 上跑。所以不能光看显卡理论性能。
在训练的时候,ANE 是完全用不上的(推理的时候能用上,但它只能做 INT8/FP16 卷积)。而 NVIDIA 显卡的 Tensor Core 能用上。

个人玩 LLM 最具性价比的选择是 3090 ,进阶选择是两块 3090 ,缺点是噪声比较大,主板和电源要求也高。
4090 在噪声方面好一些,但是现在还是太贵了。

不捡垃圾,不买矿卡,不魔改的情况下,入门选择是 4060Ti 16GB 。
只想体验一下的话,租个 VPS 玩玩,或者用 llama.cpp 用 cpu 跑……
最近微调了 Yi-6B ,能用来写知乎回答,能过知乎的 AI 检测……
虽然没什么用,但是好玩。比给 GPT 写各种各样的 Prompt 好玩多了。

目前还有不少问题,回答里会有很多广告、引流的内容。

这是一些例子:
https://i.imgur.com/2EsBuG9.png
https://i.imgur.com/mrJHfON.png
Note12Turbo 14.0.25 ,刚试了一下,没有复现
应该是 bug
171 天前
回复了 raw0xff 创建的主题 Apple 求推荐可与 macbook air m2 媲美的 x86 笔记本
@neiltroyer849 要续航也有选择:
AMD 6800H / 7840HS
Core Ultra 系列(刚出的)

我的小新 Pro14 ( 7840HS )可以做到最高屏幕亮度写代码,同时后台跑浏览器+QQ+微信+各种小工具+笔记软件,真实续航 8 小时。网上看评测比较垃圾,后来我发现这电脑键盘背光的功耗堪比屏幕……
关掉键盘背光,续航从 6 小时多提升到 8 小时多。

比起 11 代之前的酷睿,已经是“显著提高”了。
当然,要想有 Apple Silicon 水平,那得等高通台积电工艺的 ARM 处理器。
171 天前
回复了 spitfireuptown 创建的主题 程序员 搞开源项目,收费卖文档有搞头吗
这种商业模式能做,就是上手门槛太高的话,一开始不会有用户……
吸引用户使用的门槛应该尽可能低。

等用户有了更高级的需求之后,想到自己已经用了很久,改用其他项目成本还要更高,才会乐意在现有的项目上付费。
可以变通一下:
如果用户没有密码,可以先自动登录一个用户,然后通过 runas 命令以其他用户身份运行程序(这个命令不允许自动输入密码)
如果有密码,则用另一台电脑向这台电脑分别发起远程桌面连接……
172 天前
回复了 sampeng 创建的主题 程序员 一个疑问,现在是人均一台开发机了?
我在小公司,没有远程开发环境。
电脑的话,公司给 5000 ,自己去买,用三年归个人……
如果 Python 和 Java 都在同一台机器上
用命名管道来传数据就好了
172 天前
回复了 raw0xff 创建的主题 Apple 求推荐可与 macbook air m2 媲美的 x86 笔记本
看到不少人说没有
我感觉颜值比 MBA M2 好的笔记本不少啊。现在的 MBA 模具已经没有上一代那么好看了,而且还有刘海屏……

若是拿 MacBook 最长的长板去跟其他产品比,那么确实在任何时候都会得出“没有”的结论,毕竟什么时候都能找到至少一项优势。
除非 MacBook 跟其他笔记本比真的没有任何优势了。
@klo424 我也有小米 6 ,那玩意拍照效果和拍照体验确实不行。不过其实当时的情况是这样:
1. 设计小米 6 的时候,小米公司还没有专门的影像部门。到小米 8 的时候就有了
2. 那时候拍照还在追求“把夜晚拍成白天”,再加上 DXO 测的那些项目。而拍照的体验则不在考虑范围内

其实到小米 10 的拍照体验都不是很好,拍的时候要做一大堆计算,转圈转一会才能成像。部分非小米手机今天仍然是这种体验……

小米 12s 以后的手机拍照体验都特别好了。
1 ... 19  20  21  22  23  24  25  26  27  28 ... 80  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2387 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 34ms · UTC 05:32 · PVG 13:32 · LAX 22:32 · JFK 01:32
Developed with CodeLauncher
♥ Do have faith in what you're doing.