哇哦，这 ui 好好看

@yueji 没听过这个欸...看了一下似乎是英文的模型？恐怕中文不行吧

几个月前刚训练过一个，安卓手机的话需要把微信数据库导出并解密 https://github.com/greycodee/wechat-backup
然后导出 contact 和 message 表，我先是对导出的表进行了清洗，把非目标群聊/联系人的聊天数据和大部分根本不需要的字段全部删除，删除不使用的聊天记录类型（比如图片啥）然后再清洗掉个人敏感信息

对于数据集生成，我的思路是
1.群聊: 先筛选出我发送的消息，然后向上追溯一分钟之内的其他人的消息作为一组对话（我这里没考虑引用回复），一天内的消息均作为上下文（但实际上我并不推荐使用群聊消息，现在并没有成本低且效果很好的方式来分割聊天，第三次训练时我去掉群聊的数据集，胡言乱语的情况好了很多）
2.联系人: 一问一答为一组对话，多条连续消息合并，一天内为上下文
最后总共有 8k 条聊天记录

我当时使用的 chatglm2 模型，lora 和 pt 都试了，lora 效果好太多，最终 15steps 的 loss 稳定在 1.0 左右

效果怎么说呢...确实金句频出，但记忆力明显下降，并且指令服从性几乎没有，也就仅仅能用来聊天了。

另外，我多次尝试让他认识到自己是谁，无论是通过数据集强化的方式，还是靠推理时增加 system prompt ，都无法达到效果...

@xz410236056 你 b 现在恐怕没几个 plm 了吧...毕竟立志要做中国的 ytb 呢...

@zen1 这样高度统一的 ui 风格我觉得挺好的，降低了很多学习成本

@AoEiuV020JP star 还能刷的吗...

id 小写，其他缩写大写

才发现...还真是

ai 读的懂字面意思，但无法联系上下文（指社会舆论环境、时事新闻、历史）等来判断深层含义。

甚至普通人都很难理解的东西，就别强求 ai 了...

@chenzw2 哈哈哈哈哈哈哈笑死

火，很火...几乎没有人不知道，但大部分人似乎都没真正用过

@qingxia 如果要硬找的话，确实找不到，写代码、读论文、聊琐碎问题，哪个原来不是靠自己和搜索引擎完成的？但是 chatgpt 提供了一种捷径，提供质量几乎相同甚至更高的内容，只要你认为它带给你的便利性或给你创造出来的价值超过 chatgpt 本身，那他就是值得的

@PickOne 你是有品位的 https://i.imgur.com/xr1UOz1.png

玩了一下，11/12 ，我承认我有炫耀的成分（

在刚开始使用时很惊艳，但后来慢慢就不这么觉得了...直到前几天 plus 过期，我才明白他已经融入到我生活里了，毫不犹豫地续费...

帅啊！

so...?

@efcndi 图片上：“已更新 2023/10/23 18:27”