ChatGLM2-6B 有点儿厉害啊，笔记本就可以运行起来，个人 AI 助手的时代是不是要来了？

[shadio]

部署了一下 ChatGLM2-6B ，感觉速度挺快。 随机从 V 站选了几个问题测试了一下回答的还是有板有眼的。 不过和 gpt4 还是有一些差距：

[DigitalG]

请问上下文关联表现得怎么样呢？

[youthfire]

你这一问一答，答案全显花了多少时间？

[shadio]

@youthfire 10s 左右，感觉比 chatgpt 快，比文心一言快至少五六倍

[shadio]

@DigitalG 还行，基本上所问即所答，复杂一些的内容比 chatgpt 差

[Moeblack]

感觉还不错，没有量化的模型我 16GB 显存就跑起来了，
int4 说是 6GB 就能跑。

[Moeblack]

不知道楼主有没有尝试过微调？

[Pitttttt]

请问下你部署的服务器的配置是怎样的？

[wxf666]

问一个正则看看？

要求能去除 PHP 、js 里的所有注释，但不要误伤字符串。具体包括：

1. 三种引号（''、""、``），以及 HereDoc （<<<EOF ）、NowDoc （<<<'EOF'），且允许字符串里有转义符

2. 三种注释（#、//、/* */）

[Moeblack]

@wxf666 要求能去除 PHP 、js 里的所有注释，但不要误伤字符串。具体包括：
1. 三种引号（''、""、``），以及 HereDoc （<<<EOF ）、NowDoc （<<<'EOF'），且允许字符串里有转义符
2. 三种注释（#、//、/ /）

抱歉，我无法提供完整的函数或代码片段，因为这需要在全局环境中进行处理，而我不想引入太多的全局变量或函数。
但是，我可以为您提供一些基本的示例代码，以帮助您实现这个需求。请注意，这些示例代码仅用于演示目的，不应直接应用于生产环境中。
在 PHP 中，您可以使用以下代码来实现去除注释并保留字符串的函数：


function strip_ comments($str) {
$str = replace($str, '#', '', true); // 使用 `true` 参数去除注释
$str = rtrim($str, '/*'); // 去除注释注释行
$str = str_replace(['//', '/*'], '', $str); // 使用 `'/*'` 和 `'//'` 替换注释
return $str;
}

该函数使用 replace() 函数替换字符串中的注释，并使用 rtrim() 函数去除注释注释行。最后，它还使用 str_replace() 函数将注释字符串替换为空字符串。
在 JavaScript 中，您可以使用以下代码来实现去除注释并保留字符串的函数：

function strip_ comments($str) {
$str = $str.replace(/#{http_build_query}/g, ''); // 使用正则表达式去除注释
$str = $str.replace(/:</g, ''); // 去除注释行
$str = $str.replace(/<!--/g, ''); // 去除注释
return $str;
}

该函数使用 replace() 函数替换字符串中的注释，并使用 replace() 函数去除注释注释行和连接符。它还使用 g 参数表示要替换整个字符串，而不是只替换特定字符。
请注意，该函数将保留 PHP 和 JavaScript 中的引号和 HereDoc 结构，但将去除注释行和连接符。
如果需要同时去除 JavaScript 中的注释行和连接符，您可以使用以下代码：

function strip_ comments($str) {
$str = $str.replace(/:</g, ''); // 去除注释行
$str = $str.replace(/>/g, ''); // 去除注释连接符
$str = str_replace(['//', '/*'], '', $str); // 使用 `'/*'` 和 `'//'` 替换注释
return $str;
}

这是使用正则表达式和 replace() 函数实现的。它首先去除注释行，然后去除注释连接符，最后保留引号和 HereDoc 结构。

[youthfire]

@shadio #3 那就比较实用了，之前跑过 privateGPT ，关联度差，速度奇慢

[thinkm]

能翻译不，准确性比起 gpt3.5 怎么样

[wxf666]

@Moeblack #9 好像你没提到必须用正则实现？

[LittleYangYang]

感觉不知道什么参数造成的影响，在长度为 8192 的时候连续试了几次都断在了“文”这个字，但是长度肯定没超 8192 ，把长度拖动大一点之后，继续刚刚 8192 长度参数的会话重新发了一次就成功翻译完了，不是很明白，不知道是不是 webui 的问题。

稍微测下来可能结构化输出还需要进一步微调，试了几次让它分析文本以 json 格式输出都只有前半段 json 没后半段，但是真的发展迅猛，总之未来可期。

[locoz]

啊？都出 2 了？

[xiaohundun]

这个模型真是飞快啊，跑在 4090 上

[acerphoenix]

联网不？数据哪儿来的，得需要自己训练吧，

[shadio]

@Pitttttt 我用笔记本跑的，联想 y9000p

[shadio]

@acerphoenix 它训练好的，直接本地电脑可以用啊

[shadio]

@thinkm 简单测试了一下，翻译的准确性不然 gpt3.5 ，但比一般的翻译软件要好一点儿

[ac23]

发展好快

[honkew]

A 卡能跑吗

[shadio]

@honkew 没 A 卡电脑，没有试过

[shadio]

@Moeblack #6 还没有试

[chancat]

这咋搭建的啊

[shadio]

@chancat 按照工程文档一步步来就可以了啊： https://github.com/THUDM/ChatGLM2-6B

[chancat]

@shadio 哇，谢谢我去学习学习

[iorilu]

这模型翻译效果如何

能当翻译器用吗

[nomagick]

老夫把它传到 Replicate 上了，直接云端运行

https://replicate.com/nomagick/chatglm2-6b