ChatGLM2-6B 有点儿厉害啊,笔记本就可以运行起来,个人 AI 助手的时代是不是要来了?

查看 170|回复 11
作者:shadio   
部署了一下 ChatGLM2-6B ,感觉速度挺快。

随机从 V 站选了几个问题测试了一下回答的还是有板有眼的。
不过和 gpt4 还是有一些差距:

gpt4, 有板有眼, chatglm2-6b, 助手

DigitalG   
请问上下文关联表现得怎么样呢?
youthfire   
你这一问一答,答案全显花了多少时间?
shadio
OP
  
@youthfire 10s 左右,感觉比 chatgpt 快,比文心一言快至少五六倍
shadio
OP
  
@DigitalG 还行,基本上所问即所答,复杂一些的内容比 chatgpt 差
Moeblack   
感觉还不错,没有量化的模型我 16GB 显存就跑起来了,
int4 说是 6GB 就能跑。
Moeblack   
不知道楼主有没有尝试过微调?
Pitttttt   
请问下你部署的服务器的配置是怎样的?
wxf666   
问一个正则看看?
要求能去除 PHP 、js 里的所有注释,但不要误伤字符串。具体包括:
1. 三种引号(''、""、``),以及 HereDoc (/g, ''); // 去除注释连接符
$str = str_replace(['//', '/*'], '', $str); // 使用 `'/*'` 和 `'//'` 替换注释
return $str;
}
这是使用正则表达式和 replace() 函数实现的。它首先去除注释行,然后去除注释连接符,最后保留引号和 HereDoc 结构。
Moeblack   
@shadio #3 那就比较实用了,之前跑过 privateGPT ,关联度差,速度奇慢
您需要登录后才可以回帖 登录 | 立即注册

返回顶部