英文的话我觉得挺猛的... 回答的很漂亮,很明显比 mistral 7b 要强了,我试了几下也没什么问题,不过我测试的都是一些简单的问答,重点还是 rag, 使用工具和 agents 之类的。还记得去年玩 llama2 13b 时感觉那玩意儿挺傻的,后面还被 mistral 吊锤了,所以这次出 llama 3 的时候我还有些不屑一顾...
lmsys 的 chatbot arena 中,llama 3 8b instruct 也干掉了 mistral medium, mixtral 8x7b, command R 35B ,还有 chatGPT 3.5 之类的模型(存疑),不过毕竟刚出,只有 1000 多张投票(其他模型基本都有个几万张票),结果还不准,要等排名稳定,但我目前感觉这玩意儿在 7b-13b 甚至是 30b 的赛道真的好像还不赖。
考虑 llama 2 在开源社区巨大的影响力,考虑到有非常多模型都是基于 llama2 做的微调,很期待之后开源社区都能调出什么东西 (nsfw 咳咳咳咳咳咳)
当然这东西应该没有支持中文,我测试了一下,中文翻译完全不行,用中文提问也会用英文答,很明显没有针对中文做训练。能理解中文怕不是语料库混了点中文吧... 真的要用中文肯定还得等中文的微调。(我其实不太懂那些用中文测试不支持中文的模型的家伙...)
如果你想玩玩看的话,这里有几种方法:
meta ai
chatbot arena
ollama
自己想办法