如题,需要一个训练好的大模型,比如 Code Llama ,然后把我的代码项目导进去,比如一个 c++工程 2w 行代码, 然后我就能通过一定的方式问他了:比如这个类是干啥的, 如何初始化一个 xxxAgent(代码里的) 这样类似的问题。 构建这样的工具可行的方式是什么? 代码, llm, llama, xxxagent
导入整个项目进行提问(单个文件有现成的 copilot chat 和 codium chat ),需要使用基座模型进行训练和精调。无论是全量预训练或者使用 LoRA ,对于个人而言,都是不现实的: 1. 没有那么多的数据; 2. 硬件要求很高。 比如,llama2-13b 只训练 LoRA 参数,单卡显存要求大于 20G ;全量预训练没有四张 V100 以上的卡基本没法高效开展。实在想尝试,可以看看 Chinese-LLaMA-Alpaca-2 我记得有现成的脚本可以上手微调,光加个中文就用了 50K 词表和 100G 纯文本。