本地运行llama3

ollama

下载并安装ollama，https://ollama.com/

执行下面的命令

下载需要些时间，默认的模型是8b参数，大小为4.7GB 也可以选择70b参数的模型，大小为40GB。

70B的模型需要的内存在48GB左右，在32G的Mac上没有出现cpu或者内存非常高的占用，但是执行速度很慢。

webui

可以使用一些webui 来搭建类似chatGPT的UI来与LLM聊天 https://github.com/sugarforever/chat-ollama 或者 https://useanything.com/

中文回答

LLaMA3的回复经常是默认英语，如果每次都需要用prompt来指定回复比较麻烦。Ollama可以提供创建新模型的方式，基于LLaMA创建自己的模型，这时候可以把System提示信息写入，参考网上的配置,写入Modelfile。

愤怒的奶奶也太有意思了

执行下面的命令

可以运行新的模型了

体验

硬件和技术的发展都非常快速，相信有一天云端模型的智能程度会非常高，但是本地模型的算力也是足够支撑一些日常场景的使用，而且隐私性和经济性都会越来越好，因为硬件和软件都是逐步提升的。 从2022年底GPT大火之后，2024年，本地的llama3已经是号称可以打败chatGPT3.5了。