本地部署墨子AI大模型

崎山小鹿

通过使用Unsloth免费微调 Llama-3来创建自定义聊天机器人。它可以通过PC 上的Ollama在本地运行，也可以通过Google Colab在免费的 GPU 实例中运行。您将能够以如下方式与聊天机器人进行交互：


什么是Ollama？
Ollama可让您快速简单地从自己的计算机运行语言模型！它会悄悄启动一个程序，该程序可以在后台运行 Llama-3 等语言模型。如果您突然想向语言模型提问，只需向 Ollama 提交请求，它就会快速将结果返回给您！我们将使用 Ollama 作为我们的推理引擎！


我们将经过微调的模型导出为 llama.cpp 的 GGUF 格式，如下所示：


将 1 行转换False为True
以便我们可以快速将微调后的模型导出为Q8_0格式（8 位量化）

等待 5 到 10 分钟



然后我们要求 Ollama 创建一个与 Ollama 兼容的模型，方法是使用Modelfile，
例如：

> ollama show --modelfile llama3.2
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this one, replace the FROM line with:
# FROM llama3.2:latest
FROM /Users/pdevine/.ollama/models/blobs/sha256-00e1317cbf74d901080d7100f57580ba8dd8de57203072dc6f668324ba545f29
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"

并按照文档要求在其中输入一行，指示从何处提取 gguf 文件，例如：

来自 ~/Downloads/miqu-1-70b.q4_k_m.gguf

现在运行 ollama 命令来创建可加载模型

> ollama create <你的模型名称> -f Modelfile

# 完成后，如果您启动 Ollama 网络界面，您应该会在模型下拉菜单中看到您的 <your-model-name-here> 模型。



参考：https://docs.unsloth.ai/tutorial ... nd-export-to-ollama