Ollama 下载本地模型
太长不看:
- 下载安装
Ollama
:https://ollama.com/download - 目前适合国内用户的、对话场景的是
qianwen2-instruct
模型,7B
参数大小、int4
的dtype
适用于 4GB 或以上显存shellollama run qwen2:7b-instruct-q4_0
- 如果接受全英文,用
llama3
shellollama run llama3:8B
排名选择
模型排名,一般认准LMSYS榜单。
厂商的排名只能做参考。打个比方,学生看过考题后,考试成绩其实不太作数——现在很多大模型已经把公开测试集纳入训练集了。
还有一系列小手段,比如对比GPT4,不对比最新的GPT4o,拿最初的GPT4来对比;比不过的模型就不对比了……
LLama
只有英文能力,编码水平相当不错。做为一个本地模型,超越了 ChatGPT 3.5,详见LLama 3,本地 AI 应用的曙光
可以自行在官网选参数:
shell
https://ollama.com/library/qwen2:7b-instruct-q4_0
千问2
相当于自带中文能力的 LLama 3,且有更多种参数选择,
按显存选择
部分模型可以去这里查一个估计值 https://huggingface.co/spaces/hf-accelerate/model-memory-usage ,主要看 Total Size
Qwen/Qwen2-7B-Instruct
dtype | Largest Layer or Residual Group | Total Size | Training using Adam (Peak vRAM) |
---|---|---|---|
float32 | 2.03 GB | 27.22 GB | 108.86 GB |
int8 | 519.75 MB | 6.8 GB | N/A |
float16/bfloat16 | 1.02 GB | 13.61 GB | 54.43 GB |
int4 | 259.88 MB | 3.4 GB | N/A |
Qwen/Qwen2-1.5B
dtype | Largest Layer or Residual Group | Total Size | Training using Adam (Peak vRAM) |
---|---|---|---|
float32 | 890.25 MB | 9.25 GB | 37.0 GB |
int8 | 222.56 MB | 2.31 GB | N/A |
float16/bfloat16 | 445.12 MB | 4.63 GB | 18.5 GB |
int4 | 111.28 MB | 1.16 GB | N/A |
Llama 3
Llama 3应该在那个网页查不到的
其他参数选择
对话一般选带 Instruct 或者 Chat 的
施工中