Skip to content

Ollama 下载本地模型

太长不看:

  • 下载安装Ollamahttps://ollama.com/download
  • 目前适合国内用户的、对话场景的是qianwen2-instruct模型,7B参数大小、int4dtype适用于 4GB 或以上显存
    shell
    ollama run qwen2:7b-instruct-q4_0
  • 如果接受全英文,用llama3
    shell
    ollama run llama3:8B

排名选择

模型排名,一般认准LMSYS榜单。

厂商的排名只能做参考。打个比方,学生看过考题后,考试成绩其实不太作数——现在很多大模型已经把公开测试集纳入训练集了。

还有一系列小手段,比如对比GPT4,不对比最新的GPT4o,拿最初的GPT4来对比;比不过的模型就不对比了……

LLama

只有英文能力,编码水平相当不错。做为一个本地模型,超越了 ChatGPT 3.5,详见LLama 3,本地 AI 应用的曙光

可以自行在官网选参数:

shell
https://ollama.com/library/qwen2:7b-instruct-q4_0

千问2

相当于自带中文能力的 LLama 3,且有更多种参数选择,

按显存选择

部分模型可以去这里查一个估计值 https://huggingface.co/spaces/hf-accelerate/model-memory-usage ,主要看 Total Size

Qwen/Qwen2-7B-Instruct

dtypeLargest Layer or Residual GroupTotal SizeTraining using Adam (Peak vRAM)
float322.03 GB27.22 GB108.86 GB
int8519.75 MB6.8 GBN/A
float16/bfloat161.02 GB13.61 GB54.43 GB
int4259.88 MB3.4 GBN/A

Qwen/Qwen2-1.5B

dtypeLargest Layer or Residual GroupTotal SizeTraining using Adam (Peak vRAM)
float32890.25 MB9.25 GB37.0 GB
int8222.56 MB2.31 GBN/A
float16/bfloat16445.12 MB4.63 GB18.5 GB
int4111.28 MB1.16 GBN/A

Llama 3

Llama 3应该在那个网页查不到的

其他参数选择

对话一般选带 Instruct 或者 Chat 的

施工中

参考