22K star的超强工具:Ollama,一条命令在本地跑 Llama2

22K star的超强工具:Ollama,一条命令在本地跑 Llama2

首页模拟经营简单指令更新时间:2024-05-08
前言

在当今的科技时代,AI 已经成为许多领域的关键技术。AI 的应用范围广泛,从自动驾驶汽车到语音助手,再到智能家居系统,都有着 AI 的身影,而随着Facebook 开源 Llama2 更让越来越多的人接触到了开源大模型。

今天我们推荐的是一条命令快速在本地运行大模型,在GitHub超过22K Star的开源项目:ollama。

ollama是什么?

Ollama 是一个强大的框架,设计用于在 docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者,它使该过程变得非常简单。它帮助用户快速在本地运行大模型,通过简单的安装指令,可以让用户执行一条命令就在本地运行开源大型语言模型,例如 Llama 2。

Ollama 将模型权重、配置和数据捆绑到一个包中,定义成 Modelfile。它优化了设置和配置细节,包括 GPU 使用情况。

安装 ollama

ollama极大的简化了安装的过程,并提供了多种选择。

支持的平台包括:Mac和Linux,并提供了docker 镜像。

Mac:

如果你使用的是Mac,那么你可以直接下载安装包,地址如下:

https://ollama.ai/download

下载完成后,直接安装即可。

Linux:

Linux同样也提供了一键安装命令:

curl https://ollama.ai/install.sh | sh

直接执行命令,可以完成默认安装。

使用 ollama

笔者以Mac为例,安装完成后打开ollama的应用,简单的点击确认后,就已经启动了ollama的服务器。

下一步我们启动一个Llama2,只需要执行:

ollama run llama2

之后会自动去pull Llama2的模型,并运行,确实非常的便捷。另外还支持将Ollama作为服务提供到网络环境中,在 macOS 中:

OLLAMA_HOST=0.0.0.0:11434 ollama serve

除了Llama2以外 Ollama 还支持其他的开原模型,如下图:

另外还需要注意一下文档中的运行资源说明:

3B模型需要8G内存,7B模型需要16G内存,13B模型需要32G内存。

除了简单的启动模型外,Ollama 可以通过编写 Modelfile 来导入更多的自定义模型,具体的使用方法和配置请自行查阅文档。

Ollama具备灵活的扩展性,它支持和很多工具集成,除了命令行的使用方式,可以通过配合UI界面,简单快速的打造一个类ChatGPT应用。笔者也计划抽空写一期专门的教程,来介绍一个如果快速通过Ollama搭建一个仿ChatGPT。

项目特点项目信息
查看全文
大家还看了
也许喜欢
更多游戏

Copyright © 2024 妖气游戏网 www.17u1u.com All Rights Reserved