大家好,我是老章
最近苹果发布了自己的深度学习框架--MLX,专门为自家M系列芯片优化。看了展示视频,这个框架还能直接运行Llama 7B的大模型,在M2 Ultral上运行流畅。但是我尝试了一下,我的M2 Mac mini根本跑不动,模型权重太大了。
这倒勾起了我继续单机玩大模型的兴趣,然后就发现了llamafile的玩法:下载模型文件、直接执行即可浏览器中运行,就可以开始聊天,还可以上传图片进行提问。
先不介绍原理,直接看看如何运行吧:
1、下载llava-v1.5-7b-q4-server.llama 文件(对应模型是LLaVA 1.5,在 Llama 2 之上进行微调的大型多模式模型 )
下载地址:https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llava-v1.5-7b-q4-server.llamafile?download=true
鉴于有些同学可能无法访问huggingface,我也准备了这个文件在网盘,有需要可以找我要一下。
2、MacOS和linux用户需要在命令行中先授权这个文件可执行
chmod x llava-v1.5-7b-q4-server.llamafile
# 然后运行
./llava-v1.5-7b-q4-server.llamafile
如果是Windows用户,那就更省事了,直接重命名这个文件,后面加上 .exe 即可
3、浏览器会自动弹开聊天界面(如果没有,浏览器中直接打开https://localhost:8080即可)
首次打开需要配置一些参数,也可以直接使用默认值。
除了聊天,也可以上传图片让它识别。聊天完毕后,返回终端并点击 Control-C关闭 llamafile。
顺便简单介绍一下llamafile:
这个大模型文件是Mozilla 团队发布的,这个文件包含 LLM 的模型权重和运行该模型所需的代码 ,可以将它视为一个完整的本地服务器,带有用于与其交互的 Web UI。
llamafile是基于llama.cpp(一个领先的开源 LLM 聊天机器人框架)和Cosmopolitan Libc(一个开源项目,使 C 程序能够在大量平台和架构上编译和运行)实现的。使用 llamafile,可以将大型语言模型 (LLM) 权重文件转换为可在六种操作系统(macOS、Windows、Linux、FreeBSD、OpenBSD 和 NetBSD)上运行的二进制文件,而无需安装,确保给定的一组权重将永远保持可用并一致且可重复地执行。
想要了解更多,可以参考一下资料:
模型演示:https://llava.hliu.cc/
模型简介:https://llava-vl.github.io/
模型代码:https://github.com/haotian-liu/LLaVA
llamafile开源地址:https://github.com/Mozilla-Ocho/llamafile
llamafile简介:https://hacks.mozilla.org/2023/11/introducing-llamafile/
Copyright © 2024 妖气游戏网 www.17u1u.com All Rights Reserved