大型语言模型（LLMs）已经成为研究和商业应用的热点，Ollama，作为一个创新的AI工具，现在推出了Windows预览版，为Windows用户提供了一个全新的本地化体验。
用户能够在原生的Windows环境中拉取、运行和创建大语言模型。该版本支持英伟达的GPU，并需要CPU支持AVX和AVX2等指令集。Ollama利用NVIDIA GPU和现代CPU指令集来加速模型运行，无需额外的配置或虚拟化。目前该版本还在开发中，计划未来支持AMD GPU。如果用户有能力，也可以直接从源码构建支持AMD GPU的版本。Windows版的Ollama包括内置的GPU加速、访问完整的模型库，以及包括OpenAI兼容性在内的Ollama API。
本文将详细介绍Ollama on Windows Preview的运行使用。
项目地址：
https://github.com/ollama/ollama?tab=readme-ov-file
功能详情：
1.硬件加速与兼容性：
Ollama利用NVIDIA GPU和现代CPU指令集（如AVX和AVX2）来加速模型运行，无需额外配置或虚拟化。这使得Ollama在Windows上的运行效率大大提高。同时，Ollama的API设计允许与OpenAI的现有工具兼容，为用户提供了更多的灵活性。
2.完整的模型库：
Ollama为用户提供了完整的模型库，包括视觉模型。这意味着用户可以在Windows上运行如LLaVA 1.6等视觉模型，并通过拖放图片的方式将图像添加到消息中。
3.常驻API：
Ollama的API在后台自动运行，服务地址为`http://localhost:11434`。
这使得工具和应用程序可以无需额外设置即可连接到API。
如何使用：
1.下载安装Ollama：
首先，下载Windows 上的 Ollama。
https://ollama.com/download/windows
双击安装程序OllamaSetup.exe
安装完成后，系统右下角要有“羊驼”logo，如果没有请运行它。
2.本地模型下载运行：
然后，我们可以直接“Win R”运行“cmd”命令行，
或者启动“Windows PowerShell ”打开命令行终端工具。
随后，我们可以通过简单的命令行操作来运行本地模型。
我们运行名为`llama2`的模型，只需在终端中输入：
“ollama run llama2” 终端会自动下载llama2模型并运行。
下次我们启动依然需要运行“ollama run llama2”加载模型。
下载完成后，我们就可以直接在命令行工具中进行对话了。
速度非常快，但我发现llama2对中文的支持并不友好。
对此我修改下载的模型为中文微调模型“ollama run llama2-chinese”
下次我们启动依然需要运行“ollama run llama2-chinese”加载模型。
下面是支持的模型列表，和中文微调模型，大家可以自行选择下载。
官方提示注意：运行 7B 机型至少需要 8GB 内存，运行 13B 机型至少需要 16GB 内存，运行 33B 机型至少需要 32GB 内存。
3.PowerShell API调用：
用户还可以通过PowerShell发送API请求，例如，使用以下命令来调用Ollama的API：
(Invoke-WebRequest -method POST -Body '{"model":"llama2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-JSON
这将发送一个包含模型名称、提示信息和流设置的JSON对象到Ollama的API，并接收响应。
总结：
Ollama on Windows Preview的推出，为Windows用户带来了在本地运行大型语言模型的便利。它的硬件加速功能、完整的模型库和常驻API为用户提供了强大的支持。同时，与OpenAI的兼容性使得现有的工具和应用程序能够无缝集成。尽管目前Ollama还在预览阶段，但它已经展现出了巨大的潜力和应用前景。随着技术的不断进步和社区的积极参与，Ollama有望成为AI领域的一个重要工具。我们期待看到更多开发者和研究者利用Ollama创造出令人兴奋的AI应用。
完over.
关注我们，了解更多。
