Ollama

本地AI模型部署工具,支持在个人设备上运行大语言模型

Ollama是一款轻量级的本地AI模型运行工具,让用户能够在自己的设备上私密、安全地运行Llama 2、Code Llama、Mistral等开源大模型。支持CPU和GPU加速,提供简单的命令行界面和REST API,无需复杂配置即可开始使用。