在本地运行大型语言模型（LLM）的世界中，LMStudio、Ollama、Jan.ai和HuggingFace等工具各展所长，提供了从桌面应用到开源模型支持的多样化解决方案。这些工具不仅易于使用，还强调了隐私保护和本地处理能力，让AI技术更加贴近用户的日常需求。
本文介绍了在本地运行大型语言模型（LLM）的25个工具。
1. LMStudio
LMStudio 是一个桌面应用程序，用户可以在本地电脑上运行和操作大型语言模型。它支持多种模型，并且注重隐私保护，无需将数据发送到远程服务器。
链接：LMStudio
2. Ollama
Ollama 是一款本地运行开源大型语言模型的工具，支持包括 Llama 3 和 Code Llama 在内的多种模型。它通过整合模型权重、配置和所需数据到一个 Modelfile 中，简化了模型部署和管理过程。
链接：Ollama
3. Hugging Face 和 Transformers
Hugging Face 是机器学习和人工智能领域的开源模型集散地，类似于 Docker Hub，提供了丰富的开源模型资源。此外，Hugging Face 的 transformers 库极大地简化了在本地部署和运行大型语言模型（LLM）的流程。
链接：Hugging Face
4. LangChain
LangChain 是一个用于构建 AI 应用程序的 Python 框架。通过提供抽象层和中间件，它使开发者能够便捷地在其支持的各种模型基础上开发 AI 应用。
链接：LangChain
5. Llama.cpp
Llama.cpp 是基于 C 和 C++ 开发的大型语言模型（LLM）推理引擎，特别为苹果硅芯片进行了性能优化，并能够高效运行 Meta 公司推出的 Llama2 模型。
链接：Llama.cpp
6. Lamafile
Mozilla 开发的 Lamafile 提供了一种便捷友好的方式来运行大型语言模型（LLMs），以其便携性和生成单文件可执行程序的特性而受到用户青睐。
链接：Lamafile
7. Jan.ai
Jan 能够将您的电脑转化为一台 AI 驱动的智能设备，通过在本地运行大型语言模型（LLMs），提供了一个以隐私保护为核心、优先考虑本地处理能力、并且完全开源的解决方案。
链接：Jan.ai
8. llm
LLM 是一个易用的工具，由 Simon Willison 开发，即使是编程新手也能轻松上手。它提供了一种简便的方法，允许用户在自己的计算机上下载和使用开源的大型语言模型（LLMs）。
链接：LLM
9. GPT4ALL
GPT4ALL 是一个易于使用的桌面应用程序，具有直观的 GUI。它支持本地模型运行，并提供与 OpenAI 的 API 密钥连接。
链接：GPT4ALL
10. H2OGPT
h2oGPT 简化了创建私人大型语言模型（LLM）的过程，集成了大型语言模型、嵌入模型和一个专用于文档嵌入的数据库，并提供了命令行和图形用户界面两种操作方式。
链接：H2OGPT
11. LocalLLM
LocalLLM 是开源的，允许用户在自己的计算机上直接运行大型语言模型，无需依赖远程服务器。
链接：LocalLLM
12. Koboldcpp
Koboldcpp 是一个开源项目，提供最新版本的下载，允许用户在本地运行大型语言模型，以实现高效的文本生成和处理。
链接：Koboldcpp
13. LocalAI
LocalAI 是一个免费的、开源的 OpenAI 替代品，它作为一个与 OpenAI API 规范兼容的 REST API 替代品，用于本地 AI 推理。
链接：LocalAI
14. EXUI
EXUI 是一个简单、轻量级的基于浏览器的 UI，用于使用 ExLlamaV2 运行本地推理。
链接：EXUI
15. vLLM
vLLM 是一个快速且易于使用的 LLM 推理和服务库，安装非常简单。
链接：vLLM
16. MLX
MLX 是苹果公司机器学习研究团队推出的一个用于机器学习研究的数组框架，专为优化苹果硬件上的性能而设计，并支持用户在本地部署和运行自己的大型语言模型（LLMs）。
链接：MLX
17. CTranslate2
CTranslate2 是一个 C++ 和 Python 库，用于高效执行 Transformer 模型的推理任务。
链接：CTranslate2
18. Pinokio
Pinokio 是一个提供多样化解决方案的平台，不仅限于托管大型语言模型（LLMs），还为用户提供更广泛的 AI 应用和服务。
链接：Pinokio
19. PowerInfer
PowerInfer 是一款 CPU/GPU 大型语言模型（LLM）推理引擎，通过利用激活局部性技术，优化模型在设备上的性能。
链接：PowerInfer
20. LlamaSharp
LlamaSharp 是对 llama.cpp 的 C#/.NET 语言绑定，为用户提供了一套高级 API，用于推理 LLaMA 模型。
链接：LlamaSharp
21. LMQL
LMQL 是一个可以本地安装的编程语言，提供了一个基于 Web 的 Playground IDE 供用户使用。
链接：LMQL
22. AvaPLS
Ava PLS 是一个开源桌面应用程序，可以在电脑上本地运行语言模型。
链接：AvaPLS
23. LiteLLM
LiteLLM 是一个轻量级的库，允许用户以 OpenAI 的格式统一调用各种大型语言模型（LLM）的 API。
链接：LiteLLM
24. HammerAI
HammerAI 不是一个典型的 LLM 应用程序，而是一个提供聊天体验的平台，通过 HammerAI，用户可以在自己的浏览器中与本地运行的角色扮演 AI 角色进行对话。
链接：HammerAI
25. Bedrock/VertexAI
Bedrock 和 VertexAI 是由 Google 和 Amazon 提供的解决方案，它们支持在云平台上高效托管和运行大型语言模型（LLMs）。
