Exo 是一个创新开源项目，让你可以在家中使用日常电子设备来运行自己的 AI 集群。由 exo-explore 组织维护，Exo 提供了灵活的模型支持和设备分布能力，无需昂贵的硬件投资。项目特点及其使用步骤如下：

Exo 的亮点功能

1. 广泛的模型支持：Exo 支持多种 AI 模型，包括 LLaMA、Mistral、LlaVA、Qwen 和 Deepseek 等模型，适应性强，支持最新的深度学习应用。
2. 动态模型分区：Exo 可根据网络拓扑和设备资源，将模型分割成多个部分以优化性能，实现较大模型在单个设备上的运行。
3. 自动设备发现：无需手动配置，Exo 可以自动识别和连接其他设备，使用最佳连接方法。
4. ChatGPT-compatible API：Exo 提供兼容 ChatGPT 的 API，用户只需微调代码便能运行这些 AI 模型。
5. 设备平等的 P2P 架构：不同于传统主从架构，Exo 使用点对点连接。每台连接到网络的设备都能贡献资源，无论设备配置如何，网络内的每个设备都能参与模型推理。

Exo 安装与启动指南

1. 安装 Python

确保系统安装 Python 3.12.0 或更高版本，以避免异步 I/O 问题。使用以下命令检查 Python 版本：

python3 --version

2. 获取 Exo 代码

克隆 Exo 项目代码库并进入项目文件夹：

git clone https://github.com/exo-explore/exo.git
cd exo

3. 安装依赖项

使用以下命令安装所需的依赖项：

pip install -r requirements.txt

4. 运行 Exo

在每台设备上运行 Exo，以连接到集群网络：

python3 main.py

Exo 将自动发现其他设备并连接到网络。无需手动配置，便可开始运行你的 AI 集群！

总结

Exo 为家庭 AI 运算提供了一种创新解决方案，支持多种模型的点对点分布式推理架构。它不仅让资源利用更加灵活，也让 AI 计算在日常设备上成为可能。如果你有兴趣搭建自己的 AI 集群，Exo 将是一个不容错过的开源项目！

项目地址：Exo GitHub