2026/8/24 2:25:17
FEATURED · 精选文章 
家用设备组本地AI集群exo完整上手实战【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo大模型单机跑不下你会怎么办换个更低精度还是直接放弃另一条路是把家里闲置的 Mac 和 PC 拼成一个 AI 集群。听起来不难难在拼的过程配 IP、选主节点、切分模型、处理掉线每一样都让人头疼。而 exo 把这一切都自动化了。认识exo把家里设备变成推理节点exo 是一个本地分布式推理项目在每台机器上装上它设备会自动发现彼此、组建 AI 集群把大模型拆开分到多台机器上并行推理。它自带浏览器 dashboard能直接聊天、看集群状态还兼容 OpenAI、Claude、Ollama 等 API。收益很直白你不用懂分布式系统家里旧设备就变成了推理节点机器越多能跑的模型越大、速度越快。这是 exo 的 dashboard能直观看到集群里每台节点的负载也能直接在浏览器里和模型对话。exo设备自动发现怎么实现不加自动发现每接一台新机器都要手动配 IP、开端口。家庭网络里 IP 还是动态的配起来更麻烦。这就像走进咖啡馆喊一声有人要组队吗——不用事先交换地址听到的人自然聚过来。exo 的节点通过 UDP 组播广播带 EXO 魔数前缀的发现包同一命名空间的节点互相应答、自动连上整个流程零配置实现在 rust/networking/src/discovery.rs。图中是一个四节点集群的拓扑每台节点的资源、连接状态一目了然新设备加入后会自动并入这张图。主节点挂了怎么活下去集群里必须有个协调者负责调度。它一挂整个集群是不是就瘫了这像聚餐时主持的人临时离场不用大家各自回家吃而是现场举手竞聘新主持——谁资历老、发言多谁接管。exo 里每个节点各自记录时钟值、资历、处理的命令数三个指标检测到连接变化就立刻发起新一轮选举比较后胜者自然成为新主节点逻辑在 src/exo/shared/election.py。 大模型怎么分到多台机器把整个模型塞进一台机器内存直接爆掉。这就像一桌大菜一个人炒不完拆成几道菜分给几个人同时炒合力比单干快。exo 的主节点会按各机器的内存和机器间带宽计算张量并行把模型的矩阵横向切开、多机各自算一块再合并的切分方案放置决策在 src/exo/master/placement.py。效果验证4台机器能跑多大模型配置效果单台机器671B 级模型装不进内存4 × Mac Studio512GB可运行 DeepSeek v3.1 671B8-bit、Kimi K24-bit2 机张量并行最高约 1.8 倍加速4 机张量并行最高约 3.2 倍加速机器越多收益越明显。叠加 Thunderbolt 5 上的 RDMA 通信后设备间延迟降低约 99%加速不只来自内存变大也来自机器间对话更快。这是 4 台 M3 Ultra Mac Studio 实测 671B 模型的跑分截图能直观看到集群化后的推理性能水平。快速上手5步组好你的AI集群在每台机器上克隆仓库git clone https://gitcode.com/GitHub_Trending/exo8/exo编译 dashboardcd exo/dashboard npm install npm run build启动 exouv run exo浏览器打开http://localhost:52415查看集群状态其余机器重复同样操作它们会自动发现彼此并加入集群git clone https://gitcode.com/GitHub_Trending/exo8/exo cd exo/dashboard npm install npm run build uv run exo进阶与延伸RDMA 配置、macOS 版 app 和 Linux 注意事项都在 README.md 里有完整说明想深挖切分算法或选举逻辑可以从 src/exo/master/tests/ 里的测试用例读起。现在uv run exo跑起来几分钟后你家里就能多一个会聊天的 AI 集群。【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
家用设备组本地AI集群：exo完整上手实战
家用设备组本地AI集群exo完整上手实战【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo大模型单机跑不下你会怎么办换个更低精度还是直接放弃另一条路是把家里闲置的 Mac 和 PC 拼成一个 AI 集群。听起来不难难在拼的过程配 IP、选主节点、切分模型、处理掉线每一样都让人头疼。而 exo 把这一切都自动化了。认识exo把家里设备变成推理节点exo 是一个本地分布式推理项目在每台机器上装上它设备会自动发现彼此、组建 AI 集群把大模型拆开分到多台机器上并行推理。它自带浏览器 dashboard能直接聊天、看集群状态还兼容 OpenAI、Claude、Ollama 等 API。收益很直白你不用懂分布式系统家里旧设备就变成了推理节点机器越多能跑的模型越大、速度越快。这是 exo 的 dashboard能直观看到集群里每台节点的负载也能直接在浏览器里和模型对话。exo设备自动发现怎么实现不加自动发现每接一台新机器都要手动配 IP、开端口。家庭网络里 IP 还是动态的配起来更麻烦。这就像走进咖啡馆喊一声有人要组队吗——不用事先交换地址听到的人自然聚过来。exo 的节点通过 UDP 组播广播带 EXO 魔数前缀的发现包同一命名空间的节点互相应答、自动连上整个流程零配置实现在 rust/networking/src/discovery.rs。图中是一个四节点集群的拓扑每台节点的资源、连接状态一目了然新设备加入后会自动并入这张图。主节点挂了怎么活下去集群里必须有个协调者负责调度。它一挂整个集群是不是就瘫了这像聚餐时主持的人临时离场不用大家各自回家吃而是现场举手竞聘新主持——谁资历老、发言多谁接管。exo 里每个节点各自记录时钟值、资历、处理的命令数三个指标检测到连接变化就立刻发起新一轮选举比较后胜者自然成为新主节点逻辑在 src/exo/shared/election.py。 大模型怎么分到多台机器把整个模型塞进一台机器内存直接爆掉。这就像一桌大菜一个人炒不完拆成几道菜分给几个人同时炒合力比单干快。exo 的主节点会按各机器的内存和机器间带宽计算张量并行把模型的矩阵横向切开、多机各自算一块再合并的切分方案放置决策在 src/exo/master/placement.py。效果验证4台机器能跑多大模型配置效果单台机器671B 级模型装不进内存4 × Mac Studio512GB可运行 DeepSeek v3.1 671B8-bit、Kimi K24-bit2 机张量并行最高约 1.8 倍加速4 机张量并行最高约 3.2 倍加速机器越多收益越明显。叠加 Thunderbolt 5 上的 RDMA 通信后设备间延迟降低约 99%加速不只来自内存变大也来自机器间对话更快。这是 4 台 M3 Ultra Mac Studio 实测 671B 模型的跑分截图能直观看到集群化后的推理性能水平。快速上手5步组好你的AI集群在每台机器上克隆仓库git clone https://gitcode.com/GitHub_Trending/exo8/exo编译 dashboardcd exo/dashboard npm install npm run build启动 exouv run exo浏览器打开http://localhost:52415查看集群状态其余机器重复同样操作它们会自动发现彼此并加入集群git clone https://gitcode.com/GitHub_Trending/exo8/exo cd exo/dashboard npm install npm run build uv run exo进阶与延伸RDMA 配置、macOS 版 app 和 Linux 注意事项都在 README.md 里有完整说明想深挖切分算法或选举逻辑可以从 src/exo/master/tests/ 里的测试用例读起。现在uv run exo跑起来几分钟后你家里就能多一个会聊天的 AI 集群。【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
