2024-08-05 厉飞雨 阅读(49) 评论(0) 赞(8)

不用H100，三台苹果电脑就能带动400B大模型。 背后的功臣，是GitHub上的一个开源分布式AI推理框架，已经斩获了2.5k星标。 利用这个框架，几分钟就能用iPhone、iPad等日常设备构建出自己的AI算力集群。 这个框架名叫exo，不同于其他的分布式推理框架，它采用了p2p的连接方式，将设备接入网络即可自动加