Kuzco 是一个基于 Solana 区块链构建的分布式 GPU 集群,旨在促进对 Llama2 和 Mistral 等大型语言模型 (LLMs) 的高效且经济高效的推理。通过利用网络参与者贡献的闲置计算资源的力量,Kuzco 使用户能够通过兼容 OpenAI 的 API 访问和利用这些模型。
目前没有看到 融资信息,不过该项目被SOL官方关注。https://www.rootdata.com/zh/Projects/detail/Kuzco?k=MTE4MzA%3D
主要特点
- 分布式 GPU 集群:Kuzco 利用整个网络中 GPU 的集体力量,实现可扩展和高效LLM的推理。
- Solana 集成:Kuzco 建立在 Solana 区块链上,受益于其高性能、低延迟和具有成本效益的基础设施。
- 闲置计算利用率:网络参与者可以贡献他们的闲置计算能力,并获得贡献奖励。
- OpenAI 兼容 API:Kuzco 提供了一个与 OpenAI 兼容的 API,使开发人员可以轻松集成和利用 Llama2 和 Mistral 等流行LLMs产品。
- 经济高效:与传统的集中式方法相比,通过利用闲置的计算资源,Kuzco 提供了一种经济高效的LLM推理解决方案。
部署指南
1.部署环境:Linux/Mac/Windows
配置要求:
最低:运行Kuzco的最低系统要求是 M1 MacBook Pro 具有至少16 GB的RAM或. NVIDIA 3070 您应该至少有 30GB 的可用磁盘空间。
推荐:Kuzco 将在具有更好 GPU 的系统上运行得更好,每秒产生更多的代币,并最终为您赢得更多的$KZO积分。因此, Mac M3 Max chips 、 和 NVIDIA 4090 和 A100 卡非常适合运行 Kuzco。
这些系统还应具有至少 30GB 的可用磁盘空间。
博主是部署在本地笔记本上的,配置16GRam/500G硬盘,还挂了一个夜鸦游戏内存直接满了,任务挺多的,就是不知道值不值钱,可以先试试。
如果本地的GPU不行可以到这里租用GPU,最低的3080起价0.13U/小时。,价格也还行,遇到觉得还行的项目可以冲了试试。
2.在https://kuzco.xyz/网站上注册账号,注册好之后创建worker,创建worker可以选择网页或者是linux终端,没有影响的。
3.打开Windows的子系统,可以到Microsoft store下载Ubuntu22系统安装(可以网上搜索教程查看如何安装),安装好之后打开wsl终端。
运行命令安装程序
curl -fsSL https://kuzco.xyz/install.sh | sh
4.初始化程序
kuzco init
这里会提供选项,让你登陆账号,选择新建worker或者选择已有的worker,之后注册为已有的worker或者新注册worker。图片上有选择好的实例
之后等待下载数据,到100%继续自动执行
5.在网页上查看是否在线:online绿色标识
查看积分奖励。