之前的技术瓶颈在于几乎不可能将大规模的 AI 训练拆分成一个个分布式的小任务,因为数据量庞大,并行交换要求高速的带宽等等;但是目前像 Stable Diffusion 这样的图像处理任务,一旦部署了稳定和标准化的模型,是可以将任务拆分为极小的数据单位的;这样技术上就能将一个个任务分配给某一台个人 PC 去处理;
我拍脑袋想了一下,建立这样一个平台的难点在于反作弊和计算量评估;这两点应该都有合适的解决方案;
反作弊可以参考挖矿的算法,为每个客户端生成一对 公 /私钥, 服务端下发每个计算任务时,采用私钥加密;客户端上传每个计算任务时,采用公钥加密;
计算量评估先期可以采用服务端评估的方法;后期可以通过下发任务给配置类似的客户端,采用同一个客户端并行执行同一任务,然后比较计算时间,来建立一个靠谱的计算量评估机制
最后是防止滥用和羊毛党,可以采用信用评分,对于完成任务优秀的客户端打高分,给它分配更多更高收益的任务,从经济系统上进行激励;
我搜了一下,目前这个点子的相关项目不是很多,都在起步阶段,我觉得挺有前景的;
大家讨论一下,这个项目在 技术 /商业 /可行性 上有哪里漏洞?
我在 github 上建立一个一下项目,有兴趣的小伙伴可以去讨论下:
https://github.com/aitobox