如果把 AI 与加密货币结合起来，是否可以把 AI 训练成本降低

[hguangzhen]

刚一上班看到新闻说是：微软宣布开源 Deep Speed Chat 。现在算法已经公开，难度就是相关的训练资源之类的。之前一直听说 ChatGPT 训练有多么多么花钱。突然想到现在虚拟币热度降低，是否可以把虚拟币挖矿的矿机用来进行 AI 学习。

1 。 虚拟币有了实际的价值，可以把耗费的资源生成对应的虚拟币，用户还可以使用虚拟币够买矿场算力，够买训练好的 AI 模型 2 。 机器学习，直接脱离了大厂的控制，实现分布式。参与资格降低

不过也想到可能实现的难度突破天际。大家讨论下，有一丝丝的可能吗？

[dallaslu]

不如让 AI 统治世界，各地 AI 在纯理性的讨论中，达成 51% 共识，把矿场规模控制在能维持加密货币运转的低成本状态

[conhost]

1 、不是能用虚拟币买的东西，都能用 RMB 买么？而且如果真用虚拟币购买，怎么开发票？
2 、是大模型需要的算力很庞大，也就是说需要的钱多，这才是限制参与资格的地方。

[hguangzhen]

@conhost 1. 如果 AI 训练和虚拟币结合，最终会出现稳定的交易市场，那对应 RMB 也有了参考值，应该是更容易开发票了。
2. 算力庞大，如果可以分解成一个个子训练任务，分发到全世界的矿机上，那参与资格就降低了

[Debin006]

主要问题还是分布式训练难度比较大，需要很大的带宽，并行运算也很困难，而且没法保证训练集的可靠性。需要解决的问题有：
1.需要重新设计适合分布式训练的网络。——这个只能等相关领域的大牛了
2.数据集可拆分可加密可训练。——这个我知道的有很多国内的云计算企业在做
3.中心化还是去中心化

[buyan3303]

有没有一种可能：挖虚拟币的算力，不适用于 AI 训练？

另外虚拟币价值不定死，它才有炒作的余地，才可能有更有价值。
如果它个稳定了，大量的投机者就会逃离虚拟币、及虚拟币交易市场，很有可能导致虚拟币市场崩塌。

[jybox]

总有人想把工作量证明（挖矿）的算力用来做「有意义」的事情 ...

工作量证明（挖矿）最重要的是计算的结果可以被轻易地验证（即做工困难但验证容易），所以大多数工作量证明算法才会选择算 Hash 碰撞这种没什么意义的计算。而一旦要用做比如训练模型，那么就需要重新设计一套算法，让计算可以被等量拆分、可以很容易验证计算结果的正确性，然后还需要一个中心服务器来协调计算任务（而 Hash 碰撞这种无意义计算是不需要太多协调的）。即使最后实现了，因为算法的设计导向不同（原本只是为了高效地计算，现在改成了可拆分、可验证），可能效率会下降很多（甚至下降一个数量级都有可能），也就起不到楼主说的降低成本的效果了。

再就是现在 Ethereum 已经从 PoW （工作量证明）切换到了不需要挖矿的 PoS ，算是在这个头部的链上面证明了 PoS 的可靠性，挖矿不再是一个必须的选择。

[iamqk]

估计不行，有些行为，比如挖矿，就是一些简单的重复行为，能够精简的估计不用 ai 也精简的差不多了吧

[RRyo]

你是否在查找：Gridcoin

[conhost]

@hguangzhen 1 就不说了。机器学习的训练一般是端到端的，基本上是不能分解的，只能并行训练。然而不像挖矿一样单机是对同一个输入计算，模型并行各机器上需要针对不同的数据进行训练，并将训练中的梯度汇总到中心服务器，这就限制了各个框架的随意进入和退出，同时还需要各种措施保证梯度的准确性。
此外，这并不能解决算力的问题啊，该需要多少算力还是多少算力，只是解决有没有可用算力的问题，限制参与资格的还是钱呀。

[mxT52CRuqR6o5]

我觉得比较难，人脑也不是分布式计算的
我觉得成本降低方向可能得往更加专用硬件方向发展

[z7356995]

我觉得这是个好想法

[chesha1]

加密货币的计算任务是好拆分的，深度学习的计算任务不好拆分的

先不谈通信的损耗，假设你把训练任务分发给多人之后，用了什么黑科技，等于在一个集群上算：
效率损失也很惊人，这里有个现实的例子（ mlcommons ），4216 张 A100 的速度只有 8 张 A100 速度的 90 倍，而显卡的数量是 527 倍，你可以想象一个如果分发给更多用户的损失有多惊人

而且有一个最低限度的需求，用户的电脑至少能装得下一个模型的一部分吧，而且模型并行的效果不如数据并行好，如果用户的显存太小会非常麻烦的。你想把一个深度学习任务在一个大规模分布式系统上部署，本身就是一个很难的课题，还不如多花钱直接用好显卡在集群上跑

[nicholasxuu]

按现在的技术，可能能做一些比较简单的，比如训练一些企业专用的客服机器人，并且需要所有挖矿机器都有至少 12G/24G/32G 显存。比如把那些 4090 用起来，激励一批手动给显卡加焊内存的人。

[sahan]

Q:能否实现一种开源的基于 P2P 的大语言模型，类似比特币+chatgpt

A：作为一个 AI 模型，要在 P2P 网络上运行是非常困难的。P2P 网络通常用于分布式存储和共享数据，而一个大型的 AI 模型需要的计算资源和存储资源是非常巨大的。此外，保证模型的一致性和准确性也是一个很大的挑战。

目前已经有一些基于区块链的开源 AI 平台，如 SingularityNET ，但这些平台仍然需要集中化的计算和存储资源来训练和运行模型，虽然它们可以在 P2P 网络上进行交易。

另一方面，聊天式 AI 模型（如 ChatGPT ）通常只需要相对较小的计算和存储资源，因此可能更容易在 P2P 网络上实现。但是，保证模型的一致性和准确性仍然是一个挑战。

总之，虽然 P2P 网络提供了一些有趣的机会，但是要实现一个基于 P2P 的大型 AI 模型仍然需要克服许多技术挑战。

Q：聊天式 AI 模型分布式计算的瓶颈有哪些

A：聊天式 AI 模型的分布式计算涉及到多个方面的问题，其中一些可能成为瓶颈，包括：

数据交换：在分布式计算中，不同的计算节点需要定期交换数据，这可能会导致网络带宽的瓶颈和延迟增加，从而影响模型的性能。

参数同步：在分布式计算中，各个节点需要定期同步模型参数，以确保模型的一致性和准确性。但是，当节点的数量增加时，参数同步可能会变得更加困难，因为同步操作会增加网络通信的开销和延迟。

任务调度：分布式计算中的任务调度需要考虑节点的可用性、负载均衡等因素，以确保计算资源的充分利用和任务的及时完成。

容错机制：在分布式计算中，节点的故障或网络中断可能会导致任务失败或数据丢失。因此，需要实现一些容错机制，例如备份节点、数据恢复等，以确保任务的正确性和可靠性。

计算效率：分布式计算需要对模型进行切块和分配计算资源，以最大化计算效率。但是，模型的切块可能会影响模型的准确性和性能，而计算资源的分配也需要考虑到任务的特点和计算资源的可用性，从而影响计算效率。

总之，聊天式 AI 模型的分布式计算涉及到多个方面的问题，需要仔细考虑各个环节的瓶颈和挑战，以实现高效、可靠的分布式计算。

[TransAM]

区块链的约束太强了，大家总是说共识共识，就没想过共识到底是啥。如果把区块链比作一个 git 仓库，共识就是这个仓库只有一个分支，并且每个节点都强制更新到 HEAD 。

你觉得这样合理吗？分布式 AI 训练就是把任务拆小给低算力的设备，你还让它们强制同步。。那就白忙活了。

[guajian]

@TransAM 共识指的是对一件事务达到一致的结果。虽然我觉得分布式 AI 很难实现，甚至是不可能，但原因不在于共识。在分布式 AI 这块，共识的结果可以是大家对某个设备的训练结果是否可信，不需要你说的强制同步。