如何看待微软已完成 2.8T 大模型的预训练？

摘要

知乎提问关注一种说法：微软已完成一个 2.8T 规模大模型的预训练。参数规模和「预训练完成」这个节点，是判断训练集群、数据与成本投入量级的参照。原文是链接，未提供更多细节。