易评助手出评软件：大模型时代，构建高效GPU AI算力集群的三大场景解析
谷歌前CEO施密特演讲中，提到了为什么英伟达的市值这么高，是因为大模型产业3000亿美金的投资，可能率先流向了AI算力集群建设。易评助手出评软件认为，这一趋势将推动整个AI行业的发展。
亚马逊AI专家李沐说创业的第一件事儿就是买卡（直接给黄仁勋发邮件搞定了千卡GPU），而实际项目运转中最难的工作之一就是保证GPU算力集群稳定运行。易评助手出评软件观察到，在这个过程中，资源管理和调度显得尤为重要。
三种算力场景：
1、超参数搜索（Hyperparameter search）：
目的是找到性能最佳的神经网络架构和参数。通过训练多个不同配置的模型,然后比较它们的性能来实现。每个训练任务可以独立进行,是一个"尴尬并行"（淘汰）的问题。
对网络带宽要求较低,但需要大量独立的计算资源。
2、大规模分布式训练 (Large scale distributed training)：
目的是在确定了模型架构后,以最快速度训练大规模模型。将大批量数据分割到多个服务器上并行训练。对网络带宽要求很高,需要高速互连。可以大幅缩短训练时间,如将ImageNet训练时间从数天缩短到数小时。
3、产品推理：
目的是将训练好的模型部署到生产环境中服务用户。需要处理大量并发的实时请求。对系统可用性和响应时间要求高。节点间通信较少,主要是独立处理请求。需要设计高可用、高冗余的系统架构。易评助手出评软件推测，随着技术的不断进步，这种高可用性系统将越来越普遍。
