网站首页 梯度累加 第2页

• 

  Deepspeed并行框架介绍--ZeRO去除冗余的并行方案

  Deepspeed并行框架介绍一.简介Deepspeed是微软推出的一个开源分布式工具，其集合了分布式训练、推断、压缩等高效模块。该工具旨在提高大规模模型训练的效率和可扩展性。它通过多种技术手段来加速训练，包括模型并行化、梯度累积、动...

  2025-03-29 balukai 文章精选 4 ℃
• 

  TensorFlow和PyTorch相继发布最新版，有何变化

  原文来源：GitHub「机器人圈」编译：嗯~阿童木呀、多啦A亮Tensorflow主要特征和改进在Tensorflow库中添加封装评估量。所添加的评估量列表如下：1.深度神经网络分类器（DNNClassifier）2.深度神经网络回归...

  2025-03-29 balukai 文章精选 11 ℃
• 

  一箭N雕:多任务深度学习实战（一箭双雕可能吗）

  1、多任务学习导引多任务学习是机器学习中的一个分支，按1997年综述论文Multi-taskLearning一文的定义：MultitaskLearning(MTL)isaninductivetransfermechanism...

  2025-03-29 balukai 文章精选 7 ℃
• 

  PyTorch 源码解读之 torch.autograd:梯度计算详解

  前言本篇笔记以介绍pytorch中的autograd模块功能为主，主要涉及torch/autograd下代码，不涉及底层的C++实现。本文涉及的源码以PyTorch1.7为准。torch.autograd.functi...

  2025-03-29 balukai 文章精选 9 ℃
• 

  搞懂大模型实用训练秘籍——混合精度训练

  混合精度训练（MixedPrecisionTraining）是一种通过结合单精度（FP32）和半精度（FP16）来提升深度学习模型训练效率的技术。其核心思想是在保证模型精度的同时，充分利用FP16和FP32的优势，从而加速训练过程。FP...

  2025-03-29 balukai 文章精选 9 ℃
• 

  AI系统——梯度累积算法（梯度累加）

  明天博士论文要答辩了，只有一张12G二手卡，今晚通宵要搞定10个模型实验挖槽，突然想出一个T9开天霹雳模型，加载不进去我那张12G的二手卡，感觉要错过今年上台BestPaper领奖上面出现的问题主要是机器不够、内存不够用。在深度学习训练...

  2025-03-29 balukai 文章精选 10 ℃