[源码解析] TensorFlow 分布式之 MirroredStrategy 分发计算
前一篇我们分析了MirroredStrategy 的基本架构和如何更新变量，本文我们来看看 MirroredStrategy 如何运行。具体希望了解的是，MirroredStrategy 通过什么方式在远端设备节点上运行训练方法（如何分发计算），MirroredStrategy 和我们之前分析的 ... ... »
[源码解析] TensorFlow 分布式之 MirroredStrategy
MirroredStrategy 策略通常用于在一台机器上用多个GPU进行训练。其主要难点就是：如何更新 Mirrored 变量？如何分发计算？本文我们看看其总体思路和如何更新变量。 ... »
[源码解析] TensorFlow 之 分布式变量
在 TensorFlow 之中，分布式变量是在多个设备上创建的变量。Mirrored variable 和 SyncOnRead variable 是两个例子。本文就对分布式变量进行分析。 ... »
[源码解析] TensorFlow 分布式 DistributedStrategy 之基础篇
我们接下来介绍TensorFlow分布式Strategy的基础，本文会先看看Strategy的类体系和如何处理数据，下一篇看看如何处理变量。 ... »
[翻译] 使用 TensorFlow 进行分布式训练
本文以两篇官方文档为基础来学习TensorFlow如何进行分布式训练，借此进入Strategy世界。 ... »
[源码解析] TensorFlow 分布式环境(8) --- 通信机制
当计算图在设备之间划分之后，跨设备的 PartitionGraph 之间可能存在着数据依赖关系，因此 TF 在它们之间插入 Send/Recv 节点，这样就完成数据交互。而在分布式模式之中，Send/Recv 通过 RpcRemoteRendezvous 完成数据交换，所以我们需要先看看 TF 之中... ... »
[源码解析] TensorFlow 分布式环境(7) --- Worker 动态逻辑
前文中，Master 在流程之中先后调用了 gRPC 给远端 worker 发送命令，即，GrpcRemoteWorker 一共发了两个请求：RegisterGraphAsync，RunGraphAsync，本文我们就来看看 GrpcWorkerService 如何处理。 ... »
[源码解析] TensorFlow 分布式环境(6) --- Master 动态逻辑
在具体介绍 TensorFlow 分布式的各种 Strategy 之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，事半功倍。本文会从 Client 开始，看看 Master 如何对计算图进行处理。 ... »
[源码解析] TensorFlow 分布式环境(5) --- Session
在具体介绍 TensorFlow 分布式的各种 Strategy 之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，事半功倍。会话机制是TensorFlow 分布式运行时的核心，我们接下来按照从 Client 到 worker 的流程，把... ... »
[源码解析] TensorFlow 分布式环境(4) --- WorkerCache
在具体介绍 TensorFlow 分布式的各种 Strategy 之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，事半功倍。我们接下来介绍缓存机制。 ... »
[源码解析] TensorFlow 分布式环境(3)--- Worker 静态逻辑
在具体介绍 TensorFlow 分布式的各种 Strategy 之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，事半功倍。本篇介绍 Worker（一系列相关概念） 的静态架构。 ... »
[源码解析] TensorFlow 分布式环境(2)---Master 静态逻辑
在具体介绍 TensorFlow 分布式的各种 Strategy 之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，事半功倍。本文梳理下 Master 的静态逻辑。 ... »
[源码解析] TensorFlow 分布式环境(1) --- 总体架构
在具体介绍 TensorFlow 分布式的各种 Strategy 之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，事半功倍。 ... »
[翻译] TensorFlow 分布式之论文篇 "Implementation of Control Flow in TensorFlow"
读论文有一种原则是：本领域最经典的论文，近5年最热的论文，近1年最新的论文。按照这个原则，本文主要介绍一篇Tensorflow 经典论文 [Implementation of Control Flow in TensorFlow]。 ... »
[翻译] TensorFlow 分布式之论文篇 "TensorFlow : Large-Scale Machine Learning on Heterogeneous Distributed Systems"
本文主要介绍一篇 TensorFlow 经典论文[ TensorFlow : Large-Scale Machine Learning on Heterogeneous Distributed Systems](http://download. TensorFlow .org/paper/white... ... »
[翻译] NVIDIA HugeCTR，GPU 版本参数服务器 --(10)--- 推理架构
经过9篇文章之后，我们基本把 HugeCTR 的训练过程梳理了以下，现在我们有必要看看HugeCTR如何进行推理，这样可以让我们从整体上有一个更好的把握。而且我们之前都是分析分布式训练，此处恰好可以看看分布式推理。 ... »
[源码解析] NVIDIA HugeCTR，GPU 版本参数服务器 --(9)--- Local hash表
在这个系列中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。本文介绍 LocalizedSlotSparseEmbeddingHash 的后向操作。 ... »
[源码解析] NVIDIA HugeCTR，GPU 版本参数服务器---(8) ---Distributed Hash之后向传播
在这个系列中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。本文介绍 DistributedSlotSparseEmbeddingHash 的后向操作。 ... »
[源码解析] NVIDIA HugeCTR，GPU 版本参数服务器---(7) ---Distributed Hash之前向传播
在这系列文章中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。 ... »
[源码解析] NVIDIA HugeCTR，GPU版本参数服务器--- (6) --- Distributed hash表
在这系列文章中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。 ... »
最近更新的文章/教程 更多
- 基于语义感知SBST的API场景测试智能生成 2022-04-25
- 简单了解 TiDB 架构 2022-04-25
- 《Mybatis 手撸专栏》第6章：数据源池化技术实现 2022-04-25
- 上周热点回顾（4.18-4.24） 2022-04-25
- Python 函数进阶-高阶函数 2022-04-25
- 【FAQ】接入HMS Core地图服务过程中常见问题总结 2022-04-25
- Node.js躬行记（18）——半吊子的可视化搭建系统 2022-04-25
- C#语法糖系列 —— 第二篇：聊聊 ref，in 修饰符底层玩法 2022-04-25
- 学会这9个伪类,让你的页面 表单更人性化！！！ 2022-04-25
- 前端周刊第十六期 2022-04-25
- BootstrapBlazor实战 Menu 导航菜单使用(1) 2022-04-25
- 技术管理进阶——如何从传话筒升级高阶人才？ 2022-04-25
- 程序员延寿指南「GitHub 热点速览 v.22.17」 2022-04-25
- go学习第一课--语法基础 2022-04-25
- 微服务与领域驱动设计，架构实践总结 2022-04-25
- Halo 开源项目学习（三）：注册与登录 2022-04-25
- C++ atomic 和 memory ordering 笔记 2022-04-25
- go-micro使用Consul做服务发现的方法和原理 2022-04-25
- 【大话云原生】kubernetes灰度发布篇-从步行到坐缆车的自动化服务升级 2022-04-25
- MySQL备份迁移之mydumper 2022-04-25
热门标签