|
..
|
|
1f1b.gif
|
|
1f1b.png
|
|
GPT-X.png
|
|
adam.png
|
|
allgather.png
|
|
allreduce.png
|
|
allreduce_1.png
|
|
allreduce_2.png
|
|
apex.png
|
|
arch_is_not_important.png
|
|
backends.png
|
|
backward_step.png
|
|
big_science.png
|
|
broadcast.png
|
|
checkpoint_1.png
|
|
checkpoint_2.png
|
|
checkpoint_3.png
|
|
checkpoint_act.gif
|
|
checkpoint_full_act.gif
|
|
checkpoint_no_act.gif
|
|
cl_1.png
|
|
collective.png
|
|
column_parallel.png
|
|
cpu_adam.png
|
|
data_parallelism.png
|
|
ddp.png
|
|
ddp_analysis_1.png
|
|
ddp_analysis_2.png
|
|
ddp_analysis_3.png
|
|
ddp_analysis_4.png
|
|
ddp_analysis_5.png
|
|
dp_backward.png
|
|
dp_forward.png
|
|
dp_forward_2.png
|
|
dp_training.png
|
|
eleuther_ai.png
|
|
gather.png
|
|
gpipe_1.png
|
|
gpipe_2.png
|
|
gpipe_3.gif
|
|
hard_core_engineering.png
|
|
inter_layer.png
|
|
inter_layer_2.png
|
|
inter_layer_3.gif
|
|
interleaved_1.png
|
|
intra_layer.png
|
|
intra_layer_2.png
|
|
is_large_scale_easy.png
|
|
kernel_fusion.png
|
|
lm_head.png
|
|
max_pooling.png
|
|
megatron_3d.png
|
|
megatron_attention.jpeg
|
|
megatron_block.png
|
|
megatron_lm.jpeg
|
|
megatron_mlp.png
|
|
megatron_mlp_2.png
|
|
megatron_mlp_3.png
|
|
megatron_mlp_4.png
|
|
megatron_mlp_5.png
|
|
megatron_mlp_6.png
|
|
memory.png
|
|
message_passing.png
|
|
mixed_precision_1.png
|
|
mixed_precision_2.png
|
|
mixed_precision_33.png
|
|
mixed_precision_4.png
|
|
mixed_precision_5.png
|
|
model_parallelism.png
|
|
multi_head_attention.png
|
|
multi_process_1.png
|
|
multi_process_2.png
|
|
one_bit_adam.png
|
|
open_mpi.png
|
|
p2p.png
|
|
parallelformers.png
|
|
parallelism.png
|
|
pipe_dream.png
|
|
pipe_dream_2bw.png
|
|
pipe_dream_flush.png
|
|
pipe_dream_flush_2.png
|
|
pipeline_flush.png
|
|
pipeline_parallelism.png
|
|
pipeline_parallelism2.png
|
|
pld_1.png
|
|
pld_2.png
|
|
pld_3.png
|
|
process_terms.png
|
|
rank_error.png
|
|
reduce.png
|
|
reduce_scatter.png
|
|
ring_allreduce.gif
|
|
ring_allreduce.png
|
|
row_parallelism.png
|
|
scale_is_all_you_need.png
|
|
scatter.png
|
|
tensor_replace.png
|
|
vpce_1.png
|
|
vpce_2.png
|
|
vpce_3.png
|
|
vpe_1.png
|
|
vpe_2.png
|
|
which_backend.png
|
|
why_large_scale.png
|
|
zero_1.png
|
|
zero_2.png
|
|
zero_3.png
|
|
zero_infinity.mp4
|
|
zero_infinity.png
|
|
zero_off_1.png
|
|
zero_off_2.png
|
|
zero_off_3.png
|
|
zero_off_4.png
|
|
zero_r_1.png
|
|
zero_r_2.png
|
|
zero_r_3.jpeg
|
|
zero_video.mp4
|
