Closed chengtbf closed 3 years ago
torch tensor 算子: view、full、full_like、empty_like、ones_like、zeros_like、rand、randn、scalar_tensor、new_full、new_empty、new_zeros、arange、tensor、ones、zeros
optimizer相关:
flow.optim.xxx | PR | developer | reviewer | state |
---|---|---|---|---|
SGD | https://github.com/Oneflow-Inc/oneflow/pull/4680 | @wyg1997 | @hjchen2 @BBuf | merged |
Adam | https://github.com/Oneflow-Inc/oneflow/pull/4816 | @BBuf | @wyg1997 | merged |
AdamW | https://github.com/Oneflow-Inc/oneflow/pull/4824 | @BBuf | @wyg1997 | merged |
SparseAdam | ||||
RMSProp | https://github.com/Oneflow-Inc/oneflow/pull/4834 | @BBuf | @wyg1997 | merged |
Adadelta | ||||
Adagrad | ||||
Adamax | ||||
ASGD | ||||
Rprop | ||||
LBFGS |
learning rate adjust 相关:
flow.optim.lr_scheduler | PR | developer | reviewer | state |
---|---|---|---|---|
LambdaLR | ||||
MultiplicativeLR | ||||
StepLR | ||||
MultiStepLR | ||||
ExponentialLR | ||||
CosineAnnealingLR | ||||
ReduceLROnPlateau | ||||
CyclicLR | ||||
OneCycleLR | ||||
CosineAnnealingWarmRestarts |
由于我们无法在短期内将所有的算子都迁移成跟PyTorch完全对齐的nn.module,故在此列出0.4.0版本我们优先支持的Module。同时如果有合作伙伴或者社区的小伙伴希望我们在下个版本就优先支持的算子也可以列在这个issue里。我们将根据人力和时间去优先支持这些算子。
0.4.0 上线日期:预计 4.30
优先支持的nn.module列表:
- nn.Conv2d
- nn.Relu
- nn.Parameter
- nn.Sequential
- nn.ModuleList
- nn.Sigmoid
- nn.BatchNorm2d
- nn.MaxPool2d
- nn.Dropout
- nn.Embedding
- nn.AvgPool2d
- nn.AdaptiveAvgPool2d
- nn.Linear
- nn.Identity
- nn.Tanh
- nn.Gelu
- nn.CrossEntropyLoss
nn.RNNBase nn.RNN nn.GRU nn.LSTM nn.RNNCell nn.LSTMCell nn.GRUCell
note: 需要更新一下这个issue的信息,摘出来0.5.0的todo
由于我们无法在短期内将所有的算子都迁移成跟PyTorch完全对齐的nn.module,故在此列出0.4.0版本我们优先支持的Module。同时如果有合作伙伴或者社区的小伙伴希望我们在下个版本就优先支持的算子也可以列在这个issue里。我们将根据人力和时间去优先支持这些算子。
0.4.0 上线日期:预计 4.30
优先支持的nn.module列表: