【开源自荐】 DI-engine - 通用的决策智能引擎

DI-engine

项目地址：https://github.com/opendilab/DI-engine
类别：Python、机器学习
项目标题：DI-engine 是一个基于 PyTorch 和 JAX 的通用决策智能引擎。
项目描述： DI-engine 以 python-first 和 asynchronous-native 为核心原则，设计了任务和中间件抽象层，从而模块化地集成了决策 AI 问题中的环境、策略和模型等核心概念。基于上述这些机制，DI-engine 拥有性能优越，效率高效，文档与单元测试条理清晰的特点，系统性地支持了 各种深度强化学习 (Deep Reinforcement Learning，DRL) 算法 ：
- 最经典的 DRL 算法，例如 DQN, PPO, SAC, R2D2, IMPALA
- 多智能体强化学习（Multi-Agent Reinforcement Learning）算法，如 QMIX、MAPPO、ACE
- 模仿学习（Imitation Learning）算法（BC/IRL/GAIL），如GAIL、SQIL、Guided Cost Learning、Implicit BC
- 离线强化学习（Offline Reinforcement Learning）算法：CQL、TD3BC、Decision Transformer
- 基于模型的强化学习（Model-Based RL algorithms）算法：SVG、MVE、STEVE / MBPO、DDPPO
- 探索（Exploration）算法，如 HER、RND、ICM、NGU
DI-engine 致力于 覆盖最全学术界研究领域和工业界生态决策智能环境及应用 ，并支持各类定制化的训练 pipeline 和实际决策智能应用，比如星际争霸 II、自动驾驶、交通信控和生物序列预测等等。在底层代码级别，DI-engine 提供了 RL 优化函数库、PyTorch 数据处理和辅助工具库等一系列高度可复用的模块。同时，DI-engine 也有一些 特殊的系统设计和优化 ，用于部署高效和稳健的大规模强化学习训练集群。
亮点：
- 最全最广的决策 AI 算法 Zoo（60+各类型算法）
- 覆盖各类经典学术研究环境和工业生态原型的的应用 Zoo （40+各类型环境）
- 具有高度易用性和可扩展性结构化数据容器 TreeTensor
- 大规模分布式强化学习训练的系统支持和定制优化
- 基于 Kubernetes 的云原生训练集群管理器

示例代码：

### 1. Simple User Interface
from ding.bonus import PPOF
# Please install lunarlander env first, `pip3 install box2d`
agent = PPOF(env='lunarlander_discrete', exp_name='./lunarlander_discrete_demo')
agent.train(step=int(1e5))
# Classic RL interaction loop and save replay video
agent.deploy(enable_save_replay=True)

### 2. Advanced User Interface
import gym
from ditk import logging
from ding.model import VAC
from ding.policy import PPOPolicy
from ding.envs import DingEnvWrapper, BaseEnvManagerV2
from ding.data import DequeBuffer
from ding.config import compile_config
from ding.framework import task, ding_init
from ding.framework.context import OnlineRLContext
from ding.framework.middleware import multistep_trainer, StepCollector, interaction_evaluator, CkptSaver, \
    gae_estimator, online_logger
from ding.utils import set_pkg_seed
from dizoo.classic_control.cartpole.config.cartpole_ppo_config import main_config, create_config

logging.getLogger().setLevel(logging.INFO)
cfg = compile_config(main_config, create_cfg=create_config, auto=True)
ding_init(cfg)
with task.start(async_mode=False, ctx=OnlineRLContext()):
    collector_env = BaseEnvManagerV2(
        env_fn=[lambda: DingEnvWrapper(gym.make("CartPole-v0")) for _ in range(cfg.env.collector_env_num)],
        cfg=cfg.env.manager
    )
    evaluator_env = BaseEnvManagerV2(
        env_fn=[lambda: DingEnvWrapper(gym.make("CartPole-v0")) for _ in range(cfg.env.evaluator_env_num)],
        cfg=cfg.env.manager
    )

    set_pkg_seed(cfg.seed, use_cuda=cfg.policy.cuda)

    model = VAC(**cfg.policy.model)
    policy = PPOPolicy(cfg.policy, model=model)

    task.use(interaction_evaluator(cfg, policy.eval_mode, evaluator_env))
    task.use(StepCollector(cfg, policy.collect_mode, collector_env))
    task.use(gae_estimator(cfg, policy.collect_mode))
    task.use(multistep_trainer(policy.learn_mode, log_freq=50))
    task.use(CkptSaver(policy, cfg.exp_name, train_freq=100))
    task.use(online_logger(train_show_freq=3))
    task.run()

截图：
后续更新计划：详细的开发计划可以参考 DI-engine 的社区 Roadmap

521xueweihan / HelloGitHub

【开源自荐】 DI-engine - 通用的决策智能引擎 #2513

DI-engine