search

UFRN-URNAI / urnai-tools

A modular Deep Reinforcement Learning library that supports multiple environments, made with Python 3.6.
Apache License 2.0
5 stars 8 forks source link

Remove test and experiment files from source folder #23

Closed alvarofpp closed 2 years ago

alvarofpp commented 2 years ago

In the folder with the URNAI source code, we have some files that don't make sense to be there, for example:

The idea is to evaluate each file present in the repository and choose one of the following options:

Currently, the files we have in the repository:

urnai-tools/
├── CITATION.cff
├── docs
│   ├── diagrams
│   │   ├── output
│   │   │   ├── class
│   │   │   │   ├── actions.png
│   │   │   │   ├── agents.png
│   │   │   │   ├── envs.png
│   │   │   │   ├── model_architecture_1-0.png
│   │   │   │   ├── model_architecture_old.png
│   │   │   │   ├── models_1.0.png
│   │   │   │   ├── models_before_1.0.png
│   │   │   │   ├── models.png
│   │   │   │   ├── rewards.png
│   │   │   │   ├── states.png
│   │   │   │   └── urnai.png
│   │   │   ├── component
│   │   │   │   └── arch.png
│   │   │   └── sequence
│   │   │       └── training_loop_sequence.png
│   │   └── source
│   │       ├── class
│   │       │   ├── actions.wsd
│   │       │   ├── agents.wsd
│   │       │   ├── arch.wsd
│   │       │   ├── envs.wsd
│   │       │   ├── models_1.0.wsd
│   │       │   ├── models_before_1.0.wsd
│   │       │   ├── models.wsd
│   │       │   ├── rewards.wsd
│   │       │   ├── states.wsd
│   │       │   └── urnai.wsd
│   │       ├── component
│   │       │   └── arch.odg
│   │       └── sequence
│   │           ├── training_loop_sequence.png
│   │           └── training_loop_sequence.wsd
│   ├── generated
│   │   ├── agents
│   │   │   ├── actions
│   │   │   │   ├── base
│   │   │   │   │   └── abwrapper.md
│   │   │   │   ├── gym_wrapper.md
│   │   │   │   ├── ple_wrapper.md
│   │   │   │   ├── sc2.md
│   │   │   │   ├── sc2_wrapper.md
│   │   │   │   ├── scenarios
│   │   │   │   │   └── rts
│   │   │   │   │       └── generalization
│   │   │   │   │           ├── collectables.md
│   │   │   │   │           ├── defeatenemies.md
│   │   │   │   │           └── findanddefeat.md
│   │   │   │   └── vizdoom_wrapper.md
│   │   │   ├── base
│   │   │   │   └── abagent.md
│   │   │   ├── generic_agent.md
│   │   │   ├── rewards
│   │   │   │   ├── abreward.md
│   │   │   │   ├── default.md
│   │   │   │   ├── gym.md
│   │   │   │   ├── sc2.md
│   │   │   │   └── vizdoom.md
│   │   │   ├── sc2_agent.md
│   │   │   └── states
│   │   │       ├── abstate.md
│   │   │       ├── gym.md
│   │   │       ├── ple.md
│   │   │       ├── sc2.md
│   │   │       └── vizdoom.md
│   │   ├── base
│   │   │   └── savable.md
│   │   ├── envs
│   │   │   ├── base
│   │   │   │   └── abenv.md
│   │   │   ├── deep_rts.md
│   │   │   ├── gym.md
│   │   │   ├── mini_rts.md
│   │   │   ├── ple.md
│   │   │   ├── sc2.md
│   │   │   └── vizdoom.md
│   │   ├── models
│   │   │   ├── base
│   │   │   │   └── abmodel.md
│   │   │   ├── ddqn_keras.md
│   │   │   ├── dql_keras.md
│   │   │   ├── model_builder.md
│   │   │   ├── pg_keras.md
│   │   │   └── ql_table.md
│   │   ├── runner
│   │   │   ├── base
│   │   │   │   └── runner.md
│   │   │   ├── commands.md
│   │   │   ├── parserbuilder.md
│   │   │   └── runnerbuilder.md
│   │   ├── scenarios
│   │   │   ├── base
│   │   │   │   └── abscenario.md
│   │   │   ├── generalization
│   │   │   │   └── rts
│   │   │   │       ├── collectables.md
│   │   │   │       ├── defeatenemies.md
│   │   │   │       └── findanddefeat.md
│   │   │   └── vizdoom
│   │   │       └── collectables.md
│   │   ├── solves
│   │   │   ├── solve_cartpole_v0.md
│   │   │   ├── solve_cartpole_v1.md
│   │   │   └── solve_frozenlake_three_models.md
│   │   ├── tdd
│   │   │   ├── reporter.md
│   │   │   └── unit_tests
│   │   │       └── test_savable.md
│   │   ├── test
│   │   │   ├── generalization
│   │   │   │   ├── all_scenarios
│   │   │   │   │   ├── drts.md
│   │   │   │   │   └── scii.md
│   │   │   │   ├── collectables
│   │   │   │   │   ├── deep-rts-test-collectables.md
│   │   │   │   │   └── scii_test_generalization_collectables.md
│   │   │   │   └── findanddefeat
│   │   │   │       ├── deep-rts-test-finddefeat.md
│   │   │   │       └── scii-test-finddefeat.md
│   │   │   ├── json_trainer_test.md
│   │   │   ├── pickle_test.md
│   │   │   └── solves
│   │   │       ├── solve_simple64.md
│   │   │       └── solve_vizdoom.md
│   │   ├── trainers
│   │   │   ├── jsontrainer.md
│   │   │   └── trainer.md
│   │   ├── urnai_cmd.md
│   │   └── utils
│   │       ├── agent_utils.md
│   │       ├── drts_utils.md
│   │       ├── error.md
│   │       ├── functions.md
│   │       ├── image.md
│   │       ├── logger.md
│   │       ├── module_specialist.md
│   │       ├── returns.md
│   │       ├── sc2_utils.md
│   │       └── tf_utils.md
│   ├── imgs
│   │   ├── deeprts.jpg
│   │   ├── gym1.jpg
│   │   ├── gym2.jpg
│   │   ├── starcraft2.jpg
│   │   └── vizdoom.jpg
│   └── results
│       ├── CartPole-v1
│       │   ├── DDQN
│       │   │   ├── Logger_avg_reward_graph.png
│       │   │   ├── Logger_inst_reward_graph.png
│       │   │   ├── play_files
│       │   │   │   ├── Logger_avg_reward_graph.png
│       │   │   │   ├── Logger_inst_reward_graph.png
│       │   │   │   └── report.txt
│       │   │   └── report.txt
│       │   └── Policy Gradient
│       │       ├── Logger_avg_reward_graph.png
│       │       ├── Logger_inst_reward_graph.png
│       │       ├── play_files
│       │       │   ├── Logger_avg_reward_graph.png
│       │       │   ├── Logger_inst_reward_graph.png
│       │       │   └── report.txt
│       │       └── report.txt
│       └── SC2-Simple64
│           └── terran_ddqn_very_easy_99prcent_wr_commit_fa316ed
│               ├── DDQNKeras_.h5
│               ├── DDQNKeras_.pkl
│               ├── Logger_avg_reward_graph.pdf
│               ├── Logger_avg_reward_graph.png
│               ├── Logger_avg_steps_graph.pdf
│               ├── Logger_avg_steps_graph.png
│               ├── Logger_avg_winrate_graph.pdf
│               ├── Logger_avg_winrate_graph.png
│               ├── Logger_inst_reward_graph.pdf
│               ├── Logger_inst_reward_graph.png
│               ├── Logger_overall_report.txt
│               ├── Logger_.pkl
│               ├── play_files
│               │   ├── Logger_avg_reward_graph.pdf
│               │   ├── Logger_avg_reward_graph.png
│               │   ├── Logger_avg_steps_graph.pdf
│               │   ├── Logger_avg_steps_graph.png
│               │   ├── Logger_avg_winrate_graph.pdf
│               │   ├── Logger_avg_winrate_graph.png
│               │   ├── Logger_inst_reward_graph.pdf
│               │   ├── Logger_inst_reward_graph.png
│               │   ├── Logger_overall_report.txt
│               │   ├── Logger_.pkl
│               │   ├── report.pkl
│               │   └── report.txt
│               ├── report.pkl
│               ├── report.txt
│               ├── SC2Agent_.pkl
│               ├── SC2Env_.pkl
│               └── Trainer_.pkl
├── package_description.txt
├── README.md
├── requirements.txt
├── script.py
├── setup.cfg
├── setup.py
├── singularity_recipe
│   ├── build_sif.sh
│   ├── config.json.example
│   ├── README.md
│   ├── urnai-cpu.simg
│   └── urnai.simg
└── urnai
    ├── agents
    │   ├── actions
    │   │   ├── base
    │   │   │   ├── abwrapper.py
    │   │   │   └── __init__.py
    │   │   ├── gym_wrapper.py
    │   │   ├── __init__.py
    │   │   ├── mo_spatial_terran_wrapper.py
    │   │   ├── ple_wrapper.py
    │   │   ├── README.md
    │   │   ├── sc2.py
    │   │   ├── sc2_wrapper.py
    │   │   ├── scenarios
    │   │   │   ├── __init__.py
    │   │   │   └── rts
    │   │   │       ├── generalization
    │   │   │       │   ├── all_scenarios.py
    │   │   │       │   ├── buildunits.py
    │   │   │       │   ├── collectables.py
    │   │   │       │   ├── defeatenemies.py
    │   │   │       │   ├── findanddefeat.py
    │   │   │       │   └── __init__.py
    │   │   │       └── __init__.py
    │   │   └── vizdoom_wrapper.py
    │   ├── base
    │   │   ├── abagent.py
    │   │   └── __init__.py
    │   ├── generic_agent.py
    │   ├── __init__.py
    │   ├── README.md
    │   ├── rewards
    │   │   ├── abreward.py
    │   │   ├── default.py
    │   │   ├── gym.py
    │   │   ├── __init__.py
    │   │   ├── README.md
    │   │   ├── sc2.py
    │   │   ├── scenarios
    │   │   │   ├── __init__.py
    │   │   │   └── rts
    │   │   │       ├── generalization
    │   │   │       │   ├── all_scenarios.py
    │   │   │       │   ├── buildunits.py
    │   │   │       │   ├── collectables.py
    │   │   │       │   ├── defeatenemies.py
    │   │   │       │   ├── findanddefeat.py
    │   │   │       │   └── __init__.py
    │   │   │       └── __init__.py
    │   │   └── vizdoom.py
    │   ├── sc2_agent.py
    │   └── states
    │       ├── abstate.py
    │       ├── gym.py
    │       ├── __init__.py
    │       ├── ple.py
    │       ├── README.md
    │       ├── sc2.py
    │       ├── scenarios
    │       │   ├── __init__.py
    │       │   └── rts
    │       │       ├── generalization
    │       │       │   ├── all_scenarios.py
    │       │       │   ├── buildunits.py
    │       │       │   ├── collectables.py
    │       │       │   ├── defeatenemies.py
    │       │       │   ├── findanddefeat.py
    │       │       │   └── __init__.py
    │       │       └── __init__.py
    │       └── vizdoom.py
    ├── base
    │   ├── __init__.py
    │   └── savable.py
    ├── envs
    │   ├── base
    │   │   ├── abenv.py
    │   │   └── __init__.py
    │   ├── deep_rts.py
    │   ├── gym.py
    │   ├── __init__.py
    │   ├── mini_rts.py
    │   ├── ple.py
    │   ├── README.md
    │   ├── sc2.py
    │   └── vizdoom.py
    ├── experiments_drts
    │   ├── file_trainer_test.py
    │   ├── generalization
    │   │   ├── all_scenarios
    │   │   │   ├── all_new_unique.py
    │   │   │   ├── drts.py
    │   │   │   ├── map_trim_test.py
    │   │   │   ├── scii.py
    │   │   │   ├── test_files
    │   │   │   │   ├── all_trainings.csv
    │   │   │   │   ├── buildunits_only.json
    │   │   │   │   ├── collectables_only.json
    │   │   │   │   ├── collectables_sing.csv
    │   │   │   │   ├── experimentos_superpc.csv
    │   │   │   │   ├── findanddefeat_only.json
    │   │   │   │   ├── highway_to_hell
    │   │   │   │   │   ├── buildunits_only.csv
    │   │   │   │   │   ├── buildunits_only.json
    │   │   │   │   │   ├── collectables_only.csv
    │   │   │   │   │   ├── collectables_only.json
    │   │   │   │   │   └── savior_script.py
    │   │   │   │   ├── solve
    │   │   │   │   │   ├── solve_build_units_drts.json
    │   │   │   │   │   ├── solve_build_units_multiple.json
    │   │   │   │   │   ├── solve_collectables_drts.json
    │   │   │   │   │   ├── solve_collectables_multiple.json
    │   │   │   │   │   ├── solve_defeat_enemies_drts.json
    │   │   │   │   │   ├── solve_defeat_enemies_multiple.json
    │   │   │   │   │   ├── solve_find_and_defeat_drts.json
    │   │   │   │   │   └── solve_find_and_defeat_multiple.json
    │   │   │   │   ├── temp
    │   │   │   │   │   ├── general_map_info.json
    │   │   │   │   │   ├── layer_0.csv
    │   │   │   │   │   └── layer_0.json
    │   │   │   │   └── test
    │   │   │   │       ├── test_build_units_drts.json
    │   │   │   │       ├── test_build_units_multiple.json
    │   │   │   │       ├── test_collectables_drts.json
    │   │   │   │       ├── test_collectables_multiple.json
    │   │   │   │       ├── test_defeat_enemies_drts.json
    │   │   │   │       ├── test_defeat_enemies_multiple.json
    │   │   │   │       ├── test_find_and_defeat_drts.json
    │   │   │   │       └── test_find_and_defeat_multiple.json
    │   │   │   └── unique.py
    │   │   ├── collectables
    │   │   │   ├── deep-rts-test-collectables.py
    │   │   │   └── scii_test_generalization_collectables.py
    │   │   └── findanddefeat
    │   │       ├── deep-rts-test-finddefeat.py
    │   │       └── scii-test-finddefeat.py
    │   └── pickle_test.py
    ├── __init__.py
    ├── __main__.py
    ├── models
    │   ├── algorithms
    │   │   ├── ddql.py
    │   │   ├── dql_lambda.py
    │   │   ├── dql.py
    │   │   └── __init__.py
    │   ├── base
    │   │   ├── abmodel.py
    │   │   └── __init__.py
    │   ├── ddqn_keras_mo.py
    │   ├── ddqn_keras.py
    │   ├── dqn_keras.py
    │   ├── dqn_pytorch.py
    │   ├── dqn_tf.py
    │   ├── __init__.py
    │   ├── memory_representations
    │   │   ├── base
    │   │   │   ├── abmem.py
    │   │   │   └── __init__.py
    │   │   ├── __init__.py
    │   │   └── neural_network
    │   │       ├── abneuralnetwork.py
    │   │       ├── __init__.py
    │   │       ├── keras.py
    │   │       ├── nnfactory.py
    │   │       ├── pytorch.py
    │   │       ├── sequential_lambda.py
    │   │       └── tensorflow.py
    │   ├── model_builder.py
    │   ├── pg_keras.py
    │   ├── ql_table.py
    │   └── README.md
    ├── runner
    │   ├── base
    │   │   ├── __init__.py
    │   │   └── runner.py
    │   ├── commands.py
    │   ├── __init__.py
    │   ├── parserbuilder.py
    │   ├── README.md
    │   └── runnerbuilder.py
    ├── scenarios
    │   ├── base
    │   │   ├── abscenario.py
    │   │   └── __init__.py
    │   ├── generalization
    │   │   ├── __init__.py
    │   │   └── rts
    │   │       ├── buildunits.py
    │   │       ├── collectables.py
    │   │       ├── defeatenemies.py
    │   │       ├── findanddefeat.py
    │   │       └── __init__.py
    │   ├── __init__.py
    │   └── vizdoom
    │       └── collectables.py
    ├── solves
    │   ├── experiments
    │   │   ├── solve_breakout_ram_v0.py
    │   │   ├── solve_breakout_v0.py
    │   │   ├── solve_cartpole_v1_dql.py
    │   │   ├── solve_frozenlake_lambda.py
    │   │   ├── solve_simple64_default.csv
    │   │   ├── solve_simple64.json
    │   │   ├── solve_simple64_mo.py
    │   │   ├── solve_simple64.py
    │   │   ├── solve_simple64_test.csv
    │   │   ├── solve_vizdoom.json
    │   │   └── solve_vizdoom.py
    │   ├── solve_cartpole_v0.py
    │   ├── solve_cartpole_v1.json
    │   ├── solve_cartpole_v1.py
    │   ├── solve_cartpole_v1_threaded_saving.csv
    │   ├── solve_cartpole_v1_threaded_saving.yaml
    │   ├── solve_frozenlake.json
    │   ├── solve_frozenlake.py
    │   ├── solve_frozenlake_three_models.json
    │   ├── solve_simple64_veryeasy.json
    │   └── solve_simple64_veryeasy.py
    ├── tests
    │   ├── dql_tf_lambda
    │   │   ├── DeepTDLambdaLearner.py
    │   │   ├── helper.py
    │   │   └── main.py
    │   ├── __init__.py
    │   ├── new_tests
    │   │   ├── README.md
    │   │   ├── test_cartpole.py
    │   │   └── tester.py
    │   └── unit_tests
    │       ├── test_savable.py
    │       └── test_solves.py
    ├── trainers
    │   ├── filetrainer.py
    │   ├── __init__.py
    │   └── trainer.py
    ├── urnai_cmd.py
    ├── utils
    │   ├── agent_utils.py
    │   ├── constants.py
    │   ├── drts
    │   │   └── custom_assets
    │   │       └── maps
    │   │           ├── total-64x64-playable-16x22-collectables.json
    │   │           ├── total-64x64-playable-22x16-buildunits.json
    │   │           ├── total-64x64-playable-22x16-defeatenemies.json
    │   │           └── total-64x64-playable-43x31-findanddefeat.json
    │   ├── drts_utils.py
    │   ├── error.py
    │   ├── file_util.py
    │   ├── functions.py
    │   ├── generate_graphics.py
    │   ├── image.py
    │   ├── __init__.py
    │   ├── logger.py
    │   ├── module_specialist.py
    │   ├── numpy_utils.py
    │   ├── README.md
    │   ├── reporter.py
    │   ├── returns.py
    │   ├── sc2_utils.py
    │   ├── tf_utils.py
    │   └── vizdoomwads
    │       └── health_gathering.wad
    └── version
        ├── __init__.py
        └── versioner.py
alvarofpp commented 2 years ago

@UFRN-URNAI/urnai I made this spreadsheet here so we can put our reviews on each file.