[Bug] RequestDecision 시점 조정 이후, action 전달 과정에서 오류 발생

[oeccsy]

재현 환경

• unity windows build

재현 과정

• Unity의 MAB Agent에 RequestDecisionRoutine() 코드 작성 이후 빌드
• python script 실행

오류 내용

• env.set_actions(behavior_name, action) 코드 부분에서 오류 발생

  mlagents_envs.exception.UnityActionException:
  The behavior Case_MAB?team=0 needs a continuous input of dimension (0, 0) for (<number of agents>, <action size>)
  but received input of dimension (1, 0)

기대 결과

• 오류 발생 없음

재현 빈도

• Unity Editor 상에서 Heuristic으로 수행하는 경우 해당 문제 발생하지 않음
• 주로 RequestDecision() 호출에 delay가 있는 경우 발생

참고 자료

[oeccsy]

• 레퍼런스 기록
  • https://github.com/Unity-Technologies/ml-agents/issues/5204
  • https://youtu.be/TSjfw7G1AT4?si=T06YiypVO3awxv4u&t=187

[oeccsy]

• 환경 reset을 두 번 하는 경우 실행 성공

  env.reset()
  env.reset()

• 그러나 실행 중 오류가 발생하는 경우 확인됨

• 오류 발생 당시 RequestDecision() 호출 방식

  public override void Initialize()
  {
      ResetAgent();
      StartCoroutine(RequestDecisionRoutine());
  }
  
  ...
  
  private IEnumerator RequestDecisionRoutine()
  {
      if (Academy.Instance.IsCommunicatorOn)
      {
          while (true)
          {
              RequestDecision();
              yield return null;
              EndEpisode();
              yield return null;
          }
      }
      else
      {
          WaitForSeconds delay = new WaitForSeconds(renderDelay);
  
          while (true)
          {
              RequestDecision();
              yield return delay;
              EndEpisode();
              yield return delay;
          }
      }
  }