Review basis integral concurrent learning

[minii93]

2 에 뒤따르는 이슈입니다.

다음 논문 논문을 읽고 1~2주 정도 뒤에 논의하는 시간을 가지도록 합시다!

N. Cho and Y. Kim, "Basis integral concurrent learning model reference adaptive control," 2016 European Control Conference (ECC), 2016, pp. 788-793, doi: 10.1109/ECC.2016.7810385.

== 지난 번 리뷰 내용 ==

CL Review

생성일: 2022년 1월 10일 주제: Concurrent Learning 논문 리뷰

2022-01-10

진행 상황

• Concurrent Learning 시초 논문 리뷰
  • Projection 이해 안됨
  • 수식은 github 리뷰에 정리해둠
  • motivation
    • current data, past data 사이의 가중치를 조절하고 싶었다.
  • 하지만 결과는.. 더 좋지 않다.
  • 데이터를 몇 개나 모아야 하고, linearly independant한 데이터를 어떻게 뽑니
  • size p 인 buffer 유지
  • 새로 데이터 들어올 때마다 p + 1개 중에 p 개 골라내기 (Remark 2의 행렬의 min. eigenvalue가 가장 커지도록 하는 p개)
  • 시뮬레이션에 K_r 값이 없다.
  • MRAC을 찾아봐야 한다
  • epsilon 계산 가능하니?
  • Remark 5, 24번 식을 이용하면 된다.

다음에는 무엇을 할까?

• 다음 중의 한 가지를 하면 어떨까
  • Concurrent Learning 조금 더 보기
  • N. Cho - 2016 - Basis Integral Concurrent Learning Model Reference Adaptive Control
  • Approximate Optimal Tracking Review
  • R. Kamalapurkar - 2018 - Model-Based Reinforcement Learning for Infinite-Horizon Approximate Optimal Tracking

To Do

• [ ] N. Cho - 2016 - Basis Integral Concurrent Learning Model Reference Adaptive Control 리뷰 (1~2주)

[JinraeKim]

다음을 요청드립니다:

1. 리뷰할 논문의 formatted citation (and optional: link)
2. 정리된 내용의 pdf 업로드 (공용 노션 페이지가 아니라서 향후 추적이 어려울 수 있음; 또는, 새로운 공용 페이지가 있으면 좋을듯)

[minii93]

다음을 요청드립니다:

1. 리뷰할 논문의 formatted citation (and optional: link)
2. 정리된 내용의 pdf 업로드 (공용 노션 페이지가 아니라서 향후 추적이 어려울 수 있음; 또는, 새로운 공용 페이지가 있으면 좋을듯)

노션의 Markdown 형식 내보내기를 이용해서 수정했습니다~

[nhcho91]

앗.....!!! 이런?! ㅋㅋ 예전 제 논문을 리뷰하시는군요

concurrent learning (모델 학습과 안정화를 동시에 수행하는 기법류 전체를 지칭) 연구는 계속 진행 중이니 무엇이든 도움이 필요하면 연락 주세요

---

논문 리뷰를 아직 진행 중이라면, 다음의 리뷰 논문을 먼저 살피시는 것을 추천합니다. 2020 - Romeo Ortega

---

지나고 보니 제 학술대회 논문은 지엽적이라 생각되는데요, 그 이유는 선형 시스템 교과서들의 가관측성 내용 부분에 자주 나오는 것처럼 observation by differentiation을 observation by integral로 교체했을 뿐이기 때문입니다.

이런 생각의 연장선 상에서, raw measurement signal (regressor와 uncertainty의 관측치)에 작용하는 어떤 linear operator가 있다고 할 때 그 operator를 통과시킨 출력을 observation으로 삼으면 parameter와의 선형성이 유지되므로 일반화가 가능하다고 볼 수 있겠지요?

G. Chowdhary의 concurrent learning 논문은 이 linear operator가 일종의 discrete delay operator인 경우에 해당할 것입니다. 그래서 최적화 분야의 용어로는 이 discrete delay operator(= 일종의 deterministic한 데이터 선택/저장 규칙)에 따르는 mini-batch이자 experience replay update 라고 할 수 있겠죠?

---

그렇다면 이제 관심은 이 linear operator를 어떻게 만들 수 있을까 하는 것이겠습니다.

주의사항으로는, linear operator의 설계는 어디까지나 information을 어떻게 추출할까에 관련한 것이지 information을 어떻게 새롭게 생성할까에 관련한 것이 아닙니다.

이 linear operator의 설계 요구조건을 제시하면

• raw measurement signal의 주파수 영역 특성을 고려해야 할 것
• operator 출력이 bounded일 것
• 결과적으로 closed-loop이 stable할 것
• (PE 조건을 완화시키고 싶다면) parameter identifiability를 확보하는 방향의 operation일 것 등이 있을 듯 합니다.

이렇게 설계 요구조건을 최소한 정성적으로라도 명시하고 이에 해당하는 operator 여러가지를 도입하거나 새롭게 제안한다면 간략한 논문을 적어볼 수 있을 것입니다.

[minii93]

@nhcho91 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 안녕하세여 다른 사람들은 논문을 보면서 어떤 생각을 하고 어떤 논문을 쓰는가 생각의 흐름을 쫓아가보려고 남훈이 형의 논문을 골라본 것인데, 더 상세한 설명을 들을 수 있게 되었군요!ㅋㅋㅋㅋㅋㅋ

시간적으로는 2020년 논문이 더 최신으로 보이는데, 만약 두 논문 다 본다고 한다면 어떤 순서가 좋을까요?!

[nhcho91]

@nhcho91 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 안녕하세여 다른 사람들은 논문을 보면서 어떤 생각을 하고 어떤 논문을 쓰는가 생각의 흐름을 쫓아가보려고 남훈이 형의 논문을 골라본 것인데, 더 상세한 설명을 들을 수 있게 되었군요!ㅋㅋㅋㅋㅋㅋ

시간적으로는 2020년 논문이 더 최신으로 보이는데, 만약 두 논문 다 본다고 한다면 어떤 순서가 좋을까요?!

제 생각에는 그래도 2020년 논문을 먼저 보시는 것을 추천합니다~

[JinraeKim]

논문 리뷰를 아직 진행 중이라면, 다음의 리뷰 논문을 먼저 살피시는 것을 추천합니다. 2020 - Romeo Ortega

좋은 논문 추천 감사합니다~ PE 조건을 완화하는 방법을 찾아보다보니 DREM 같은게 튀어나와서 당황했는데, 리뷰 논문에 다양한 기법을 정리해두었네요!

[nhcho91]

논문 리뷰를 아직 진행 중이라면, 다음의 리뷰 논문을 먼저 살피시는 것을 추천합니다. 2020 - Romeo Ortega

좋은 논문 추천 감사합니다~ PE 조건을 완화하는 방법을 찾아보다보니 DREM 같은게 튀어나와서 당황했는데, 리뷰 논문에 다양한 기법을 정리해두었네요!

네 DREM이라는 이름으로 관련된 것 많이 내셨는데요, 그 개념 역시 제어 이전에 gradient descent 기반 최적화에 대한 연구의 맥락에서 이미 제안되었던 바 있어요. DREM이라는 약어에서 M이 가리키는 mixing은 matrix exterior product를 활용하는 신호 조합 방법이라고 생각하면 됩니다~

[minii93]

@Youngjun-Lee-FDCL @hnlee77 저번처럼 다음 주 월요일 오후 1시에 모여서 40~50분 정도 리뷰하는 시간을 가지려고 하는데요. 남훈이 형이 좋은 논문을 추천해주셨으니, 여유가 있는 사람은 두 논문 모두 (Romeo Ortega -> Namhoon Cho)을 읽어오고 시간적 여유가 부족한 사람은 원래 보려고 했던 Namhoon Cho의 논문만 읽어오기로 할까요?

[Youngjun-Lee-FDCL]

okay~

[hnlee77]

알겠습니다~

[JinraeKim]

@Youngjun-Lee-FDCL @hnlee77 저번처럼 다음 주 월요일 오후 1시에 모여서 40~50분 정도 리뷰하는 시간을 가지려고 하는데요. 남훈이 형이 좋은 논문을 추천해주셨으니, 여유가 있는 사람은 두 논문 모두 (Romeo Ortega -> Namhoon Cho)을 읽어오고 시간적 여유가 부족한 사람은 원래 보려고 했던 Namhoon Cho의 논문만 읽어오기로 할까요?

Romeo Ortega 논문 리뷰를 위한 이슈를 새로 팠습니다: https://github.com/fdcl-data-driven-control/data-driven-control/issues/17

[minii93]

@hnlee77 @Youngjun-Lee-FDCL 죄송한데 10분만 늦게 시작할게요!

[Youngjun-Lee-FDCL]

@hnlee77 @Youngjun-Lee-FDCL 죄송한데 10분만 늦게 시작할게요!

Okay