Pipeline_design(#2_GT_merge, Road_d )

[chldydgh4687]

데모 프로젝트 링크

https://github.com/chldydgh4687/SituationClassfier_DEMO

Pipeline_design#2 목표

- SSD 가 구성됬다는 기준으로 대략적인 각 물체의 GT 박스 수동으로 좌표 배열을 주어 RGB와 DEPTH 픽쳐에 보내준다. - DEPTH 의 대략적인 평균값을 정하여 기준을 정한다. (to upgrade accuracy by extracting overlap rectangle referenced previous frame )

• ROAD_DETECTION 이 구성됬다는 기준으로 보도위에 있는 물체의 값인 0,1을 결과에 보내준다.

[chldydgh4687]

Object_d의 detection.py

#Fixxing gt
import os
import numpy as np
import cv2
from IPython.display import Image

# load a image

def detection():

## SSD

    os.chdir(os.path.commonprefix([os.getcwd(),os.path.dirname(os.path.realpath(__file__))])+"/images/")
    print(os.getcwd())
    rgbimg=cv2.imread('frame00000.jpg')
    Image('frame00000.jpg')

  ##  cv2.imshow('original',rgbimg)
  ##colab have not x-server, so ipython used

이미지를 보고싶은데 colab에서는 x-server가 없어서 ipython을 썼는데 안보여준다..ㅠ

[unizard]

설마? 그리고 텐서보드 잘쓰면 결과 이미지도 볼수있음

[chldydgh4687]

#BUG3_Colab_opencv_xxxxxxxx!!

[chldydgh4687]

• 결론 : 그냥 opencv 소스코드를 올바르게 써보고 파일을 써본 결과를 봐야겠다

[unizard]

@chldydgh4687 그냥 결과만 볼꺼면 matlabplt 쓰는건 어때

[chldydgh4687]

그것도 해봤는데 안되서..교수님 나와있는 코드로 한번더해보고 안되면 그냥 opencv 코드를 제대로 작성해보고 opencv 있는 친구들에게 실행해보도록 해볼게요 그 이후에 안되면 matlabplt 이든지 board 라든지 이용해보겠습니다.

[chldydgh4687]

GT_MERGE(DEPTH MPOINT) (반드시 금일 마무리짓기!!)

수동으로 찍기 완료.. 배열을 detection.py 에 movetodep 함수로 보내 작성중..

(to upgrade accuracy by extracting overlap rectangle referenced previous frame )

(depth의 중심점의 정확성을 높이기 위해 전프레임을 참고하는 하나의 알고리즘을 연구중)

예시

완료!! 뎁스에 사각형을 찍어보고 중심점을 찍어↑보겠드↓아↑!!

[chldydgh4687]

알고리즘의 오류로 중심점이 그림 밖으로 나가는 현상 발생 교수님 조언으로..뒤집고 쉬운 접근방법으로 갈 예정입니다..☹ 집가서 마무리 예정

[chldydgh4687]

제시된 새로운 방식

• 20/ 40 / 60 에 서 나오는 좌표의 값의 중심을 구한다 이후 일부 외곽이 표현되있는다해도 밝은 색이 존재하고 그것이 곳 장애물이기 때문에 중심에서의 점을 어느정도의 직사각형GT로 확장 가장 큰 밝은 값을 중심점으로 정한다.

• 점이 이상한 곳으로 찍힘 >> depth cnn 과정에서 640x 480 더 작게 축소됨을 발견

MSE PREVENTION GUIDE LINE

• 비율 계산을 통해 올바르게 찍힘을 확인. 양옆을 오차범위로 하여 +-25 픽셀씩을 주어 블록에서 가장 밝은 값을 추출

[chldydgh4687]

추출 완료

사실 제일 많은 값을 주고싶었지만 일일이 카운트 시킨다는 것이 알고리즘이 시간적 여유가 없어서 최대로 하였고, 한가지 어려웠던 점은 C언어 배열의 계산처럼 했다가 평균값이 이상하게 나와서 작동이 안됬는데 파이썬 리스트 에서 평균은 c언어 처럼 배열 + /3 하는게 아니고 sum 과 len 을 이용해야됨...

[chldydgh4687]

ROAD_DETECTION 이 구성됬다는 기준으로 보도위에 있는 물체의 값인 0,1을 결과에 보내준다.

쉬움으로 Classfication 을 진행하면서 하겠다.

2 완료