자율주행의 '센서퓨전' & 센서환경 인지

 

카메라	차량, 보행자 등 분류 및 도로, 표지판 등 읽기	안개, 먼지 등 환경적 요인에 능력 제한
레이다	거리 정확	클러터 잡음에 의한 오탐률 높고, 카메라 비해 정보량 적음
라이다	3차원공간 거리정보 제공, 차량거리 속도 추정 용이	비금속 물체탐지 약함, 물체의 색사이나 형태정보 획득 불가, 횡방향 관점의 인식성능에 한계 존재

카메라 레이다 센서 융합: 레이더 검출 결과 또는 중간단계 결과를 카메라 좌표계로 투영해 병합

또는, 카메라 영상 기반 물체 검출 결과나 중간단계 결과를 레이더의 3차원 좌표계로 변환해 융합

 

카메라 중심의 라이다 융합: 카메라 통한 검출 메인, 라이다 포인트 데이터는 보조적으로

 

라이다 중심의 카메라 융합 : 라이다의 해상도 높은 경우 라이다 포인트 클라우드를 이용한 3차원 또는 조감도 영역에서의 물체 검출 가능하므로, 카메라 통한 검출 결과는 보조적

 

셋 다 융합 : 인지의 높은 신뢰성이 요구되는 레벨4 이상의 자율주행 위해 필요. 복합센서에서 제공되는 정보의 최적융합전략 필요. 또한 실시간 센서융합 처리 위한 알고리즘, 하드웨어 구현 필요

 

https://www.hmgdevcon.com/sessions/pdf/day1/%EA%B3%A0%EC%86%8D%EB%8F%84%EB%A1%9C%20%EC%9E%90%EC%9C%A8%EC%A3%BC%ED%96%89%EC%9D%84%20%EC%9C%84%ED%95%9C%20%EC%84%BC%EC%84%9C%ED%93%A8%EC%A0%84%20%EA%B0%9C%EB%B0%9C.pdf

 

센서환경 인지

https://www.koreascience.or.kr/article/JAKO201918961949789.pdf

이 때 사용한 차선인식 개선 알고리즘 : ELIX(Enhanced Lane Tracing with Histogram Extension)

표지판 인식 : Mutual Validation Procedure(MVP)

 

ex) hye-ahn :

GUI - 자율주행 모드 실행 및 긴급 정지 등의 입력 처리, 시스템 및 프로그램의 로그와 각 센서와 모듈들의 상태 출력Autonomous Drive Module - 주행 경로를 결정, 처리

Platform Management Module - 자율주행 플랫폼과의 RS232 통신을 담당하며, 구동 모터의 속도, 기어, 조향각, 브레이크 값, 엔코더 값 등의 제어 값 정보를 송수신.

LiDAR Management Module - LiDAR와의 TCP 통신을 담당하며, 거리 맵 데이터를 송수신

Vision1 Management Module - 전방 카메라를 통해 데이터를 수신 받아, 차선 추종 알고리즘 수행

Vision2 Management Module - 전방 카메라를 통해 데이터를 받고, 도로 표지판 인식 알고리즘 수행

Vision3 Management Module - 측면 카메라를 통해 데이터를 수집하여 보조적으로 주변환경을 인식

 

차선추정 알고리즘 - Canny Edge, Hough transform을 결합(C&H), but 곡선차선 검출 어려움

대체제 - ILT

i. 도로에서의 관심 영역(ROI)^[각주:1]을 지정하고 채널 축소(Gray scaling)

ii. 이미지를 이진화^[각주:2]하고 Top view로 변환.

iii. 특정 좌표축에서 수평으로 이동하며 차선의 기준점을 찾는다.

iv. 기준점에서 상하 두 방향으로 진행하며, 좌우 범위를 조회하여 차선 좌표를 찾아 저장한다.

v. 다음 프레임에서는 이전 기준점 근방에서, 새로운 기준점을 잡아, 위 과정을 반복한다.

 

그러나, 태양 밝기나 그림자 등, 환경이 변할 때마다, 이진화의 임계값 지속적 수정이 필요. 이는 HIX를 통해, 카메라 통해 들어오는 이미지의 명도를 양극화시키는 것으로 해결.

i. Top View로 변환한 이미지를 이진화 한 후 흰색 차선 부분을 찾아 변수 ‘white’에 저장한다.

ii. 도로상의 15개 점의 밝기를 측정하고 평균을 내어 변수 ‘black’에 저장한다.

iii. 식 (1)을 이용하여 이미지의 모든 픽셀의 명도를 양극화시킨다.

 

표지판 인식 알고리즘(LBP Cascade Classifier)

이미지 모서리, 경계 등의 픽셀 밝기 비교 히스토그램을 사용하는 LBP로 표지판 학습.

반사광에 의한 손상된 영역은, NPC알고리즘으로 해결

i. 회색조(Gray scale)로 변환된 영상에서 빛 반사 지점을 탐색.

ii. 근처 픽셀의 색상 값을 이용하여 빛 반사 지점을 보간.

iii. 빛 반사 지점의 투명도를 추출하고, 화이트 밸런스를 낮춘 후, 인페인팅(Inpainting)을 진행한다.

 

이미지 밝기를 일정수준으로 맞추는 Gradient Histogram(GH) 알고리즘은..

i. Gray scale로 변환된 영상의 히스토그램을 출력

ii. 출력한 히스토그램의 수치를 평준화하여, 이미지 내 의 큰 Edge를 줄인다.

 

표지판 인식은 SVM으로, 표지판 분류 확정은 Yolo로

---

1. 보통 ROI는 직접 지정하는 거인데.. opencv에서는 Rect roi_rect(x1, y1, x2, y2)의 형태로 지정함. 아마 특징점이나 에지를 검출하지 않을까 [본문으로]
2. 특정 이미지의 픽셀이 N보다 크면 백, 아니면 흑으로, 또는 오츄 알고리즘으로 임계값 자동으로 설정 [본문으로]