본문 바로가기

프로그래밍/종합설계 딥러닝 프로젝트

(11)
SUNRGBD 데이터셋으로 FCAF3D(딥러닝)모델 학습하기 SUNRGBD 데이터란? 4개의 서로 다른 센서로 캡처되며 PASCAL VOC와 비슷한 규모로 10,000개의 RGB-D (D는 Depth 정보)이미지를 포함합니다. 전체 데이터 세트는 조밀하게 주석이 달려 있으며 정확한 객체 방향이 있는 146,617개의 2D 사각형과 58,657개의 3D 바운딩 박스, 장면에 대한 3D 공간 레이아웃 및 범주를 포함합니다. 이 데이터 세트를 사용하면 검출작업을 위해 데이터가 많이 필요한 알고리즘을 훈련하고, 직접적이고 의미 있는 3D 매트릭을 사용하여 평가하고, 소규모 테스트 세트에 대한 과적합(overfitting)을 방지할수 있습니다. 그래서 실내 딥러닝 3D Detection 을 할때 가장 많이 사용되는 데이터셋중 하나입니다. 오늘은 이 데이터셋을 다루는 법을 ..
FCAF3D(딥러닝 모델) 논문 리뷰 및 분석 사과를 3D로 감지하기 위해서 딥러닝 모델을 선정하였는데 SUNRGBD(벤치마크) 데이터셋에서 2022년 1월까지 가장 성능이 좋았고(state of the art) 복셀을 이용한 방식으로 pointcloud만으로 빠르게 객체를 감지하는 등 강점이 있는 모델이라 최종선정 하였습니다. (선정과정에서 10편이상의 논문을 보고 다른 모델들도 돌려보았지만 사과에 대한 이 모델의 성능이 월등히 좋았습니다.) 참고로 SUNRGBD 데이터셋은 3D Detection의 정확도를 평가할수 있는 척도로서 이용되는 데이터셋으로 총 만개이상의 실내 물체에 대한 데이터이고 가장 유명한 데이터셋중 하나입니다. 이것에 대해 다음 포스팅에서 자세히 설명하겠습니다. 논문의 출처는 다음과 같습니다. FCAF3D: Fully Convol..
3D Object detection_사과 검출 및 수확(종합설계) 안녕하세요. 이번 포스팅부터는 제가 매우 흥미롭게 연구도 해보고 우수상도 탔었던 종합설계(졸업작품)에 대해서 전반적인 리뷰를 하겠습니다. 바로 딥러닝을 이용한 3D Object detection 입니다. 물체를 3D로 감지하기 위해선 jpg처럼 단순히 픽셀 데이터뿐만 아니라 Pointcloud라는 데이터 형식을 잘알아야 합니다. ● Pointcloud 위 자료는 실재 실험에 사용했던 매트랩 파일을 열어본 사진입니다. 순서대로 x좌표 y좌표 z좌표 R G B 값입니다 이런식으로 pointCloud는 총 6개의 데이터로 공간에서 점한개를 표현합니다. 그리고 위 데이터를 ply파일 형식으로 보면 3차원 입체로 돌려가면서 물체를 관찰할수 있습니다. 위 사진은 meshlab이라는 어플로 pointcloud를 불러..