로봇팔을 이용한 사과 자동수확(스마트팜) 최종 딥러닝 프로젝트

지금까지 설계했던 전체 시스템을 시연해보고 결과에 대해서 리뷰하도록 하겠습니다.

 

End-To-End 시스템

1. 로봇팔과 연결된 가운데 모니터는 Realsense의 SDK 화면이고 pointcloud(ply) 파일을 생성하고 저장과 동시에 자동으로 서버 컴퓨터에 전송이 됩니다.
2. 오른쪽에 서버 컴퓨터에서는 훈련된 모델에 직전 전송된 데이터를 입력하여 결과를 생성합니다.
3. 그 결과는 곧바로 로봇팔로 전송되어 로봇팔은 사과를 수확합니다.

이제 동영상으로 보시겠습니다.

 

 

데모 영상

데이터를 전송해주는 부분을 제외하고 나머지 과정들을 모두 자동화하였습니다.

좀더 자세히 결과를 분석해보겠습니다.

 

아래는 수확하기 전 상태에 대해 자세히 설명한 사진들 입니다.

 

	로봇팔에서 얻은 사과 데이터(pointcloud)
수확하기 직전 모습	딥러닝 모델로 부터 얻은 예측 결과

 

딥러닝 모델로 부터 예측된 바운딩 박스과 함께 얻은 정보들은 txt 파일로 로봇팔로 전송이 됩니다.

 

txt 파일 내용

딥러닝 결과로 생성된 txt 파일

순서대로 x,y,z좌표, width, length, height, roll각도(회전) 입니다.

동영상으로 자세히 보시겠습니다.

 

 

 

마지막으로 연구결과를 정리한 표를 확인해보록 하겠습니다.

 

연구결과: Experiment

구조 변경 모델들간 성능 비교

• 복셀 크기가 작을 수록 감지 성능이 좋으나 연산량이 많아져 감지 속도가 느려집니다.
• 스택 구조의 단계가 적을수록 연산량이 줄어들어 감지 속도가 빠르나 정확도는 떨어집니다.

위 뒤가지 Trade-Off 관계에 있는 파라미터를 적절히 조합한 결과들중에서 3단계의 스택 구조와 복셀 크기가 0.005인 Modified FCAF3D가 가장 성능이 좋고 속도도 원래 모델에 비해 8% 증가하였습니다.

 

연구결과: 과정마다 시간 분석

각 과정들마다 걸린 시간은 아래 표와 같습니다.

 

시간 분석

 

연구의 의의와 향후 연구방향

• 사과를 높은 정확도로 3D 검출하는데 성공하였습니다.
• 사과뿐만 아니라 귤,감과 같은 다른 과일에 대해서도 적용이 가능합니다.
• 로봇팔과 딥러닝 서버간의 통신을 통해서 실시간 농작물 수확의 자동화가 가능하고 이는 미래에 노동력 부족 문제를 해결할수 있습니다.
• 향후 연구에서는 3D 공간에서 움직임이 제한적인 로봇팔의 단점을 극복하기 위해 드론에 3D 카메라를 장착하여 보다 움직임이 자유롭고 생산 효율성을 높이는 방향으로 농업의 자동화 실현할수 있습니다.

 

마치며

이것으로 1년간의 종합설계(capstone design) 프로젝트가 끝이 났습니다. 끝이 났을때는 시원함보다는 허전함이 크게 느껴졌습니다. 매일 이 프로젝트에 대해 고민하고 어떻게하면 성능을 높힐까만 생각할 정도로 몰입한것이 정리가 되니까 이제 어떤 프로젝트를 해야하지 하면서 고민하는 시간이 있었던것 같습니다. 그만큼 이 프로젝트는 제 인생에서 가장 몰입했고 중요했던 것이였습니다. 처음에는 생소한 딥러닝을 하면서 막히는 부분도 많아서 힘들어하고 연구실에서 밤을 샐때도 많았습니다만 그때마다 연구실분들도 조언해주고 또 구글에서 낯선 영어로 검색하고 해결하는 능력이 점점 생기면서 막히는 시간이 점차 줄어드는것을 느꼈고 문제가 하나씩 해결될때마다 생기는 성취감이 더욱 앞으로 나아가게 했습니다. 생각해본데로 수정도 하고 아이디어도 떠올리면서 이런 과정들을 즐기게 되었고 흥미를 느꼈습니다. 이 연구로 우수상도 수상하였고 또 이 경험은 앞으로 제 진로를 어떻게 할지에 대해 확신을 주었습니다.

감사합니다.