실화상 안내 로봇, Chameleon3를 이용한 토마토 작물 관리

토마토 작물에서 잎을 제거하는 작업은 줄기의 하단부에서 오래된 잎을 손으로 솎아내는 비교적 간단한 절차입니다. 상업적으로 재배되는 토마토 작물의 경우, 이 전지 작업은 토마토의 숙성을 촉진시키기 위해 매주 수행됩니다. 그러나, 작업에 소요되는 노동력은 그 불확실성과 인건비가 높고, 작업 자체가 단조로워 동기 부여된 적극적인 노동력을 확보하는데 어려움이 있습니다. 바로, 이런 문제 때문에 최근 네덜란드의 토마토 재배자 협회는 Priva 소속 자동화 전문가들과 함께 대안이 될 수 있는 솔루션을 개발하였습니다. 그 결과, 협회와 Priva 전문가들은 온실에서 재배되는 토마토 작물을 대상으로 사람이 직접 전지 작업을 수행하는 대신, 경제적인 방법으로 작물 전지 작업을 수행해주는 로봇을 개발하고 최적화하였습니다.

시스템의 설계를 담당하는 Priva 개발팀의 메카트로닉스 설계 엔지니어인 Tomas de Boer 박사는 Kompano Deleaf-Line 로봇의 경우, 기존 튜브 레일을 따라 이동하면서 온실 내부에 일정 간격을 두고 트랙의 양쪽에 있는 토마토 작물 사이를 오간다고 전했습니다.(그림 1). 비전 시스템과 텔레스코픽 커터가 장착된 이 로봇은 각 작물 사이를 순차적으로 이동하면서 오래된 잎을 식별하고 제거합니다.

그림 1. Kompano Deleaf-Line 로봇의 경우, 기존 튜브 레일을 따라 이동하면서 온실 내부에 일정 간격을 두고 트랙의 양쪽에 있는 토마토 작물 사이를 오갑니다. 비전 시스템과 텔레스코픽 커터가 장착된 이 로봇은 각 작물 사이를 순차적으로 이동하면서 오래된 잎을 식별하고 제거합니다.

설계 관련 과제

이 시스템을 개발하면서 Priva의 엔지니어들은 상업용 온실의 엄격한 환경 조건에서도 주야간으로 임무를 수행 할 수 있는 비전 기반 로봇 시스템을 만들어 내야만 했습니다. 따라서, 시스템은 모두 초록색인 잎 중에서 적운 잎자루(토마토 잎을 줄기와 연결시켜주는 부분)를 식별 할 수 있어야만 했습니다. 또한, 다양한 조명 조건(주간의 밝은 햇빛부터 야간의 인공 조명까지)에서 문제 없이 작동 할 수 있는 역량을 갖추고 있어야만 했습니다.

이러한 과제들을 해결하기 위해, 개발자들은 텔레스코픽 커팅 암(telescopic cutting arm)과 함께 이동식 플랫폼에 장착된 한 쌍의 입체 카메라를 활용하여 비전 시스템을 구축하기로 결정했습니다. OnSemi 1280 x 1024 해상도의 Python 센서를 탑재한 2쌍의Chameleon3카메라로 구성된 맞춤형 카메라는 각 토마토 작물의 좌측부터 우측까지 넓은 시야각을 확보해줍니다.(그림 2).

그림 2. 로봇을 위해 개발된 비전 시스템은 텔레스코픽 커팅 암과 이동식 플랫폼에 장착된 1쌍의 입체 카메라를 활용합니다. OnSemi 1280 x 1024 해상도의 Python 센서를 탑재한 2쌍의 Chameleon 3 카메라로 구성된 맞춤형 카메라는 각 토마토 작물의 좌측부터 우측까지 넓은 시야각을 확보해줍니다.

"각 쌍의 입체 카메라가 온실 속 조명 조건과 관계없이 토마토 작물을 대상으로 신뢰 할 수 있는 화상을 캡처 할 수 있도록 하기 위해서 시스템은 작물을 비추는 제논 섬광등을 활용합니다. 이 섬광등이 2초 간격으로 빛을 방사하면, 각 입체 카메라는 30 마이크로초 간격으로 화상을 노출합니다. 이를 통해 해당 시스템은 매번 균일한 화상 세트를 캡처 할 수 있게 됩니다"라고 de Boer 박사가 밝혔습니다.

2대의 입체 카메라가 1쌍의 화상을 촬영하면, 이는 USB 인터페이스를 통해 오픈소스 운영 체제인 Ubuntu와 다양한 플랫폼을 활용해 로봇 응용 프로그램을 개발 할 수 있게 도와주는 오픈소스 소프트웨어 체제인 로봇 운영 시스템(Open Source Robotics Foundation에서 운영)를 실행하는 PC로 전송됩니다.

시스템 소프트웨어

시스템은 OpenCV에 내장된 맞춤형 화상 처리 기능을 활용하여 과거 토마토 재배자 농가들이 정의한 특정 높이 범위 내의 토마토 작물에 붙어있는 잎의 위치를 확인하기 위해 2대로 구성된 카메라 세트가 촬영한 화상을 처리합니다. 잎의 위치가 확인되면, 시스템은 화상 처리 소프트웨어를 통해 로봇 암(arm)의 끝에 있는 이펙터를 조종하여 절단해야 하는 잎자루의 위치를 3차원 좌표로 정확히 계산해냅니다.

화상 처리 소프트웨어에 의해 생성된 좌표 데이터는 로봇 운영 시스템 (ROS) 으로로 전달됩니다. 그 다음, 로봇 운영 시스템 (ROS)은 텔레스코픽 로봇 암을 작물의 정확한 위치로 움직여 주는 모터에 전원을 공급하는 지능형 서보 드라이브로 해당 데이터를 전송합니다. 데이터가 목적지에 도달하면, 이펙터는 토마토 작물에서 원하는 잎자루를 잘라 잎을 제거합니다(그림 3).

1쌍으로 구성된 입체 카메라는 로봇 암과 동일한 플랫폼에 장착되어 있기 때문에 암이 특정 위치에 있는 잎자루를 자른 후에 이동을 하면, 카메라도 새로운 위치로 이동하게 됩니다. 거기에서, 카메라는 다른 시점에서 식물의 화상을 추가적으로 촬영합니다.

"이렇게 획득한 새로운 화상들 전지 작업과 함께 처리되어, 후속 작업에서 제거해야 할 잎을 추가적으로 확인해줍니다. 이 절차는 작물에 더 이상 제거해야 할 나뭇잎이 보이지 않을 때까지 반복됩니다. 최종적으로 작물을 검사한 후, 더이상 제거 할 잎이 없으면, 로봇은 해당 작물에 대한 전지 작업 마무리하고 트랙을 따라 온실 내 다른 작물로 이동합니다"라고 de Boer 박사가 전했습니다.

그림 3. 화상 처리 소프트웨어가 토마토 작물의 잎자루 위치를 파악하면, 시스템은 해당 데이터를 기반으로 로봇의 텔레스코픽 로봇 암을 필요한 위치로 이동시킵니다. 데이터가 목적지에 도달하면, 이펙터는 원하는 잎자루를 잘라 잎을 제거합니다

마무리

현재 Kompano Deleaf-Line 소속 개발자들은 네덜란드의 토마토 재배 농가로 구성된 컨소시엄 회원들과 협력하여 시스템의 양산 전 초도품을 완성했습니다.
Priva와 협업한 회원들의 경우, 내년 초에 시스템이 완성되면 가장 먼저 로봇을 도입하게 될 것입니다. 컨소시엄의 로봇 주문량에 따라, 다른 토마토 재배 농가들도 2017년 6월부터 시스템을 도입 할 수 있을 것으로 예상됩니다. 올해 6월 현재, 인터넷을 통해 사전 주문도 가능합니다.

도입 시, 전지 로봇은 줄기 부분에 있는 잎의 밀도에 따라, 0.75-1 헥타르 면적 내의 토마토 작물을 담당 할 수 있을 전망입니다. 대규모 시설을 운영하는 재배 농가의 경우, 로봇을 여러 대 사용하거나 자동화 시스템을 수작업과 병행하는 방향으로 로봇을 도입 할 수 있습니다.

de Boer 박사는 이 토마토 전지 로봇이 원예 시장을 위해 회사가 개발 할 다양한 유형의 로봇 중 첫 번째 제품이 될 것이라고 밝혔습니다. 향후, 차세대 시스템들은 오이와 같은 채소의 수확 등 노동 집약적인 작업을 자동화해 줄 수 있을 것으로 기대됩니다.

Priva Group 소개

Priva는 성장을 위한 환경을 조성해주는 기업입니다. 특히, 환경 조건 및 공정 관리의 최적화를 위한 기술 개발과 생산에 앞장서고 있습니다. 또한, Priva는 소프트웨어, 하드웨어, 서비스를 결합하여 원예, 건물 자동화 등 여러 시설에서 사용 할 수 있는 솔루션을 제공합니다.
 www.privagroup.com