SDK 2.7: 포인트 클라우드 세부 정보를 유지하는 새로운 기능 소개

저희의 최신 SDK 2.7 출시는 지비드 3D 카메라의 성능을 더욱 향상시킬수 있는 새로운 기능을 포함합니다. 이번 SDK 출시를 통해 캡처하기 힘든 장면을 직면했을 때에도 지비드 3D 컬러 카메라를 통해 뛰어난 결과를 제공할수 있음과 사용 편의성을 강조하였습니다.

On reflection 

어느 산업 분야에서 일하든, 반짝이고 반사율이 높은 사물은 머신 비전 감지에 궁극적인 문제가 될 수 있습니다. 자동화 로봇의 경우, 제대로 볼 수 있는 능력이 업무 수행에 중요한 역할을 합니다. 빛이 강하거나 거울과 같은 표면에 부딪힐 때 어떻게 반사되는지는 최고의 AI를 갖춘 인간에게는 놀라운 일이 아닙니다. 우리는 이러한 반사와 왜곡이 무엇이며 어디에 있는지 이해할수 있습니다. 그러나 머신 비전은 어떨까요?

AI와 머신 런닝 기술의 발달에도 불구하고 최고의 3D 이미지 데이터를 제공하는것은 자동화 업무 수행에 필수적입니다. 저희는 실제 사물에 더 가까운 데이터를 제공하기 위해 새로운 반사 필터 (Reflection Filter) 기능을 추가했습니다. 사람이 선글라스를 통해 반사와 왜곡 현상을 방지하듯 이 반사 필터는 머신 비전을 위한 선글라스 기능을 합니다.

Fig 1. Ghost planes produced by reflections with shiny objects. 

Exorcising ghosts 

3D 비전은 2D 센서를 사용하여 3차원 포인트 클라우드를 생성합니다. 이를 위해 고해상도 캡처를 통한 특수 구조광 패턴에서 GPU의 복잡한 계산에 이르기까지 다양한 기술 조합이 필요합니다. 반사 및 상호 반사의 예측 불가능한 특성으로 인해 고스트 플레인 (Ghost Planes) 이라는 왜곡 현상이 발생할 수 있습니다. 고스트 플레인은 위 예시와 같이 3D 포인트 클라우드를 보면 쉽게 식별할수 있습니다. 이 현상은 카메라의 수직축에 직각으로 존재하며 겉보기에는 공중에 떠있는 것처럼 보입니다.

사람은 이러한 왜곡 현상이 실재로 존재하지 않으며 잘못된 데이터임을 쉽게 알지만 소프트웨어와 탐지 알고리즘은 이를 에러로 인식하지 못합니다. 이 문제를 해결하려면 머신 비전 필터링을 통해 정확한 데이터를 제공할수 있는 방법을 찾아야 합니다.

저희의 새로운 반사 필터는 고스트 플레인 현상을 줄여 전반적인 성능을 개선할 뿐만 아니라 더 빠른 처리를 달성할수 있습니다.

Filtering options 

저희의 필터링 알고리즘은 다른 여느 필터와 마찬가지로 어느 정도가 적정한지 결정해야 합니다. 만일 반사 필터를 강하게 적용할 경우, 같은 장면에 캡처된 다른 데이터가 제거될수도 있습니다. 고객의 편리성을 위해 저희는 두가지 최상의 옵션을 제공합니다. 가는 파이프, 와이어 및 컨테이너 가장자리와 같이 작고 얇은 물체는 로컬 필터를 사용하실수 있습니다. 높은 반사율과 극도로 빛나는 영역에는 글로벌 필터를 적용하면 됩니다.

글로벌 (Global)과 로컬 (Local)필터를 적용할수 있는 곳: Settings::Processing::Filters::Reflection::Removal::Experimental::Mode 

글로벌 필터 모드는 고스트 플레인을 매우 효과적으로 제거할수 있지만 가는 와이어를 캡처한 경우 이 물체도 같이 제거될수 있습니다.

로컬 필터 모드는 글로벌 필터보다는 약하지만 대부분의 고스트 플레인을 제거하는 동시에 가는 와이어와 같은 물체를 보존하도록 디자인되었습니다.

Fig 2. Before and after use of new reflection filter. 

새로운 반사 필터 외에도 최신 SDK 2.7에는 새롭고 흥미로운 기능이 많이 포함되어 있습니다.

Consistent color for HDR captures 

지비드 카메라로 캡처한 장면의 색상을 좀더 제어해야한다면 2D 데이터를 위한 다음과 같은 캡처 모드를 선택하실수 있습니다.

 Settings::Processing::Experimental::Color::Mode.  

일반적으로 HDR 캡처의 경우, 모든 애퀴지션을 통합하여 하나의 컬러 이미지를 생성합니다. 그렇지만 장면 변경으로 인해 때때로 일관성 없는 2D 데이터를 얻을수 있습니다. 저희의 새로운 Color::Mode 설정은 반복된 캡처를 통해 일관성 있는 색상을 제공하고, 필요에 따라 첫 번째 애쿼지션의 컬러 데이터만 활용도 가능합니다. 이러한 일관성있는 2D 데이터는 특정 탐지와 딥러닝 알고리즘에 매우 중요한 역할을 합니다.

Thermal stabilization

이번 SDK에서는 카메라를 안정적인 상태로 예열하고 유지하는 새로운 열 안정화 모드를 도입했습니다. 이로서 보다 안정적이고 예측가능한 포인트 클라우드 성능을 획득할수 있습니다.

Pose Detection of Zivid calibration boards

지비드 캘리브레이션 보드의 포인트 클라우드를 캡처할 경우 이제 포즈를 감지하고 반환할수 있습니다.

이번 SDK는 여기에서 멈추지 않고 다음 개선 사항과 버그 수정 사항도 추가되었습니다. 몇가지 예를 들자면,

• 최신 AMD GPU에 대한 지원 개선
• RDNA 아키텍처가 있는 GPU를 Zivid SDK에서 실행할수 있습니다.
• HDR 캡처 시간 단축
• Stripe Engine 캡처 시간 단축
• SDK를 통 체커보드의 포즈를 반환 가능

SDK 2.7의 모든 개선 사항은 Changelog를 통해 확인하실수 있습니다.

Knowledge Base resources 

SDK 2.7에 대한 이해와 개발을 돕기 위해 최신 기술 자료를 저희 Knowledge Base에 추가하였습니다: Zivid Knowledge Base 2.7 version history.

• Thermal stabilization (New)
• Cloud Logging (New)
• Reflection Filter (Updated)
• Tonemapping (Updated)

저희 지비드 엔지니어팀은 이번 개선 사항을 통해 고객의 애플리케이션 개발이 좀더 수월하고 빠르게 진행되기를 바랍니다. 그럼 다음 SDK 2.8 출시를 통해 만나뵙겠습니다. 감사합니다!