3D machine vision blog - Zivid

全新ZIVID SDK 2.7版本正式发布,带来更加惊叹的用户体验

Written by xiao jiang | 2022-06-27

我们最新发布的SDK 2.7版本引入了一些新的和改进的功能,从而让Zivid 3D相机拥有更加优异的表现。即使面对最为复杂的场景,我们也始终坚持不懈地致力于让Zivid 3D彩色相机提供更令人惊叹的效果。保持Zivid的易用性也是摆在我们面前的问题。正如您将看到的,此次更新的SDK2.7版本忠实的遵循这一承诺。

关于反射

无论您在哪个行业工作,闪亮和高反射部件都可能给机器视觉带来终极挑战。特别是需要视觉引导机器人时,真正的视觉能力可能最终决定了项目的成功或者失败。当我们考虑到光打在一个非常有光泽或镜面状的表面时所发生的事情,就不会感到奇怪,虽然人类可以用自己的眼睛看到,但也是以眩光和镜面反射的形式。有时我们会使用其他工具,比如偏振光太阳镜,但是机器视觉呢?

幸运的是,我们拥有最好的人工智能技术,能够适应和理解这些反射和扭曲的图象数据和物体位置。人工智能和机器学习已经走过了很长的路,但从一开始就给它们提供最佳质量的数据才是很有价值的。我们设计了一些工具来帮助更接近真实世界的数据,我们的新反射过滤器就是这样一个例子。某种程度上,您可以把它简单理解为一副3D视觉的专用眼镜。

Fig 1. Ghost planes produced by reflections with shiny objects. 

消除错误的幽灵墙

对3D视觉来说,我们使用二维传感器生成三维点云。要做到这一点,需要结合不同的技术,从特殊的结构光模式到传感器的高分辨率捕获,再到GPU中的复杂计算。反射和相互反射的不可预测性可能会造成所谓的幽灵墙的平面。当查看点云时,可以很容易地识别重影平面,如图1所示。它们垂直于相机的垂直轴,似乎在空中悬停。

作为人类,我们可以很容易的知道这些平面在真实的世界是不存在,这些点是不正确的数据。然而,当前的软件和检测算法并没有办法知道这点。为了解决这个问题,我们需要找到能够过滤掉这些伪影的方法,以便为探测或其他应用提供高质量的精确数据

简而言之,我们通过使用这种全新的反射过滤器来消除这些幽灵墙,同时保证真实数据的完整性,还有很重要的一点,它的处理速度更快。因此,在能够在更短的时间内获得更好的数据信息。还有什么比这更好的呢?

过滤器的设置

我们成功开发的过滤算法,可以识别这些幽灵墙何时出现并将它们移除。这非常有效,但与所有过滤器一样,您必须设定一个理想数值。如果过滤过于激进,则可能过滤掉场景中的其他有效数据,如可能悬停的细边或线。使用模拟滤波器,可以对每个应用程序微调这一点,从而找到两者之间最佳的点。对于场景中的小而薄的对象,如细管道、导线和容器边,我们有局部过滤器。对于高反射和极有光泽的区域,我们有全局过滤器。

Settings::Processing::Filters::Reflection::Removal::Experimental::Mode 在这里我们可以设置全局过滤器或局部过滤器

全局过滤器设置在这两种设置中更激进,可以非常有效地删除幽灵墙,但如果存在细线,则可能也会被删除。

“局部过滤器”设置则更柔和,在多数情况下可以移除大部分的幽灵墙,其设计目的是保留场景中存在的任何细线的有价值数据。 

Fig 2. Before and after use of new reflection filter. 

 

 

 

除了新的反射过滤器,在最新的Zivid SDK2.7版本中还有许多其他令人兴奋的新功能。

HDR拍摄的色彩一致性

如果您需要进一步的微调获得数据的颜色信息,可以通过 Settings::Processing::Experimental::Color::Mode选择2D数据拍照模式的最新功能

通常,HDR拍照是将所有采集的数据拟合在一起进而生成一幅完整的彩色图像。然而,随着实际场景的变化,这有时却会得到不一致的2D颜色数据。最新的颜色模式设置将在持续拍照中为您提供一致的颜色数据。这种一致的2D数据对于探测和深度学习算法至关重要。

热稳定性

在此次更新的SDK版本中,我们引入了一种全新的热稳定模式,这一模式会在相机加热到稳定状态,并尝试保持稳定的状态。从而能够得到稳定的点云数据和可预测的真实性性能。

Zivid标定板的检测位姿

如果您捕获一 张Zivids标定板的点云,现在可以检测并返回标定板的位姿了。这有助于验证手眼标定或将点云的原点转换到标定板上。

我们希望您和我们一样对这些新的功能感到兴奋!当然,不止于此,我们还添加了许多其他改进和对一些问题进行了修复。例如:

  • 更好的支持最新的AMD GPU
  • 基于RDNA架构的GPU可以适配Zivid SDK
  • 缩短HDR拍照时间
  • 缩短Strip Engine拍照时间
  • 以及现在可以通过SDK将标定板返回原始位姿

您可以通过changelog查看相关改善的功能

Knowledge Base 资源

同时,我们也在Zivid Knowledge Base中更新了相关的介绍和示例代码

例如:

您可以在Zivid Knowledge Base 2.7 version history中了解更多有关新功能

您可以在changelog中了解更多改善

我们希望您喜欢并且使用这些新的改善功能