人間は、日常生活の中で最もシンプルなタスクをこなす際にも、いかに多くのフィードバックに頼っているかを普段は意識しません。コップの水を飲む動作から道を歩く動作まで、私たちは絶えず自分の動きを調整しています。視覚フィードバック、圧力フィードバック、そして過去の経験を活用し、最善の動作経路と選択を行っています。
人間は非常に複雑なシステムであり、地球上で最も優れた学習機械です。考えてみてください。壁の近くに立っているとき、腕を伸ばせばその壁に触れるかどうかを、目と手の位置関係から瞬時に判断できます。ロボット工学においては、この目と手の関係性を「ハンドアイキャリブレーション」と定義します。
Zivid のカメラは高品質な計測機器です。しかし、どれほど精密で現実に忠実な点群であっても、ロボットとカメラの位置関係が定義されていなければ何の役にも立ちません。産業自動化の世界では、3D カメラとロボット間のハンドアイキャリブレーションは、正確かつ効率的な動作を確保するために不可欠です。
この記事は、オンデマンドウェビナーの要約です。ハンドアイキャリブレーションに関する詳細な知見はウェビナーでご覧いただけます。
目次
まず、ハンドアイキャリブレーションが不正確な場合に何が起こるかを考えてみましょう。精度の低い3D カメラに依存するロボットは、位置決めや動作において重大な不正確さが生じる可能性が高くなります。その結果、生産性の低下やシステムの停止を招くことがあります。場合によっては、ロボット本体や取り扱う商品に損傷を与え、高額な修理・交換費用が発生することもあります。
ハンドアイキャリブレーションの不具合による隠れたコストは、生産効率の低下や設備損傷にとどまりません。精度の低いシステムから生じる不正確さは、最終製品の品質にも影響を及ぼします。例えば自動車産業では、ボディパーツのアライメントにわずかな誤差があるだけで、塗装品質や表面仕上げに重大な問題を引き起こす可能性があります。
不適切なハンドアイキャリブレーションは、安全リスクの増大にもつながります。3D カメラとの位置合わせが正確でないロボットは、障害物に衝突したり、作業者に危害を加えたりする可能性が高くなります。ロボットが人間の近くで稼働することが求められる危険な作業環境では、特に注意が必要です。
現在、各社がそれぞれ独自のハンドアイキャリブレーション手法を開発しています。ロボットシステム全体のキャリブレーションを求めるための統一された標準規格は、まだ存在していません。チェッカーボード上の3点を使う企業もあれば、球体を使う企業もあり、あらゆる角度から見ても異なる形状に見える独自の3D オブジェクトを考案した企業もあります。最も一般的なソリューションの一つは、チェッカーボード全体をターゲットとして使用する方法であり、Zivid でもこの方法を採用しています。私たちは2D および3D の両方のコーナーを使用して、ハンドアイキャリブレーションの解を求めています。
カメラとロボット、そしてワールド座標系との間の関係を最適に算出する方法は、継続的に研究が行われているテーマです。データキャプチャのための最適なポーズ、最適な最適化手法、そして最適なキャリブレーションターゲットの選定については、今なお議論が続いています。私たちが推奨するキャリブレーションターゲットは Zivid のチェッカーボードです。堅牢で使いやすいキャリブレーションターゲットを設計するために多くの時間をかけており、見た目もなかなか洗練されています。
Zivid によるハンドアイキャリブレーションプロセスの動画
Zivid では、ユーザーが最適なハンドアイソリューションを得られるよう手法の継続的な改良を進めるとともに、ハンドアイキャリブレーションプロセスの自動化についても取り組んでいます。この方針のもと、ハンドアイプロセスの保存と自動化を支援するサンプルチュートリアルも提供しています。RoboDK を使った最新チュートリアルもご確認ください。このチュートリアルは、RoboDK のオンラインライブラリに収録されているあらゆるロボットモデルに対応しています。
𝐴𝑋=𝐵𝑍
Zivid API は、対象カメラがキャプチャした点群とロボットのポーズを入力として受け付けるインターフェースを提供しています。このデータセットを使用することで、ハンドアイ問題の最良解を見つけるという難しい作業を Zivid に任せることができます。
ハンドアイキャリブレーションは、生産性が高く信頼性のあるロボットセルを実現するためのパズルのピースの一つに過ぎません。正確なハンドアイキャリブレーションにより、カメラとロボットの関係性が明確になります。しかしハンドアイキャリブレーションを信頼するためには、点群の精密度と真度についても重視することが重要です。点群の正確度への信頼度が高まるほど、より優れたハンドアイキャリブレーションを実現できます。
3D カメラは精密計測機器として、ミリメートルまたはサブミリメートルの正確度でシーンをキャプチャすることが求められます。Zivid Two カメラは、シーンキャプチャにおける寸法の真度誤差が0.2%〜0.3%以下という性能を実現しています。
Zivid の主要な目標の一つは、テクノロジーを直感的に使用・理解できるようにすることです。これはカメラの真度のばらつきを把握できるようにすることにも当てはまります。カメラの真度を把握するために、距離や温度に基づく複雑な計算は必要ありません。真度の値は、カメラが指定する作動距離において、0〜40°C という温度範囲全体にわたって有効です。
最高のパフォーマンスを提供するために、Zivid は Infield Correction も提供しています。高精度なテクノロジーから最善の結果を得るには、常にそのひと手間が重要です。カメラ単体でも十分な性能を発揮しますが、Infield Correction を加えることでさらに精度が向上します。このツールにより、ユーザーはカメラの寸法の真度を確認し、工場キャリブレーションを基準として第2層の補正を行い、さらに厳しい公差に達することができます。
Zivid のキャリブレーションツールについて詳しく知りたい方は、ウェビナー「Achieving Optimal Hand-Eye Calibration」にご参加ください →
カメラの確認が完了しました。ハンドアイキャリブレーションの結果も良好です。ハンドアイキャリブレーションからのフィードバックは、角度と並進のレジデュアル（残差）において良好な値を示しており、高品質なハンドアイ変換が実現できていることがわかります。次のステップは、システム全体を統合して検証することです。そのために Zivid は、GitHub ページで公開しているタッチテストを提供しています。
Zivid ボードを使用したタッチテストの例
タッチテストは、ユーザーがハンドアイ変換を検証するための視覚的なフィードバックを提供します。カメラはハンドアイキャリブレーションで使用した同じチェッカーボードを検出し、定義されたエンドエフェクタ点でチェッカーボードの定義された原点にタッチします。
システムの作動範囲内でチェッカーボードをさまざまな角度・向きに配置することで、異なるロボットアームの姿勢におけるハンドアイキャリブレーションの正確度を検証することができます。これにより、データセットの作成に使用したポーズだけでなく、実際の作動状況でのハンドアイ変換の有効性を確認することが可能になります。
自動化システムを構築するには、多くの複雑な要素を統合する必要があり、現実世界では完璧なものは存在しません。以前、工学の教授が「完璧を設計目標にするのではなく、要件に対して設計する。十分に良いものを設計する」とよく言っていました。では、システムを「十分に良い」状態から機能不全に陥らせる可能性のある誤差の原因について簡単に見ていきましょう。
ロボットメーカーはロボットの繰返し精度を重視していますが、繰返し精度と正確さは別物であり、どちらも重要であることを理解しておく必要があります。ロボットがA地点からB地点の間を移動するとき、どれくらいの確率で同じ場所に行くのか？これでは、C点を見つけたらどうなるのか、その場所にどれだけ正確に行くのかはわからない。
ロボットメーカーは自社製品の再現性（リピータビリティ）に多大な注力をしていますが、再現性と正確度は同じではなく、どちらも重要であることを理解することが大切です。ロボットが地点 A から地点 B へ移動するとき、同じ場所に繰り返し到達できる可能性がどの程度あるか。これは、地点 C を新たに設定したときにその位置へどれほど正確に到達できるかを示すものではありません。
ロボットの TCP（ツールセンターポイント）の定義には[複数の手法があります。多くのロボットメーカーはこのキャリブレーション用の独自の組み込み手法を提供しています。サードパーティのオプションも存在します。例えば、RoboDK には平均誤差・標準偏差・最大誤差などの誤差統計を提供する手法があります。
最後に、検出誤差も考慮する必要があります。これは、カメラが意図した通りに動作し、期待される寸法の真度が確認され、タッチテストでも低誤差が確認された後に検討すべき誤差です。オブジェクト検出アルゴリズムが誤ったマッチングを行う場合があります。これは新しいパーツの追加、異なる照明条件、またはオブジェクト検出アルゴリズムの学習データの問題が原因となることがあります。
ハンドアイキャリブレーションは、自動化システムから最善の結果を得るためのソリューションの一部に過ぎません。より短いサイクルタイムとより精密なピッキングを実現するためには、システム内のさまざまな誤差の原因を評価することが不可欠です。これらの異なる要素を切り分けて真度をテストする手段を持つことで、問題発生時のトラブル解決が容易になります。この考え方を支援するために、3D カメラがシステムに与える影響を切り分けて確認するための Infield Correction ツールを提供しています。また、タッチテストを通じてシステム全体の正確度を検証できるコードも公開しています。
詳しくはウェビナー「[Achieving Optimal Hand-Eye Calibration]をご覧ください。特別ゲストの RoboDK と共にお届けします。