基板の外観検査において、電極が薄膜の場合、結晶構造が不規則となり同軸照明で撮像すると反射特性の差がムラとなって表れることがある。このムラのため異色欠陥を見つけることが困難となる。ムラは基板に照射する光の角度と光の強さを最適化することで軽減できる。しかし、これには経験を持った作業者でも時間がかかるため、自動化するための方法が考案されている。従来方法ではパラメータとして取り得る組み合わせを間引いた後に終了条件を満たすまで総当たりにて最適化を行うが、照明パラメータ数に比例して最適化時間がかかるという問題があった。本論文ではムラのない照明パラメータを、段階的探索により、自動的かつ高速に求め、さらに従来方法と比べ分離度・誤検出を改善する方法を提案する。

1．まえがき

近年、自動車市場にてADAS（先進運転支援システム）や自動運転が一般的なものとなってきている。これらの機能は車載基板（以降、基板と呼ぶ）により制御されており、故障が人命に影響を与える可能性があることから、ゼロディフェクト（不具合ゼロ）が求められている。
これらの基板は、これまでの様に抜き取りではなく全数検査が求められており、基板上の異物についても走行中の振動により端子間のショートによる故障の原因となることから機能的な確認に加え外観上の検査についても重要となる。従来の外観検査では、検査員が基板を様々な角度に傾けることで光の当て方を変えながら目視で外観検査を行ってきた。しかし、人による検査は検査員のスキルや疲労の影響により品質を一定に保つことが困難であることから外観検査機による自動検査ニーズが高まりを見せている。
外観検査機は、カメラ（レンズ）、照明を内蔵しており、これらを基板や検査したい欠陥に合わせてパラメータ設定する必要があり、これらの一つに照明パラメータがある。照明パラメータは基板に照射する光量を決めるものである。
オムロンの外観検査装置VT-M12シリーズでは照明としてMDMC（Multi-Direction, Multi-Color）（図1）を搭載している。MDMC照明の特徴として、検査員が基板を傾け光の当て方を変えるのと同じように、基板に当てる光の方向を13方向（同軸照明＋3段ドーム照明×4ブロック）に分けて変えることができる。MDMC照明は、光の方向に加えて光の強さ（RGB（計3波長、各127段階））を変えることができ、13方向×3波長で計39ch（チャンネル）の照明パラメータとして入力する。これらを基板や検出したい不良に応じて設定を行う必要があるが、組み合わせは127³⁹通りと膨大であり、照明パラメータを決めるために は、照明パラメータを変えながら試行錯誤しなければならず、知識や経験を持った作業者でも時間を要する作業であり、スキルレス化と時間短縮が求められている。

これらの課題解決の手段として照明パラメータを自動的に求める取り組みがなされている。この取り組みの一つとしてシミュレーションによってBRDF（Bidirectional Reflectance Distribution Function、双方向反射率分布関数）を計測し照明パラメータを求める方法があるが、BRDFを完全に計測するには、検査対象に対してあらゆる方向から照明したときの反射光をあらゆる視線方向から観測しなければならないが、これを実現することは物理的に困難である^1）。このため検査対象表面を一様な反射特性と仮定し、反射係数をパラメータとして与えることで問題を簡単化する方法^2）3）があるが、不均一な材質から構成される検査対象からBRDFを求めるのは困難である。別の方法として照明パラメータの最適な条件を定義し照明パラメータを順次変えながら、実験的に点灯させることで評価値を求め、最も評価値の良い照明パラメータに決定する行澤^4）らの方法がある。しかし、この方法は組み合わせの数に比例して処理時間が長くなるため、MDMCのように組み合わせが多い場合には、照明パラメータを決定するまでに時間がかかる問題があった。この対策としてサンプリング数を減らすことで処理時間は短くできるが求めた照明パラメータの評価値が低くなる。
本論文では実験的に照明を点灯させる方法をベースに最適化を疎探索と詳細探索の2段階に分けることで、短時間かつ高精度に照明パラメータを決定する方法を提案する。

2. 技術内容

2.1 概要

図2 にて照明パラメータ決定までの流れを示す。検出したい欠陥のある基板を仮の照明パラメータで撮像する（図2（a））。この時の照明パラメータは画面上で欠陥と良品が目視で識別できれば良く、自動決定する照明パラメータに影響しない。次に欠陥と良品の場所（領域）を指定する（図2（b））。ここで指定した領域を対象として照明パラメータの決定を行うが、照明パラメータが最適であるかどうかは、検査時に画像に対してどのようなアルゴリズムで良品、不良品の判定を行うかによって異なる。つまり、照明パラメータの良し悪しを判断する評価軸を定義する必要がある。ここでは例として濃度差で良品・欠陥を判別するアルゴリズムとし、照明パラメータの組み合わせの中で良品と欠陥の濃度差（評価値と呼ぶ）が最大となるものを最適な照明パラメータとする。

照明条件の組み合わせはMDMCの場合、0 ～ 127 段階で12chのため127³⁹通りとなる。つまり照明パラメータの決定はこの中から良品と欠陥の濃度差が最大となるパターンを探すことになるが、1回の撮像、濃度差を求めるのに0.07秒かかるとすると1.1×10⁸²（127³⁹×0.07）秒となり現実的な時間で終えることができない。そこで、組み合わせの中からN個の組み合わせをサンプリングし、N個の照明パラメータの組み合わせの中から仮の最適な評価値を求める（これを疎探索と呼ぶ）（図2（c））。ここで求めた評価値の照明パラメータの近傍を探索することで照明パラメータを決定する（図2（d））。

2.2 評価軸、評価値の定義

照明パラメータを決定するにあたり、何を以て最適とするかを決める評価軸を定義する必要がある。これはどのようなアルゴリズムで良品、不良品の判定をするかによって評価軸は異なる。
外観検査において代表的な欠陥である異色欠陥を例にする。これは、基板上にはんだくず等、設計に含まれていないものが基板に付着している欠陥である。このような欠陥を検出する場合に最も単純なアルゴリズムは2値化である。つまり、良品部分の濃度と欠陥部分の濃度を特徴量とした方法で、誤判定なく判定するには、良品部分と欠陥部分に濃度差が必要となる。式にすると下記となる。ここでは説明を簡単にするため画像はグレイスケールで良品部分と欠陥部分に濃度のばらつきはないものとする。

（1）

ここでは良品部分の画素値の平均濃度、は欠陥部分の画素値の平均濃度、は評価値となり、大きいほど良く分離できており良い照明パラメータということとなる。
つまり、評価値は欠陥検出アルゴリズムにとってどれだけ良品、欠陥を判別し易いかを式としたものと言える。

2.3 疎探索

疎探索とは、膨大な照明パラメータの中から最適照明パラメータの近傍値を求める処理のことである。
照明パラメータの組み合わせはMDMCの場合127³⁹と膨大であるため、制約条件を設けて組み合わせを削減する。
MDMCのドーム照明は上／中／下段4ブロックに分かれているがこれらをまとめて1ブロックとして扱う、さらに組み合わせの数を減らすため、RGBを一律に変化（＝白色）と言う制約条件を加える、つまりRGBの3chをまとめて1ch（グレイスケール）として扱うことで全39chを4ch（同軸／上／中／下段、白色）に削減する。これにより127³⁹通りから127⁴通りとなる。さらに、光の強さ127段階のうちN個をサンプリングする。Nはパラメータであり小さくするとサンプリング数が減り時間を短くできるが、局所最適な値となる。サンプリング方法は、光の強さ0～127段階をN段階となるよう均等割りした方法、即ち光の強さを128÷（N－1）段階刻みで変化させる方法である。本論文ではN＝5とし、32｛128÷（5－1）｝段階刻みで変化させる、つまり光の強さを0, 32, 64, 96, 127（本来128であるが上限が127であるため丸め）と変化させる。これにより127¹²通りから5⁴通りとなり、この照明パラメータの組み合わせの中から最適値を求めるのに必要な時間は1回の評価値を求める時間が0.07秒とすると、約43秒（5⁴×0.07秒）となり、まずこの中で仮の最も高い評価値を求める。
つまり、疎探索の意味は、評価値のピークは組み合わせの中で1つ（図3（赤丸））であるが、ピークに近い値（ここでは山と呼ぶ）は複数存在する（図3（緑丸））。疎探索とは、最も高い山を見つけるための処理である。

2.4 詳細探索

疎探索で求めた照明パラメータはサンプリングした組み合わせの中から求めており、評価値のピーク（以下、最適値）でない可能性があることから、最適値を探索する。基本的な考え方としては角度4ch、それぞれに光の強さが127段階であるため大きさ128の4次元空間とし、この中から最適値を見つける問題と考える。疎探索で最適値の近傍がわかっていることからこれを起点に探索処理を行う。
図4を例に処理の流れを説明する。図4は縦軸が光の強さ、横軸はch（照明角度）である。疎探索で求めた照明パラメータを図4（a）の赤線とする。疎探索にてサンプリングはN＝5の時32の倍数段階毎に変えているので、赤線の±32段階の範囲に最適値がある。最適値を2分探索法の考え方で求めていく。まず、±32段階の半分の±16を初期値として探索幅（図4（a）黄色矢印）にする。次に各chの仮最適値（赤線）の＋探索幅、0、－探索幅の評価値を求め、最も小さい評価値の照明パラメータを次の仮最適値とする（図4（b）赤線）。これを探索幅が1以下になるまで繰り返す。この時、評価値を求める回数は次式となる。

（2）

ただし、はch数（本論文の場合4ch）、は疎探索で変化させる段階（本論文の場合32）とする。
1回の評価値（撮像含む）を求める時間が0.07秒とすると28秒で最適値が求まる。

3. 性能評価

3.1 評価方法

提案方法の性能評価として評価基板を用いて従来方法^1）との比較を行った。使用した基板、評価機材を下記に示す。

表1　評価環境

評価基板	パワーMOSFET（異色欠陥あり）
画像センサ	形FH-5050
照明	形FL-MD180MC（MDMC照明）
カメラ	FH-SCX12
レンズ	OMR-THV0575-220_S （画素分解能6m/pixel）

評価基板の検査項目は異物（異色欠陥）、変色、はんだボールとし、評価軸については良品と不良の判定はHSV色空間での色相・彩度・明度を特徴量として、閾値にて判定（2値化）する単純かつ高速なアルゴリズムとした。このアルゴリズムとしたのはFA現場では検査時間が検査コストに影響することから、高速なアルゴリズムが求められているためである。評価軸には、判別分析法^5）と同様に、良品部と欠陥部の濃度のクラス間分散とクラス内分散比によって分離度を求めこれを評価値とする。即ち下記の式にて評価値（分離度）を求め、評価値が最大の照明パラメータを採用する。

クラス間分散

（3）

クラス内分散

（4）

分離度

（5）

ただし、はそれぞれ良品部と欠陥部の画素数、,はそれぞれ良品部と欠陥部の平均濃度（RGBをグレイスケールに変換後計算）、はそれぞれ良品部と欠陥部の分散を意味する。
ただし、良品部又は欠陥部にハレーション（光量が強すぎることにより濃度値が飽和する現象）起こしている場合（グレイスケール化後の平均濃度240以上）は濃淡の情報が失われることから評価値0とする。
領域指定については図1（b）の様に欠陥の内側を欠陥領域とし、良品部は欠陥領域を含まないように領域を選択した。
従来方法の抜き取りは疎探索がN＝5、N＝11、提案方法は疎探索N＝5と詳細探索の組み合わせとして、サンプル基板での評価値、誤検出、処理時間にて評価を実施した。

3.2 評価結果

検査項目、異物、変色について従来方法（N＝5）は処理時間が42秒であるが分離度も低くそれぞれ0.13、0.01であり、2値化後に3画素以上の黒色を欠陥としたアルゴリズムで色相・彩度・明度を閾値として良品と欠陥を判定した場合、閾値を調整しても異物1箇所、変色6箇所を誤検出した（表2 従来方法（N＝5））。提案方法（N＝5）では、処理時間が69秒となったが、分離度がそれぞれ0.22、0.04に上がり、異物、変色について誤検出が0となった。参考として従来方法ではN＝11にすると誤検出はなくなったが、処理時間は1144秒となった。また、はんだボールについてはいずれの方法でも誤検出は発生しなかった。これらの結果から、提案方法では、従来方法と比べ処理時間の伸びを抑え、分離度、誤検出を改善できている。

※疎探索と詳細探索の合計時間

4. むすび

本論文では自動的かつ、従来方法（N＝11）と比べて高速に照明パラメータを決定可能なアルゴリズムを提案した。今回、車載基板及びMDMCを使用し評価を行ったが、本技術はこれらの検査対象物や照明に限定されるものではなく、照明は光の強さや角度をパラメータとして設定可能であれば適用可能である。今後の展望としては、グレイスケールに限定する制約をなくし、色差を特徴量とする判定アルゴリズムにも対応することを検討している。

参考文献

1）

福田悠人、川崎洋、久野義徳、古川亮．実3次元物体の表面反射特性パラメータの効率的推定手法．IPSJ SIG Technical Report. 2010, p.1234-1241.

2）

Phong, B. T. Illumination for computer-generated images. Proc of Special Interest Group on Computer GRAPHics （SIGGRAPH’75）.1975, p.311-317.

3）

Zhang, Z.; Yoshioka, H.; Ren, S.; Akiduki, T.; Miyake, T. Optimization of light source position in apperance inspection system for specular reflection surface. ICIC International 2017. 2017, p.575-589.

4）

行澤大悟、緒方大樹、高田俊之、植山剛、太田順．“ピッキングを対象とした撮影環境を含む画像認識システムの自動設計”．2016 年度精密工学会春季大会学術講演会講演論文集．2016, p.155-156.

5）

大津展之．判別および最小2乗基準に基づく自動しきい値選定法．信学論（D）．1980, Vol.J63-D, No.4, p.349-356.