ハイパースペクトルカメラの原理は、光を数十〜数百の波長に分けて、画素ごとにスペクトルとして記録するところにあります。本記事ではラインスキャン・分光フィルター・スナップショットの3つの分光方式を、波長分解能・撮影速度・対応波長域で比較し、自社の対象物にどれが向くかを判断できる形で整理します。
市場では一括りに「ハイパースペクトルカメラ」と呼ばれて販売されていますが、実は機種や分光方式によって取得できるデータの特徴が異なります。Milk.株式会社は多くの企業様からハイパースペクトルデータの解析をご依頼いただいており、複数メーカーのカメラの特徴を生かしながら、技術の実用化に向けた支援を行っています。その立場から、初心者の方から中級者の方に向けて、定義やトレンド/事例などを含め横断的に紹介します。
1.ハイパースペクトルカメラの定義
実際、ハイパースペクトルカメラには明確な定義や国際基準がありません。あえて、市場に出回っている製品から包括的な定義を考えると「特定範囲の波長帯を数十～数百の波長のまとまりで分割した情報（分光情報）とその位置情報（ピクセル）を同時に取得できるカメラ」と言えます。
初めて知る方にとっては、通常のRGB画像と比べ、「色の情報量が非常に多いカメラ」と考えると分かりやすいかもしれません。上図のように、「可視光」と言われ人間が見えていると認識している光にも、まだ見えていない情報が眠っているということです。
X線などと混同してしまい、「内部が見えるってこと？」というご質問を受けることがありますが、そうではなく、表面の色合いがより細かく見えるカメラです。（厳密には対象物や波長によっては透過しますが）
また、分光方式によっては、連続的な波長情報を取得できないカメラやバンド数が十数のカメラであってもハイパースペクトルカメラと呼ぶケースがあるので、利用をご検討の際にはご注意ください。
スペクトルデータの解析をする立場として、以下にハイパースペクトルカメラというハードウェアに求める要素とその目的を5つにまとめてみました。
求める要素 | 利点 |
①分光情報が連続的に取得可能 | 偏光や蛍光などの光学特性の観測ができる |
②分光精度が高い | 物質固有の吸収を容易に区別できる |
③取得波長範囲が広い | 金属や無機物、有機物など様々な対象物の識別に活用できる |
④撮影速度が速い | 動く対象物にも利用可能 |
⑤取り回しがいい（顕微鏡取り付けや三脚固定が可能） | 従来のカメラと同様のシチュエーションで活用できる |
研究用途や実利用用途など、ユースケースによって必要な要素は分かれますが、ハイパースペクトルカメラ選定の際に参考になると思います。
2.ハイパースペクトルカメラのトレンド
最新の論文やメーカーの製品発表、特許の取得状況などから
ここ10年程度で進行するハイパースペクトルカメラ技術のトレンドについて考えてみました。
以下の３つが大きな柱になると考えています。
①CPU/通信/バッテリーの進化 → スタンドアローン化
②センサー感度向上 → 波長帯域の広がり
③擬似ハイパースペクトルの広がり→ 撮影の高速化
①スタンドアローン化
これは比較的短期的なトレンドですが、最近は小型のCPUでも性能が高く、5Gなどの携帯回線を利用した通信技術も発展しているため、取得した膨大なハイパースペクトルデータを送信しながら撮影を続けるといったことが可能になっていきます。給電の無線化なども進歩しているので、屋外の様々な環境において監視/異常検知目的で利用できるようになると思います。
時系列データの取得も容易になり、数ヶ月分の継続的なデータ取得に基づいた研究なども盛んになると思います。
②波長帯域の広がり
2020年ごろからソニーセミコンダクタソリューションズ株式会社から販売が開始されているInGaAsのSWIRセンサーですが、従来よりも同時取得可能な波長帯域が広がっており、可視光域と近赤外領域の幅広い範囲を同時に取得できるハイパースペクトルカメラが開発できるようになります。これにより、研究が十分進んでいた近赤外分光法の研究結果を用いながら可視光域の分光情報を見ることが容易になり、ハイパースペクトルカメラの利用範囲が大きく拡張すると考えています。
・参考記事 2020年5月12日
業界最小※15μm画素で、可視光から非可視光帯域まで撮像可能な
SWIR（短波長赤外）イメージセンサー 2タイプを産業機器向けに商品化
https://www.sony.com/ja/SonyInfo/News/Press/202005/20-036/
③撮影の高速化
ソフトウェアの力を使いながら、通常の画像に近いデータから、擬似的にハイパースペクトル情報を取得する方法を各メーカーが開発しています。2021年には、擬似ハイパースペクトル画像をRGB画像から生成するイスラエルのスタートアップ「Voyage81」（https://voyage81.com/）が15億ドルの評価額で買収されたことが話題になりましたが、通常のカメラから高速に高感度/高画質なハイパースペクトルデータが取れることは、ハイパースペクトル技術の実用化に大きく貢献します。
国内企業でもPanasonic様の圧縮センシング技術やNTT様のメタレンズも、従来手法のような物理的な分光をすることなく、ハイパースペクトルデータの撮影を行うという点では、類似した開発思想を持っていると言えます。波長帯域によっては精度が落ちることから、現在は可視光の一部の領域に限られていますが、非常に高感度/高精度な撮影ができるため、弊社としても大きな期待を持っています。
・参考記事① 2023年1月26日
世界最高感度*1のハイパースペクトルイメージング技術を開発
https://news.panasonic.com/jp/press/jn230126-1
・参考記事② 2022年10月24日
世界初、通常のデジタルカメラにメタレンズとAIを組み合わせてハイパースペクトル画像・動画の取得を実現する技術を確立～光技術とAIの融合で「普通のカメラ」を「モノの性質が見えるカメラ」に～
https://group.ntt/jp/newsrelease/2022/10/24/221024a.html
全体のトレンドを見ていると、研究用から実用化に向けて、ハードウェアとしてもソフトとしても進歩していく印象を受けています。
3.ハイパースペクトルカメラの種類
ハイパースペクトルカメラの種類に関して、
大きく分けると以下の3種類になると思います。
1)ラインスキャンタイプ
スリットを通した１次元（線）の光を、プリズムや回折格子などの分光器を通して分光し、２次元（面）の画像センサーで捉える方式です。
技術としては最も歴史が古い方式で、波長分解能が高く、ノイズも乗りにくいことが特徴です。
特に工場のライン利用や人工衛星への搭載など、等速で動くものの撮影に最適です。
ただし、画像として撮影する際には、スキャンをする必要があるため、撮影速度が遅い（一枚の画像撮影に数秒～十数秒）ことが難点です。
また、機種によりますが、外部に動作機構（電動ステージや電動三脚など）が必要な機種もあり、カメラ単体の金額とは別で予算を確保する必要がある場合もあります。
2)分光フィルタータイプ
数～十数バンドのマルチスペクトルカメラにもよく使用される方式ですが、特定の波長帯の光だけを通すバンドパスフィルターを使用し、そのフィルターを高速で切り替えながら撮影を行う方式です。
（演劇の照明で使われる色付きのフィルターを次々と切り替えるイメージが個人的にはわかりやすかったです）
最初に決めた波長帯以外での利用ができないことが難点ですが、液晶チューナブルフィルター（LCTF）は、電圧を操作することで通す波長帯を1nm単位で切り替えることができるため、その難点を克服しており、波長分解能が高い高画質な画像を撮影することができます。
ただし、切り替えた後の撮影時間の制約は受けるため、動くものの撮影に向かず、高速撮影が必要な際には波長を絞り込む必要があります。
また、対応波長帯もラインスキャンタイプと比較して狭い傾向にあります。
3)スナップショットタイプ
こちらは、分光フィルター方式の応用と考えると分かりやすいです。
カシャカシャとフィルターを切り替えると全ての波長を同時に撮影できないため、撮影するセンサーの手前にとても小さい、複数種類のバンドパスフィルターを取り付けようというアイデアです。
撮影速度が速く、動作部が必要ないため小型化が可能な点が最大の特徴で、センサー単体でimec社が販売しているため、ここ数年で多くのメーカーが、このセンサーを使用したハイパースペクトルカメラの製造を開始しています。
技術自体は素晴らしいイノベーションだと感じていますが、いくつか難点があります。
まず、フィルターの数を増やしていくと、そこを通る光は少なくなるため、特定の波長帯あたりの光の量が減り、画像が暗くなります。
また、使用できる波長帯が限定されており、連続的でないため、あとから必要な波長帯を選び出すといった運用が難しい部分もあります。
そのため現状は、あくまで事前に使用したい波長帯が選定できている前提での利用になると弊社では認識しています。
どの分光方式を選ぶか｜3方式の判定チャート
3方式は優劣ではなく、対象物が動くか・波長をあとから選び直したいか・どの波長域が要るかで決まります。以下は上の解説を選定の観点でまとめたものです。
確認する条件 | 向く方式 | 理由 |
対象物がコンベア等で等速に動く／衛星・車載で走査できる | ラインスキャン | 走査そのものが撮影動作になる。波長分解能が高くノイズも乗りにくい |
対象物は静止。あとから必要な波長を選び直したい | ラインスキャン／分光フィルター（LCTF） | 連続的なスペクトルが残るため、解析段階で波長を絞り込める |
対象物が不規則に動く／手持ちで素早く撮りたい | スナップショット | 動作部が不要で小型・高速。ただし使用波長は事前に決めておく必要がある |
使いたい波長が可視光を超える（近赤外・SWIR） | ラインスキャン | 対応波長域が最も広い。フィルター系・スナップショット系は狭い傾向 |
照明を強くできない／暗所で撮る必要がある | ラインスキャン／分光フィルター | スナップショットはバンド数を増やすほど1バンドあたりの光量が減り暗くなる |
方式が絞れたら、次は波長域の決定です。可視・近赤外（VNIR）と短波長赤外（SWIR）のどちらが要るかはハイパースペクトルカメラの波長域の選び方で対象物別に整理しています。撮影後のデータ処理はハイパースペクトルイメージングの解析5工程、数バンドのマルチスペクトルで足りる可能性はマルチスペクトルカメラの必要バンド数の判定5基準をご覧ください。
Milk.の国産ハイパースペクトルカメラ「irodori」は、小型・軽量で持ち出しやすく、価格と導入後のサポート範囲を最初に開示する方針で提供しています。
4.ハイパースペクトルカメラの用途/応用事例
最後に、いくつかのジャンルに分けて簡単な事例を紹介させていただきます。
①食品分野 マグロの鮮度
こちらの事例は、マグロの鮮度についての研究です。屋外放置のマグロの切り身と冷蔵保存したものとを比較し、時間経過によってどのようにスペクトルに変化が出るかを観測したところ、点線で囲っている特定の波長帯（625nm付近）に変化が出ることがわかりました。これにより、鮮度を数値化できる可能性が出てきます。
②インフラ分野 ホテル外壁のサビ可視化
こちらの事例は、ホテルの老朽箇所の特定に関する簡易的な解析ですが、通常の画像解析だと検知の難しいサビのみの可視化を、教師データを必要とせず、一枚の画像から行っています。ここからグレードごとの数値化を行うことで、定期撮影により、メンテナンスの必要な箇所を広範囲から絞り込むことが可能です。
③美容分野 ファンデーションの塗布箇所の特定
こちらは、目視では確認が難しい「ファンデーションを塗った箇所」と「塗っていない箇所」のマッピングの事例です。化粧品の評価や分類などに活用が可能です。
④医療分野 がんのグレード分類
こちらは、膵臓がんの細胞診検体の良悪性予測に関する研究です。画像のように膵臓がんの細胞核の高精度な抽出とトレーニングデータによる良悪性予測を行っており、がん診断分野以外でも幅広いバイオ領域での研究に利用が可能であると考えています。
⑤工業分野 透明塗料の膜厚測定
こちらは、透明な塗料の薄さを誤差±0.2μm単位で予測できるシステム開発の事例です。ハイパースペクトルカメラにより膜厚に影響する波長帯を絞り込み、従来はポイント単位でしか行えなかった膜厚検査をマッピングすることを可能にしました。
5.原理を理解したあと、最初にやること
原理と方式が分かっても、実際に使えるかどうかは「自社の対象物で、狙った差がスペクトルとして出るか」を撮ってみないと決まりません。カタログのバンド数や波長域だけで機種を決めると、導入後に「差は出ているが分離できない」という状態になりがちです。対象物を1度撮る → 差が出る波長を特定する → その波長域に合う方式・機種を選ぶ、という順序が失敗の少ない進め方です。
弊社では、現場課題のPOC段階から実際のプロトタイプ開発まで一貫して行える体制を構築しています。研究用途では、Milk.株式会社が所有するハイパースペクトルカメラのレンタルや出張撮影サービスも承っています。費用感はハイパースペクトルカメラのレンタル料金相場、購入まで含めた費用の内訳はハイパースペクトルカメラの価格相場、見積前に決めておく項目は見積を取る前に決める7項目にまとめています。
まだ機種選定の段階でなくても構いません。どの方式・どの波長域が候補になるかの当たりを付けるところからご相談いただけます。製品カタログと事業紹介資料だけでもご覧いただけたら嬉しいです。
