센서 탑재 편광으로 시간 절약 및 노력 감소

센서 탑재 편광을 사용하는 이유는 무엇입니까?

많은 비전 시스템은 유리, 플라스틱 및 금속과 같이 빛나는 표면에서 나오는 동적이거나 과도한 빛, 반사, 안개 및 눈부심 효과를 극복하기 위해 노력합니다. Spinnaker SDK에 내장된 Sony의 센서 탑재 편광 및 눈부심 방지 기능을 갖춘 Blackfly S 머신 비전 카메라는 이러한 까다로운 상황을 해결할 수 있는 구현이 쉽고 가벼우며 신뢰할 수 있는 솔루션을 제공합니다. 노출, 게인, 화이트 밸런스 및 색 보정에 대한 정밀하고 동적인 제어 기능을 갖춘 Blackfly S 카메라는 단일 프레임에서 4개 각도에서 센서 탑재 편광으로 빛을 캡처하여 시스템 복잡성과 애플리케이션 설계를 크게 줄입니다.

빔 분할 프리즘 이면에서 여러 카메라 및 필터를 활용하는 시스템과 회전 필터 또는 필터 휠을 갖춘 단일 카메라는 크고 복잡하며 느립니다. 편광 센서가 장착된 Blackfly S 카메라는 센서에서 모든 편광각 및 강도를 동시에 감지하여 기존 솔루션에 비해 속도는 높이고, 크기, 복잡성 및 전력 소비는 줄였습니다.

지원되는 카메라 모델:

센서 탑재 편광 기능을 갖춘 Blackfly S GigE 카메라

BFS-PGE-123S6P-C: 12.3 MP, 10 FPS, Sony IMX253MZR, 편광

BFS-PGE-51S5P-C: 5.0 MP, 24 FPS, Sony IMX250MZR, 극성-모노

BFS-PGE-51S5PC-C: 5.0 MP, 24 FPS, Sony IMX250MYR, 극성-RGB

센서 탑재 편광 기능을 갖춘 Blackfly S USB3 카메라

BFS-U3-51S5PC-C: 5.0 MP, 75 FPS, Sony IMX250MYR, 극성-RGB

BFS-U3-51S5P-C: 5.0 MP, 75 FPS, Sony IMX250MZR, 극성-모노

카메라 내 편광이 유용한 경우:

무인 항공기 시스템(UAS)

UAS 또는 드론과 같은 응용 분야는 실외의 일반적으로 제어되지 않는 조명 조건에서 작동합니다. Blackfly S는 편광각이 90°, 45°, 135° 및 0°인 4세트의 편광 화상을 제공하여 변화하는 조명 조건과 UAS의 상대적인 이동 및 방향을 보상합니다. Blackfly S는 프레임당 4세트의 편광 이미지를 응용 분야 엔지니어에게 제공하여 시스템 복잡성, 페이로드 중량 및 장애 지점을 줄이는 동시에 까다로운 조명 조건에서도 화상 품질과 의사 결정 시간을 개선합니다.

지능형 교통 시스템(ITS)

하루 동안 실외 조명 조건이 변하기 때문에 반사 앞유리를 통한 안전벨트 또는 모바일 장치 위반 화상 처리와 같은 ITS 응용 분야에서는 편광 필터 설정을 사용하는 것이 어렵습니다. 일부 시스템은 멀티 카메라 / 필터 설정을 통해 이를 극복하는데, 하드웨어 및 유지 관리 비용이 늘어나고 시스템 신뢰성은 크게 저하됩니다. 카메라 내 편광은 프레임당 4세트의 이미지를 동시에 캡처할 수 있으므로 이러한 화상 중 적어도 하나는 원하지 않는 반사를 제거하는 데 효과적이 될 수 있습니다. 응용 분야 개발자는 사후 처리 중에 하나 또는 여러 개의 편광 화상을 선택할 수 있어 개발, 통합 및 유지 관리에 소요되는 시간과 비용을 절감할 수 있습니다.

실외 조명 조건에서 앞유리의 반사, 편광 포함 및 비포함.

탐지 및 식별

편광 측정은 기존의 실화상 또는 열화상을 사용해 식별함에 있어 어려울 수 있는 물체를 감지하는 데 이상적입니다. 위장 차량 또는 미세한 셀 구조는 표면에 평행하게 배향된 편광을 계속 반사시키며, 이러한 반사는 아래에 그림과 같이 AoLP 모드(선형 편광의 각도)에서 명확하게 눈에 띕니다.

센서 탑재 편광을 이용하기 전과 후의 잘 위장된 차량

AUV 및 USV에 대한 딥 러닝(DL) 최적화

원치 않는 눈부심과 반사를 제거하여 화상을 정리함으로써 딥 러닝 시스템 교육을 간소화할 수 있습니다. 이는 자율주행 차량 및 해양 잠수정(무인 수상정 - USV)에서 겪게 되는 눈부심이 심한 환경에 특히 유용합니다.

기타 응용 분야

Blackfly S 카메라의 고해상도 및 낮은 리드 노이즈는 표준 현미경 장비로 광시야각을 분석할 수 있게 해 줍니다(예를 들어, 생물학적 화합물의 편광 특성 및 광학 활성은 건강한 조직과 병든 조직을 구분할 수 있음). 반도체 및 전자 제품 제조, 평판 디스플레이(FPD) 제조 및 검사, 식품 포장, 화장품, 의약품 포장, 물류, 현미경 및 검사와 같은 여러 다른 응용 분야는 카메라 내 편광이 특히 유용할 수 있는 반사면 영역을 다룹니다.

Sony의 편광 센서를 장착한 Blackfly S 카메라의 차별점은 무엇입니까?

Sony의 센서 탑재 편광

Sony의 IMX253MZR 및 IMX250MZR 센서는 인기 있는 12 및 5메가픽셀 IMX253 및 IMX250 Pregius 글로벌 셔터 CMOS 센서를 기반으로 합니다. 각 픽셀에는 자체 편광 필터가 있습니다. 이 필터는 0°, 45°, 90° 및 135° 으로 배향되고, 반복되는 2 픽셀 블록으로 배열됩니다. 이러한 센서는 픽셀에 편광 필터를 추가함으로 인해 Quantum efficiency(QE) 감소 영향을 최소화하는 기능을 갖추고 있습니다. 예를 들어, IMX250MXR의 편광 필터는 4:1 소광비를 갖는 데 이는 교차 편광을 차단하지 않고 정확한 편광 분석 데이터를 제공하기에 충분합니다. 이는 필터 조정을 통해 최소한의 빛을 통과시킬 때에도 충분한 빛의 양이 감광 포토다이오드에 도달하여 유용한 화상을 캡처할 수 있도록 합니다. 이를 통해 게인이 필요한 엄격한 조건에서도 저 노이즈 화상을 캡처해 QE 감소를 보상할 수 있습니다.

눈부심 방지 및 반사 제거 기능이 있는 Spinnaker SDK

Spinnaker SDK는 API 호출을 지원하여 각 편광 사분면에서 가장 어두운 픽셀을 선택하여 소스 화상에서 눈부심이 감소한 화상을 생성합니다. 편광 측정을 사용하면 비금속 표면에서 반사를 동적으로 줄일 수 있으므로 시스템 복잡성을 줄이고 응용 분야 개발 시간을 단축할 수 있습니다. 아래 예를 참조하십시오.

L - 원본 편광 화상 | M - 관심 대상을 적색으로 표시한 편광 화상 | R - 눈부심 방지 감소가 활성화된 처리 화상

더 높은 프레임 속도(무손실 압축)

Sony의 편광 CMOS 이미지 센서가 있는 Blackfly S GigE 카메라는 카메라 펌웨어에 내장된 무손실 압축을 사용하여 화상 데이터 손실 없이 고해상도에서 더 높은 프레임 속도(예: 12MP에서 최대 14FPS)를 지원합니다. 이러한 증가된 처리 속도 및 고해상도는 매우 까다로운 산업 및 연구 중심 응용 분야에서 특히 유용할 수 있습니다.

편광 데이터의 해석

빛의 편광 관련 매개변수를 해석하고 특성화하려면 4개 편광 각도 방향 모두에서 데이터를 측정해야 합니다. 센서의 각 픽셀에서 이를 달성하려면 인근 픽셀의 데이터가 결합되기 위한 보간 프로세스가 필요합니다. 이는 인근의 적색, 녹색 및 청색 픽셀의 데이터가 컬러 센서에 결합되어 각 픽셀에 대한 RGB 값을 생성하는 방법과 유사합니다. 이 프로세스는 Spinnaker SDK에 의해 기본적으로 지원됩니다.

편광과 색상 결합

IMX250MYR 센서는 색상 필터 배열을 센서의 편광 필터 아래에 추가합니다. 이 센서는 색상 정보의 공간 해상도보다 분광 도메인의 공간 해상도를 우선시하는 고유한 쿼드 베이어(Quad-Bayer) 패턴을 사용합니다.

RGB 픽셀이 2x2 “슈퍼픽셀”로 재배열됩니다. 각 슈퍼픽셀에는 방향당 하나의 편광 필터가 있으며 해당 위치에서 스토크스 매개변수를 계산하는 데 필요한 모든 정보가 포함되어 있습니다.

2x2 ‘슈퍼픽셀을 강조 표시한 Spinnaker SDK GUI 스크린샷’

글로벌 셔터 기능

롤링 셔터 CMOS 화상 센서는 초점면 왜곡으로 인해 빠르게 움직이는 물체를 정확하게 식별할 수 없습니다. Sony의 새로운 센서 탑재 편광 센서가 장착된 Blackfly S 카메라는 각 픽셀 내부에 아날로그 메모리를 제공하는 방법으로 이 문제를 해결하며, 초점면 왜곡 없이 고품질 화상을 가능하게 하는 글로벌 셔터 기능을 제공합니다.

추가 읽기 자료:

빛은 TEM파입니다. 빛은 확산되면서 확산되는 방향과 수직으로 진동합니다. 대부분의 광원은 무편광을 방출하며 모든 파는 무작위 각도에서 진동하게 됩니다. 대부분의 파가 일반적인 각도에서 진동하도록 빛이 조정될 때 편광되었다고 일컬어집니다. 이 안내서의 범위를 넘어서지만 원형 편광 또한 가능합니다.

임의의 각도에서 진동하는 비편광형 빛 대 특정한 각도로 정렬된 편광형 빛

편광 필터

편광 필터는 대부분의 편광 관련 기술의 기초로 활용됩니다. 일련의 좁은 구멍을 조정함으로써 편광 필터는 이와 평행으로 진동하는 빛을 차단하는 동안 구멍과 수직으로 진동하는 빛을 통과시킵니다.

편광 필터는 편광 축에 평행한(또는 구멍의 각도에 수직인) 황색 빔을 통과하고, 편광 축에 수직으로 정렬된(또는 구멍의 각도에 평행한) 청색 빔을 차단합니다.

산업 응용 분야는 자주 편광 필터 쌍을 활용합니다. 하나의 필터는 편광 소스를 생성하고 다른 필터는 특정 방향에 맞게 조정된 편광만 통과시킵니다. 이러한 시스템은 일반적으로 정밀 조정된 필터와 고도로 제어된 빛이 필요합니다. 하나의 편광각에만 민감합니다.

편광 필터가 회전함에 따라 통과하는 빛의 강도는 조정이 되면 증가하고 조정 각도를 초과해 이동하면 강도가 약해집니다.

청색파의 각도로 조정된 편광 필터가 회전하면 청색파를 차단하기 시작하고 오렌지색파를 통과시킵니다.

그릴 때 편광자 방향과 비례하는 강도 변화는 사인 함수와 같습니다. 최고 및 최저 강도 사이의 비율은 소광비로 불립니다.

빛의 횡적 특성으로 인해 편광각은 180°를 초과할 수 없습니다. 편광 필터 구멍이 모두 평행이므로 최대 180°까지 필터를 회전시키면 원래 방향으로 되돌아갑니다. 필터를 360°까지 회전시키면 강도가 왜 두 번 정점을 찍으며 여기에서 떨어지는지 알 수 있습니다.

빛은 어떻게 편광이 됩니까?

빛은 간섭성 광원에서 직접 방출할 때, 편광 필터를 통과할 때 또는 비금속 표면에서 반사될 때 빛이 편광이 될 수 있습니다. 물 또는 광택이 나는 표면에서 반사된 편광각은 표면과 평행합니다.

편광은 생물학적 분자 및 의약품 등의 특정 광학 활성 물질을 통과하므로 각도가 변할 수 있습니다.

스토크스 매개변수

4개의 스토크스 매개변수는 광 빔의 편광 상태를 설명하는데 유용합니다. 스토크스 매개변수는 많은 편광 측정 계산 및 알고리즘의 기초입니다. 기존 기법을 채택하거나 자체 방법을 생성하고자 하는 사용자는 IMX250MZR에서 스토크스 매개변수를 확인하는 방법에 친숙해져야 합니다.

S0은 광 빔의 강도입니다. IMX250MZR에서 이는 수직 및 수평 편광 픽셀의 강도를 추가하여 계산할 수 있습니다.

S1은 수평 및 수직 구성요소 간 차이입니다. 양의 값은 수평 선형 편광인 반면 음의 값은 수직 선형 편광입니다.

S2는 45° 구성요소입니다. 양의 값은 45° 선형 편광입니다. 음의 값은 -45° 또는 (즉 135°) 선형 편광입니다.

S3은 원형 편광 구성요소입니다. 이 매개변수는 IMX250MZR에 의해 측정되지 않지만 종종 정확하게 예측할 수 있습니다. 야외 및 조명이 밝지 않은 환경에서 햇빛은 무편광이고 햇빛의 반사 또는 산란이 선형 편광만 제공하기 때문에 S3은 0으로 추정됩니다.

활성 조명 제어 환경에서 무편광 광원 모두를 제거할 수 있어 원형 구성요소를 특성화할 수 있습니다.

S1, S2 및 S3 스토크스 매개변수는 푸앵카레 구로 매핑되는 구면 좌표 세트로 종종 표현됩니다. 이 표기법은 전체 편광 상태에 대해 광 빔의 각 편광 구성요소에 대한 상대적인 기여도를 이해하기 위한 편리한 방법입니다.

프앵카레 구. 야외에서는 S3 구성 요소를 0으로 간주할 수 있습니다. 강도를 나타내는 Ip는 1입니다.

스토크스 매개변수는 편광계 변수를 산출하고 실화상 스펙트럼 화상의 질을 크게 향상시키는 데 활용 할 수 있습니다.

선형 편광의 정도

선형 편광의 정도(DoLP)는 편광 데이터를 해석하는 방법 중에서 가장 기본적인 방법입니다. DoLP는 제공된 픽셀에서의 편광 비율입니다. 완벽한 편광원은 100%의 DoLP를 가질 수 있지만 무편광원은 0%의 DoLP를 가질 수 있습니다.

DoLP 100%와 DoLP 0%의 차이

선형 편광의 각도(AoLP)

선형 편광의 각도(AoLP)는 주어진 픽셀에서 빛의 평균 편광 각도를 의미합니다. DoLP가 낮은 경우 소량의 빛만 편광됩니다. 이 경우 AoLP 결과 값은 명백한 공간 및 시간 상의 노이즈를 나타냅니다. 이는 높은 게인으로 증폭되는 저강도 신호와 유사합니다. DoLP가 증가하면, AoLP 값은 노이즈가 줄어들게 됩니다.