미검률과 과검률의 분모, 이미지·제품·결함 단위의 차이, 불량 표본 수와 처리량 측정 조건까지 AI 외관검사 시험 전에 합의할 항목을 정리했습니다.
AI 검사를 시험할 때 미검·과검·처리량은 어떻게 함께 확인해야 하나요?
세 숫자는 같은 시험 표본, 같은 판정 기준, 같은 평가 단위에서 함께 봐야 합니다. 하나만 좋게 만드는 것은 어렵지 않지만 도입 판단에는 셋이 함께 필요합니다. 시험 전에 판정 단위, 불량 기준, 표본 수, 처리량 측정 조건을 먼저 합의하세요.
이 글이 맞는 경우 AI 외관검사 시험(PoC)이나 도입 검토를 앞둔 품질·생산기술 담당자 공급사가 제시한 정확도 숫자를 어떻게 읽어야 할지 판단해야 하는 경우 지금의 육안 검사나 기존 비전 검사기와 결과를 비교해야 하는 경우 세 지표의 정의 지표 · 뜻 · 계산할 때 적을 것 미검 · 실제 불량을 양품으로 판정해 통과시킨 것 · 미검률 = 미검 수 ÷ 실제 불량 수 과검 · 실제 양품을 불량으로 판정한 것 · 과검률 = 과검 수 ÷ 실제 양품 수 처리량 · 정해진 시간 안에 판정까지 끝낸 검사 수 · 개별 제품은 분당 개수, 롤 소재는 라인 속도(m/min) 과검률을 전체 검사 수량으로 나누어 계산하는 곳도 있습니다. 어느 방식이든 분모를 함께 적어야 서로 다른 결과를 비교할 수 있습니다. 평가 단위를 먼저 정하세요 같은 시험이라도 무엇을 한 건으로 세는지에 따라 숫자가 달라집니다. 이미지 단위: 촬영한 이미지 한 장마다 판정을 셉니다. 제품 단위: 한 제품을 여러 장 찍었다면 그중 하나라도 불량으로 판정되면 그 제품을 불량으로 셉니다. 결함 단위: 한 제품 안의 결함 하나하나를 찾았는지 셉니다. 예를 들어 제품 하나를 네 장으로 찍는다면 이미지 단위 과검률과 제품 단위 과검률은 다르게 나올 수 있습니다. 서로 다른 단위의 숫자를 한 표에 섞지 말고, 결과에는 단위를 함께 적으세요. 출하 판단은 제품 단위로 이루어지므로 최종 비교도 제품 단위로 하는 것이 현장의 영향과 맞습니다. 세 지표는 서로 맞물립니다 판정 기준을 엄격하게 하면 미검은 줄지만 과검이 늘어납니다. 기준을 느슨하게 하면 과검은 줄지만 미검이 늘어납니다. 처리 속도를 올리려고 해상도나 촬영 수를 줄이면 작은 결함을 놓칠 수 있습니다. 그래서 세 숫자는 같은 판정 기준, 같은 시험 표본, 같은 라인 조건에서 함께 제시되어야 합니다. 다음과 같은 결과만으로는 도입을 판단하기 어렵습니다. 미검률만 있고 같은 기준에서의 과검률이 없는 결과 과검률만 있고 불량 표본이 몇 개였는지 없는 결과 처리 시간만 있고 이미지 크기, 카메라 수, 배출 신호까지 포함했는지 없는 결과 불량 표본이 없으면 미검률은 계산할 수 없습니다 양품만으로 시험했다면 미검률의 분모인 실제 불량 수가 0입니다. 이때 미검률은 "0%"가 아니라 "계산할 수 없음"으로 적어야 합니다. 불량 표본을 모두 찾았더라도 표본이 적으면 실제 미검률이 0이라고 단정할 수 없습니다. 통계에서 쓰는 "3의 규칙"에 따르면 불량 n개를 모두 찾았을 때 95% 신뢰수준에서 미검률의 상한은 대략 3 ÷ n입니다. 찾은 불량 수 (모두 검출) · 95% 신뢰수준 미검률 상한 (약) 30개 · 10% 100개 · 3% 300개 · 1% 위 표는 계산 방법을 보여 주는 예시이며 특정 제품의 성능 수치가 아닙니다. 근거: Hanley JA, Lippman-Hand A, JAMA 1983;249(13):1743-1745. 시험 표본은 이렇게 준비합니다 학습에 쓴 이미지와 평가에 쓰는 이미지를 나눕니다. 같은 이미지로 평가하면 숫자가 실제보다…