AI 기술, 제품, 서비스 및 조직(프로젝트)에 대해 국제표준 및 규격 기준을 적용하여
AI 심사, 검사, 검증, 인증의 적합성 평가(Conformity Assessment)를 수행합니다.

Convergence of IT Devices Institute Busan

AI 성능 시험

홈 > AI 시험 인증 > AI 성능 시험

AI 성능 시험은 ISO/IEC TS 4213:2022 표준을 기반으로 분류 작업을 수행하는 AI 알고리즘의 분류 정확도, 신뢰성, 효율성 등의 성능을 확인하는 시험입니다.

시험대상

· 기계 학습 기반의 이진 분류(Binary classification) AI 알고리즘

· 다중 클래스 분류(Multiclass classification) AI 알고리즘

· 다중 레이블 분류(Multi-label classification) AI 알고리즘

시험 목적

· AI 알고리즘의 정확도 평가

· 여러 AI 알고리즘간 비교 평가

· 학습 데이터 변경에 따른 AI 성능 변화 평가

* 좌우로 스크롤 하세요.
데이터품질

* 좌우로 스크롤 하세요.

평가 유형 시험 항목  설명 
Binary/Multi-class  Accuracy (정확성)  설명
Precision (정밀도)  설명
Recall (재현율)  설명
Specificity (특이도)  설명
F1-score  설명
Kullback-Leibler divergence for binary  설명
Multi-class  Macro-Average,F1  설명
Micro-Average,F1  설명
Weighted-Average,F1  설명
Kullback-Leibler divergence 설명
Multi-label  Hamming loss  설명
EMR  설명
Jaccard Index 설명
Kullback-Leibler divergence 설명
Computational complexity 분류 지연시간 설명
분류 처리량 설명
분류 효율성 (협의)
에너지 소비량 설명

시험절차 안내

    Step 1
    평가 작업 결정

  • · 평가대상 모델 파악
    - 모델이 수행하는 분류
    - Binary
    - Multi-class
    - Multi-label

    Step 2
    메트릭 지정

  • · 메트릭 선정
    - Accuracy
    - Precision
    - Recall
    - F1 Score
    - AuROC, EMR 외

    Step 3
    평가 수행

  • · 평가 계획 수립
  • · 평가 환경 구현
  • · 데이터셋 확인
    - 시험 데이터셋
    - 학습 데이터셋

    Step 4
    결과 수집과 분석

  • · 모델 수행 결과 분석
    - 지표 사용
    - 반복 시험

    Step 5
    평가 결과 생성

  • · 시험성적서 발행

문의 및 상담