AI법은 위험 기반 접근 방식을 채택하여 위험 수준에 따라 단계적으로 인공지능 시스템을 규율하고 있으며, AI의 위험을 다루고 EU가 글로벌 리더로 자리매김할 수 있도록 하는 세계 최초의 법적 프레임워크로 도입된 법안
동 법률은 유럽 내부 시장의 기능을 개선하고 인간 중심의 신뢰할 수 있는 AI 활용을 촉진하며, EU 내 AI 시스템이 초래할 수 있는 유해한 영향으로부터 기본권을 높은 수준으로 보호하고 혁신을 지원하는 것을 목적으로 함
[ 연혁 ]
‘21. 4. 21 - EU집행위, 인공지능법 제안 및 의견 공개 수렴 개시
‘22. 4 - EU의회 내부시장 위원회(IMCO)와 시민자유위원회(LIBE) 보고서 초안 발표
‘22. 5 - EU이사회, 이미지 및 음성 이해, 오디오 및 비디오 생성 등에 관한 수정안 발표
‘24. 8. 1 - 법안 발효
[ 주요 내용 ]
인공지능 애플리케이션으로 인해 발생할 수 있는 위험 방지
허용할 수 없는 위험을 발생시키는 인공지능의 관행 금지
고위험 인공지능 애플리케이션 목록 분류 및 구체적인 요건 설정
고위험 애플리케이션 개발, 배포, 제공 주체에 대한 의무 명시
특정 인공지능 시스템 시장 출시 전 적합성평가 요구
특정 인공지능 시스템 시장 출시 후 안전 관리 감독 준비
[ 위험도에 따른 인공지능(AI) 구분 ]
➊ 허용불가 위험(Unacceptable Risk) – 인간 기본권에 대한 명확한 위협으로 간주되는 AI 시스템은 금지
(① 의사결정 왜곡) 인간의 잠재의식을 이용하거나, 이를 조작, 기만하는 기술로 의사결정 능력을 저하시켜 원치 않는 결정을 야기하는 AI시스템은 금지
(② 특정 집단의 취약성 이용) 특정 연령, 장애, 사회·경제적 취약성을 악용해 개인이나 집단의 행동을 크게 왜곡하거나, 중대한 피해를 초래하거나 그럴 가능성이 있는 AI 시스템의 설계 및 사용은 금지
(③ 사회적 평점) 사회적 평점에 따라 개인이나 집단을 평가하거나 분류할 때, 불이익 처우를 야기하거나 인간의 존엄성을 훼손할 가능성이 있는 경우 이를 금지
* (1) 데이터가 생성되거나 수집된 맥락과 관계없는 사회적 환경에서 특정 개인이나 집단을 차별하거나 부당하게 대우하는 경우
* (2) 사회적 행위의 중요성에 비례하지 않거나 정당하지 않은 방식으로 특정 개인이나 집단을 차별하거나 부당하게 대우하는 경우
(④ 프로파일링을 이용한 범죄 예측) 자연인의 프로파일링 또는 그들의 성격 특성 평가만을 기반으로 자연인이 범죄를 저지를 가능성을 평가하거나 예측하기 위해 자연인의 위험을 평가하기 위한 AI 시스템은 금지
* 예외: 범죄 행위와 직접적으로 관련된 객관적이고 검증 가능한 사실에 기초하여 범죄행위에 대한 개인의 개입에 대한 인적평가를 지원하기 위하여 사용되는 AI 시스템은 허용
(⑤ 안면 인식 데이터베이스) 인터넷 또는 CCTV 영상에서 얼굴 이미지를 무작위적인 방식으로 스크래핑하여 얼굴인식 데이터베이스를 생성하거나 확장하는 AI시스템은 금지
(⑥ 직장/교육기관에서의 감정 추론) 교육이나 사업장에서 자연인의 감정을 추론하기 위한 AI시스템을 출시하거나, 이러한 특정 목적을 위한 서비스를 개시하거나 사용하는 경우는 금지
* 예외: 의료 또는 안전상의 이유로 AI 시스템을 사용하거나 출시하려는 경우
(⑦ 생체인식 분류) 실시간 원격 생체인식 신원확인: 법 집행 목적으로 공개적으로 접근 가능한 공간에서 실시간 원격 생체인식 신원확인 시스템을 사용하는 것은 금지
* 단, 다음 목적으로 반드시 필요한 경우는 예외로 허용
* (1) 납치, 인신매매, 성적 착취의 특정 피해자에 대한 표적 수색 및 실종자 수색 목적
* (2) 자연인의 생명이나 신체적 안전에 대한 구체적이고 실질적이며 임박한 위협 또는 진정으로 현존하거나 진정으로 예측가능한 테러 공격 위협의 방지 목적
* (3) (2)에 따른 범죄에 대한 형사 수사, 기소 또는 형벌 집행을 목적으로 최대 4년 이상의 구금형 또는 구금 명령으로 처벌될 수 있는 범죄행위를 저지른 것으로 의심되는 사람의 소재 파악, 식별 목적
➋ 고위험(High Risk) – 건강, 안전, 기본권 및 환경에 상당한 위험이 있는 AI 시스템
고위험으로 분류된 AI 시스템은 위험 완화 시스템, 고품질 데이터 세트, 활동 기록, 상세 문서화, 명확한 사용자 정보, 인적 감독, 높은 수준의 견고성정확성보안성 등 엄격한 요건 준수
모든 형태의 원격 생체 인식 및 식별 시스템은 고위험으로 분류되며, 법 집행의 목적으로 공공장소에서 원격 생체 인식 시스템을 사용하는 것도 원칙상 금지
(① 생체인식) Ⓐ 원격 생체인식 시스템(특정인 확인이 유일한 목적인 경우 제외), Ⓑ 민감하거나 보호되는 속성이나 특성을 추론하여 생체인식 분류에 사용하려는 AI시스템, Ⓒ 감정인식에 사용하기 위한 AI 시스템
(② 중요기반시설) Ⓐ 디지털기반시설·도로·교통·수도·가스·난방 및 전기 공급의 관리·운영에 있어 안전구성요소로 활용되는 AI시스템
(③ 교육 및 직업훈련) Ⓐ 입학 결정이나 할당에 사용되는 AI시스템, Ⓑ 학습 결과 평가에 사용되는 AI시스템, Ⓒ 교육 수준 평가 목적으로 사용되는 AI시스템, Ⓓ 시험 중 금지된 행동을 모니터링하고 감지하는 데 사용하기 위한 AI시스템
(④ 근로자 관리 및 자영업에 대한 접근) Ⓐ 채용 과정에서 평가에 사용하기 위한 AI시스템, Ⓑ 성과 모니터링 및 평가에 사용되는 AI시스템
(⑤ 필수 민간·공공·서비스, 혜택 접근 및 향유) Ⓐ 의료서비스를 포함한 필수 공공 지원 혜택 및 서비스에 대한 자격 평가에 사용하기 위한 AI시스템, Ⓑ 신용도 평가에 사용하려는 AI시스템(금용 사기 탐지 목적 제외), Ⓒ 생명 및 건강 보험과 관련된 위험 평가 및 가격 책정에 사용하기 위한 AI시스템, Ⓓ 응급 대응 서비스 출동 순위 설정에 사용되는 AI시스템
(⑥ 법 집행) Ⓐ 범죄 피해자가 될 위험을 평가하기 위해 사용하려는 AI시스템, Ⓑ 거짓말탐지기 또는 유사한 도구로 사용하려는 AI시스템, Ⓒ 범죄 수사, 기소 과정에서 증거의 신뢰성을 평가하기 위해 사용하는 AI시스템, Ⓓ 범죄 또는 재범 가능성을 평가하기 위해 관련 지침에 따른 프로파일링에만 근거하지 않고 개인이나 그룹의 성격, 특징, 과거 범죄행위를 평가하는 데 사용하는 AI시스템, Ⓔ 범죄의 탐지, 수사, 기소 과정에서 관련 지침에 따른 프로파일링을 위해 사용하려는 AI시스템
(⑦ 이주 망명 및 국경 통제 관리) Ⓐ 권한 있는 공공기관에서 거짓말탐지기 용도로 사용하기 위한 AI시스템, Ⓑ 입국자의 보안 위험·건강 위험 등을 평가하기 위한 AI시스템, Ⓒ 비자·거주 허가 신청 심사와 관련하여 증거 신뢰성 평가를 포함한 적격성 판단에 사용하기 위한 AI시스템, Ⓓ 이주·망명·국경 통제관리 맥락에서 개인을 감지·인식·식별할 목적으로 사용하는 AI시스템 (여행 서류 확인 제외)
(⑧ 사법 및 민주적 절차 관리) Ⓐ 사법기관에서 분쟁 해결에 유사한 방식으로 사용하기 위한 AI시스템, Ⓑ 투표에 영향을 미치기 위해 사용하는 AI시스템(개인이 직접 노출되지 않는 결과물에 대한 시스템은 제외)
➌ 제한적 위험(Limited Risk) : 인간과 상호작용하는 시스템(챗봇과 같이 조작의 위험이 있는 경우), 콘텐츠를 생성하거나 조작하는(딥페이크 등) 시스템
챗봇과 같은 AI 시스템 사용 시 사용자에게 기계와 상호 작용하고 있음을 명확하게 고지해야 하며, 서비스 제공자는 AI가 생성한 콘텐츠 여부를 식별 가능하도록 시스템을 설계
딥페이크 등 특정 AI가 생성한 콘텐츠에는 이러한 사실을 포기해야 하며, 감정 인식이나 생체인식 기술이 사용될 경우 이러한 기술에 노출되는 사용자에게 고지 의무가 있음
➍ 최소 위험(Minimum Risk) – AI 기반 추천 시스템, 스팸 필터 등과 같이 현재 보편적으로 사용되는 AI 시스템은 대체로 이 범주에 해당하며, 시민의 권리와 안전에 대한 위험이 미미하므로 법적 의무가 부여되지 않음. 기업들은 추가적으로 자발적으로 추가 행동강령을 채택할 수 있음
[ 범용 AI* 모델 제공자**의 의무사항 ]
* 범용 AI: AI 모델이 대규모 자체 감독을 통해 대량의 데이터로 훈련되고, 상당한 일반성을 발휘하며, 모델 출시 방식에 관계없이 광범위한 개별 작업을 능숙하게 수행할 수 있고, 다양한 시스템이나 애플리케이션에 통합될 수 있는 경우를 포함한 AI 모델
** 제공자(provider): AI시스템 또는 범용 AI모델을 개발하거나 자신의 이름 또는 상표 하에 유료 또는 무료로 AI시스템 또는 범용 AI모델을 개발하여 출시하거나 AI시스템을 서비스 개시하는 자연인이나 법인, 공공기관, 관청 또는 기타 기구
범용 AI 제공자의 주요 의무사항
1. 학습시험 절차 및 평가 결과 등을 포함한 기술문서 작성 및 개정
2. 범용 AI 모델을 AI 시스템에 통합하고자 하는 AI 시스템 제공자가 이용할 수 있는 정보문서 작성 및 개정
3. EU 저작권법 준수를 위한 정책 마련
4. 범용 AI모델 학습에 사용된 콘텐츠에 관하여 충분히 상세한 요약서를 작성하고 일반인이 이용할 수 있도록 한 것
시스템 리스크*가 있는 범용 AI 제공자
* 범용 AI모델의 고(高)영향 성능에 따른 특유한 위험으로서, 그 도달 범위 또는 공중 보건, 안전, 공공안보, 기본권 또는 사회 전반에 대한 실제적이거나 합리적으로 예측 가능한 부정적 영향으로 인하여 EU 시장에 중대한 영향을 미치며, 가치 사슬에 걸친 규모로 전파될 수 있는 위험
1. 시스템 리스크를 식별하고 리스크를 완화하기 위해 모델에 대한 적대적 테스트를 수행하고 문서화하는 등 최신 기술을 반영하는 표준화된 프로토콜과 도구에 따라 모델 평가를 수행
2. 시스템 리스크가 있는 범용 AI 모델의 개발, 시장 출시 또는 사용으로 인해 발생할 수 있는 EU 차원의 시스템 리스크를 평가 및 경감
3. 중대한 사고와 이를 해결하기 위한 가능한 시정 조치를 추적, 문서화하고, AI Office에 보고하며 적절하게 국가 관할 당국에 보고
4. 시스템 리스크가 있는 범용 AI 모델과 해당 모델의 물리적 기반시설에 대하여 적절한 수준의 사이버 보안 수준을 보장
[ 위반 시 제재 ]
허용 불가 위험 인공지능 관련 위반시: 3,500만유로 또는 전년도 매출액의 7% 중 높은 금액을 부과
고위험·투명성·범용 AI 관련 의무 위반시: 750만 유로 또는 전년도 매출액의 3% 중 높은 금액을 부과
