쉬운 요약

• 인간의 존엄과 기본권을 크게 해칠 수 있는 인공지능의 개발·제공·이용을 제한하기 위한 법률 개정안이에요.
• 현재 법은 인공지능과 고영향 인공지능의 개념을 정하고, 고영향 인공지능이 활용되는 영역을 규율하고 있어요.
• 법안은 별도로 ‘금지된 인공지능’을 정의하고, 그 개발·제공·이용을 원칙적으로 금지하려 해요.
• 공익상 꼭 필요한 경우에는 과학기술정보통신부장관이 위원회 심의를 거쳐 예외적으로 승인할 수 있도록 하려 해요.
• 공개장소에서 불특정 다수를 대상으로 실시간 생체인식정보를 수집·처리하는 인공지능처럼 기본권 침해 우려가 큰 기술이 주요 논의 대상이 될 수 있어요.

주요 내용

• 금지된 인공지능 정의: 인간의 존엄과 가치를 근본적으로 훼손할 우려가 있는 인공지능을 별도 규제 대상으로 정하려 해요.
• 개발 금지: 금지된 인공지능을 처음부터 만들거나 연구·개발하는 행위를 원칙적으로 제한하려 해요.
• 제공과 이용 금지: 금지된 인공지능을 다른 사람이나 기관에 제공하거나 실제로 이용하는 행위도 막으려 해요.
• 공익 목적 예외 승인: 공익상 불가피한 경우에는 위원회 심의를 거쳐 과학기술정보통신부장관이 예외적으로 승인할 수 있도록 하려 해요.
• 기본권 보호 강화: 인공지능 기술 발전만이 아니라 인간의 존엄과 기본권 침해 위험을 사전에 통제하려 해요.
• 위반행위 제재 연결: 금지된 인공지능의 개발·제공·이용 금지 규정을 실효성 있게 운영할 수 있도록 벌칙 조항과 연결하려 해요.

왜 나왔나

현재 시행 중인 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법은 인공지능과 고영향 인공지능의 개념을 정하고, 생명·신체의 안전과 기본권에 중대한 영향을 미칠 수 있는 인공지능을 특정 영역에서 관리하고 있어요. 고영향 인공지능에는 범죄 수사나 체포를 위한 생체인식정보 분석·활용, 채용과 대출 심사처럼 개인의 권리·의무에 큰 영향을 미치는 판단 등이 포함돼요. 하지만 발의 당시 설명은 인간의 존엄과 가치를 근본적으로 훼손할 우려가 있는 인공지능을 아예 금지할 수 있는 제도적 장치는 부족하다고 봤어요. 이에 금지된 인공지능을 별도로 정의하고 원칙적인 금지와 공익 목적의 예외 승인 절차를 마련해 기술 발전과 기본권 보호 사이의 균형을 맞추려는 것이에요.

무엇이 달라지나

1) 금지된 인공지능 개념 신설

현재 시행 조문인 제2조는 인공지능, 인공지능시스템, 인공지능기술, 고영향 인공지능 등을 정의하고 있어요. 고영향 인공지능은 사람의 생명·신체 안전과 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 시스템으로 정해져 있지만, 제안안은 이와 별도로 금지된 인공지능의 개념을 신설하려 해요.

• 고영향 인공지능이 관리와 안전조치의 대상이라면, 금지된 인공지능은 원칙적으로 개발·제공·이용 자체를 제한하는 대상이 될 수 있어요.
• 어떤 기술이 금지 대상인지 판단할 때 인간의 존엄과 가치에 미치는 근본적인 훼손 가능성이 중요한 기준이 될 수 있어요.
• 새로운 정의가 실제로 어떤 기술과 행위를 포함하는지는 제2조의 최종 문구와 하위 기준을 함께 확인해야 해요.

2) 금지된 인공지능의 개발·제공·이용 제한

제안안은 신설되는 금지된 인공지능에 대해 개발·제공·이용을 원칙적으로 금지하는 조항을 제29조의2로 두려 해요. 현재 시행 조문에서 제29조의2의 실제 조문은 확인되지 않으므로, 이 부분은 법안이 새로 만들려는 규율로 설명해야 해요.

• 단순히 위험성을 알리거나 안전관리 의무를 부과하는 데서 그치지 않고, 특정 인공지능의 시장 진입과 사용 자체를 막는 구조가 될 수 있어요.
• 개발자는 연구·개발 단계에서 금지 대상에 해당하는지 먼저 검토해야 하고, 제공자는 다른 기관이나 이용자에게 넘길 수 있는지 확인해야 해요.
• 이용자와 공공기관도 시스템을 도입하기 전에 금지된 인공지능에 해당하지 않는지 점검해야 할 수 있어요.

3) 공익 목적의 예외 승인

법안은 금지된 인공지능의 개발·제공·이용을 원칙적으로 금지하면서도, 공익상 불가피한 경우에는 예외를 둘 수 있도록 하려 해요. 이 경우 과학기술정보통신부장관이 위원회의 심의를 거쳐 예외적으로 승인하는 구조를 제안하고 있어요.

• 공익상 필요성이 있다는 이유만으로 자동 허용되는 것이 아니라, 위원회 심의와 장관 승인이 함께 필요한 방식이에요.
• 재난 대응이나 공공 안전처럼 예외가 필요하다고 주장되는 상황에서 어떤 요건을 충족해야 하는지가 핵심 쟁점이 될 수 있어요.
• 승인 기간, 사용 범위, 대상 기관, 안전조치와 사후 점검 같은 조건이 최종 법안이나 후속 기준에 어떻게 담기는지 확인해야 해요.

4) 실시간 생체인식 인공지능에 대한 통제 가능성

발의 당시 설명은 공개장소에서 불특정 다수를 대상으로 실시간 생체인식정보를 수집·처리하는 인공지능의 개발 논란을 규제 필요성이 커진 사례로 들었어요. 현재 시행 조문도 범죄 수사나 체포 업무를 위한 생체인식정보 분석·활용을 고영향 인공지능이 활용되는 영역으로 규정하고 있어, 제안안은 이런 기술 중 일부를 더 강하게 제한하려는 방향으로 볼 수 있어요.

• 공개장소에서 다수의 얼굴·지문·홍채 등 개인 식별 정보를 실시간으로 처리하는 기술이 금지 대상에 포함되는지 살펴봐야 해요.
• 같은 생체인식 기술이라도 사용 목적과 장소, 대상자의 범위, 공익상 필요성에 따라 규율이 달라질 수 있어요.
• 수사와 안전을 위한 활용 필요성과 사생활·개인정보·집회의 자유 보호 사이의 경계를 구체적으로 정해야 해요.

5) 벌칙과 집행 체계 연결

제안안은 금지된 인공지능의 개발·제공·이용 금지와 함께 제42조 제1항 등을 개정하려 해요. 현재 시행 중인 제42조는 직무상 알게 된 비밀을 누설하거나 직무상 목적 외로 사용한 사람을 처벌하는 내용이므로, 법안이 추가하려는 금지행위 관련 제재의 구체적인 범위와 형량은 최종 개정문을 통해 확인해야 해요.

• 금지 규정을 어겼을 때 누가 책임을 지는지, 개발자·제공자·이용자별 책임이 어떻게 나뉘는지가 중요해요.
• 단순한 실험이나 연구 단계의 행위와 실제 서비스 제공·이용을 같은 수준으로 다룰지 살펴봐야 해요.
• 금지 대상의 정의가 불명확하면 사업자와 연구기관이 과도하게 위축되거나 반대로 규제를 피하는 문제가 생길 수 있어요.

이 법안은 위험한 인공지능을 더 안전하게 관리하는 수준을 넘어, 기본권을 근본적으로 침해할 수 있다고 판단되는 기술의 개발·제공·이용을 원칙적으로 막으려는 제안이에요.

누구에게 영향이 있나

• 인공지능 개발사업자: 연구·개발 중인 시스템이 금지된 인공지능에 해당하는지 사전에 검토해야 할 수 있어요.
• 인공지능 제공사업자: 다른 기업이나 기관에 시스템을 공급하기 전에 금지 여부와 승인 필요성을 확인해야 할 수 있어요.
• 공공기관과 수사기관: 생체인식 등 기본권에 큰 영향을 줄 수 있는 인공지능을 사용할 때 예외 승인 요건을 검토해야 할 수 있어요.
• 인공지능 이용자와 일반 기업: 외부에서 제공받은 인공지능을 업무에 활용할 때 금지된 시스템인지 확인하는 절차가 필요해질 수 있어요.
• 국민과 시민사회: 공개장소 감시와 생체정보 처리로 인한 기본권 침해를 줄일 수 있지만, 공익 목적 예외가 넓어지지 않는지도 살펴봐야 해요.

봐야 할 점

• 금지된 인공지능을 판단하는 기준이 인간의 존엄과 가치라는 원칙을 넘어 얼마나 구체적으로 정해지는지 확인해야 해요.
• 고영향 인공지능과 금지된 인공지능의 차이와 적용 범위가 명확하게 구분되는지 봐야 해요.
• 공익상 불가피한 경우의 의미, 위원회 심의 절차, 장관 승인 요건과 승인 후 감독 방식이 어떻게 마련되는지 살펴야 해요.
• 실시간 생체인식정보 처리처럼 공공 안전에 활용될 수 있는 기술이 예외 승인 대상인지 원칙적 금지 대상인지 확인할 필요가 있어요.
• 개발·제공·이용 단계별 의무와 벌칙의 범위가 지나치게 넓거나 모호하지 않은지, 연구와 산업 발전을 위축시키지 않는지 지켜봐야 해요.