쉬운 요약

• 생성형 인공지능이 의료·법률·금융 같은 전문분야 정보를 제공할 때 이용자가 결과를 전문가의 최종 판단으로 오해하지 않도록 하려는 법률 개정안이에요.
• 인공지능이 만든 전문분야 결과물은 전문가의 판단을 대신할 수 없다는 사실을 고지하거나 표시하게 하려 해요.
• 청소년이 인공지능 서비스를 이용할 때 자살 방법이나 선정적·폭력적인 정보에 노출되지 않도록 기술적 보호조치를 요구하려고 해요.
• 현재 인공지능 투명성 의무는 인공지능 이용 사실과 인공지능이 만든 결과물이라는 점을 알리는 데 초점이 있는데, 제안안은 전문분야와 청소년 보호까지 범위를 넓히려 해요.
• 사업자는 어떤 서비스를 청소년 대상 서비스로 볼지, 어떤 보호조치를 적용할지 구체적인 기준을 마련해야 할 수 있어요.

주요 내용

전문분야 결과물 고지: 생성형 인공지능이 보건의료·법률·금융 등 전문분야의 결과물을 제공할 때 전문가의 판단을 대체할 수 없다는 사실을 이용자에게 알리도록 하려 해요.

전문분야 표시 방식 마련: 전문분야 결과물이 인공지능을 통해 제공된다는 점과 그 한계를 이용자가 알아보기 쉬운 방식으로 고지하거나 표시하려고 해요.

청소년 보호조치 의무화: 청소년을 대상으로 인공지능 서비스를 제공하는 경우 자살 방법, 선정적 정보, 폭력적인 정보 등에 노출되지 않도록 기술적 조치를 하게 하려 해요.

투명성 의무 확대: 현재 시행 조문에 있는 인공지능 이용 사실과 인공지능 생성 결과물 표시 의무에 더해, 전문분야의 한계와 청소년 보호를 다루려는 내용이에요.

안전한 이용환경 조성: 인공지능사업자가 서비스 이용자의 연령과 제공 정보의 위험성을 고려해 보다 구체적인 이용자 보호 체계를 갖추도록 하려는 취지예요.

왜 나왔나

발의 당시 설명에 따르면 생성형 인공지능이 의료·법률·금융 같은 전문분야의 정보를 제공하면서 이용자가 잘못된 정보를 얻을 가능성이 커지고 있었어요. 청소년이 인공지능 챗봇과 대화하는 과정에서 자살 방법이나 성적·폭력적인 정보에 노출될 수 있다는 우려도 제기됐어요. 현재 시행 중인 제31조는 고영향 인공지능이나 생성형 인공지능을 이용한 제품·서비스라는 사실과 인공지능이 결과물을 만들었다는 사실을 고지하거나 표시하도록 하고 있어요. 제안안은 여기에 전문분야 결과물의 한계와 청소년 보호를 추가해 인공지능의 투명성과 안전성을 강화하려는 방향이에요. 인공지능의 답변을 그대로 믿거나 청소년에게 위험한 정보가 전달되지 않도록 서비스 제공자의 책임을 더 구체화하려는 제안이에요.

무엇이 달라지나

1) 전문분야 결과물의 한계 고지

현재 시행 중인 제31조는 인공지능사업자가 고영향 인공지능이나 생성형 인공지능을 이용한 제품·서비스를 제공할 때 인공지능에 기반해 운용된다는 사실을 사전에 고지하도록 해요. 또 생성형 인공지능이 만든 결과물이라는 점도 표시하도록 하지만, 그 결과물이 전문가의 판단을 대신할 수 없다는 사실을 별도로 알리도록 하지는 않아요.

• 제안안은 보건의료·법률·금융 등 전문분야 결과물을 제공할 때 인공지능의 답변이 전문가의 최종 판단이 아니라는 점을 알리려는 거예요.
• 이용자는 답변의 내용뿐 아니라 그 답변을 어디까지 믿고 활용할 수 있는지도 함께 판단할 수 있게 돼요.
• 실제 고지 문구가 서비스 화면에 어떻게 표시될지, 이용자가 쉽게 알아볼 수 있는 방식인지가 중요해요.

2) 전문분야별 표시 범위 구체화

발의 당시 제안안은 생성형 인공지능 또는 이를 이용한 제품·서비스가 전문분야의 결과물을 제공하려는 경우 전문가 판단을 대체할 수 없다는 사실을 고지 또는 표시하도록 하려는 내용이에요. 현재 시행 중인 제31조제4항은 사전고지와 표시의 방법·예외 등에 필요한 사항을 대통령령으로 정하도록 하고 있어, 추가 의무가 마련되면 그 방법과 예외도 함께 정해질 수 있어요.

• 의료 상담, 법률 안내, 금융 정보처럼 이용자의 중요한 결정에 영향을 줄 수 있는 분야가 핵심 대상이 될 수 있어요.
• 단순한 일반 정보와 개인별 판단을 전제로 하는 결과물을 어떻게 구분할지가 필요해요.
• 표시가 지나치게 작거나 답변 뒤에 묻히면 이용자 보호 효과가 떨어질 수 있어 표시 위치와 표현 방식도 살펴봐야 해요.

3) 청소년 대상 기술적 보호조치

현재 시행 중인 제32조는 일정 규모 이상의 인공지능시스템에 대해 위험 식별·평가·완화와 안전사고 모니터링·대응 체계를 갖추도록 하고, 그 이행 결과를 제출하게 해요. 발의 당시 제안안은 청소년을 대상으로 인공지능 서비스를 제공하는 경우 청소년 보호를 위한 기술적 조치를 이행하도록 하는 내용을 제32조에 추가하려고 해요.

• 청소년이 위험한 정보에 접근하거나 대화 과정에서 반복적으로 노출되지 않도록 서비스 설계 단계에서 차단 장치를 마련할 수 있어요.
• 기술적 조치에는 연령 확인, 위험한 질문에 대한 응답 제한, 유해 정보 필터링 등 여러 방식이 포함될 수 있지만, 제공된 자료에는 구체적인 방법이 정해져 있지 않아요.
• 보호조치가 정상적인 교육·상담·정보 이용까지 과도하게 제한하지 않도록 대상과 수준을 정교하게 정할 필요가 있어요.

4) 인공지능사업자의 안전관리 책임 확대

현재 시행 중인 제32조는 일정한 인공지능시스템의 안전성 확보를 위해 인공지능 수명주기 전반의 위험관리와 안전사고 대응체계를 요구해요. 제안안은 여기에 청소년 대상 서비스의 보호조치를 더해, 시스템 자체의 안전성뿐 아니라 이용자 특성과 제공 정보의 위험성까지 고려하도록 하려는 방향이에요.

• 사업자는 서비스 출시 뒤 사고가 발생했을 때 대응하는 것뿐 아니라, 기획과 개발 단계에서 청소년에게 발생할 수 있는 위험을 점검해야 할 수 있어요.
• 위험한 대화나 콘텐츠가 반복되는지 모니터링하고 보호조치가 제대로 작동하는지 확인하는 절차가 필요해질 수 있어요.
• 서비스가 청소년을 직접 대상으로 하는지, 일반 서비스지만 청소년이 이용할 수 있는지에 따라 의무 범위를 어떻게 나눌지가 쟁점이에요.

누구에게 영향이 있나

• 생성형 인공지능 사업자: 전문분야 결과물의 한계를 고지하고, 인공지능 생성 사실과 함께 이용자 보호 정보를 표시해야 할 수 있어요.
• 의료·법률·금융 정보 서비스 제공자: 인공지능이 제공하는 결과물이 전문가의 판단을 대신하지 않는다는 점을 서비스 이용 과정에서 분명히 알려야 할 수 있어요.
• 청소년 대상 인공지능 서비스 사업자: 위험 정보 차단과 대화 제한 등 기술적 보호조치를 마련해야 할 수 있어요.
• 청소년 이용자와 보호자: 인공지능 답변의 한계와 서비스의 보호조치를 더 쉽게 확인할 수 있을 것으로 기대돼요.
• 일반 인공지능 이용자: 전문분야 정보가 인공지능의 참고용 결과인지 전문가 판단을 전제로 한 정보인지 구분하는 데 도움을 받을 수 있어요.
• 과학기술정보통신부: 고지·표시 방법과 청소년 보호조치의 구체적인 기준을 마련하고 사업자의 이행을 관리하는 역할이 중요해져요.

봐야 할 점

• 전문분야의 범위: 보건의료·법률·금융 외에 어떤 분야까지 포함할지 명확히 정해야 해요.
• 고지의 실효성: 형식적인 경고문이 아니라 이용자가 답변의 한계를 실제로 이해할 수 있는 표시인지 확인해야 해요.
• 청소년 보호 기준: 청소년의 연령대와 정보 위험도에 따라 보호조치를 다르게 적용할지 살펴봐야 해요.
• 과잉 차단 가능성: 자살·성적·폭력 정보에 대한 차단이 필요한 정보 검색이나 상담까지 막지 않도록 예외와 대응 방식을 마련해야 해요.
• 사업자 책임과 기술 한계: 인공지능이 위험한 결과물을 완전히 걸러내기 어려운 상황에서 사업자의 예방·모니터링·사후 대응 책임을 어디까지 정할지 논의가 필요해요.