Korea’s recently revised Framework Act on the Development of Artificial Intelligence (AI) and the Creation of a Foundation for Trust, known as the AI Basic Act, is set to take effect on January 22, representing a significant shift in the country's regulatory approach to emerging AI technologies.
The act, passed on Tuesday, strengthens oversight of AI-generated content and high-impact AI systems while enhancing support for research and startups. This dual approach aims to reshape corporate governance and innovation in AI, combining robust risk controls with initiatives to foster innovation and digital inclusion.
One immediate change is the mandatory disclosure of AI-generated content, requiring commercial AI service providers to inform users through notices or technical features like watermarks. This measure seeks to combat deepfake abuses, misinformation, and other misuse of generative AI technologies.
The law defines high-impact AI systems as those utilizing substantial computing resources, specifically those performing at least one hundred septillion floating-point operations. These systems will be evaluated based on detailed criteria, including their application areas and potential risks to fundamental rights, with safety requirements aligned with global standards.
Operators of high-impact AI systems will face increased responsibilities, such as developing risk management plans and ongoing social impact monitoring, along with intensified regulatory oversight. Authorities will have the power to request data and conduct on-site inspections, providing legal backing for oversight mechanisms that previously lacked enforceability.
The amendment also grants enhanced authority to the Presidential Council on National Artificial Intelligence Strategy, establishing it as the primary body for coordinating AI policy across government ministries. This institutionalizes oversight previously dependent on non-binding guidelines.
Furthermore, the act promotes advanced AI research by allowing both public and private entities, including universities, to establish dedicated AI research institutes. This is designed to bolster Korea’s sovereign AI capabilities by broadening R&D infrastructure beyond government entities.
In the public sector, the act aims to stimulate market growth by mandating that public institutions prioritize AI solutions in their procurement processes. To mitigate risk aversion, civil servants introducing AI systems will be protected from personal liability for damages unless there is intent or gross negligence.
The revised act emphasizes accessibility to AI for marginalized groups, such as individuals with disabilities and the elderly. It requires the government to incorporate these perspectives in national AI policy and provides a legal framework for subsidizing AI products and services for financially disadvantaged citizens.
To facilitate the transition to these new regulations, the government has announced a grace period of at least one year post-enactment, focusing on guidance, safety certifications, and expert consulting rather than punitive measures.
Despite this phased approach, industry stakeholders have expressed concerns that the act could unintentionally increase regulatory burdens, hindering innovation. A report from a nonprofit organization highlighted that unclear definitions of high-impact AI could disproportionately impact early-stage startups, particularly if commonplace applications like machine translation become subject to stringent regulations.
Critics argue that the framework prioritizes industrial promotion over enforceable individual protections. With the supervisory framework still being finalized, questions arise about the potential for rapid enforcement to create legal uncertainties for both businesses and citizens.
한국의 인공지능(AI) 개발에 관한 기본법인 「AI 기본법」이 1월 22일 시행될 예정이다. 이는 급속도로 발전하는 AI 기술에 대한 정부의 접근 방식을 전환하는 중요한 시점으로 평가된다.
화요일 통과된 이 법은 AI가 생성한 콘텐츠와 고위험 시스템에 대한 감독을 강화하고, 연구 및 스타트업에 대한 지원을 확대하여 기업의 AI 관리와 혁신 방식을 재편할 것으로 기대된다. 이를 통해 더 강력한 위험 통제와 혁신 및 디지털 포용을 촉진하는 조치를 결합하고자 한다.
AI 생성 콘텐츠에 대한 의무적 공개가 즉각적으로 도입되며, 이는 상업적 목적의 AI를 개발하거나 사용하는 기관이 사용자에게 고지하도록 요구하는 내용이다. 이는 딥페이크 남용, 허위 정보, 기만적 광고 및 다른 생성적 AI 기술의 오용을 억제하기 위한 것이다.
법은 고위험 AI 시스템을 방대한 컴퓨팅 파워 — 최소 백 쎄프틸리온 부동 소수점 연산 — 에 의해 훈련된 것으로 정의하고, 이 시스템을 주요 위험 요소 및 그 심각성을 포함한 세부 기준에 따라 평가한다.
고위험 AI는 세계적 기준과 AI 기술의 발전에 따른 안전 요건을 준수해야 하며, 이러한 시스템의 운영자는 위험 관리 계획의 수립, 사회적 영향의 지속적인 모니터링, 정부의 규제 감독 강화 등 여러 책임을 지게 된다.
또한, 당국은 데이터 제출 요청 및 필요시 현장 조사를 수행할 수 있는 권한을 부여받아, 이전에는 법적 강제력이 없었던 감독 메커니즘에 법적 효력을 부여하게 된다.
개정안은 AI 정책의 중앙 조정 기관으로서 대통령 국가 인공지능 전략 위원회의 법적 지위와 권한을 강화하여, 부처 간 조정 및 주요 정책의 논의 및 결정을 포함한 감독을 제도화한다.
당국은 AI 비즈니스에 대한 데이터 요청 및 현장 조사를 할 수 있는 공식적인 감독 권한을 확보하게 되며, 이는 AI 시대의 안전과 권리 보호를 위한 도구로 제시된다. 그러나 이는 대규모 시스템을 운영하는 기업에게는 준수를 더욱 어렵게 하는 요인이 될 수 있다.
개정된 법은 과학부뿐만 아니라 대학 및 민간 기업이 AI 연구소를 설립하고 운영할 수 있도록 하여 한국의 주권 AI 능력을 강화하고자 한다. 또한, 정부는 AI 제품 및 서비스 구매 시 공공기관이 우선하도록 요구하여 시장의 성장 동력으로서의 정부 수요를 도모한다.
AI 시스템을 도입하는 공무원들은 고의 또는 중과실이 없을 경우 손해배에 대해 개인적인 책임에서 면제된다.
개정된 법안은 장애인, 노인 등 AI 사용에 어려움을 겪는 취약계층을 위한 AI 접근을 강조하며, 정부는 이들의 관점을 반영하도록 노력해야 하며, 재정적 장벽을 겪는 이들을 위한 AI 제품 및 서비스에 대한 지원 근거를 제공한다.
전환기를 용이하게 하기 위해 정부는 법 시행 후 최소 1년의 유예 기간을 두기로 하였으며, 이 기간 동안 지도, 안전 및 신뢰성 인증을 위한 할인, AI 영향 평가에 대한 전문가 상담을 우선시할 예정이다.
그러나 단계적 접근에도 불구하고 산업계는 이 법이 규제 부담을 예측할 수 없이 확대하고 혁신을 저해할 수 있다는 우려를 표명하고 있다.
비영리 단체인 스타트업 얼라이언스의 최근 보고서는 고위험 AI 및 관련 준수 의무의 모호한 정의가 초기 단계 스타트업에 불균형적인 부담을 줄 수 있다고 경고하며, 기계 번역이나 사진 편집 도구와 같은 일상적인 기능이 워터마크 요구사항의 대상이 될 경우 문제를 제기하였다.
규제당국에게는 기술 기준을 명확히 하고 의무를 비즈니스 규모와 배치 위험에 따라 단계적으로 도입하라는 촉구가 있었으며, 규제 불확실성이 그렇지 않으면 실험, 투자 및 시장 진입을 저해할 수 있다고 경고하였다.
일부 비평가들은 이 프레임워크가 개인을 위해 시행 가능한 보호를 제공하기보다는 산업 촉진에 지나치게 치우쳐 있다고 주장하고 있으며, 시행 법령이 아직 개정 중이고 감독 체계가 완전히 구축되지 않은 만큼, 한국이 법적이고 실질적인 불확실성을 남긴 채로 너무 빠르게 집행으로 나아가고 있는 것인지에 대한 질문이 남아 있다.