AI가 정부의 의사 결정에 잘 쓰여지면, 긍정적인 결과를 얻을 수 있다. 정부는 AI에 기반한 시스템을 병상 관리, 교통 규제에 쓰거나 사회 혜택을 분배하고 서비스를 제공하는 효과적인 방법을 고안하기도 했다.
효과적으로 작용하는 AI 시스템과 실패하는 AI 시스템의 가장 큰 차이는 그것을 만들고 감독하는 방식에 있다. 성공적인 결과를 도출하는 접근 방식은 적절한 거버넌스, 영향을 받는 이해 관계자들의 의견을 바탕으로 신중하게 마련한 프로세스, 의사 결정을 하는 데 있어 AI의 역할의 투명성을 포함한다. 이렇듯 포괄적인 접근 방식을 ‘책임감 있는 AI(Responsible AI)’라고 부른다. 정부는 책임감 있는 AI를 확보하기 위해 리더십을 강화하고, AI가 인간의 의사 결정을 향상시킬 수 있도록 (바꾸는 것이 아니라) 활용해야 한다. 책임감 있는 AI는 정기적인 리뷰, 정형화된 도구 및 데이터 모델과의 통합, 잠재적인 오류에 대한 계획을 포함하고 있어야 한다.
정부는 자신들 마음대로 사용할 수 있는 또다른 도구가 있다. 정부는 책임감 있는 AI를 광범위하게 채택할 수 있다. (AI 공급자가) 공공 부문 AI 계약 입찰시 책임감 있는 AI 원칙을 고수하는 것을 전제 조건으로, 정부 기구가 공공 부문 의사 결정에 AI를 서서히 통합하면, 자신이 창조한 시스템이 윤리적이고 투명하다는 사실을 보장할 수 있을 것이다.
정부 AI 시스템의 의도치 않은 결과
최근, 몇몇 잘 알려진 AI 오류는 AI 시스템이 책임감 있는 방식으로 설계·제작·시행되지 않을 때 개인이나 사회에 의도하지 않은 위해를 가할 수 있다는 사실을 보여주고 있다.
코로나 팬데믹 때문에 대학 입학시험이 취소되자 영국 정부는 학생들의 과거 성적에 기반해 점수를 매기는 알고리즘을 사용했다. 이 시스템은 학생들의 성적을 예상치보다 40%나 낮게 매겼으며, 이는 편향적인 시각으로 취약한 사회경제적 계층에 속한 학생들의 점수를 산출했다는 비난으로 이어졌다.
네덜란드 법원은 복지 혜택 부정 수급 및 세금 사기를 예견하기 위해 만들어진 비공개 알고리즘을 기반으로 한 AI 시스템이 인권법과 유럽연합 일반 데이터 보호 규칙(General Data Protection Regulation)을 위배한다고 보고 네덜란드 정부에 이 시스템 사용을 중단하라고 명령했다. 시민 단체는 이 시스템이 주로 저소득 계층과 사회 비주류층을 대상으로 하고 있다는 사실을 발견하고 이에 대한 법적 소송을 제기했다.
한 지역 NGO는 범죄 용의자를 식별하기 위해 안면 인식 시스템을 도입한 부에노스 아이레스 시(市)를 아동 권리 침해로 고소했다. 이 시스템은 심지어 4살 난 아동에 대한 정보까지 포함한 데이터베이스에 의존하고 있다.
미국의 한 출입국 관리 기구는 여러 AI 공급업체(vendor)로부터 머신러닝에 기반한 생체 측정 스캔 애플리케이션을 배포했다. 하지만, 이 애플리케이션이 기술의 소유권 때문에 실패율을 설명할 수 없게 되자 출입국 관리 기구의 책임과 조달 관행에 대한 우려가 제기됐다.
언급한 사례 및 유사 케이스는 대대적인 비판과 법적 소송으로 이어지고 있다. 미국에서는 헬스케어, 사법 제도, 교육, 고용 및 기타 다른 분야에서 알고리즘을 기반으로 한 의사 결정 시스템이 법적 분쟁으로 이어져 우려가 발생하고 있다.
AI의 오류는 “나쁜” 공급자를 추적하고 공공 부문 AI 시스템 사용을 제한할 수 있는― 혹은 최소한 시스템을 보다 투명하게 만들 수 있는 ―정책이나 법률을 제정하는 조직적인 노력으로 이어지고 있다.
AI와 공적 기준을 다룬 2020년 영국 의회 보고서는 정부와 공공 분야 기관이 AI 사용에 대한 정보를 투명하게 공개하지 않는다고 지적했다. 이 보고서는 위험을 줄이기 위해 정부가 새로운 투명성 기준을 세우고 효과적인 관리 체계를 만들 것을 촉구했다.
정부 AI 시스템에서 과실이 발생하면 공적 기관에 대한 신뢰가 타격을 입는다. 시간이 흐르면서 이러한 불협화음은 정부의 정당성 및 정부 권한 전반에 대한 시민들의 믿음과 지지를 훼손시킨다.
BCG 리서치에 따르면, 시민들이 온라인으로 공공 서비스를 이용하는 데 만족을 느끼면 정부에 대한 신뢰도가 강해진다. 하지만 부정적인 경험은 정부에 대한 신뢰성을 엄청나게 갉아먹는 효과를 낳고 만다. 정부가 시민들로부터 AI 활용에 대한 신뢰를 얻기 위해서는 올바른 이해가 필요하다. 책임감 있는 AI는 정부에 대한 신뢰도를 높이고, 정부가 업무 향상을 위해 머신러닝을 활용하는데 필요한 (시민들의) 지속적인 승인을 얻을 수 있도록 한다.
정부에 있어 책임감 있는 AI의 가치
정부가 신기술을 제어하는 규칙들과 씨름을 벌이는 상황에서 시민들의 신뢰를 구축하기 위해서는 AI를 사회적 웰빙 증진에 사용하는 것이 유리할 것이다.
책임감 있는 AI 이니셔티브는 AI 시스템의 직접적인 혜택을 제공할 뿐 아니라, 정부의 합법성을 촉진시키고, 정부의 AI 사용에 대한 지지도를 높이며 디지털 기술을 보유한 인재를 모집하고 보유하는데 도움을 줄 수 있다.
정부의 정당성 촉진. AI를 기반으로 하는 애플리케이션은 정부 시스템과 프로세스의 일부만 구성하지만, 정부 기관에 대한 시민들의 인식에는 지대한 영향을 끼친다. 이러한 애플리케이션을 책임감 있는 방식으로 만드는 것은 정부가 개인과 사회의 최상의 이익을 위해 봉사한다는 믿음을 고취시킬 수 있다. 정부의 AI 사용이 증가하고 그 영향력이 보다 널리 퍼질 것이기 때문에 책임감 있는 접근법을 취함으로써 얻는 혜택은 더욱 늘어날 것이다.
책임감 있는 AI의 대표적인 특징은 포괄적인 개발(inclusive development)이다. AI를 기반으로 하는 평가와 모델은 다양한 관점을 아우름으로써 모든 그룹을 공정하게 취급하고, 어느 특정 개인이나 그룹에 의도치 않게 피해를 입히지 않도록 보장한다. 정부는 시민, 학계, 민간 부문과 기타 여러 이해 당사자들로부터 폭넓은 의견을 수렴해 프로세스의 투명성을 확보하며, 이는 신뢰 향상 및 AI와 다른 디지털 기술에 대한 생산적인 대화 장려가 가능하도록 한다.
정부의 AI 사용에 대한 지지도 증가. 지난 BCG 연구에 따르면, 응답자의 30%가 정부의 AI 사용과 관련한 윤리적인 문제에 심각한 우려를 표시했다. 이러한 우려는 사람들이 AI를 더욱 반대하도록 만든다. 정부가 AI가 가진 잠재적인 혜택을 현실화하기를 원한다면 AI의 윤리적 문제를 다루기 위해 필요한 전문가와 프로세스, 투명성이 모두 갖춰져 있다는 사실을 입증할 수 있는 조치를 취해야 한다.
책임감 있는 AI 프로그램은 대중의 반발을 누그러뜨리고, 정부가 AI의 도구와 서비스를 장기적으로 채택할 수 있도록 길을 터 줄 것이다. 이 프로그램은 정부가 AI를 책임감 있게 사용하기 위해 취하고 있는 조치를 자세히 설명해 줄 수 있는 잘 고안된 커뮤니케이션 전략을 포함하고 있어야 한다.
대중은 신기술이 가져온 혜택과 잠재적인 위험을 (과거보다) 더욱 더 많이 인지하고 있다. 만일 사람들이 정부 기관이 AI를 책임감 있게 활용한다고 믿는다면 정부 기관은 실적 향상을 위해 AI를 활용하는 데 대한 더욱 큰 대중적 승인을 얻을 수 있다.
디지털 근로자 유인과 보유. 세계적으로 디지털 인재가 부족한 상황에서 AI 기술자들의 수요는 특히나 높다. 민간 기업이 AI 기술자들에게 더 많은 임금을 주기 때문에 민간 부문은 채용이나 기술자 보유와 관련해 정부보다 확실한 비교 우위를 가진다. 따라서 정부가 민간 기업과 경쟁하기 위해서는 다른 방법을 찾아야 한다.
그 방법 가운데 하나가 책임감 있는 AI의 선두 주자가 되는 것이다. 전문 기술자들은 자신들이 개발한 시스템의 윤리적 함의에 대해 특별히 우려한다. 영국의 한 테크 회사 인사 부문 연구에서 AI 기술자 6명 가운데 한 명이 사회에 해악을 끼칠 수 있다고 생각되는 제품 개발에 참여하느니 차라리 회사를 떠나겠다고 응답했다. AI의 윤리성에 대한 직원과 시민들의 우려가 당연한 것으로 받아들여지는 환경에서 근무할 수 있는 기회와 AI가 명백하게 공공의 이익을 위해 사용되는 여건을 제공함으로써 AI 기술자들을 공공 분야 직종으로 이끌 수 있다.
책임감 있는 AI 달성
책임감 있는 AI를 추구하는 것은 추구하거나 말거나 하는 양자택일의 문제가 아니다. 정부는 AI의 혜택을 현실화하고 또한 기술을 책임감 있고, 윤리적인 방식으로 사용할 수 있다. 많은 정부 기구가 AI 원칙을 만들고 홍보하기 위한 첫걸음을 내디뎠다. 2019년 ‘네이처 머신 인텔리전스(Nature Machine Intelligence)’ 저널에 실린 기사는 전 세계 26개 정부 기관과 다국적 기구가 AI 원칙을 발표했다고 보도했다. 하지만 이 원칙들을 어떻게 실행할 것인지에 대한 구체적인 지침이 거의 없었고, 말과 현실 사이의 괴리는 정부의 AI 사용에 대한 부정적 인식을 더욱 굳힐 수 있다.
정부는 리더십을 강화하고, 원칙과 정책을 발전시키고, 휴먼 플러스 AI 거버넌스(human-plus-AI governance) 매커니즘을 수립하고, 사용자 리뷰를 시행하고, 도구와 방식을 통합하고(자세한 사항은 “책임감 있는 AI의 간극을 메우기 위한 여섯 가지 단계(Six Steps to Bridge the Responsible AI Gap)” 참조. 본 보고서에서는 다루지 않음), 오류가 발생할 경우를 대비한 대응책을 설계하고 시험해 봄으로써 (보기 참조) 책임감 있는 AI 프로그램을 구축하는 로드맵을 만들어낼 수 있다.
리더십 강화. 정부 기관들은 진공 상태에서는 작동하지 않는다. 정부 기관은 공공 서비스를 개발하고 전달하기 위해 함께 일하고, 책임감 있는 AI를 개발하기 위해서도 여러 부서를 아우르는 협력을 해야 한다. AI를 책임감 있게 운영하기 위해 정부는 일관적이고 총체적인 접근법과 기준을 채택하는 중앙 리더십 기구를 만들 수 있다. 이 기구는 중앙 정부 안, 혹은 정부 기구, 부서 혹은 감시 기구 내에 만들 수 있다. 위치보다 중요한 것이 다양한 멤버를 보유하고, 책임감 있는 AI를 설계하고 이끌기 위한 모든 시도를 담당하는 권위 있는 기구로 인정받도록 보장해 주는 것이다. 이 기구는 새로 구성된 헌신적인 팀일 수도 있고, 정부 각 부처 인재를 아우르는 태스크 포스 팀, 혹은 이 둘을 합친 것일 수 있다. 효과적인 커뮤니케이션을 위해 각 부서와 기구는 책임감 있는 AI 리더십 기구와 소통하기 위한 연락관을 임명해야 하고, AI 리더십 기구는 독립성을 유지해야 한다.
책임감 있는 AI 기구를 어떤 식으로 조직하건 간에, 법률적 요구사항을 충족시키고 정책 입안자의 승인을 받아야 하기 때문에 설립엔 시간이 걸릴 것이다. 설립 지연을 방지하기 위해 최고 분석 책임자(CAO)나 최고 디지털 책임자(CDO)가 일시적으로 프로그램 운영권을 갖도록 힘을 실어줄 수 있다. 초기 프로그램 비용은 기존에 책정된 예산에서 사용 용도를 바꿔 쓸 수 있지만, 프로그램에 들어가는 비용을 마련하기 위해 연간 예산을 조정할 수도 있다.
원칙과 정책 개발. 어느 조직에서든 새로운 원칙과 정책을 채택하는 데는 상당한 시간과 노력이 들어간다. 특히나 정부 안에서 이것은 어려운 과제다. 새로운 정책을 시행하기 위해서는 다양한 부서와 정부 기구, 규제 기관 사이 협의뿐 아니라 학계 전문가, 시민 단체, 업계와 그 외 외부 이해 관계자들의 피드백이 관여할 수 있다. 예를 들어 국방 혁신 위원회(Defense Innovation Board)가 국방부에 AI 윤리 원칙을 제안했을 때 위원회는 100명도 넘는 전문가의 의견과 약 200 페이지에 달하는 공개 논평을 수집했으며, 이 과정은 15개월 이상 걸렸다. 이러한 절차는 투명성과 이해 당사자들의 승인을 얻기 위해 필요하지만, 이것이 AI 시스템의 조기 채택과 함께 책임감 있는 AI가 시행되는 것을 가로막거나, 완전히 좌절시켜서는 안 된다.
정부는 지연을 방지하기 위해 국제기구가 만들어 놓은 기존의 책임감 있는 AI 원칙을 각국의 사정에 맞게 재단하는 데 집중하면서 기존의 윤리 원칙을 사용할 수 있다. 그 예로써 50개가 넘는 국가가 경제협력개발기구(OECD)가 제정해 놓은 AI 윤리 원칙을 채택했다. 이 원칙들은 책임감 있는 AI 프로그램 개발 초기 단계에 있는 국가에 단기간의 가이드를 제시해 줄 수 있다.
휴먼 플러스 AI(human-plus-AI) 거버넌스의 수립. 성공적이고 윤리적인 AI 시스템은 인간의 판단력과 경험에 AI를 접목한 것이다. 책임감 있는 AI를 만들고 배치하는 데 있어 인간의 역할은 기술이 관리·감독 없이 운영되는 일이 없도록 기술보다 더 높은 수준에 있어야 한다는 것이다. 인간의 전문성과 콘텍스트에 대한 이해를 담은 프로세스는 더 나은 결과를 도출할 수 있다.
민간 부문의 한 사례를 보면, 인간 바이어들이 다가올 패션 트렌드에 대한 자신의 경험과 지식을 알고리즘에 적용할 수 있도록 세일즈 예측 모델을 재설계한 뒤에 소매업자는 예측 오류를 50%까지 감소시켜 한 해 1억 달러 이상 손실을 줄였다.
정부도 유사한 휴먼 플러스 AI 철학을 도입해야 한다. AI 개발은 인간이 하는 리뷰와 프로세스를 통합한 포괄적이고 철저한 리스크 평가를 포함해야 하며, 프로세스 과정에선 정부 기구에 속한 사람이든 최종 사용자든 간에 누구나 잠재적인 문제에 대한 우려를 표현할 수 있어야 한다. 역할, 의무, 책임은 명확해야 한다.
사례 리뷰 시행. 프로그램 리뷰가 독자적인 감독을 받으며 대규모로 시행되도록 하려면 프로그램 운영 기구의 리더십 팀이 이 업무를 맡아야 한다. 만약 어느 개별 부서가 프로그램의 특정 사용 사례에 대한 권한을 가지고 있다면 이 부서를 참석시켜서 정기적으로 리뷰를 시행해야 한다. 마찬가지로 (프로그램이) 특정 선거구나 사회 전반에 걸쳐 영향력을 끼친다면 시민도 리뷰 과정의 일부로 참여해야 한다. 이것은 회사가 제품 개발 과정에서 소비자들의 피드백을 묻는 것과 유사하다. 이러한 경우, 리뷰는 프로그램이 야기할 수도 있는 의도치 않은 결과와 잠재적 해결법 제시를 다뤄야 한다. 제품에 대한 피드백을 수집하는 것이 서비스 질을 향상하는 데 사용될 수 있다면, 리뷰에 시민들을 참여시키는 것은 정부의 AI 사용에 대한 신뢰를 형성할 수 있다.
대응책 수립과 테스트. 실수는 발생할 수 있다. 실수에 대응하기 위해 업무와 책임, 과정, 조치가 수립돼야 한다. 책임감 있는 AI 대응책에서는 대중에 위험성을 경고하기 위한 커뮤니케이션 계획이 핵심이 되어야 하는데, 장기적으로 볼 때 투명성이 신뢰를 형성하고 유지하는 데 도움을 주기 때문이다.
최근 몇몇 정부 AI의 오류는 제한되고 서투른 커뮤니케이션 때문에 더 큰 혼란을 낳았다. 커뮤니케이션의 문제는 일반적인 기준으로 AI 사용을 다루고 감독해야 한다는 필요성을 강조한다. 그래야만 AI와 관련된 어떤 이슈라도 합의된 방식으로 다뤄질 수 있기 때문이다. 커뮤니케이션은 모든 부서가 AI의 성공과 실패에 대해 배울 수 있도록 함으로써 정부 내에서 전문성과 지식을 퍼뜨리도록 돕는다. 책임감 있는 AI 기구는 다수의 재판 관할 기구가 사이버 보안 위반에 대해 시민들에게 알려주는 것처럼 정부가 다른 영역에서 제정해 놓은 대응책을 차용해서 사용할 수 있다.
책임감 있는 AI를 홍보하기 위한 조달 사용
책임감 있는 AI를 홍보하는 데 있어 정부는 주요 이점을 거머쥐고 있다. 이미 AI 상품에 쏟아부은 상당한 액수의 돈과 서비스가 그것이다. 중동과 아프리카에서 AI 지출 비용은 2020년 20%, 약 3억7400만 달러까지 증가한 것으로 보이며, 이는 부분적으로 연방 및 중앙 정부의 구매에 기인한다. 2019년 회계 연도에 미국 정부는 추정치로 약 11억 달러를 AI에 사용했다. 2020년 영국 정부는 약 2억6600만 달러에 이르는 AI 서비스 프로젝트에 대한 건의를 요구했다. 이 요구는 2018년 영국 정부가 정부, 산업, 학계를 위해 약 13억4000만 달러를 지출하겠다고 발표한 이후에 나온 것이다.
정부 소비가 이 정도로 클 경우, 시장의 관행을 만들 수 있다. 정부는 자신들의 소비력을 사용해 시장 전반이 책임감 있는 AI를 지향할 수 있도록 인도하면서 AI 공급자를 대상으로 높은 윤리 기준을 설정하고 요구할 수 있다.
우선 정부는 책임감 있는 AI 원칙을 채택하는 공급자만 공적 부문 조달 기회에 접근하도록 할 수 있다. 정부 기구는 공급업자들에게 자체적으로 책임감 있는 AI 프로그램을 만들었다는 사실을 증명하도록 요구하거나, 책임감 있는 AI 원칙을 공급업자 평가 기준에 포함할 수 있다.
영국 정부는 AI 조달 가이드라인과 이러한 원칙을 분명하게 포함한 공급자 선정 기준을 제정했다. 캐나다 정부는 책임감 있는 AI 서비스를 제공하는 공급자 사전 승인 리스트를 만들었다. 이러한 사례 및 세계 경제 포럼(World Economic Forum)이 만든 가이드라인은 다른 정부를 위한 모델 역할을 할 수 있을 것이다.
정부는 책임감 있는 AI 조달을 위해 투명성과 영업 비밀 보호 사이에서 균형을 취해야 한다. 정부와 대중은 잠재적인 위험을 발견하고 이를 완화할 수 있도록 소프트웨어, 알고리즘, 데이터에서의 가시성(visibility)이 필요하다. 하지만 기업은 비교 우위를 유지하기 위해 독점적 정보를 사유화하기를 원한다. 캐나다는 정부가 기업의 독점 소스 코드를 조사할 수 있도록 함으로써 이러한 도전에 정면으로 대응했다. 그 대신 캐나다 정부는 기업의 소스 코드 및 근본적인 기술 방식 대한 기밀 유지 책임을 졌다.
정부가 AI와 같은 첨단 기술을 포용하기 위해선 시민들의 지속적인 신뢰를 얻어야 한다. 정부는 윤리적이고 책임감 있는 방식을 도입함으로써 보다 효과적이고, 효율적이고 공정하게 AI를 사용하는 자격을 확보하는 한편 사회 구성원들로부터 얻는 정부 정당성을 강화할 수 있다.
