공공분야의 생성형 AI 활용도를 높이기 위한 여정

 

생성형 AI가 공공 분야의 효율성 개선에 미치는 잠재력과 영향력은 실로 막대하다. 이번 시리즈의 첫 번째 아티클 ‘From Opportunities to Value’는 전 세계 정부 기관에 생성형 AI가 도입될 경우, 2033년까지 연간 1.75조 달러에 해당하는 생산성 향상을 기대할 수 있을 것이라고 분석했다. 생성형 AI 툴은 업무 수행 시간을 줄여주고 단축된 시간에 보다 가치 있는 업무에 집중할 수 있기 때문에 업무 효율성이 크게 개선될 것이다. 결과적으로는 공공 분야도 다른 산업과 마찬가지로 생성형 AI 도입에 따른 업무 수행 방식이나 직원들의 업무 및 활동에 근본적인 변화가 예상된다.

생성형 AI 도입 초기 단계부터 대대적인 기술 투자는 필요 없다. 조직 AI 성숙도에 맞춰 반복적인 실험을 거치고 역량을 개발해 나가는 접근 방식이 가장 효과적이다. 공공 분야 리더들이 목표하는 부분에서 생성형 AI를 전략적으로 구현해 낸다면 최소한의 리스크로 운영 효율성이나 공공 서비스 품질, 시민 참여도를 크게 개선할 수 있으며, 동시에 조직 내 기술 혁신을 위한 스킬과 역량이 구축될 것이다.

본 아티클은 공공 분야에서 생성형 AI의 잠재력을 다룬 시리즈의 두 번째 글이다. 첫 번째 아티클 ‘From Opportunities to Value‘에서는 생성형 AI 도입을 통한 공공 분야의 생산성 향상과 서비스 변화를 다루었으며, 세 번째 아티클 ‘Practices and Policies for Risks and Responsibility‘에서는 생성형 AI 도입의 부작용을 최소화하기 위한 로드맵을 소개할 예정이다. 이번 아티클에서는 공공 분야의 조직 전반에서 생성형AI의 이점을 극대화하기 위한 핵심 요인을 분석한다.

 

 

정부 기관이 생성형 AI의 잠재력을 실현하는 법

 

생성형 AI 도입 초기 단계에서 실행되는 파일럿 프로젝트는 조직에 매우 결정적인 학습 기회가 된다. 일반적으로 소규모로 구성된 팀이 개념 증명과 최소 기능 제품(MVP, minimum viable product)을 개발하고, 이후 여러 팀의 경험과 자신감이 쌓이면서 점차 조직 전체의 견고함, 신뢰성, 지속 가능성 및 성과로 나아갈 수 있다. (보기 1 참조)

생성형 AI의 잠재력을 실현하는 데는 다음 6가지 핵심 요인이 중요하게 작용한다.

• 리더십
• 인재 및 스킬
• 파트너십
• 기술
• 데이터

이번 아티클에서는 위 5개 요인(리더십, 인재 및 스킬, 파트너십, 기술, 데이터)을 집중적으로 알아보고자 하며, 세 번째 아티클에서는 마지막 핵심 요인(정책 및 거버넌스)을 심층 분석할 예정이다.

 

 

리더십

 

실험 및 학습

고위급 리더들은 공공 분야 전체에 걸쳐 생성형 AI 도입을 주도해야 한다. 조직은 직원들이 빠르게 생성형 AI 사용 방법과 리스크 관리법을 익힐 수 있도록 실제 현업에서 쓰이는 툴을 활용해 직원 실무 교육과 현장 경험에 투자해야 한다. 정부 기관 리더들은 생성형 AI가 새롭게 제기하는 복잡한 윤리적, 기술적 과제에 대한 해결 방안을 모색하여 이 기술을 어떻게 구현하고 사용할지, 모니터링은 어떻게 하며 잠재적인 리스크는 어떻게 관리할 것인지 등의 주요 사안을 결정해야 한다. 이를 위해서는 생성형 AI의 혁신적인 잠재력, 리스크 및 한계점을 정확히 이해해야 할 것이다.

다수의 직원이 생성형 AI가 미래 일자리와 경력에 미칠 부정적인 영향을 우려하고 있다. 반면 BCG의 최근 연구 조사에 따르면, 생성형 AI에 대한 리더들의 생각은 직원들과는 크게 다른 것으로 나타난다. 이들은 훨씬 더 낙관적으로 생성형 AI를 보고 있으며(62:42), 부정적인 영향을 우려하는 시각은 현저히 적게 나타났다(22:39). 리더들은 생성형 AI가 미래 일자리 구성이나 규모 측면에서 어떤 영향을 미치는지 직원들과 공개적으로 논의하며 그들의 우려를 해소시키고, 생성형 AI로 인한 직무 변화를 고려해 직원 스킬 향상과 재교육에 투자해야 한다. 또한 새로운 기술이 안전하고 윤리적으로 사용되고 있다는 경험 기반의 메시지를 전달하고, 조직 문화 안에서 이를 강화하는 인센티브나 지원 제도를 마련해야 한다. 책임 있는 AI 사용을 위한 지침을 수립함으로써 조직은 생성형 AI의 기대와 한계를 직원들에게 이해시키고, 승인된 정책 안에서 생성형 AI가 안전하게 운영되고 있다는 확신을 줄 수 있다.

직원들의 우려에 대처하는 또 다른 방법은 이들이 생성형 AI 툴을 잘 알고 익숙해지도록 돕는 것이다. 개개인의 경험이 쌓일수록 낙관론이 퍼지게 되어 있다. 생성형 AI를 자주 사용하는 직원들은 그렇지 않은 직원들보다 우려의 목소리가 낮은데(22:42), 이는 그들이 생성형 AI의 잠재적 가치와 한계점을 잘 이해하기 때문이다. (보기 2 참조) 리더들은 직원들이 생성형 AI에 관해 활발히 토론하는 문화를 지향하고, 툴을 잘 사용하는 직원들이 나서서 생성형 AI를 시연하도록 독려하면서 스스로도 이에 적극 동참해야 한다.

초기 단계의 생성형 AI 프로젝트는 직원들이 생성형 AI의 가능성을 직접 경험할 수 있도록 설계되어야 한다. 예시로, 일본의 요코스카(Yokosuka) 시는 회의록 정리, 자료 요약, 텍스트 작성, 오류 확인 등 비교적 간단한 업무에 생성형 AI를 시범 적용하고 있다. 리스크가 적은 사용 사례를 통해 직원들은 생성형 AI가 업무에 사용되는 방식을 잘 이해하게 되고, 점차 이 툴을 편하게 느끼게 된다. 또한 싱가포르는 정부 주도의 AI 트레일블러이저(AI Trailblazers) 프로그램을 통해 공공 분야 직원들이 새로운 생성형 AI 툴 개발에 직접 참여할 기회를 주고 있다. 각 팀은 프로그램 참여 전 맞춤 교육을 받고, 리더들과 협력해 새로운 생성형 AI 애플리케이션을 구현하게 된다.

 

개선, 확장, 최적화

생성형 AI를 조직 전반에 활용하는 데는 리더들이 결정적인 역할을 한다. 리더들은 직원 행동을 바꿀 넛지(nudge) 전략을 사용해 기술 도입을 확대하고 조직 문화의 변화를 유도해야 한다. 구체적인 넛지 사례는 아래와 같다.

• 생성형 AI 툴의 용이한 사용 및 접근성 개선
• 생성형 AI 애플리케이션 강조 및 홍보를 위한 내부 커뮤니케이션
• 직원들이 직접 생성형 AI 툴을 시연하는 내부 포럼
• 모범 사용 사례 공유 및 학습으로 얻은 교훈 배포
• 배지, 인증 등을 도입한 게이미피케이션(gamification) 교육

이러한 노력을 통해 리더들은 직원들의 의욕을 강화하고 조직 내 생성형 AI 도입을 가속할 수 있으며, 궁극적으로는 책임 있는 생성형 AI의 사용이 매력적이고 직관적이며, 안전하다고 여기는 문화를 조성할 수 있을 것이다.

 

 

인재 및 스킬

 

실험 및 학습

파일럿 프로젝트를 추진할 때는 소규모 다기능 팀인 스쿼드(squad)를 구성하는 것이 최적의 방법이다. 이러한 스쿼드는 비즈니스 담당자, 사용자, 생성형 AI 솔루션을 설계하고 최적화하는 머신 러닝 및 AI 엔지니어, 데이터를 변환 및 관리하는 데이터 과학자, 통합을 주도하는 IT 전문가, 책임 있는 솔루션 설계 및 구현을 추구하는 생성형 AI 정책 및 거버넌스 자문가로 구성된다.

초기에는 문서 작성, 그래픽 합성 등 직원들이 쉽게 익힐 수 있고 리스크가 적은 작업부터 시작하여 점진적으로 숙련도를 쌓다 보면, 신규 서비스를 제공하는 것과 같이 복잡한 작업에 필요한 효율성과 역량도 키울 수 있다. 조직은 지속적인 평가를 바탕으로 언제, 어떤 부분에서 데이터 플랫폼, 생성형 AI 툴 및 프로세스에 투자할지 결정할 수 있다.

 

개선, 확장, 최적화

생성형 AI는 직무에 큰 영향을 미치고, 새로운 스킬의 필요성을 제기할 것이다. 반복적인 업무나 지식 통합, 콘텐츠 제작 등의 과정은 모두 변한다고 볼 수 있다. 또한 달라진 업무 수행 방식을 반영해 수많은 직무가 재설계될 것이다. (보기 3 참조) 예를 들어, 미국 국방부(United States Department of Defense)는 현재 생성형 AI 툴을 개발해 조달 문서 작성을 자동화하고 있다. 예전에는 수일이 걸렸던 복잡한 업무를 이제 15분 이내로 완료할 수 있게 되면서, 담당자들은 공급업체 관계 유지, 입찰업체 협력, 지출 최적화 등 보다 가치 있는 업무에 집중할 수 있다.

그러나 고부가가치 활동을 수행하려면 인재 교육 및 재교육 등 스킬 향상을 위한 추가적인 투자가 필요하다. 생성형 AI에 역량 격차가 존재하는 것은 리더 및 직원 모두가 알고 있다. 미국 인사관리국(OPM, United States Office of Personnel Management)은 AI 및 생성형 AI 사용의 역량 격차를 인지하여, 공공 분야 최고인사책임자(CHCO, Chief Human Capital Officers)를 위한 비망록을 발표해 데이터 추출 및 변환, 테스트 및 검증, 시스템 설계 등 정부 수준에서의 AI 역량 구축에 관한 지침을 제공했다.

직원들을 위한 AI 스킬 교육에는 추가적인 자원이 필요하다. BCG 연구 조사에 따르면, 공공 분야 종사자의 86%가 생성형 AI 적응을 위한 교육이 필요하다고 생각하지만, 실제 이에 대해 공식 교육을 받은 비율은 14%에 불과했다. 일부 국가는 이 같은 격차를 해소하기 위해 이미 투자를 추진 중인데, 대표적으로 두바이 정부는 공공 분야 내 생성형 AI 기술 도입을 위한 맞춤 교육을 발표했다. 이를 통해 직원들은 생성형 AI가 제시하는 기회와 리스크 등 생성형 AI에 대한 기본적인 지식을 갖추고 다양한 생성형 AI 툴에 친숙해지며, 이 툴이 효율성, 효과, 서비스 품질을 어떻게 개선하는지 실용적인 사용 사례를 접할 수 있을 것이다.

생성형 AI는 업무 흐름을 혁신하고 프로세스를 재구성하여 공공 분야의 미래를 바꿀 수 있다. 리더들은 인재를 전략적으로 활용해 이러한 혁신을 지원해야 한다. 정부는 예상되는 기술 수요에 따라 스킬 향상 및 채용 이니셔티브를 조정하고, 달라진 역할에서 인재들이 최상의 역량을 발휘할 수 있도록 힘을 실어줘야 한다.

 

 

파트너십

 

실험 및 학습

기술 분야의 기업 및 업계, 대학, 전문가와의 파트너십도 중요하다. 정부 기관은 필요한 기술 인재를 유치하고 유지하는 데 어려움을 겪고 있다. 충분한 보상과 직무 유연성, 전문가 커리어 트랙의 맞춤화 및 강화, 지속적인 학습 프로그램 등 인센티브가 뒷받침되는 강력한 직원가치제안(EVP)이 역량 격차를 해소하는 데 중요한 역할을 할 것이다. 초기 단계에서는 파트너십으로 조직 내에서 부족한 지식과 스킬에 빠르게 접근할 수 있는데, 외부 기관은 정책이나 규제, 고부가가치 사용 사례 등 신뢰성 있는 의견을 제공하기 때문이다. 예를 들어, 캐나다 정부는 몬트리올 대학교(Université de Montréal)와 파트너십을 맺고 자금을 지원해 신약 개발, 환경 비상사태, 의료 시스템 물류라는 3가지 우선순위 분야에서 AI 설계와 도입 전략을 새롭게 개발 및 구현하고 있다.

 

개선, 확장, 최적화

파트너십은 로드맵 개발이나 직원 스킬 교육, 실무 그룹과의 유연한 조율, 첨단 기술에 대한 접근성을 간소화하는 데 중요한 역할을 한다. 정부가 독자적으로 프로젝트를 추진하는 것보다 파트너십을 활용하면 훨씬 더 빠르게 이를 확장할 수 있다. 예를 들어, 호주 정부는 마이크로소프트(Microsoft)와 협력해 마이크로소프트365 코파일럿(Microsoft 365 Copilot)을 6개월간 시범 사용할 예정이다. 마이크로소프트는 참여 기관에 교육, 온보딩, 실행 지원 서비스를 제공하고 있으며, 2024년 1월부터 6월까지 7,400여 명의 직원들이 해당 시범 서비스에 참여 중이다. 보기 4는 정부 기관이 생성형 AI 활용을 위해 추진할 수 있는 다양한 유형의 파트너십을 보여준다.

 

 

기술

 

실험 및 학습

각국 정부마다 고유한 니즈와 사용 사례가 있으며 기술 준비도, 알고리즘 및 데이터 사용의 제약 또한 제각각이다. 보기 5에서 확인할 수 있듯이, 일반적으로 생성형AI기술 스택의 구성에는 사용자 인터페이스(챗GPT(ChatGPT) 등), 생성형AI 알고리즘 및 파운데이션 모델(오픈AI GPT(OpenAI GPT), 구글 제미나이(Google Gemini), 안트로픽 클로드(Anthropic Claude) 등), 광범위하게 접근 가능한 여러 데이터 세트, 컴퓨팅 인프라 등이 포함된다.

생성형 AI 도입 초기에는 기성 솔루션을 이용해도 충분히 많은 일을 할 수 있다. 기성 툴을 활용하면 초기 사용 사례를 더 빠르고 간편하게 비용 효과적으로 구현하게 된다. 정부는 기초적인 실험만으로 생성형AI 솔루션의 전반적인 실현 가능성을 평가할 수 있으며, 직원들은 최소한의 노력과 리스크로 생성형 AI에 친숙해질 수 있다.

 

개선, 확장, 최적화

생성형 AI 구현 시 플랫폼, 파운데이션 모델, 구현 경로 등에서 다양한 선택지가 존재한다. 파운데이션 모델은 솔루션이 필요한 사용 사례의 요건에 따라 결정되어야 하며, 여기에는 생성 결과물 유형(텍스트, 시각 자료, 동영상, 코드 외 기타), 미세조정의 필요 수준, 데이터 민감도, 책임 있는 AI 지침의 준수 여부 등이 포함된다.

AI 모델에 대한 해당 부서의 통제 수준 역시 고려할 사안이다. 예를 들어, 높은 수준의 통제가 필요하다면 자유롭게 수정 및 변경이 가능한 오픈소스 모델을 독점 모델보다 우선적으로 선택할 수 있다. 플랫폼 구매 결정은 공급업체가 책임 있는 AI 및 보안 요구 사항을 준수하면서, 해당 지역에 서비스를 안정적으로 제공할 수 있는지 여부를 평가해 이루어져야 한다.

또한 기존 플랫폼과 모델 간 호환성을 고려해야만 생성형 AI 구현 장벽을 낮출 수 있다. 예를 들어, 남호주 교육부(South Australian Department of Education)는 마이크로소프트와 협력해 8개 학교 교사 180명과 학생 1,500명을 대상으로 8주간 시범 프로젝트를 거쳐 AI 챗봇 에드챗(EdChat)을 개발했다. 이들은 기존의 마이크로소프트 애저(Microsoft Azure) 클라우드 플랫폼을 활용해 오픈AI GPT 4.0 기반의 솔루션을 구현했다. 보기 6은 공공 분야에 적합한 모델 및 플랫폼 선정 기준을 보여준다.

일부 국가는 자체적으로 거대 언어 모델(LLM, large language model)을 구축하는 프로젝트에 투자를 검토하고 있는데, 특히 프랑스나 일본처럼 영어가 모국어가 아닌 국가에서 자체 LLM 개발에 상당한 관심을 보인다. 또한 국방 및 국가 안보 영역에 있는 일부 애플리케이션에는 자주적 역량(sovereign capability)이 요구될 수도 있다. 하지만 새로운 파운데이션 모델을 구축하는 데 드는 비용이 너무 높고, 대부분 사업성이 부족하다. 이에 새로운 모델 구축의 대안으로 온프레미스(on-premise) 모델을 미세조정하고 검색 증강 생성(RAG, retrieval augmented generation)의 장점을 활용할 줄 아는 공급업체와 협력하는 방안도 있다.

클라우드 기반의 생성형 AI를 활용하면 더 유연하고 비용 효율적으로, 급변하는 AI 분야에서 최신 동향을 비교적 쉽게 따라잡을 수 있다. 이때 데이터를 완전히 샌드박스화하는 것이 매우 중요한데, 추상화 레이어나 데이터 익명화 전략이 충분한 보호책이 되지 못한다면 온프레미스 솔루션을 추구할 수 있다. 보기 7에서 보는 것과 같이 많은 조직에서 다양한 목적에 따라 여러 옵션을 결합해 사용한다.

 

 

데이터

 

실험 및 학습

다른 모든 AI 애플리케이션과 마찬가지로, 생성형 AI의 가치는 학습하는 데이터의 규모 및 품질과 직결된다. 생성형 AI 모델은 기존 AI(딥러닝, 머신러닝)보다 비정형적이고 다양한 멀티모달 데이터를 활용할 수 있지만, 출력물의 품질은 여전히 입력 데이터의 품질에 달려 있다. 대부분 생성형 AI 모델의 입력 데이터는 텍스트, 그래픽, 오디오, 동영상, 기타 인터넷을 통해 확보한 오픈 데이터 조합, 혹은 모델 제작자가 조달한 기타 데이터 소스를 통해 확보한 데이터가 된다. 원치 않는 편향성을 줄이기 위해 상당한 노력을 기울고 있지만, 기본적으로 사용자는 데이터를 기반으로 한 모든 AI 모델에 리스크가 내재해 있음을 인지해야 한다.

 

개선, 확장, 최적화

생성형 AI의 역량을 확대하려면 디지털 및 데이터 플랫폼을 업그레이드하거나 레거시 기술 환경을 현대화하는 등 투자가 어느 정도 필요할 수 있다. 공동 데이터 플랫폼을 잘 마련한다면, 정부는 소수의 AI 사용 사례나 파일럿 프로젝트에서부터 점진적으로 데이터 접근성을 확대해 조직 전반에서 AI 전환을 추진할 수 있다. 이 과정은 보통 조직 내 사일로화 데이터의 접근성 확대, 데이터 거버넌스 개선, 데이터 관리 플랫폼 내 AI 기능 추가, AI 전용 고급 소프트웨어 및 하드웨어 레이어 신규 통합, 다양한 신규 데이터 소스 접근성 제공 등으로 이루어진다.

데이터의 힘을 최대한 발휘하려면, 조직 전반에 걸쳐 데이터를 공유하고 레거시 시스템에서 분리하는 모듈형 플랫폼이 필요하다. 몇몇 리더들은 생성형 AI를 효과적으로 지원하지 못하는 레거시 시스템과 데이터 품질에 우려를 보인다. 만약 정부가 기술 아키텍처를 점진적으로 현대화하고, 그 안에서 생성형 AI를 활용한다면 빠르게 성과를 달성하고 일찍이 혜택을 누릴 수 있을 것이다.

그러나 정부는 생성형 AI와 함께 하는 새로운 환경을 신중하게 관리해야 한다. 생성형 AI가 비정형 데이터를 사용하려면 데이터 수명 관리와 새로운 거버넌스 접근법이 함께 마련되어야 한다. 예를 들어, 멀티모달 LLM은 문서, 음성 및 영상 통화 등의 입력 데이터를 사용할 수 있는데, 이때 수집된 데이터가 승인되거나 의도한 목적 외의 용도로 사용될 수 있는 리스크가 커진다.

이에 따라, 조직 내 데이터 거버넌스 팀의 적극적인 관여가 필요하다. 데이터를 정확히 추적하고 기록하여 데이터 확보 방법과 출처, 관련 권한, 사용 제약을 문서화하는 것이 매우 중요하다. 또한 데이터 거버넌스 팀은 데이터 분류를 관리해 데이터가 적절히 라벨링되도록 해야 한다. 데이터 거버넌스는 공공 분야에서 데이터의 오남용을 방지하고, 데이터가 법적, 윤리적, 개인정보 보호의 울타리 안에서 사용되도록 하는 것에 매우 중요하다.

 

 

결론: 신중한 태도와 비전 추구 사이의 균형

 

대체로 정부 기관은 자신들의 결정에 따른 중대한 영향을 고려하여, 신기술 도입에 조심스러운 태도를 취한다. 그러나 정부가 새로운 기술을 도입함으로써 효율적, 효과적으로 더 큰 공공 가치를 창출할 수 있다는 잠재력을 간과해서는 안 된다. 본 아티클에서 소개한 5가지 핵심 요인(리더, 인재 및 스킬, 파트너십, 기술, 데이터)은 생성형 AI가 가지는 잠재적 혜택과 리스크 간에 균형을 바탕으로 실천되어야 한다.

생성형 AI를 제대로 활용하기 위한 각국 정부의 여정은 다양하다. 공통적으로 이는 역할, 구조, 제공 서비스의 고유한 요구 사항을 기반으로 설계되며, 각 조직의 출발점과 중점 분야는 AI 성숙도와 구체적인 사용 목표에 따라 결정되어야 한다. 다행히, 생성형 AI는 반복적인 접근 방식(새로운 생성형 AI 툴 추가 > 해당 작동 방식 학습 > 기존 기술 및 조직 플랫폼에 통합 > 반복 진행)을 통해 개발될 수 있다. 중요한 것은 일단 학습 곡선을 시작해야 한다는 점이다.

지금까지 살펴본 바와 같이, 공공 분야에서 생성형 AI를 구현하기 위해서는 거버넌스, 리스크 관리, 보안에 집중해야 한다. 다음 세 번째 아티클 ‘Practices and Policies for Risk and Responsibility‘에서는 이에 관한 내용을 보다 자세히 살펴보고자 한다.