주요 시사점
빅테크 기업들은 오랫동안 먼저 내부적 혁신을 도입해왔다. 생성형 AI의 잠재력을 활용하려면 다른 기업들도 이를 따라야 할 것이다.
- 소프트웨어 개발의 품질 및 속도, 데이터 접근성, 소프트웨어 실행 비용 측면의 혁신은 대기업의 운영 방식을 변화시킬 것이다.
- BCG는 코더 역량 증강을 위한 기성 솔루션을 통해 소프트웨어 개발 생산성이 30~50% 개선될 수 있는 것으로 추산하며, 이는 상당한 비용 절감으로 나타날 수 있다.
- 기업은 먼저 기술 부서에서 생성형 AI를 도입해 효율성을 확보한 다음, 그렇게 절감된 비용을 기업의 디지털 및 데이터 여정의 가속화에 재투자해야 한다.
십여 년 전에 마크 안데르센이 했던 유명한 말처럼 소프트웨어가 세상을 집어삼키고 있다. 현재 생성형 AI는 소프트웨어 개발을 혁신하고 있을 뿐 아니라 더 나아가 오늘날 대기업이 운영되는 방식을 혁신하고 있다.
소프트웨어 및 데이터는 언어로 표현되며 생성형 AI는 그 해석에 매우 능하다. 이 때문에 기술 부서는 초기에 이를 적용하기에 적격이다.
생성형 AI의 영향은 여러 분야에서 체감될 것이다. 비즈니스 사용자들이 생성형 AI로 원하는 프로토타입을 개발할 수 있기 때문에 소프트웨어 개발자의 품질 및 속도가 개선될 수 있다. 생성형 AI는 광범위한 소스의 데이터를 “이해”하고 데이터 클렌징, 구조화, 관리를 자동화하므로 데이터 접근성을 크게 향상한다. 생성형 AI는 기존 코드를 낮은 비용으로 업데이트할 수 있어 클라우드 및 엔드 투 엔드 프로세스 자동화로의 전면적인 전환이 가능해지기 때문에 소프트웨어 실행 비용은 하락할 것이다. 생성형 AI는 전례 없는 속도로 체감되기 시작하고 있다.
기업의 기술 부서들은 이미 GitHub Copilot(마이크로소프트), CodeWhisperer(아마존), Codey(구글) 등 코더 역량 증강을 위한 솔루션을 활용하여 효율성과 창의성을 강화하고 있다. BCG의 연구에 따르면 소프트웨어 개발 생산성은 이러한 도구들을 통해 30%-50% 개선될 수 있는 것으로 추산된다. 종합적으로 보면 효율성 개선은 IT 비용 기준선의 10%에 달할 수 있으며 최대 65%의 비용이 직접 영향을 받을 수 있다. 이는 대부분의 포춘(Fortune) 500대 기업의 경우 수억 달러를 의미한다. (보기 1 참조)
생성형 AI는 CIO에게 네 가지의 새로운 책임을 부여한다.
- 기술 부서의 효율성 향상
- 비즈니스 부서에 생성형 AI 활성화
- 전사적인 데이터 품질 및 가용성 강화
- 생성형 AI로 촉발되는 새로운 사이버 위협 완화
빅테크 기업들은 오랫동안 먼저 내부적으로 혁신을 구현해왔다. 본 보고서는 CIO나 그들이 속한 기업이 어떻게 생성형 AI를 활용할 수 있는지에 대한 시리즈를 시작하는 글로서 비기술 부문 기업들이 어떻게 기술 부서에 생성형 AI를 구현할 수 있는지를 집중적으로 살펴본다.
생성형 AI는 어떻게 IT를 혁신하는가
AI의 채택이 고르게 이루어지고 있지는 않다. 하지만 생성형 AI는 명확한 언어 능력으로 기술 가치사슬 전반의 많은 활용 케이스에서 획기적인 역할을 하고 있다. GPT-4와 같은 거대 언어 모델(LLM)은 방대한 양의 데이터로 훈련될 경우 인상적인 결과를 보여준다. IT는 코드, 사양, 데이터 모델, 테스트, 운영 지식 기반, 유저 티켓, 빌드 스크립트, 시스템 로그 등 표준화되고 구조화된 문서와 가공물을 활용하기 때문에 AI의 작업을 훨씬 쉽게 만들어준다. 네 가지 분야의 수많은 활용 케이스들에 사용할 수 있는 상업용 도구들이 있으며, 이들은 IT 프로세스 및 작업 흐름을 엔드 투 엔드로 최적화하는 데 도움이 된다. (보기 2 참조)
[1] 비즈니스와 파트너십 형성
생성형 AI는 IT와 비즈니스 부문 간의 새로운 윈윈 관계의 근간을 형성할 수 있다. 수일 내로 애플리케이션의 프로토타입을 제작함으로써 사양 개선, 반복 단축, 비즈니스의 채택 강화가 이루어질 수 있다. 생성형 AI는 이미 많은 기업에서 진행 중인 “no code” 운동을 가속할 것이다. 엔지니어들뿐만 아니라 모든 직원은 필요한 사항을 LLM으로 지원되는 챗봇에 입력하기만 하면 비즈니스 대시보드를 구축하고, 데이터 세트로부터 통찰력을 도출하며, 자신만의 작업 흐름을 설계할 수 있는 능력을 갖게 될 것이다.
[2] 앱 구축 및 유지·보수
소프트웨어 개발 라이프 사이클의 모든 단계는 현재 이용 가능한 상업용 도구들로 강화될 수 있다. 예를 들어 한 소프트웨어 기업에서는 AI 생산성 도구 실행 3개월 후 개발자들의 과제 완성이 40% 이상 급증했다. (“소프트웨어 개발 역량 증강” 참조)
소프트웨어 개발 역량 증강
생성형 AI는 소프트웨어 개발 3단계 모두를 단축하고 향상해 전반적인 생산성을 개선할 수 있다. (보기 참조) 첫째, 맞춤 소프트웨어 개발과 상업용 기성 소프트웨어 패키지(COTS) 모두를 개선할 수 있다. 생성형 AI는 평균 변화 예산의 약 30%를 차지하는 맞춤 애플리케이션 개발의 모든 단계를 강화할 수 있다. COTS 실행도 프로토타입 제작, 사양, 테스트 자동화, 통합 코드를 중심으로 개선될 수 있다. 이미 ServiceNow과 Salesforce 등 주요 소프트웨어 벤더사들은 실행을 가속화하기 위해 자체 개발 도구들을 제공하고 있다.
둘째, 코드 품질, 보안, 생산성을 측정하는 척도를 수립하고 DevOps 툴체인을 자동화한 기업들은 생성형 AI 증강을 통해 더 큰 가치를 더 빠른 속도로 창출해 낼 수 있다.
셋째, 생성형 AI는 알고리즘의 복잡성을 해결한다. BCG의 연구에 따르면 다음과 같은 생산성 향상이 예상된다:
- 작업 흐름이나 데이터 시각화 등 단순하고 반복적인 업무의 경우 50%에서 60%
- 그래픽 인터페이스 또는 웹 애플리케이션 등 좀 더 복잡한 업무의 경우 30%에서 50%
- 보안에 민감한 앱 또는 임베디드 또는 실시간 소프트웨어 등 비교적 리스크가 큰 정교한 업무의 경우 15%에서 30%
[3] IT 운영
일반적인 운영은 통상적으로 IT 비용의 절반 이상을 차지한다. 많은 프로세스가 더 효율적으로 자동화 또는 관리될 수 있다. BCG 연구 및 클라이언트 경험을 토대로 도출된 다음 추정치들을 살펴보자:
- BCG는 서비스 데스크 챗봇이 곧 사람의 도움 없이 기본적인 헬프데스크 요구사항의 20% 이상을 처리하고 상부 보고될 필요가 있는 요구사항들을 할당하고 문서화할 것으로 예상한다. AI는 디지털 워크플레이스, IT 인프라, 네트워크 운영도 증강시킬 것이며 이로 인한 생산성 개선은 40% 이상으로 예상된다.
- 모든 직원 및 파트너를 위한 엔드 유저 컴퓨팅의 최적화된 관리로 생산성을 최대 5% 개선할 수 있다.
- 애플리케이션의 효율적인 적용과 실행 등 인텔리전트 인프라 관리로 생산성을 5%에서 10% 개선할 수 있다.
- 소프트웨어로 관리되는 자산으로 인한 네트워크 운영의 성과 최적화를 통해 생산성을 5% 향상할 수 있다.
[4] 데이터 개선
많은 생성형 AI 활용 케이스들이 데이터 혁신을 가속할 수 있다. 예를 들어 생성형 AI는 데이터 클렌징, 융합, 증강, 통합의 자동화에 도움이 될 수 있다. 합성 데이터를 생성할 수 있으며 데이터 라벨링 및 분류, 데이터 익명화, 데이터 관리를 자동화할 수 있다. (보기 3 참조)
어떻게 시작해야 하는가
다음은 BCG의 경험을 바탕으로 생성형 AI가 IT에 제공하는 기회를 실현할 수 있는 여섯 단계의 계획이다. (보기 4 및 5 참조)
[1] 생성형 AI 비전을 수립한다
첫 번째 단계는 생성형 AI가 어느 부분에서 조기에 영향을 미칠 수 있으며 그 영향은 어떻게 확장, 확산될 수 있는지를 기술의 잠재력과 기업의 목표와 출발점을 토대로 정의하는 것이다. 이를 위해서는 실험과 실행을 통한 학습이 필요할 수도 있으나 중요한 것은 각 단계를 별도로 최적화하기보다는(현재의 개발 언어로만 코딩하는 것 등) 엔드 투 엔드 프로세스 및 도구 측면에서 생각하는 것이다.(소프트웨어 개발 및 유지 보수 프로세스 재설계 등) 경영진은 우려(실직) 및 제약(레거시 기술, 상용 기성 소프트웨어 패키지의 높은 비중)과 관련된 이슈들을 해결해야 한다. 또 이를 통해 얻은 것들이 어떻게 재분배될 것인지에 대해 설명할 준비가 되어야 한다. IT 부서가 경험을 축적함에 따라 비전은 가치 및 타당성을 기반으로 하는 활용 케이스 로드맵으로 전환될 수 있다.
[2] 여정에 필요한 자금을 조달하고 전제 조건을 수립한다
생성형 AI는 대규모의 IT 혁신을 의미하며, 이를 위해서는 툴링, 프로세스, 인재 측면의 필수적 변화를 위한 자금이 요구된다. 경험상 유용한 계획 수립 원칙 중 하나는 연간 1달러를 절약할 때마다 1-2달러의 펀딩이 필요하다는 것이다. 또한, 생성형 AI를 구현하기에 앞서 중앙 집중화된 코드 베이스, 잘 문서화된 컨피규레이션 관리 데이터베이스 및 지식 기반, 그리고 린 소프트웨어 및 DevOps 툴체인 등의 여러 분야에서 충분한 전사적 기술 성숙도가 반드시 달성되어야 한다. 사용되는 대부분의 도구가 기성 솔루션일 것이므로 인력, 스킬, 운영 모델 비용이 투자의 큰 비중을 차지하게 될 것이다. 스킬 구축과 변화 관리에 충분한 예산이 편성되어야 한다.
[3] 생성형 AI 역량을 훈련해야 한다
생성형 AI는 타당성 및 가치가 가장 큰 활용 케이스들을 실험함으로써 주목을 받을 것이다. 리드 타임, 구현 빈도, 소프트웨어 품질, 개발자 만족도 등 기술 부서 KPI를 전후로 모니터링하여 효율성 개선을 통한 비용 절감에 대해 문서화해야 한다. 매 실험마다 주요 시사점을 도출하고 공유하여 미래의 프로세스를 개선한다.
[4] 소싱 전략을 재수립한다
외부 서비스 제공 업체들은 자사의 비용구조 개선을 위해 자체적으로 AI를 구현할 것이다. 절감된 비용을 공유하는 것을 목표로 삼는다. 이들이 수수료 및 비용 절감를 위해 갱신을 요구하면 즉각 계약을 재협상한다. 내부적으로 강화될 수 있는 제품 라이프 사이클의 설계 및 아키텍처 단계로 가치가 전환됨에 따라, 생성형 AI는 시간이 지나면서 CIO에게 제삼자 의존도를 줄일 수 있는 기회를 제공할 수도 있다. 이미 디지털 혁신의 일환으로 자원을 내부 조달화한 기업들은 단기적으로 생성형 AI에서 얻을 것이 더 많을 것이다.
[5] 인력에 미칠 영향을 예측한다
기업은 새로운 스킬, 역할, 업무 수행 방식을 수용하기 위해 운영 모델을 조정할 필요가 있을 것이다. 전략적인 인력 계획은 변화 관리 및 “업스킬링” 캠페인과 반드시 함께 가야 한다.
[6] 책임 있는 AI로 법적, 윤리적 리스크를 완화한다
생성형 AI 리스크는 타 부서에 비해 IT 부서에서 측정하고 통제하기가 더 쉬우나 운에 맡겨서는 안 된다. 코드 생성의 경우 대부분의 상업용 도구들은 훈련 목적의 명시적 승인이 있고 오픈소스 코드를 포함하지 않는 코드로 훈련된 모델을 사용하는 옵션을 제공한다. 헬프데스크 챗봇은 “환각(hallucinations)”(거짓 및 허구), 그리고 훈련 데이터 세트로 인한 편향성에 취약할 수도 있다. 대부분의 상용 도구는 클라우드 기반이며 코드, 테스트, 티켓 등의 자산을 업로드해야 한다. 개선된 데이터 보호 기능이 있는 기업용 도구들조차도 기업별 데이터 프라이버시, 규제, 또는 준법 감시 정책으로 인한 제약에 부딪힐 수 있다. 이러한 리스크를 완화하기 위해 IT 부서는 품질, 서비스 수준 계약, 보안 리스크, 사용자 만족도를 측정하는 독립적인 도구 및 프로세스를 필요로 할 것이다.
——————————
생성형 AI가 IT 업계에 가져올 변화는 인터넷과 비슷한 규모일 것이다. 실제로 IT 초과 지출을 통제하기 위해 생성형 AI를 적용하는 기업들의 경우, 다른 조치들(레거시 아키텍처 리팩터링, 클라우드 전환, 서비스형 소프트웨어 내재화, 모바일 기기 관리 및 운영 자동화 등)과 함께 IT 예산은 평균 70%/30%의 run-change 비율에서 50%/50%로 변할 수 있으며, 이로 인해 IT에 새로운 시대가 도래할 수도 있다.
잠재적인 생성형 AI 활용 케이스의 수, 생산성 향상의 정도, 새로운 도구의 비즈니스 부서로의 확대 적용은 잠재적인 혜택이 필요 투자액을 훨씬 능가할 가능성이 큼을 의미한다. 가능한 한 일찍 생성형 AI 역량을 적용하는 미래지향적인 CIO들은 필요한 지식 및 경험을 얻고 비즈니스 가치를 획득할 수 있는 유리한 입지에 서게 될 것이다.
