MIT 미디어랩의 NANDA 이니셔티브가 발표한 ‘The GenAI Divide: State of AI in Business 2025’ 보고서에 따르면, 기업들이 생성형 AI에 300억~400억 달러(약 41조~55조 원)를 투자했음에도 불구하고, 약 95%의 조직이 손익계산서에 측정 가능한 효과를 얻지 못한 것으로 나타났습니다.
이 보고서는 150건의 경영진 인터뷰, 350명의 직원 대상 설문조사, 300건의 AI 도입 사례 분석을 기반으로 작성되었으며, 성공적인 AI 구현과 실패한 프로젝트 간의 뚜렷한 차이를 보여줍니다.
생성형 AI가 기업의 성장 잠재력을 지니고 있음에도, 대부분의 조직은 빠른 수익 창출을 목표로 한 시도에서 성과를 내지 못하고 있습니다. 강력한 AI 모델을 도입했음에도 불구하고, 실제로 빠른 수익 성장을 이룬 파일럿 프로그램은 전체의 5%에 불과하며, 대다수 프로젝트는 손익계산서에 실질적인 영향을 미치지 못했습니다.
기업 내 ‘학습 격차’가 주범… 외부 솔루션 활용이 자체 구축보다 2배 효과적
보고서의 주요 저자인 아디티아 찰라팔리는 일부 대기업의 파일럿 프로그램과 젊은 창업가들이 이끄는 스타트업들이 생성형 AI를 통해 뛰어난 성과를 거두고 있다고 밝혔습니다.
그는 “19세 또는 20세 창업가가 이끄는 스타트업들이 1년 만에 수익을 0에서 2천만 달러(약 278억 원)까지 끌어올렸다”며, “이들은 해결하고자 하는 문제를 명확히 정의하고, 해당 문제를 집중적으로 해결하며, 자사 도구를 사용하는 기업들과 전략적으로 파트너십을 맺는다”고 설명했습니다.
반면, 전체 데이터셋의 95%를 차지하는 기업들은 생성형 AI 도입 효과가 기대에 미치지 못했습니다. MIT는 그 원인을 AI 모델 자체가 아닌, 도구와 조직 전반에 존재하는 ‘학습 격차(Learning Gap)’로 지목했습니다. 경영진은 종종 규제나 모델 성능을 문제 삼지만, 실제로는 기업 내 통합 과정의 결함이 주요 장애물로 작용하고 있습니다. 찰라팔리는 “ChatGPT 같은 범용 도구는 개인에게는 유용하지만, 기업 워크플로우에 적응하거나 학습하지 못해 조직 환경에서는 활용 한계가 뚜렷하다”고 지적했습니다.
예산 배분의 비효율성도 문제로 떠올랐습니다. 기업들은 생성형 AI 예산의 절반 이상을 영업 및 마케팅 도구에 집중하고 있으나, MIT는 백오피스 자동화가 가장 높은 ROI(투자 대비 수익)를 제공했다고 밝혔습니다. 이는 외주 업무 제거, 대행사 비용 절감, 운영 효율성 향상을 통해 실질적인 비용 절감 효과를 가져왔습니다.
AI 도입 방식 또한 성패를 가르는 주요 요인으로 분석됩니다. 전문 벤더로부터 도구를 구매하고 파트너십을 맺은 경우 성공률은 약 67%였던 반면, 내부에서 자체 구축한 경우 성공률은 절반 이하에 그쳤습니다. 특히 금융 서비스 및 고도로 규제된 산업군에서는 이러한 차이가 더욱 뚜렷하게 나타났습니다. MIT는 “기업이 독자적으로 AI 시스템을 구축하려 할수록 실패 확률이 높아진다”고 경고했습니다.
찰라팔리는 “우리가 방문한 기업 대부분이 자체 도구를 구축하려고 했지만, 실패율을 공개하는 데는 매우 소극적이었다”고 말했습니다. 그러나 데이터는 외부 솔루션을 활용한 경우가 더 신뢰할 수 있는 결과를 가져왔음을 명확히 보여줍니다.
보고서는 성공적인 AI 도입을 위해 중앙 AI 연구소뿐 아니라 현장 관리자들에게도 도입 주도권을 부여하고, 시간이 지남에 따라 적응 가능한 도구를 선택해야 한다고 강조합니다.
조직 내 인력 구조에도 변화가 감지되고 있습니다. 특히 고객 지원 및 행정직군에서 변화가 두드러지며, 대규모 해고보다는 공석이 된 자리를 채우지 않는 방식으로 인력 조정이 이뤄지고 있습니다. 이러한 변화는 과거에 낮은 부가가치로 인식되어 외주화되었던 직무에 집중되고 있습니다.
보고서는 또한 승인되지 않은 AI 도구, 즉 ‘그림자 AI(Shadow AI)’의 광범위한 사용과 관련된 문제도 지적합니다. 공식적으로 LLM(대규모 언어 모델) 구독을 보유한 기업은 40%에 불과하지만, 실제로는 90% 이상의 직원이 개인용 AI 도구를 업무에 활용하고 있는 것으로 조사됐습니다.
가장 앞선 기업들은 이미 설정된 경계 내에서 독립적으로 학습하고 기억하며 행동할 수 있는 ‘에이전트형 AI 시스템(Agentic AI)’을 실험하고 있습니다.
결국 MIT는, 생성형 AI의 성공은 기술 자체가 아닌, 그것을 조직 내에 어떻게 통합하고 학습 가능한 방식으로 운영하느냐에 달려 있다고 마무리 지었습니다.
