‘AI를 잘 쓴다’는 것, 정확히 어떤 의미일까요?
이는 단순히 AI 툴 몇 가지를 다루는 기술을 알고 있다는 의미 그 이상입니다. 이를 실제 상황에 딱 맞게 활용하고 그 결과를 평가하고 분석하는 안목까지 갖춰야 하죠. 나아가 하루가 다르게 변화하는 AI 기술을 능동적으로 대하고 부지런히 공부하는 태도까지 있어야 합니다. 즉, AI 기술을 이해하고, 비판적으로 사고하며, 협업 과정에서 AI를 적극적으로 통합하는 역량까지 갖췄을 때, 우리는 비로소 ‘AI를 잘 쓴다’고 말할 수 있습니다.
여기서 문제는 실제로 “우리 직원들이 AI를 잘 활용하고 있는지”를 정확히 측정할 방법이 마땅치 않은 경우가 많다는 것입니다. 조직 내에서 임의로 자가 설문을 진행한다면 신뢰도가 낮을 수밖에 없습니다. 그렇다고 단순히 AI 툴 사용 빈도로만 조직의 AI 역량을 판단하기엔 직무별로 활용 양상이 너무 달라 한계가 있죠.
이를 해결하기 위해, 최근 전 세계에서는 AI 리터러시(AI Literacy)를 보다 정교하고 체계적으로 측정하려는 시도가 활발히 이루어지고 있습니다. 특히 2023년 이후, 신뢰도와 타당도를 확보한 학술 기반의 AI 역량 평가 프레임워크들이 다수 등장했는데요.
지금부터 소개할 세 가지 대표 모델인 AICOS, MAILS, A-Factor Model은 AI를 다루는 기술 역량뿐 아니라 정서적 태도, 창의성, 협업 능력까지 아우르는 AI 활용력 전반을 진단할 수 있는 도구로 각광받고 있는데요. 함께 하나씩 살펴보실까요?
AICOS, 신뢰도 높은 기본 AI 역량 평가 척도
AICOS(AI Competency Objective Scale)는 2025년 독일 뷔르츠부르그대학교에서 AI 활용 역량을 객관적으로 측정하기 위해 개발한 도구입니다. 학술적으로 엄격히 설계하고 검증까지 마친 검사로, 신뢰성 및 타당성을 모두 확보한 프레임워크입니다.
AICOS는 총 51문항으로 구성되어 있으며, 실무에서 활용하기 좋은 18문항으로 구성된 단축형도 보유하고 있습니다. 객관식 기반 테스트이기 때문에 자가 보고의 편향 위험이 낮고 정확도는 높은 AI 리터러시 측정 도구죠. 무엇보다 직무나 학습 배경 구분 없이 전사적으로 활용할 수 있는 기본 AI 역량 진단 도구라는 것이 특징입니다.
그렇다면 AICOS는 AI 활용 능력을 어떻게 평가할까요? 총 6가지의 하위 카테고리로 나누어 AI 역량을 측정합니다.
1️⃣ AI 활용 능력(Apply AI)
주어진 AI 도구나 기능을 실제 업무나 문제 해결에 적용할 수 있는 능력입니다. 단순한 AI 사용이 아니라 이를 업무에 적용하는 실용적인 역량에 집중하여 평가합니다.
2️⃣ AI 생성·설계 능력(Create AI)
AI 모델을 직접 만들거나, 기존 AI를 조정 및 구성하는 능력을 말합니다. 생성형 AI만이 아닌 AI 시스템 조정을 포함하여 실무 등의 상황에 맞추어 커스터마이징을 할 수 있는 역량이죠.
3️⃣ AI 식별 능력(Detect AI)
AI가 어디에, 어떻게 쓰였는지를 인식하고 구분할 수 있는 능력입니다. 텍스트, 이미지 등의 다양한 콘텐츠에 AI 사용 여부를 판단할 수 있는 능력 등을 포함합니다.
4️⃣ AI 윤리 인해 및 판단 능력(Ethics AI)
AI의 편향, 책임, 법적/윤리적 이슈에 대한 인식과 대응 능력을 가리킵니다. AI 사용에 수반되는 책임, 공정성, 위험을 인식하고 있는 것이죠.
5️⃣ AI 개념 이해 능력(Understanding AI)
AI의 기본 작동 원리, 구조, 제한점에 대한 개념적 이해를 말합니다.
6️⃣ 생성형 AI 문해력(Generative AI Literacy)
생성형 AI 도구에 대한 문해력을 가리킵니다. 챗GPT 등 생성형 도구 활용 중심의 실용 역량을 말하며, 적절한 프롬프트 사용, 결과 평가, 창의적 활용 등이 있습니다.
MAILS, AI를 잘 다룰 수 있는 자질을 평가하는 방법
MAILS(Meta AI Literacy Scale)는 2023년 개발된 자가 보고 기반의 AI 리터러시 측정 도구입니다.
MAILS는 단순히 기술 활용 능력뿐 아니라 심리적, 메타 인지적 역량까지 포함하여 ‘AI를 잘 다룰 수 있는 사람’의 특성을 다차원적으로 평가하는 것이 특징인데요. 말하자면 AI를 다루는 심리적, 정서적 태도까지 평가 범위에 넣은 것입니다.
따라서 기술적 이해력을 평가하는 데 그치지 않고 AI 결과를 비판적으로 사고하고, 기술을 주체적으로 선택 및 활용하며, AI의 윤리적 이슈까지 고려하고, 변화에 대해 자기 효능감을 갖는 태도 등 인간 중심의 AI 역량을 측정합니다.
이에 따라 MAILS는 AI 리터러시를 총 6개의 하위 척도로 구분하여 총 34문항(단축형 10문항)으로 평가합니다.
1️⃣ AI 이해 역량 (AI Understanding)
AI 기술의 원리, 한계, 오류 가능성 등에 대한 개념적 이해를 가리킵니다. 기본적으로 AI는 인간이 만든 알고리즘에 따라 작동한다는 것을 이해하고, AI가 항상 정확한 결과를 제공하는 것은 아니라는 것을 인식하는 것이죠.
2️⃣ AI 활용 태도 (AI Usage Attitude)
AI에 대한 흥미, 수용성, 유용성에 대한 인식입니다. AI는 내 업무, 역량을 향상시킬 수 있는 도구라는 인식이죠.
3️⃣ 윤리적 민감성 (Ethical Awareness)
AI의 공정성, 편향, 투명성에 대한 감수성과 인식을 가리킵니다. AI의 판단에 인간의 편견이 개입될 수 있음을 깊게 인식하고 있는 것입니다.
4️⃣ 자기 효능감 (Self-efficacy)
AI를 사용하거나 학습할 수 있다는 자기 신념을 말합니다.
5️⃣ 감정 조절 역량 (Emotion Regulation)
AI 관련 불안, 스트레스에 대한 감정 조절 능력을 가리킵니다. AI의 변화가 두렵지만, 잘 적응할 수 있다는 태도와 같습니다.
6️⃣ 자기 주도 학습 역량 (Self-competence)
AI 관련 정보를 스스로 탐색·학습하는 능동적 태도입니다.
A-Factor Model, AI 활용에 필수인 소프트 스킬 측정
A-Factor Model에서 ‘A-Factor’란 AI를 활용해 창의적인 과제를 수행할 때 공통적으로 발휘해야 하는 핵심적인 심리 역량을 가리킵니다. 생성형 AI 시대에 인간이 AI와 협업하며 과제를 수행할 때 요구되는 언어 기반의 창의적, 분석적 능력을 측정하기 위해 개발되었죠. 이런 이유로 A-Factor Model은 기획, 마케팅, 리서치, 교육 및 리더직군에 활용하기 적합합니다.
A-Factor Model은 실험적 분석을 통해 도출한 4가지의 AI 역량을 총 18문항으로 측정합니다. 아래와 같이 A-Factor Model은 단순 설문이 아닌 실제 AI 활용 기반 수행 과제를 중심으로 구성되어 있는 게 특징입니다.
A-Factor Model의 질문 예시
- “AI 도구를 활용해 주어진 문제에 대한 3가지 대안 아이디어를 생성하시오”
- “AI가 작성한 보고서 초안의 오류 및 비논리적 부분을 지적하시오”
- “협업 시나리오를 구성하고, 그 과정에서 AI가 수행할 역할을 구체화하시오”
이러한 질문으로 A-Factor는 아래의 4가지 역량을 평가합니다. 한 항목당 4~5문항 내외로 평가하죠.
- 의사소통 효율성(Communication Effectiveness)
AI와 명확하고 목적 지향적으로 소통할 수 있는 역량을 말합니다. 대표적으로 프롬프트 작성 능력이 있죠.
- 창의적인 아이디어 생성 (Creative Idea Generation)
AI를 도구 삼아 아이디어를 탐색 및 확장할 수 있는 창의성을 말합니다. 브레인스토밍, 시나리오 기획, 대안 생성 등이 있습니다.
- 콘텐츠 평가 능력 (Content Evaluation)
AI가 생성한 결과물을 비판적으로 사고하고 판단할 수 있는 역량을 말합니다. AI의 답변을 검증하고 정확성과 편향성을 판단하는 것뿐만 아니라, 활용성까지 평가하는 능력을 포함합니다.
- 단계적 협업 수행력 (Step-by-step Collaboration)
AI와 함께 문제를 정의하고 단계적으로 해결하는 실행 능력입니다. 작업을 세분화하고, 피드백과 수정을 반복하여 공동의 목표를 달성할 줄 아는 것이죠.
우리 조직, 어디서부터 어떻게 시작해야 할까요?
AI 활용 역량은 이제 모든 직무, 모든 조직이 기본적으로 갖추어야 할 필수 능력입니다.
하지만 앞서 살펴보았듯이 AI 활용 역량이란 단순히 AI 툴 사용 능력뿐만 아니라, 기술 이해력과 정서적 수용성, 창의적 협업력까지 아우르는 복합 역량을 칼합니다. 따라서 이에 입체적으로 접근하여 이를 객관적으로 진단하고, 체계적으로 교육하는 프로세스를 필수로 거쳐야 하죠.
팀스파르타는 자체 조사를 통해 해당 조직이 어떤 AI 역량을 가장 필요로 하는지 파악합니다. 그리고 그에 맞는 교육을 설계하고, 역량이 얼마나 향상됐는지 사후 평가까지 진행하죠. 각 조직의 상황과 인재군에 맞는 진단-분석-맞춤 교육 설계의 전 과정을 직접 수행하는 것입니다. 이를 통해 팀스파르타는 기술을 ‘가르치는 것’에 머무르지 않고, 조직이 AI를 실질적으로 ‘활용하게 만드는 교육’을 제공합니다.
진단과 교육, 실행의 모든 단계가 연결되어 있는 팀스파르타의 AI 기업교육.
지금 우리 조직의 AI 활용 수준에 딱 맞는 AI 기업교육이 필요하다면, 팀스파르타와 함께하세요.
Share article