사회복지사 시험에 도전한 AI, “법 지식 어려워”… 제미나이·챗GPT 오답률 최대 13.5% 복지소식
상세 설명 👁 56회
출처: https://img.etoday.co.kr/pt...
[2026.10.12 | 웰페어치 포털]
최근 돌봄을 중심으로 사회복지 분야에서는 돌봄 인력 부족 대안과 사회적 자원 낭비 최소화를 위해 AI와 로봇 등 첨단 기술을 적극 도입하고 있다. 그렇다면 만약 인공지능(AI)이 직접 사회복지사 국가자격시험을 치른다면 어떤 결과를 얻게 될까?
지난 1월 17일 서울 각 고사장에서 한국산업인력공단 주관으로 치러진 ‘제24회 사회복지사 1급 국가자격시험’ 문제(3교시 총 200문항)를 바탕으로, 유료 버전인 ‘챗GPT 5.2’와 ‘제미나이 Pro’에게 간이 테스트를 진행한 결과가 공개됐다.
1차 결과는 합격선이나… 의지하기엔 “초라한 성적표”
이번 테스트는 간이 실행 방식으로 입력 프롬프트나 학술적 검토 과정을 거친 엄밀한 연구는 아니지만, 주요 생성형 AI의 시험 문제 풀이 특성을 잘 보여준다.
[1차 테스트 결과]
- 제미나이 Pro : 전체 200문항 중 27개 오답 (오답률 13.5%)
- 챗GPT 5.2 : 전체 200문항 중 20개 오답 (오답률 10.0%)
[재점검(오답 확인 및 정정) 후 결과]
- 제미나이 Pro : 오답 7개로 감소 (오답률 3.5%)
- 챗GPT 5.2 : 오답 10개로 감소 (오답률 5.0%)
두 AI 모두 사회복지사 1급 합격 기준(전체 정답률 60% 이상, 각 교시별 정답률 40% 이상)은 무난히 통과했다. 그러나 자격증을 준비하는 수험생들이 학습 보조용으로 AI에 의존하는 경향이 커진 현상에 비추어 볼 때, 1차 평가 결과는 기대치에 못 미치는 초라한 성적이라는 평가다.
재미있는 점은 두 AI가 서로 같은 오답을 고집하는 비율이 전체의 2%에 불과해, 틀린 문항이나 논리가 서로 크게 달랐다는 사실이다.
가장 취약한 영역은 ‘사회복지법제론’
두 AI 모델이 공통적으로 가장 고전한 분야는 3교시 영역인 ‘사회복지정책과 제도(사회복지법제론)’였다.
[1차 테스트 오답률]
- 제미나이 Pro : 25개 문항 중 무려 76% 오답률 기록
- 챗GPT 5.2 : 32% 오답률 기록
[재점검 요구 후 오답률]
- 제미나이 Pro : 12%로 대폭 개선
- 챗GPT 5.2 : 24% 기록
복잡한 법적 해석과 한국의 최신 제도적 맥락이 개입되는 법제론 영역에서 AI가 가장 큰 한계를 드러낸 셈이다.
수능·검정고시 등 기존 평가와도 일맥상통
AI가 고난도 한국형 시험 문제에서 기량을 제대로 발휘하지 못하는 현상은 이전 연구들에서도 확인된 바 있다.
[2026학년도 수능 평가 (연세대 김시호 교수 연구팀)]
무료 AI 모델(GPT-5, 제미나이 2.5 플래시) 평가 결과, 서울 소재 4년제 대학 합격이 어려운 수준으로 집계됐다.
- 국어(76점 만점) : 제미나이 42점 / 챗GPT 37점
- 수학(74점 만점) : 제미나이 62점 / 챗GPT 70점
- 영어(100점 만점) : 제미나이 63점 / 챗GPT 86점
[한국 교육 표준 평가 (네이버클라우드·KAIST 공동 논문)]
주요 AI 모델(GPT-4o, 제미나이 1.5 프로, 하이퍼클로바X, 클로드 3.5 소네트 등)이 고등 검정고시에서는 90%대 높은 정확도를 보인 반면, 수능 문제 정답률은 50% 초반~60% 중반으로 급격히 떨어졌다.
이번 실험 결과는 AI 기술이 돌봄 서비스 등 현장 지원에는 도움을 줄 수 있으나, 정교한 전문 법률·제도 지식이 요구되는 국가자격 시험 수준의 지식을 완벽히 대체하기엔 아직 한계가 있음을 시사한다.
- 사회복지 관련 지식을 검색하는 웰페어치 포털
- 웰페어치 뉴스 기사 제보 및 보도자료 발송 hobbylife01@naver.com
💬 의견 나누기 (0)
첫 번째 댓글을 남겨보세요!
🔒 댓글을 작성하려면 복지학개론 포럼 로그인이 필요합니다.
로그인 하러가기