코바 인사이트=신형탁 기자 | 신한은행이 지난 15일 이탈리아 밀라노에서 열린 국제 학술대회 ‘ICAIF 2026’ 워크숍에서 금융 AI의 안전성과 신뢰성을 다룬 논문 2편을 발표했다.
ICAIF(International Conference on AI in Finance)는 금융과 인공지능 기술의 융합을 주제로 연구 성과와 산업 적용 사례를 공유하는 학술대회다.
은행 업무용 LLM 평가 K-BankEval
첫 번째 논문은 은행 업무에 맞는 대규모 언어 모델(LLM)을 고르는 벤치마크 ‘K-BankEval’이다. 여신, 수신, 외환 등 은행 업무 특성을 반영해 5000개 문항과 6개 평가 영역으로 만들었다.
평가 영역은 은행 업무 전문지식, 금융 문서 검색과 근거 기반 답변(RAG), 도구 호출, 계산과 추론, 금융소비자 보호 관점의 응답 안전성, AI 에이전트의 업무 계획이다.
신한은행이 6개 LLM을 비교한 결과 범용 성능이 높은 모델도 은행 업무별 수행 능력에는 차이가 있었다. 업무별로 맞는 모델을 고르고 취약 영역을 진단하는 기준으로 쓸 수 있다는 설명이다.
AI 에이전트 실행 과정까지 검증
두 번째 논문은 내부 평가·검증 플랫폼 ‘Agent Foundry’를 바탕으로 한 AI 에이전트 검증 체계다. 최종 답변뿐 아니라 업무를 처리하는 과정까지 함께 점검한다.
업무 요구사항을 검증 사례와 평가 기준으로 바꾼 뒤 에이전트의 답변과 도구 실행 기록을 분석한다. 응답이 업무 기준을 충족하는지, 필요한 도구를 제대로 썼는지, 실행 과정이 효율적인지를 본다.
판단 근거가 부족한 사례를 정상 통과 사례와 구분하는 방법도 제시했다. 신한은행은 이를 AI 업무 처리의 정확성과 안정성을 높이는 검증 기반으로 활용할 계획이다.
신한은행 관계자는 “금융 분야에서 AI를 활용하기 위해서는 높은 성능뿐 아니라 실제 업무에 적합한지, 업무 수행 과정이 기준에 맞게 이뤄지는지를 함께 검증하는 것이 중요하다”며 “앞으로도 금융 환경에 특화된 AI 평가·검증 기술을 고도화해 고객과 직원이 안심하고 활용할 수 있는 금융 AI 환경을 만들어가겠다”고 말했다.


