WhisperBert를 활용한 TTS 음성 품질 평가 자동화하기
고급50분2026-04-16
PostgreSQL에 저장된 챗봇 상담 로그를 불러와 Gemini API를 통해 유용성, 정확성, 어조를 기준으로 자동 평가합니다. 평가 점수와 사유를 데이터베이스에 다시 업데이트하고, 터미널에 항목별 평균 점수를 출력하는 품질 모니터링 자동화 스크립트를 만듭니다.
이 실습은 터미널에서 진행됩니다
오른쪽 패널에서 설치 명령어를 복사하세요이런 걸 배워요
- Gemini API를 '심판(Judge)'으로 활용하여 정성적인 데이터를 정량적으로 평가할 수 있습니다.
- TypeScript로 PostgreSQL 데이터베이스에 연결하고 데이터를 읽고 쓸 수 있습니다.
- 주관적인 평가 기준을 체계적인 프롬프트로 설계할 수 있습니다.
- 반복적인 데이터 처리 및 평가 작업을 자동화 파이프라인으로 구축할 수 있습니다.
어떻게 진행해요
1. 프로젝트 설정 및 샘플 데이터 준비
2. 데이터베이스 연결 및 데이터 로드
3. 챗봇 답변 품질 평가 기준 정의하기
4. 심판 AI(Gemini)를 위한 프롬프트 설계
5. Gemini API 연동 및 평가 로직 구현
6. 평가 결과 데이터베이스에 다시 저장하기
7. 전체 파이프라인 실행 및 결과 확인
8. 간단한 요약 리포트 생성
AI 튜터가 각 단계를 하나씩 안내해줄 거예요