Vercel 서버에서 실행되는 LLM 뉴스레터 생성 파이프라인에 LangSmith를 연동하여 전체 추론 과정을 추적하고 자동 평가 로직을 구현합니다. LLM 호출의 비용, 지연 시간, 사용자 정의 품질 점수를 실시간으로 확인할 수 있는 LangSmith 모니터링 대시보드를 구축합니다.

이런 걸 배워요

• LangSmith를 사용하여 LLM 애플리케이션의 관측성을 확보할 수 있습니다.
• Vercel 서버리스 환경에서 LangSmith SDK를 연동하고 환경변수를 설정할 수 있습니다.
• 프로그래밍 방식으로 LLM 출력 품질을 평가하고 그 결과를 LangSmith에 기록할 수 있습니다.
• LangSmith 대시보드를 통해 LLM 호출의 비용, 지연 시간, 피드백을 모니터링할 수 있습니다.

어떻게 진행해요

AI 튜터가 각 단계를 하나씩 안내해줄 거예요