🤖 투어비스 채팅상담 AI 학습 최종 보고서 2026년 2월

대상: 1,409건 | GPT-5 시뮬레이션 + 7-Phase 학습 파이프라인 | 생성일: 2026-04-08
총 처리 티켓
1,409
평가 완료: 1,261건 (89.5%)
전체 평균 점수
4.77
/ 10점 만점
벡터DB 추가
669
지식문서 56개 + 우수사례
9점 이상 우수사례
31
전체의 2.5% | 8점↑ 181건(14.4%)
🔧 배치5 캐시 수정 비교
수정 전 (rules 미반영)
4.78점
→
수정 후 (rules 반영)
5.00점
→
개선 효과
+0.22점
_RULES_PROMPT_CACHE 전역 캐시가 모듈 로드 시 1회만 초기화되어 Inspector 규칙이 다음 배치에 미반영되던 버그를 수정. 배치 시작 전 chat_flow._RULES_PROMPT_CACHE = None 추가.

📈 배치별 평균점수 추이

📊 점수 분포 (0~9점)

🗂️ 토픽별 평균점수

🎯 점수 구간별 비중

📋 배치별 상세 결과

배치구간평가건수평균점수DB 추가비고
배치 11 ~ 200181건
4.8점
+101GPT-5 시뮬 기준선
배치 2201 ~ 400175건
4.8점
+95
배치 3401 ~ 600170건
5.0점
+97최고점
배치 4601 ~ 800180건
4.7점
+91
배치 5 ★801 ~ 1000179건
5.0점
+102캐시수정 후 4.78→5.0
배치 61001 ~ 1200185건
4.5점
+89
배치 71201 ~ 1400182건
4.6점
+91
배치 81401 ~ 14099건
3.9점
+39건 소량
💬 시뮬레이션 사례 분석

✅ 우수사례 TOP 10 — 공통 패턴

✓ 의도 즉시 파악 ✓ 1회 핵심 질문 ✓ 간결한 문장 ✓ 대기 안내 포함
환불 #848087 — 환불금액 계산 확인 9점
고객 문의
환불 문의 드립니다. 지난 달 여행 상품이 카드환급으로 취소됐습니다. 479,500원에서 취소수수료 150,000원 제하면 329,500원 환급되어야 하는데 확인 부탁드립니다.
AI 응답
안녕하세요. 고객님의 예약번호를 알려주시겠어요? 예약번호로 확인 후 안내드리겠습니다. 잠시 기다려 주셔서 감사합니다.
✓ 고객이 제공한 금액 정보를 인식하고, 예약번호 1개만 요청 — 군더더기 없음
기타 #848659 — 발권 완료 여부 확인 9점
고객 문의
이 예약 티켓 발행이 완료된 건지 확인 부탁드려요.
AI 응답
안녕하세요. 투어비스 채팅상담에 찾아주셔서 감사합니다. 예약번호 알려주시면 바로 확인해드리겠습니다.
✓ 불필요한 본인확인 절차 없이 필요한 정보만 요청
영문명변경 #849335 — 영문명 변경 요청 9점
고객 문의
영문 이름 변경 요청드립니다. 예약번호 ORD3011234567입니다.
AI 응답
안녕하세요. 영문명 변경을 원하시는군요. 현재 등록된 영문명과 변경하실 영문명을 알려주세요.
✓ 예약번호를 이미 받았으므로 다음 단계(현재/변경 영문명)로 즉시 이동
취소수수료 #852003 — 취소수수료 문의 9점
고객 문의
예약 취소시 수수료가 어떻게 되나요? 출발일이 다음 주인데요.
AI 응답
안녕하세요. 취소수수료는 예약 상품과 항공사 규정에 따라 다릅니다. 정확한 확인을 위해 예약번호를 알려주시겠어요?
✓ 일반론 안내 후 바로 정확한 조회를 위한 정보 요청 — 올바른 흐름

❌ 나쁜사례 WORST 10 — 공통 실패 패턴

✗ 인사만 반복 ✗ 예약번호 무시 ✗ MCP 조회 미실시 ✗ 대화 흐름 단절
환불 #848273 — 환불 예상여부 조회 실패 1점
고객 문의
C16005053250 취소하고 C16005064226 새로 이동 예약 완료했습니다. C16005053250 환불 예상여부 알수있나요?
AI 응답
안녕하세요. / 안녕하세요. 투어비스 채팅상담에 찾아주셔서 감사합니다.
✗ 고객이 예약번호 2개를 직접 제공했음에도 인사만 2회 반복. MCP 조회 0건.
기타 #848295 — 스케줄변경 환불 처리 1점
고객 문의
항공 스케줄 변경으로 인한 환불 처리 문의입니다.
AI 응답
안녕하세요.
✗ 인사 한 마디로 대화 종료. awaiting_order phase에서 멈춤.
스케줄변경 #848698 — 스케줄 변경 가능 여부 1점
고객 문의
스케줄 변경 가능한지 문의드립니다. 예약번호 ORD3011xx입니다.
AI 응답
안녕하세요.
✗ 예약번호까지 제공했으나 조회 미실시. 실시간 MCP 타임아웃이 근본 원인.
취소수수료 #849327 — 취소수수료 조회 1점
고객 문의
취소하려고 하는데 수수료가 얼마인지 알고 싶습니다. 예약번호 알려드릴게요.
AI 응답
안녕하세요. 투어비스 채팅상담에 찾아주셔서 감사합니다. 예약번호 확인 중입니다.
✗ 조회 중이라고 했지만 실제 조회 미완료. 결과 없이 대화 종료.
🚀 9점 이상 달성을 위한 개선 로드맵

🔍 현재 점수 구조 분석

35.8%
1~3점 (451건)
구조적 문제
50%
4~7점 (630건)
개선 가능 영역
14.4%
8점 (150건)
양호
2.5%
9점 (31건)
이상적 응대
1

MCP 실시간 조회 성공률 개선 — 35% 블로킹 해제

1~3점 케이스의 주원인은 awaiting_order phase 고착과 tt-mcp/air-mcp 조회 타임아웃(20초)입니다. 타임아웃을 단축(5초)하고 실패 시 fallback 응답을 추가하면 단기간에 35% 케이스를 4점 이상으로 끌어올릴 수 있습니다. 예: "잠시 시스템 응답이 지연되고 있습니다. 1522-5149로 연락주시면 빠르게 도와드리겠습니다."

🔴 HIGH IMPACT
예상 +1.5점
2

고객 제공 맥락 즉시 활용 — 4~7점 → 8점 진입

4~7점 케이스 다수가 고객이 이미 예약번호를 제공했는데 다시 요청하거나, 이전 메시지의 상품 정보를 활용하지 않는 패턴입니다. chat_flow.py의 대화 히스토리 파싱을 강화하여 이전 턴에서 예약번호/주문번호를 추출하면 중복 질문을 제거할 수 있습니다. Inspector 규칙 15개 중 '컨텍스트 미활용' 관련 규칙이 이미 생성되어 있어 즉시 적용 가능합니다.

🟡 MED IMPACT
예상 +0.8점
3

저점 토픽 전용 가이드라인 보강 — 영문명변경·수하물·예약확인

토픽별 평균을 보면 영문명변경(4.29), 수하물(4.28), 예약확인(4.47)이 기타(5.66)·스케줄변경(5.03) 대비 약 1점 낮습니다. 해당 토픽의 전형적 흐름(필요 정보, 처리 절차, 에스컬레이션 기준)을 tourvis_kb에 추가하고, Inspector 규칙에 토픽별 분기 조건을 강화하면 됩니다. 현재 Inspector 15개 규칙 중 영문명변경·수하물 전용 규칙은 0개 — 즉시 보완 가능합니다.

🔵 LOW IMPACT
예상 +0.4점

📜 Inspector 생성 학습 규칙 현황 (총 15개)

💰
환불 정산/수수료/핵심안내
채널·상품·여정 확인 후 이미 제공된 정보 활용, 필수 식별자 추가 요청
🎫
환불·VOID 티켓패널티 관련
VOID 기한 내 처리 여부 확인 후 패널티 안내 분기
🔄
컨텍스트기반 재분류/이반요청 처리
이전 턴 정보 재활용, 불필요한 중복 질문 제거
✈️
예약확인/패키지/탑승 확인
조회 결과를 구조화하여 핵심 정보 우선 안내
👥
발권-다수고객 복잡상황 처리
2인 이상 예약 시 각 승객별 발권 상태 분리 확인
⚠️
본인확인 과잉 방지
핵심 요청을 먼저 파악한 후 필요 시에만 본인확인 수행
🔔
대기 안내 및 결제실패 운영안내
처리 지연 시 명시적 대기 안내 + 대안 경로 제시
📞
상담사 핸드오프 실패 대응
이관 실패 시 우회 경로(전화번호, 이메일) 즉시 안내