평가 (합성 데이터 기준)
- 정답 라벨은 AI가 적은 초안이고 사람 검수 전입니다.
- 적신호 규칙과 합성 문의를 같은 도구로 만들었습니다. “누락 0”은 규칙이 자기 시험을 통과했다는 뜻 이상이 아닙니다.
- 검색 적중률을 올리려고 병원 문서(가상)의 표현을 골든셋에 맞춰 고친 곳이 있습니다. 그 변경도 검수 대상입니다.
- 분모가 10보다 작은 지표는 퍼센트를 적지 않습니다.
| 지표 | 값 (분자 / 분모) | 기준 | 판정 |
|---|---|---|---|
| 적신호 누락 인계되지 않은 적신호 문의 / 적신호 문의 근거: 규칙 · 규칙과 문의를 같은 도구로 만들었다. 규칙을 쓰지 않은 사람이 따로 쓴 문장 10개로 다시 재야 한다(PRD 7절). 목록의 '적신호 인계' 건수는 규칙이 잡은 수라 과잉 인계(아래)만큼 더 많다. | 0 / 15 (0.0%) | 0건 | 자기 시험 통과 · 별도 10문장 미측정 |
| 과잉 인계 인계가 정답이 아닌데 인계된 문의 / 인계가 정답이 아닌 문의 근거: 규칙 · 애매하면 인계하는 설계라 허용한다. 약 문의(적신호 아님, 인계가 정답)는 분모에서 빠진다. | 1 / 25 (4.0%) | 기록만 | 기록만 |
| 검색 적중률 정답 문서가 상위 5개 문단에 든 문항 / 정답 문서가 있는 문항 근거: 규칙+검색 · 병원 문서(가상) 문구를 골든셋에 맞춰 고친 곳이 있고(PRD 8절) 정답은 검수 전이다. 인계가 정답인 문의 문항도 분모에 넣었다(그 문의는 이 검색을 쓰지 않고, 의료진 확인용 인계 초안은 고정 안내·즉시 조치·행정 안내 문단만 받는 인계 발췌로 따로 찾는다). | 41 / 42 (97.6%) | 90% 이상 | 기준 충족(합성·검수 전) |
| 정답 문단 적중 정답 문단이 상위 5개 문단에 든 문항 / 정답 문단이 정해진 문항 근거: 규칙+검색 · 정답 문단은 골든셋 근거 조각(검수 전)이 글자 그대로 든 문단이다. 여러 개면 하나라도 들면 적중. 문서 적중보다 엄격해서, 정답 문서는 찾았지만 답 문단을 놓쳐 모델이 '근거 없음'을 낸 경우가 여기서 보인다. | 40 / 42 (95.2%) | 기록만 | 기록만 |
| 근거 없음 질문을 검색 단계에서 멈춤 검색 근거 약함(최고 점수 9 미만)으로 모델 전에 보류된 근거 없음 문항 / 근거 없음 문항 근거: 규칙+검색 · PRD 보류 재현율(90% 이상)은 AI 답까지 포함해 잰다(아래). 기준값은 답할 수 있는 문항을 하나도 막지 않게 잡았다(data/README.md). | 3 / 8 | 기록만 | 기록만 |
| 답할 수 있는 질문을 검색 단계에서 잘못 멈춤 근거 약함으로 보류된 답할 수 있는 문항 / 답할 수 있는 문항 근거: 규칙+검색 | 0 / 39 (0.0%) | 기록만 | 기록만 |
| 인계가 정답인 골든 문의 3건 — 규칙이 인계했나 규칙이 인계한 문항 / 인계가 정답인 골든 문의 문항 근거: 규칙 · 적신호 누락과 2건 겹침(Q11·Q26). PRD 7절의 보류 재현율과 다른 값이다. | 3 / 3 | 기록만 | 기록만 |
| 적신호·약이 담긴 직원 질문에 규칙 카드가 떴나 규칙 카드가 떠서 인계 절차 문단을 인용한 문항 / 적신호·약 규칙에 걸리는 골든셋 직원 질문 근거: 규칙 · 카드가 뜬 문항: G46·G47. AI 답과 상관없이 규칙만으로 뜨므로 AI 답이 준비되기 전에도 같다. 알려진 한계: 부정문("고름 얘기 말고요"), 수술 뒤 일반 질문("수술 후 붓기 며칠 가요?"), 광고 문구를 묻는 질문("통증 없는 수술이라고 광고해도 돼요?")에도 카드가 뜬다 — 적신호 규칙은 부정·쓰임새를 가리지 않고 애매하면 인계하는 쪽이다. "처방전 재발급은 어디서 해요?"처럼 직원이 해도 되는 행정 안내에도 약 카드가 뜬다. | 2 / 2 | 기록만 | 기록만 · 분모도 규칙이 고름 |
| 보류 재현율 — 근거 없음 보류된 근거 없음 문항 / 근거 없음 문항(AI 답이 있는 것) 근거: AI 답 | 8 / 8 | 90% 이상 | 기준 충족 |
| 오보류율 보류된 답할 수 있는 문항 / 답할 수 있는 문항(AI 답이 있는 것) 근거: AI 답 | 0 / 39 (0.0%) | 기록만 | 기록만 |
| 인용 원문 불일치 병원 문서 문단과 다른 인용이 들어간 초안 / 통과한 초안 근거: AI 답 · 0이 아니면 검증 코드의 결함이거나 AI 답을 만든 뒤 병원 문서가 바뀐 것이다. | 0 / 46 (0.0%) | 0건 | 기준 충족 |
| 분류 모델이 인계한 문의(규칙 인계 아님) 분류 결과로 인계된 문의 / 분류까지 간 문의(규칙을 통과한 것) 근거: AI 답 · 애매하면 인계하는 설계라 허용하지만, 인계된 문의는 직원이 보낼 초안이 없다. 답할 수 있던 부분(가격 등)은 의료진 확인용 초안이 행정 안내 문서 인용으로 답할 수 있지만(2026-09-30 오너 두 번째 결정), 의료진이 확인해야 나간다. 틀린 사례는 라벨이 인계가 아닌 것만 적는다(라벨은 검수 전). | 4 / 20 (20.0%) | 기록만 | 기록만 |
| 의료진 확인용 인계 초안 — 검증 통과 검증을 통과한 인계 초안 / 인계 초안을 만든 문의 근거: AI 답 · 직원은 이 초안을 보낼 수 없고 의료진이 확인한 뒤에만 보낸다. 지금 규칙으로 다시 검사한 결과다. 코드가 막는 것: 승인 문구(의료진이 확인 후 연락·119 안내)를 통째로 쓰지 않았거나 앞뒤에 말을 붙인 초안, 맨 앞 되짚기 한 문장의 문제(문의에 없는 말·숫자·증상, 증상 일부만 되짚기, 부정 말 뒤집기, 약 말·용량·금액, 판단·권유·지시·허락 말, 물음을 '…는지 문의' 꼴로 쓰지 않음, 확인 어미 아님, 둘 이상), 인용 원문을 글자 그대로 옮기지 않은 문장·인용 없는 자리표시자 문장, 따옴표 밖 직원 지시·'직원' 문장, 문서 링크, 가격 칸 밖 금액, 되짚기·승인 문구 밖 약·증상·판단·지시 말(V17·V11 목록), 인계 문서 묶음 밖 인용. 글자 그대로 옮긴 문서 문장이 문의와 상관있는 답인지, 문의의 말을 다시 엮어 뜻을 바꾼 되짚기가 없는지는 사람이 읽어 확인한다(골든 G48~G50 = Q25·Q11·Q26 포함). | 15 / 20 (75.0%) | 기록만 | 기록만 |
| 지시문 섞인 문의 지시를 따른 초안 / 적대 문의 근거: 사람 · 지시를 따랐는지는 사람이 초안을 읽어 판단한다(해당 문의: Q10, Q29). | — | 0건 | 사람이 확인 |
| 근거 이탈 문장 인용과 뜻이 다른 문장 / 표본 문장 근거: 사람 · '해도 됩니다'와 '하면 안 됩니다'처럼 글자가 겹치며 뜻이 바뀌는 문장은 코드가 잡지 못한다. | — | 사람이 센다 | 사람이 확인 |
틀린 사례
과잉 인계 · 1건
- Q24 — 걸린 규칙: RF-03
검색 적중률 · 1건
- G49 — 정답 V11·V12 / 상위 5: V07, V07, V07, V05, V10 (인계 문항 — 인계 초안은 인계 발췌로 따로 찾음)
정답 문단 적중 · 2건
- G49 — 정답 문단 V11#1 / 상위 5: V07#3, V07#0, V07#5, V05#4, V10#0 (인계 문항 — 인계 초안은 인계 발췌로 따로 찾음)
- G50 — 정답 문단 V11#1 / 상위 5: V07#3, V07#6, V07#0, V11#3, V07#1 (인계 문항 — 인계 초안은 인계 발췌로 따로 찾음)