용어 에이전트 고도화 전략

목표 상태

이 챗봇의 목표는 일반 지식을 많이 말하는 챗봇이 아니다. 조직의 용어·회의·결정·업무 관계를 같은 근거 체계로 읽고, 근거가 부족하면 질문을 되돌려 주며, 쓰기 작업은 사람이 확인한 뒤에만 반영하는 도메인 지식 파트너다.

대화 한 번의 성공보다 다음 흐름이 반복되는지가 중요하다.

원문/질문 → 의도·도메인 판정 → 용어·문서 하이브리드 검색 → 근거 스냅샷
       → 요약/비교/인사이트 → 불확실성·다음 질문 → 사람 검토 → 용어집·관계 갱신

현재 구현은 용어집 하이브리드 RAG, 승인 관계 최대 2-hop 온톨로지 확장, 주장별 근거 검증, 대화형 용어 생성·수정안, 그리고 회의록 분석(M/G 근거 분리)까지 포함한다. 아래 항목은 이 기반 위에서 조직 규모가 커져도 품질이 흔들리지 않게 하는 우선순위다.

1. 지식 모델을 용어 행에서 조직 지식으로 확장

용어집은 단순 사전이 아니라 계약이다

각 Term은 다음 정보를 일관되게 가져야 한다.

• 대표 표기, 확장명, alias·abbreviation·discouraged·forbidden 표기
• domain, 업무 분류, tags, owner, 상태와 현재 리비전
• 정의와 본문 안의 적용 범위·예외·금지 조건
• is_a, part_of, used_in, prerequisite_of, replaces 같은 승인 관계
• 근거 문서와 검토자, 마지막 검토 시점

모델이 용어를 설명할 때는 정의, 조직에서의 사용법, 회의에서의 실제 맥락, 아직 확인할 사항을 섞지 않고 별도 문단으로 제시해야 한다. 초안(draft)은 검색에서 활용할 수 있지만 답변에는 초안임을 표시하고 공식 정책처럼 말하지 않는다.

회의록은 일회성 입력과 장기 지식을 분리한다

현재 회의록 분석은 사용자가 붙여넣은 원문을 M 근거로 보존하고, 용어집 검색 결과를 G 근거로 연결한다. 사용자가 명시적으로 저장한 회의록은 별도 문서·revision·vector 인덱스로 관리하며, 용어집과 섞지 않고 과거 회의의 M 근거로 다시 검색한다.

1. 원문 문서와 문서 리비전을 별도 보관한다. 현재 meeting_documents가 이 역할을 맡는다.
2. 회의 날짜·팀·출처·도메인과 보관 상태를 메타데이터로 둔다.
3. 원문 span을 보존한 별도 meeting_rag_documents 청크와 durable 색인 큐를 사용한다.
4. 결정·액션·리스크·질문과 용어 후보는 분석 결과로 제시하되, 자동으로 Term이 되지 않게 한다.
5. 기존에 저장된 회의 자료는 보관 전환으로 검색에서 제외할 수 있고, 승인된 결정만 용어 관계나 본문의 근거로 승격한다. 새 회의록 원문은 Confluence를 원본으로 둔다.

이렇게 해야 “회의에서 한 번 언급한 제안”이 조직의 표준 정의로 오염되지 않는다.

2. 에이전트 실행 모델

질문마다 한 번의 긴 프롬프트를 보내는 대신, 다음의 읽기 전용 도구를 명시적으로 둔다.

도구	책임	반환해야 하는 것
search_terms	표기·키워드·Embedding·Reranker 검색	현재 리비전 Term과 근거 구절
expand_approved_relations	승인된 관계만 1~2 hop 확장	관계 유형·양쪽 리비전·관계 근거
search_meeting_documents	날짜·팀·출처 필터가 있는 회의 검색	원문 span과 문서 리비전
compare_terms	동음이의어·중복·표준/비권장 비교	공통점·차이점·불확실성
analyze_meeting	회의 구조화와 용어 연결	결정·액션·리스크·인사이트·후속 질문
draft_term	신규 Term 입력안 작성	사용자 제공 사실만 담은 draft
propose_term_edit	기존 Term 변경안 작성	기준 리비전, patch, reason

에이전트는 search → inspect → answer를 최대 두세 번 반복할 수 있지만, 검색 결과에 없는 ID·slug·관계를 만들면 즉시 실패해야 한다. create, update, merge, approve relation은 모두 별도의 확인 카드와 낙관적 리비전 검사를 거친다. 자동 승인이나 자동 병합은 하지 않는다.

3. 5년차 용어 관리자의 대화 규칙

답변은 다음 순서를 지키면 실무 대화에 가까워진다.

1. 질문의 범위와 도메인을 한 문장으로 재진술한다.
2. 현재 용어집 정의와 실제 회의 맥락을 구분한다.
3. 합의된 사실, 해석, 판단이 필요한 가정을 각각 표시한다.
4. 표준 표기·비권장 표기·동음이의어·중복 후보를 확인한다.
5. 영향받는 팀·문서·관계와 변경 비용을 짚는다.
6. 다음 결정에 필요한 질문을 1~3개만 제안한다.

전문가에게 유용한 인사이트는 멋있는 추측이 아니라 “현재 근거에서 무엇이 보이고, 어떤 결정이 아직 닫히지 않았으며, 어떤 표준화가 후속 비용을 줄이는가”다. 따라서 인사이트마다 근거 ID, 관찰/영향/위험/기회 분류, 신뢰도, 토론 질문을 남긴다.

4. 검색 품질을 높이는 순서

1. 정확한 표기·alias·금지어 매칭을 먼저 한다.
2. PostgreSQL 키워드/유사도와 Embedding을 결합한다.
3. 긴 본문은 제목·정의·결정·예외·주의사항 경계로 청크를 나눈다.
4. Reranker는 후보를 줄인 뒤 사용하고, 같은 Term의 청크가 결과를 독점하지 않게 한다.
5. 승인 관계만 그래프를 확장하고, 리비전이 오래된 관계는 제외한다.
6. 각 답변에 검색어·도메인·리비전·근거 span을 저장한다.

회의록 검색을 추가할 때는 term_id가 없는 문서를 임시로 용어처럼 색인하지 말고, source_type=meeting, document_id, meeting_date, team, security_level을 필터 가능한 메타데이터로 둔다. 회의 원문은 용어집과 다른 보존·접근 정책을 가질 수 있다.

5. 평가 지표와 골든 세트

실제 연결 모델의 “말투가 좋아졌다”만으로는 개선을 판단할 수 없다. 익명화한 실제 질문과 회의록으로 다음 골든 세트를 만든다.

영역	지표	목표 방향
검색	Recall@5, nDCG@10, 도메인 오답률	높이고 낮춘다
근거	인용 구절 적합률, unsupported claim rate	적합률↑, 미근거 주장↓
용어	표준/alias 매칭률, 후보 precision	높인다
회의	결정·액션·담당자·기한 F1	높인다
대화	다음 질문 유용성, 전문가 평가 점수	높인다
운영	P95 지연, 토큰/질문, 공급자 오류율	예산 안에서 낮춘다

최소 회귀 세트에는 동음이의어, draft와 active 충돌, 오래된 관계, 표기 오타, 회의록 속 프롬프트 주입, 담당자·기한 부재, 서로 모순되는 결정 사례를 반드시 넣는다. 테스트는 답변 문장 일치보다 “허용된 근거 ID만 사용했는가”와 “모르는 것을 모른다고 했는가”를 먼저 검사한다.

6. 단계별 도입 순서

지금 적용된 기반

• 용어·정의·본문·승인 관계의 하이브리드 RAG
• 리비전 스냅샷과 주장별 근거 ID
• 대화형 신규 등록 및 기존 용어 수정 제안
• 회의록의 요약·결정·액션·리스크·인사이트와 M/G 근거 분리

다음 우선순위

1. 회의별 결정·액션을 구조화된 영속 엔터티로 승격하고, 담당자·기한 변경 이력을 연결한다.
2. search_terms, compare_terms, analyze_meeting을 관측 가능한 읽기 전용 도구로 분리한다.
3. 골든 세트와 인용·추출·검색 지표를 CI 및 관리자 모니터링에 연결한다.
4. owner·reviewer·검토 주기·deprecated/replaced-by 규칙으로 용어 거버넌스를 강화한다.
5. 승인된 회의 결정과 Term 변경을 연결해 “왜 이 정의가 바뀌었는가”를 추적한다.

외부 문서나 일반 웹 검색을 기본 지식으로 섞지 않는다. 조직 근거가 없을 때 일반 지식을 사용해야 한다면 별도 출처와 추론임을 표시하는 명시적 모드로만 제공한다.