[LLM Wiki 4] Schema와 Template: LLM을 일관된 편집자로 만들기

LLM이 회의록을 매번 다르게 요약하면 wiki는 금방 지저분해진다. 어떤 날은 액션을 자세히 뽑고, 어떤 날은 빠뜨리고, 어떤 날은 “결정”과 “의견”을 섞어버릴 수 있다. 이 문제를 막기 위해 필요한 것이 Schema와 Template이다.

Schema와 Template의 차이

둘은 비슷해 보이지만 역할이 다르다. Schema는 무엇을 추출하고 무엇을 금지할지 정하는 규칙이고, Template은 그 결과를 어떤 markdown 모양으로 쓸지 정하는 형식이다.

예를 들어 meeting schema는 이렇게 말한다.

• 회의록에서 날짜, 참석자, 목적, 결정사항, 액션 아이템, 열린 질문, 리스크, 관련 프로젝트를 반드시 추출하라.

meeting template은 이렇게 말한다.

• Meeting 카드에는 Summary, Decisions, Action Items, Open Questions, Related Projects, Source 섹션을 둔다.

공통 스키마

모든 카드가 지켜야 하는 규칙은 common schema에 둔다.

• 원본 raw 파일은 수정하지 않는다.
• 모든 wiki 카드는 source 링크를 가진다.
• 불확실한 내용은 unknown 또는 unclear로 표시한다.
• 원본에 없는 결정을 만들지 않는다.
• 추측은 추측이라고 표시한다.
• 사람에 대한 성격 평가를 쓰지 않는다.
• 민감정보는 visibility와 sensitivity를 표시한다.
• 모든 작업은 log에 기록한다.

Meeting schema

Meeting schema는 회의록 하나에서 날짜, 참석자, 회의 목적, 요약, 결정사항, 액션 아이템, 열린 질문, 리스크, 관련 프로젝트, 관련 주제, source를 뽑도록 정한다.

담당자나 기한이 명확하지 않으면 지어내면 안 된다. 예를 들어 담당자는 Jay로 확인되지만 기한이 없으면 due를 unknown으로 두고, “기한 확인 필요”를 Open Question에 남긴다.

Decision schema와 Action schema

Decision schema는 의견과 결정을 구분하게 만든다.

Decision 카드 필수 항목은 decision, date, status, context, rationale, alternatives_considered, impact, revisit_conditions, source_meeting이다.

Action schema는 할 일을 관리 가능한 상태로 만든다.

Action 카드 필수 항목은 task, owner, due, status, project, source_meeting이다.

검증 규칙도 필요하다.

• Action은 status를 가져야 한다.
• owner가 없으면 warning을 남긴다.
• due가 없으면 unknown으로 표시한다.
• source_meeting은 반드시 있어야 한다.

여러 스키마를 겹쳐 적용하기

회의록이라고 다 같은 회의록은 아니다. 고객 미팅과 기술 설계 회의는 봐야 할 정보가 다르다.

Ingest flow

회의록을 ingest할 때 LLM은 원본을 읽고, 공통 스키마와 회의 종류별 스키마를 적용하고, 필요한 카드를 만들거나 업데이트한 뒤, 템플릿에 맞춰 markdown으로 저장한다. 마지막에는 source와 log를 남겨 나중에 검증할 수 있게 한다.

Schema와 Template은 LLM Wiki의 품질을 좌우한다. 검색 도구가 좋아도, 스키마가 없으면 wiki는 매번 다른 모양의 요약 파일 더미가 된다.