2분
업무가 46개로 얽히면 에이전트는 왜 무너지는가
Microsoft CORPGEN 연구가 단일 과제 벤치마크를 넘어 여러 장기 업무를 동시에 처리하는 에이전트의 문제와 해법을 어떻게 검증했는지 살펴봅니다.
기존 장기 과제 벤치마크는 한 번에 한 과제를 보지만, 실제 사무 업무는 여러 과제가 동시에 움직이며 서로를 막거나 우선순위를 바꿉니다. Microsoft가 제안한 Multi-Horizon Task Environment는 이 동시 지속성을 시험합니다. 논문의 16.7% → 8.7%는 모든 에이전트의 평균이 아니라 computer-use-preview 기준선에서 부하가 약 12개 과제에서 46개로 늘었을 때의 완료율 변화입니다. 함께 시험한 세 기준 시스템도 모두 25% 부하보다 100% 부하에서 완료율이 낮았지만, 중간 구간까지 단조롭게 하락한 것은 아닙니다.
CORPGEN은 모델 하나의 추론력보다 여러 업무를 잃지 않고 이어 가는 구조에 집중합니다. Table 3의 46개 과제 단일 세션에서는 UFO2가 4.3%, 같은 기반의 CORPGEN이 8.7%를 완료했습니다. 별도의 Table 2 누적 ablation에서는 UFO2 최소 구성 4.3%에서 전체 CORPGEN 15.2%로 올라 최대 약 3.5배였고, 마지막 경험 학습 추가가 8.7%에서 15.2%로 가장 큰 증가를 만들었습니다. 그러나 절대 완료율은 여전히 15.2%였고, 실험은 실제 회사가 아닌 통제된 합성 환경의 하루짜리 평가입니다.
