Asana 브라우저 에이전트 비용 절감 실험에서 배울 운영 기준

Asana 브라우저 에이전트 비용 절감 사례는 모델을 바꾸기 전에 페이지 기록과 스크린샷을 다루는 방식을 점검한 실험입니다. 2026년 10월 16일 기준, 이 글에서는 공개된 144회 실험의 조건과 비용·속도·정확도를 함께 비교하는 표를 정리합니다.

웹페이지를 읽고 값을 입력하는 자동화를 돌리는데, 같은 화면을 거듭 읽고 호출 비용까지 불어나는 상황이 있습니다. Asana의 사례는 이런 때 모델만 바꾸기보다 에이전트가 무엇을 기억하고 언제 화면 기록을 정리하는지 먼저 살펴야 한다는 점을 보여줍니다.

목차

1. 실험이 발견한 비용의 원인
2. 세 가지 운영 변경
3. 우리 업무에 옮기는 비교 실험
4. 결과를 읽을 때 주의할 점
5. 자주 묻는 질문

1. 실험이 발견한 비용의 원인

브라우저 에이전트는 사람이 웹을 돌아다니며 정보를 찾듯 여러 페이지를 열고, 필요한 내용을 읽고, 다음 행동을 정하는 자동화입니다. 페이지가 늘어날수록 과거에 읽은 텍스트와 화면 이미지도 대화 기록에 쌓입니다. 이 기록은 책상 위에 펼쳐 둔 서류 더미와 비슷합니다. 다음 단계에서 참고할 수 있지만, 매번 모든 서류를 복사해 새 책상에 옮기면 시간과 비용이 듭니다.

OpenAI가 공개한 Asana 사례에서 기존 구성은 고정 지침과 도구 정의는 캐시했지만, 계속 늘어나는 페이지 텍스트와 스크린샷 이력은 매 요청에 다시 보냈습니다. 캐시는 자주 쓰는 데이터를 가까운 곳에 잠시 저장해 재사용하는 방식입니다. 다만 이력 자체를 매 단계 잘라내고 수정하면 내용이 달라져, 기록 재사용의 이점도 줄어듭니다. 오래된 화면 정보를 잃으면 이미 확인한 페이지를 다시 방문할 수도 있습니다.

기록을 계속 다시 보내는 구조가 비용과 속도에 영향을 줍니다.

2. 세 가지 운영 변경

팀은 개선 후보 세 가지를 시험했습니다. 브라우징 이력까지 캐시하고, 에이전트가 보관하는 텍스트 양을 늘리고, 스크린샷은 매 단계 지우지 않고 묶음으로 정리하는 방식입니다. 서랍을 열 때마다 정리하는 대신, 일정량이 쌓였을 때 한 번 정리하는 것에 가깝습니다.

실험은 네 개 모델에서 이력 한도를 12만 자와 48만 자로 바꾸고, 여섯 가지 캐시·스크린샷 정책을 조합했습니다. 각 조합은 모델별로 세 번 실행했습니다. 작업은 공개 데모 도서 목록에서 32권의 책마다 여섯 항목을 수집하는 것이었습니다. 이는 모든 웹 업무의 성능을 보장하는 테스트가 아니라, 같은 과제를 정해 조건을 비교한 실험입니다.

핵심은 기록을 무조건 많이 쌓는 것이 아닙니다. 기록을 언제까지 유지하고, 어느 시점에 정리할지 정책으로 정하는 것입니다.

각 변경을 분리해 비용·속도·정확도를 비교합니다.

3. 우리 업무에 옮기는 비교 실험

공개 사례의 최적 정책은 스크린샷을 최대 20장까지 누적한 뒤 가장 최근 화면만 남기는 방식이었습니다. 큰 이력 한도와 기록 캐시를 함께 적용했을 때, GPT-6.1 Sol에서 추정 모델 비용은 실행당 1.97달러에서 0.47달러로 낮아졌다고 OpenAI는 설명합니다. 같은 사례에서 평균 실행 시간은 약 4분이었고, 기존 Model B 운영 구성보다 76배 저렴하고 5배 빨랐다고 보고했습니다. 이는 해당 과제와 구성에서 나온 회사 발표 수치입니다.

우리 업무에 적용할 때는 숫자를 그대로 기대하지 말고, 반복 작업 하나를 정해 기준선을 만듭니다. 아래 표를 복사해 세 조건을 같은 입력으로 비교하세요. 한 번의 성공 화면만 보고 결론 내리지 말고, 같은 조건에서 여러 번 실행해 평균과 실패 사례를 함께 기록합니다.

비교 항목	기록할 내용	판단 기준
비용	실행당 추정 모델 비용	낮아져도 재방문·실패가 늘지 않는가
처리 시간	시작부터 결과 반환까지	업무 마감 안에 안정적으로 끝나는가
정확도	필수 항목 누락·오류 수	사람이 확인할 수 있는 기준을 통과하는가
재방문	이미 읽은 페이지 재접속 횟수	기록 축소 때문에 반복하지 않는가

실험 순서는 단순하게 잡습니다. 먼저 반복 업무의 입력과 성공 조건을 고정합니다. 다음으로 현재 설정의 비용·시간·정확도를 기록합니다. 그 뒤 캐시, 이력 크기, 스크린샷 정리 시점을 한 번에 하나씩 바꿉니다. 마지막으로 같은 과제를 반복해 결과를 표에 적습니다. 여러 변수를 한꺼번에 바꾸면 무엇이 개선을 만들었는지 알기 어렵습니다.

한 번에 하나의 운영 조건을 바꾸고 결과를 다시 측정합니다.

4. 결과를 읽을 때 주의할 점

비용만 낮추면 최적화가 끝난 것은 아닙니다. Asana 사례에서는 작은 이력 한도 설정에서 18회 중 답을 반환한 실행이 3회였고, 큰 이력 한도에서는 18회 모두 답을 반환했으며 정확한 결과였다고 공개했습니다. 즉 기록을 지나치게 줄이면 모델이 필요한 맥락을 잃을 수 있습니다. 반대로 기록을 크게 유지하면 비용이나 처리 시간이 늘어날 여지가 있으므로 실제 업무에서 균형점을 찾아야 합니다.

또한 이 결과는 회사가 설명한 특정 모델·과제·정책의 실험입니다. 다른 웹사이트의 로그인 절차, 페이지 구조, 개인정보 처리 조건까지 같은 결과가 나온다는 뜻은 아닙니다. 고객 정보나 내부 문서가 포함되는 자동화라면 기록에 무엇이 남는지, 보관 기간과 접근 권한은 어떤지 함께 확인해야 합니다. 자동화가 내린 답은 중요한 업무일수록 사람이 원문과 대조합니다.

바로 적용할 최소 점검표는 네 항목입니다. 반복 방문이 잦은 페이지는 무엇인지 적습니다. 매 요청마다 재전송되는 이력이 있는지 봅니다. 오래된 스크린샷을 언제 정리할지 정합니다. 마지막으로 결과 정확도를 비용·속도와 같은 표에서 함께 확인합니다. 이 네 가지를 확인하면 모델 변경 전에 손볼 운영 구조가 보입니다.

자주 묻는 질문

모델을 바꾸지 않아도 비용을 줄일 수 있나요?

Asana 사례에서는 기록 캐시와 스크린샷 정리 정책을 바꿔 비용을 낮췄습니다. 다만 모든 서비스에서 같은 폭으로 줄어든다고 볼 수는 없습니다. 현재 업무를 기준으로 비교 실험을 해야 합니다.

스크린샷을 많이 남길수록 정확해지나요?

그렇지 않습니다. 필요한 맥락은 보존하되 불필요한 기록이 계속 누적되지 않도록 정리 시점을 설계해야 합니다. 작은 이력 한도에서는 답을 내지 못한 실행이 늘 수 있다는 점도 공개 실험이 보여줍니다.

무엇부터 측정해야 하나요?

실행당 비용, 완료 시간, 정답 여부, 페이지 재방문 횟수를 함께 기록합니다. 비용 하나만 보면 실패하거나 재시도하는 비용을 놓칠 수 있습니다.

정리하면, 모델 교체 전에 브라우저 에이전트의 기록 흐름을 점검합니다.

캐시 범위·이력 크기·스크린샷 정리 시점을 한 변수씩 시험합니다.

비용·속도·정확도를 같은 표에서 비교하고, 실제 업무 조건으로 판단합니다.

출처

• OpenAI, Asana 브라우저 에이전트 비용 최적화 사례
• Asana, 브라우저 에이전트 비용 절감 실험
• StackAI, 브라우저 에이전트 비용 최적화 과정

AI를 도구가 아닌 시스템으로 설계하는 실무 교육과 자료는 나미리 강사 홈페이지에서 확인할 수 있습니다.

글쓴이 나미리 — AI 실무 강사 · 한국AI콘텐츠연구소 전임강사. 기업·공공기관 대상 생성형 AI 업무 활용 강의를 합니다. 강사 소개

함께 보면 좋은 채널

• AI 강사 나미리 공식 홈페이지 — 강의 커리큘럼 및 강의 문의
• 네이버 블로그 — AI 활용 팁과 강의 현장 이야기
• 구글 블로그 — 업무에 바로 쓰는 AI 도구 사용법