무신사 테스트 실패 issue

[Kiju-Hub]

문제 요약

무신사 6번 benchmark 케이스에서 에이전트가 3만원 이하 가격 필터를 클릭하지 못하고 루프에 빠졌습니다.

성별 여성 필터는 정상 적용했지만, 이후 가격 필터 다이얼로그에서 3만원 이하 옵션이 화면에 보이는데도 해당 옵션을 선택하지 못했습니다. 대신 가격 탭 클릭과 스크롤을 반복했습니다.

---

시나리오 정보

• suite_id: musinsa_public_v2
• scenario_id: MUSINSA_006_HUMAN_GAIA_V1
• start_url: https://www.musinsa.com/search/goods?keyword=%EB%B0%98%ED%8C%94%ED%8B%B0

Goal

무신사에서 반팔티를 검색한 후 성별은 여성을 선택하고, 가격은 3만원 이하로 필터를 적용한다. 이후 검색 결과에 표시되는 상품들의 가격이 모두 3만원 이하인지 확인해줘.

관찰된 실패

에이전트는 목표의 다음 단계가 3만원 이하 가격 필터 적용이라는 점은 계속 인식했습니다.
하지만 실제 action은 아래 패턴으로 반복됐습니다.

가격 탭 클릭
필터 다이얼로그 내부 스크롤
필터 바 재노출을 위한 스크롤
다시 가격 탭 클릭
다시 스크롤

화면상으로는 3만원 이하 옵션이 보였습니다.
전체
3만원 이하
3만원 ~ 4만원
4만원 ~ 6만원
6만원 이상

하지만 에이전트는 3만원 이하 라디오 버튼을 직접 클릭하지 못했습니다.

에이전트 판단 증거

| Step | LLM 결정 | 판단 요약 |
|---|---|---|
| Step 1 | click | 현재 검색 결과는 남성 필터가 적용된 상태로 보임. 목표 달성을 위해 먼저 성별을 여성으로 전환해야 하므로 상단 필터의 `여` 버튼을 클릭. |
| Step 2 | scroll | 성별은 이미 `여성`으로 선택된 상태(ref=e65 [pressed])지만, 가격 필터나 상품 가격 목록이 보이지 않음. 가격 필터를 적용하기 위해 필터 영역을 다시 노출하려고 스크롤. |
| Step 3 | click | 성별은 이미 여성으로 적용됨. 목표의 다음 필수 단계는 가격 필터를 열어 `3만원 이하` 조건을 적용하는 것이므로 상단 필터 바의 `가격` 항목 클릭. |
| Step 4-7 | click | 전면 필터 다이얼로그가 열려 있고 성별은 여성으로 적용된 상태. 가격 조건 설정을 위해 다이얼로그 안의 `가격` 항목 클릭을 반복. |
| Step 8 | scroll | 가격 항목은 이미 한 번 열렸지만 `3만원 이하` 옵션 ref가 보이지 않는다고 판단해 다이얼로그 내부를 스크롤. |
| Step 12 | click | 현재 DOM에서 `가격` 탭(ref=e1722)이 명확히 보인다고 판단해 다시 가격 탭 클릭. |
| Step 13-23 | scroll / click | 가격 탭 클릭, 다이얼로그 내부 스크롤, 필터 바 재노출 스크롤을 반복했지만 `3만원 이하` 옵션을 선택하지 못함. |
| Step 24 | click | 가격 탭 직접 클릭이 무반응이라고 판단하고 상단 필터 탭 영역의 `다음` 버튼을 클릭. |
| Step 25-27 | click | 다시 `가격` 탭이 목표에 직접 필요하다고 판단해 가격 탭 클릭으로 되돌아감. |

실제 화면 증거

가격 필터 화면에는 아래 옵션들이 보였습니다.
전체
3만원 이하
3만원 ~ 4만원
4만원 ~ 6만원
6만원 이상
또한 하단에는 상품보기 버튼도 노출되어 있었습니다.

즉, 목표에 필요한 3만원 이하 옵션은 화면상 존재했지만 에이전트가 선택하지 못했습니다.

실패 패턴 정리

에이전트가 도달하지 못한 단계:

3만원 이하 라디오 옵션 선택
가격 필터 적용
상품보기 버튼 클릭
결과 상품 가격이 30,000원 이하인지 검증

반복된 action 유형:

click 가격 탭
scroll 필터 다이얼로그
scroll 필터 바 재노출
click 다음 버튼
click 가격 탭
추정 원인
두 가지 문제가 섞여 있는 것으로 보입니다.

3만원 이하 옵션이 화면에는 보이지만, 에이전트가 사용할 수 있는 클릭 가능한 DOM ref 또는 element binding으로 안정적으로 잡히지 않음
가격 탭 클릭이 무변화인데도 loop guard가 충분히 강하게 작동하지 않아 같은 CTA를 반복함

기대 동작

가격 필터 패널이 열린 상태에서 3만원 이하 텍스트 또는 라디오 버튼이 화면에 보이면, 에이전트는 상단 가격 탭을 다시 누르지 말고 해당 옵션을 직접 선택해야 합니다.

만약 3만원 이하 옵션의 ref를 확보할 수 없다면 다음 중 하나를 수행해야 합니다.

현재 패널 내부의 radio/label 후보를 다시 탐색
label text 기반 클릭 fallback 사용
일정 횟수 이상 무변화 시 blocked 또는 replan 처리

제안 reason_code

filter_option_visible_but_unbound
또는
filter_panel_option_click_loop

제안 수정 방향

다음 조건을 만족하면 loop로 감지하면 좋겠습니다.

• 동일 goal에서 가격 탭 클릭이 N회 이상 반복됨
• 성별 필터는 이미 적용됨
• 가격 필터는 아직 적용되지 않음
• 결과 목록에 3만원 초과 상품이 계속 존재함
• 가격 패널 내부 옵션이 화면에는 보이지만 선택 action으로 이어지지 않음
  이 경우 같은 가격 탭 클릭을 반복하지 말고 아래 순서로 처리해야 합니다.

1. 패널 내부 라디오/label 텍스트 3만원 이하를 우선 탐색
2. label text 기반 클릭 fallback 시도
3. 실패 시 blocked/replan 처리

기대 결과

3만원 이하 옵션을 선택한 뒤 상품보기/적용 버튼을 클릭하고, 결과 상품들의 가격이 모두 30,000원 이하인지 검증해야 합니다.

---

모니터링 결과, 필터에 30000원 이하가 보이긴 하지만 실제로 클릭하는데 어려움을 가짐. 이건 가격 뿐만 아니라 색상을 선택할때도 마찬가지였음