2026 OpenClaw 프론트 QA 실전:
원격 Mac에서 Playwright 샤드 병합 보고서·flake·PR 요약까지
프론트 QA 자동화가 Playwright sharding으로 나눈 뒤 병합 리포트와 flake 임계를 맞추고 OpenClaw로 PR 요약만 돌리려는 경우의 HowTo입니다. 표·경로·경계·식·타임아웃을 순서대로 밟으면 재현됩니다. E2E 자동 수정·Knip PR 요약·빌드 메트릭 요약·블로그·Mac 대여.
통증 (1) 샤드 blob 경로 충돌로 병합 실패 (2) 재시도만 늘려 녹색 PR과 메인 안정성 괴리 (3) OpenClaw가 브라우저까지 띄우면 시크릿·로그 감사 어려움. 원격 Mac은 WebKit·Chromium 고정에 유리합니다.
01 샤드 파라미터 표
| 변수 | 역할 | 원격 Mac 팁 |
|---|---|---|
SHARD_INDEX / SHARD_TOTAL |
분할·접미사 | 잡명에 인덱스 |
PLAYWRIGHT_HTML_OUTPUT_DIR |
샤드 HTML 경로 | 병합 전 하위폴더만 |
retries / maxFailures |
flake·게이트 | 메인은 낮은 maxFailures |
workers |
샤드 내 병렬 | 코어 대비 과다 금지 |
PR은 샤드 수·야간은 워커 축소로 비용 대비 안정을 맞춥니다. Deployments·Lighthouse와 병행하면 좋습니다.
02 보고서 디렉터리 규약
샤드는 blob-report/shard-N 분리 후 한 잡에서 npx playwright merge-reports로 playwright-report를 만듭니다. JUnit은 junit/shard-N.xml 병합 OpenClaw는 .openclaw/reports/pr_e2e_summary.json 한 파일만 읽습니다.
- blob만 샤드 HTML은 병합 잡
- 트레이스는 실패만 업로드
- JSON에 샤드수·flake 의심 건수
- 경로는 리포 루트 상대
- 병합 실패 시 직전 리포트 해시 보관
03 OpenClaw 호출 경계
게이트웨이는 산출물만 읽어 Markdown을 PR·슬랙으로 보냅니다. 브라우저는 원격 Mac 러너 셸만 OpenClaw는 파싱·요약만 토큰 절약을 위해 실패 스펙 경로 위주로 나열 시크릿은 마스킹합니다.
- 허용 junit·요약 JSON·템플릿 채움
- 금지 설치·브라우저 기동
- 멱등 동일 커밋이면 코멘트 갱신
04 flake 재시도 임계 식 예시
재시도 후 통과 비율 r과 flake 비중 f로 예를 들어 r<0.15·f<0.05일 때만 경고색 r>0.35면 쿼런틴 플래그를 JSON에 넣습니다.
gate = (failed_after_retry==0)&(flake_ratio<=0.12)
| (quarantine_ok&(failed_after_retry<=1))숫자는 팀 정책으로 바꾸고 OpenClaw는 불리언·한 줄 요약만 전송합니다.
05 자주 보는 타임아웃 트러블슈팅
navigation 베이스 URL 불일치·잠긴 프리뷰 expect 애니메이션 미대기 workers 과다로 CPU 스로틀 fixture 글로벌 파일 경쟁 로그에 샤드·워커 아이디를 같이 남기면 분리가 빠릅니다.
blob 분리 후 한 단계 병합 flake는 비율과 maxFailures 동시에 OpenClaw는 요약 파일만으로 PR 코멘트 갱신
지속 러너는 브라우저 바이너리가 고정된 전용 원격 Mac이 유리합니다.