AI 스타트업 Martian이 Code Review Bench v0를 공개했습니다. 200,000개 이상의 PR을 분석한, 최초의 독립적이고 편향 없는 코드 리뷰 벤치마크입니다. 완전한 오픈소스이며, 매일 데이터가 갱신됩니다.
결론부터 말하면, CodeRabbit이 Online F1 Score 1위를 차지했습니다.
왜 독립 벤치마크가 필요한가?
기존 코드 리뷰 벤치마크에는 구조적인 한계가 있었습니다.
- 규모가 너무 작음: 50~100개 PR 수준의 소규모 테스트가 대부분
- 벤더가 직접 발행: 자사 도구가 1위를 차지하도록 설계된 벤치마크
- 데이터 오염: 벤치마크가 학습 데이터에 포함되어 결과가 왜곡되는 문제
- 진짜 버그를 찾아도 감점: 사람이 놓친 실제 버그를 도구가 잡아내도, 정답 목록(gold set)에 없으면 오탐(false positive)으로 처리
Martian은 이런 문제를 해결하기 위해 오프라인 벤치마크와 온라인 벤치마크를 동시에 운영하는 구조를 만들었습니다. 오프라인 벤치마크에서는 같은 PR에 여러 도구를 돌려 공정하게 비교하고, 온라인 벤치마크에서는 도구가 지적한 이슈를 개발자가 실제로 수정했는지를 추적합니다. 개발자가 수정했다면, 그 지적이 유용했다는 근거가 됩니다.
측정 기준: Precision vs Recall
벤치마크는 두 가지 핵심 지표를 측정합니다.
- Precision(정밀도): 도구의 지적 중 실제로 유의미한 비율. 즉, 노이즈가 얼마나 적은가
- Recall(재현율): 실제 문제 중 도구가 잡아낸 비율. 즉, 얼마나 빠짐없이 찾아내는가
이 둘을 결합한 것이 F-score입니다. 어느 쪽에 가중치를 두느냐에 따라 순위가 달라질 수 있지만, 둘을 동등하게 평가하는 F1 Score 기준으로 CodeRabbit이 1위입니다.
주요 결과
Online F1 Score 전체 순위
F1 Score 기준 상위 10개 도구의 성적표입니다. CodeRabbit이 F1 Score 51.3%로 1위, Recall 53.5%로도 1위를 차지했습니다. 특히 눈에 띄는 점은 284,696개라는 압도적인 PR 분석 수입니다. Greptile은 F1 Score 50.6%로 근소한 차이의 2위이나, Precision 65.3%로 CodeRabbit보다 높은 정밀도를 보여줍니다. GitHub Copilot은 643,212개로 가장 많은 PR을 처리했지만, F1 Score는 43.5%로 8위에 머물렀습니다.
CodeRabbit: 왜 1위인가?
CodeRabbit은 다른 도구들이 노이즈를 줄이는 데 집중하는 반면, 가능한 한 많은 버그를 찾는 데 초점을 두고 있습니다. 그 결과 Recall 53.5%로 전체 1위를 기록했고, Precision도 49.2%로 균형 잡힌 성능을 보여줍니다. NVIDIA, Abnormal Security, Groupon 등에서 사용되고 있습니다.
도구별 주요 결과
- Greptile: F1 Score 2위(50.6%). Precision 65.3%로 정밀도가 뛰어남
- Gemini Code Assist: F1 Score 3위(49.3%). 145,450개 PR로 충분한 샘플 확보
- Augment Code: Precision 62.5%로 대규모 PR에서 강점. curl, Redis 등 대형 오픈소스에서 사용
- Cursor: Precision 67.9%로 전체 최고 정밀도. 노이즈가 적은 리뷰를 원하는 팀에 적합
- Claude: Recall 46.7%로 CodeRabbit에 이어 2위. 균형 잡힌 성능
- Kilo Code: 가중치와 무관하게 오픈소스 도구 중 전 구간 1위
- GitHub Copilot: 가장 널리 쓰이는 도구(643,212 PR). 접근성은 최고이나 성능은 중위권
이 벤치마크가 의미하는 것
단순한 순위표가 아니라, 팀의 우선순위에 따라 최적의 도구가 달라진다는 점을 보여줍니다.
- 버그를 최대한 많이 찾고 싶다면 → Recall이 높은 CodeRabbit
- 노이즈를 최소화하고 싶다면 → Precision이 높은 도구
- 오픈소스를 원한다면 → Kilo Code
Code Review Bench는 한 번 찍고 끝나는 벤치마크가 아닙니다. 매일 데이터가 갱신되며, 온라인 결과를 반영해 오프라인 벤치마크도 계속 보정해 나갈 예정이라고 합니다.
CodeRabbit이 궁금하시다면 CodeRabbit 시작하기에서 직접 체험해 보세요.