Copilot 성과가 몇 배? 업계 비교 점수를 읽는 법

전체 업계 평균이 아니라 참여 기업끼리의 비교다

GitHub의 10월 22일 발표로 Copilot impact dashboard에 Industry comparison 영역이 추가됐다. 기업 계정과 기업에 속하지 않은 조직은 자신들의 에이전트 도입·활용 지표를 참여 기업의 중앙값 등과 비교할 수 있다.

참여는 기본적으로 꺼져 있다. 관리자가 동의한 기업만 집계에 들어가므로, 화면의 ‘전체 업종’을 GitHub를 쓰는 모든 기업의 평균으로 읽으면 안 된다. 비교 대상은 선택한 기업 규모와 업종에 맞춰 구성하며, 기준 기간은 화면에 표시된 28일이다.

기업 규모와 업종은 참여자가 직접 선택하는 값이다. GitHub가 검증한 산업 분류나 직원 수가 아니다. 보고서에 수치를 옮길 때도 비교 기간과 실제 사용된 집단을 함께 적어야 의미가 유지된다.

높은 leverage는 PR 병합률의 차이를 뜻한다

두 지표는 서로 다른 질문에 답한다. 대시보드 설명은 도입률의 분모를 활성 사용자로, leverage의 비교 단위를 월간 사용자당 PR 병합률로 정한다.

이용 단계도 개발 실력 순위가 아니다. 어떤 Copilot 기능을 사용했는지와 활동일 기준으로 분류한다. 예를 들어 코드 완성을 많이 써도 에이전트 사용 조건을 충족하지 않으면 같은 단계로 올라가지 않는다.

이 정의에 따라 해석하면, 높은 leverage가 직접 보여주는 것은 두 이용군의 PR 처리율 차이다. 이 수치만으로 에이전트가 그 차이를 전부 만들었다거나 업무 시간이 같은 배수만큼 줄었다고 결론낼 수는 없다. 도입 보고서에서는 ‘생산성 몇 배’보다 측정된 PR 병합률 비율을 그대로 쓰는 편이 정확하다.

순위가 없다고 성과가 낮다는 뜻은 아니다

같은 규모·같은 업종의 참여자가 부족하면, 비교 범위는 같은 기업 규모의 전체 업종으로 넓어진다. 이 집단도 충분하지 않으면 순위를 표시하지 않는다. 상위 10% 비교에는 중앙값 비교보다 더 큰 집단이 필요하므로 중앙값만 보일 수도 있다.

자사 점수의 계산 조건도 중요하다. 활성 사용자가 모두 agent-first 또는 multi-agent라면, leverage의 기준이 되는 비에이전트 이용군이 없다. 이 경우 순위가 없는 이유는 낮은 점수가 아니라 비교할 분모가 없기 때문이다.

데이터 레지던시를 사용하는 GitHub Enterprise Cloud는 같은 지역의 참여자끼리만 비교한다. 업종 범위가 넓어져도 다른 지역 데이터까지 합치지는 않는다. 화면에 표시된 비교 집단 이름을 보는 것이 먼저다.

비교 참여와 데이터 기여는 하나의 설정이다

참여하려면 Copilot usage metrics 정책이 켜져 있어야 한다. 기업 소유자 또는 기업에 속하지 않은 조직의 소유자가 비교 참여를 설정한다. 기업 소속 조직은 기업을 통해 참여하며, Copilot Business 라이선스 배정만을 위한 기업 계정은 참여 대상에서 제외된다.

비교용으로 기여하는 데이터는 해당 기간의 도입률과 leverage 요약 점수 두 개다. 사용자 이름, 코드, 저장소 내용, PR 본문을 다른 참여자에게 공유하는 방식은 아니다.

참여를 끄면 비교 화면은 즉시 사라지고, 데이터는 다음 일일 갱신부터 비교 집단에서 제외된다. 이미 계산된 비식별 집계 결과의 삭제 기간은 30일이다. 업계 비교 결과는 대시보드 전용이며 API, NDJSON 내보내기, 다운로드에는 포함되지 않는다.

이 화면은 비슷한 규모의 참여 기업과 도입 수준을 비교하는 출발점이다. 숫자를 옮기기 전에 기간·비교 집단·분모를 함께 보고, PR 병합률의 차이를 넘어서는 성과는 별도의 근거로 설명해야 한다.

자주 묻는 질문