적중률 산출 방법
아직 공개한 수치가 없어요.
세는 것
검사가 고른 후보 3개 안에 실제 생일이 든 세션의 비율이에요. 후보를 보여 준 뒤에 입력받은 실제 생일로 확인한 이용 기록 집계예요. 실제 생일을 나중에 고쳐도 처음 넣은 날을 기준으로 해요.
모집단
실제 생일을 입력하고 통계 활용에 동의한 14세 이상 첫 검사 중 응답 품질 기준을 통과한 검사예요. 지금 쓰는 알고리즘 버전으로 계산한 검사만 넣어요.
첫 검사는 같은 브라우저에서 처음 끝낸 검사예요. 응답 품질 기준은 서버가 검사 시작 시각을 확인했고, 문항당 1.5초 이상 걸렸고, 한 화면의 문항을 모두 같은 위치로 고르지 않은 것이에요.
실제 생일은 입력한 사람만 알려 줘요. 입력하지 않은 사람의 결과는 알 수 없어서, 이 비율은 입력한 사람 쪽으로 치우칠 수 있어요.
빼는 세션
- 통계 활용 동의를 철회한 세션
- 결과를 삭제한 세션
- 운영자가 테스트로 표시한 기기에서 만든 세션
- 후보 목록에 실제 생일이 없다고 알려 순을 잘못 고른 것으로 보이는 세션
- 실제 생일을 입력하지 않은 세션
- 같은 브라우저에서 전에 검사를 끝낸 적이 있는 세션
- 서버가 검사 시작 시각을 확인하지 못한 세션
- 문항당 1.5초가 안 되는 빠르기로 끝낸 세션
- 한 화면의 문항을 모두 같은 위치로 고른 세션
계산식
적중률 p 는 후보 3개 안에 든 세션 수를 모집단 세션 수 n 으로 나눈 값이에요. 95% 신뢰구간은 Wilson 점수 구간으로 구해요(z = 1.96).
(p + z²/2n ± z√(p(1−p)/n + z²/4n²)) ÷ (1 + z²/n)
기준선
한 순 안의 후보 날짜는 8개에서 11개예요. 후보에서 무작위로 3개를 고를 때 실제 생일이 들어갈 확률(3 ÷ 후보 수)을 세션마다 구해 평균을 내요. 같은 세션의 후보를 다른 사람의 응답으로 다시 순위를 매기는 계산도 200번 해서 평균을 내고, 두 값 중 큰 쪽을 기준선으로 써요.
표본 기준
기준선 30%와 35%를 가려내려면 약 700건이 필요해요(양측 유의수준 0.05, 검정력 0.8). 모집단이 700건에 닿으면 처음 들어온 700건과 그 판정을 한 번 저장하고, 그 뒤로는 바꾸지 않아요. 판정 표본과 누적 수치 모두 신뢰구간 하한이 기준선보다 높을 때만 수치를 보여 줘요.
수치는 운영자가 판정 표본의 분포를 확인한 뒤에 올려요. 보여 준 수치는 계산 조건과 함께 날마다 기록해 둬요.
판정 표본에 스크립트가 쌓은 세션이 섞인 것을 찾으면, 운영자가 그 세션을 빼고 판정을 다시 해요. 이때 사유, 뺀 세션 수, 그 전 판정을 함께 기록해 둬요.
버전과 갱신 시각
수치는 한 시간마다 다시 계산해요.