[확률과 통계] 가설 검정(2)

T검정

• 단일 표본 검정(One Sample T-Test)
  • 하나의 집단에 대한 표본평균과 새롭게 수집된 데이터의 예측된 평균이 같은지 여부를 검정
  • 하나의 데이터 집단 평균 vs. 비교하고자 하는 관측치 -> 차이 검정
  • 데이터 집단 평균과 관측치의 거리가 멀수록 p-value 값이 떨어짐
• 독립 표본 검정(Independent Samples T-Test)
  • 정규분포를 따르며, 분산이 동일한 두 데이터 집단을 비교하여 검정
  • 귀무가설 : 두 집단의 모평균은 동일
• 대응 표본 검정(Paired Samples T-Test)
  • 처리 전후를 각각의 모집단으로 판단하여 동일한 관찰 대상으로부터 1:1 대응시킨 두 집단의 표본인 대응표본을 통한 검정으로 관찰 전후를 비교하여 영향을 미친 정도를 밝히는데 사용
  • 등분산 검정을 할 필요 없음
  • 두 집단에 들어있는 사람이 같음
  • 귀무가설 : 두 집단의 모평균은 동일
    -> before & after 효과를 알아보기 쉬움
• Student T-Test
  • 표본편차가 알려지지 않았지만, 정규분포를 따르는 모집단에서 추출한 표본의 평균값에 대한 가설 검정 방법
  • 표준편차 = 데이터가 평균값을 기준으로 평균적으로 퍼진 정도
  • 통계적으로 차이가 얼마나 유의미한지 검증
• T-value
  •  = 표본 평균값의 차이 / 차이에 대한 불확실도
  • 표본 그룹의 평균값들은 오차를 수반(추정치이기 때문)
    -> 집단 간의 차이와 차이를 정확하게 판단하기 위해 Scaling을 해주는 과정(normalize)
  • t-value가 클수록 두 집단의 평균 차이가 큼

 

Z-Test

• 분산(또는 표준편차)를 이미 알고 있는 모집단 분포의 평균과 표본의 평균을 테스트
• 표본정규분포 기반 ↔︎ t-test의 경우, t-통계 기반
• 통상적으로는 sample size ≥ 30
• z-score : 평균값과 얼마나 거리가 먼지 계산해주는 통계적인 예측값
• z-distribution : 평균이 0, 표준편차가 1인 표준정규분포

 

AB 테스트

• 전체 사용자를 대조군과 실험군으로 나누어 변수의 효과를 비교하는 방법론
  -> 실험을 통한 데이터 중심의 의사결정
• AB테스트를 위한 사전 체크리스트
  • 충분한 Sample Size
    > AB테스트는 통계적 가설검정 -> 충분한 데이터를 통해 결과에 대한 신뢰도 향상
    > MED(Minimum Detectable Effect) : 최소한의 검출 가능 효과
          -> 현 전환율에서 어느정도 차이가 발생하는 시점에서 테스트 결과를 판단할 것인지
  • 중복 데이터 삭제 -> 정확한 결과 도출
  • 테스트 진행기간(최소 7일 ~ 최대 30일)
    > 통계적 측면 : 기간이 늘어나면 샘플사이즈가 증가해 P-value가 감소하여 오류 발생 가능
    > 비즈니스 측면
• 대조군(Control Group)과 실험군(Experiment Group)
  • 대조군과 실험군을 나누는 방식
    > 노출 분산 방식 : 일정확률로 A/B 그룹을 나눔 -> 알고리즘 테스트에서 많이 사용
    > 사용자 분산 방식 : ID값에 따라 그룹을 나눔 -> UI 테스트에 적합
    > 시간 분할 방식 : 노출, 사용자 분산방식이 불가능할 때, 대안으로 사용
  • 나머지 조건은 동일하게 고정
    > 외부 요인에 좌우되지 않게 조정
    > 일반적으로는 50 : 50, 60 : 40의 비율로 조정
  • 대조군과 시험군의 비율이 다를 경우
    > 데이터의 분포, sample size를 고려해 비율을 조정
    > A, B에 할당된 트래픽을 확인하여 문제가 있다면 초기에 대응
• AB테스트에 영향을 주는 효과
  • Change Aversion : 변화의 종류와는 상관없이 거부감 + 반감
    >> 그냥 변화를 싫어함(=Default Effect)
  • Novelty Effect : 변화라면 다 좋아함
    >> 변화의 효과를 생각하지 않고, 새로운 것이라면 무작정 좋아함
    (신규 기능 및 기술에 대한 관심의 증가로 인해 performance가 초기에 개선되는 경향 존재)
  • 사용자의 행동 패턴이 안정화되기 때문에 두 효과가 긴 시간동안 지속 X
• 테스트 결과 확인을 위해 p-value, binomial distribution, z-test 이용

 

 

** 수정이 필요하다면 댓글을 부탁드립니다.