[소프트웨어 테스팅] 테스트 실행 및 결함 보고

테스트 프로세스 중 중요한 투탑 과정 중 하나
테스트 프로세스를 구성하는 활동 중 일반적으로 테스트 실행이 가장 많은 시간이 소요됨
많은 수의 테스트 절차를 적용하여 결과를 관찰하고, 예상 결과와 비교하는 데 많은 시간이 소요되기 때문

테스트 실행 산출물 : 테스트 실행 로그
결함 보고 산출물 : 결함 보고서, 결함 추적 보고서

테스트 실행 활동
- 테스트 설계 및 개발 활동에서 개발된 테스트 절차들을 실행하여 실행 결과를 테스트 실행 로그에 기록
- 주어진 테스트 절차 중 우선순위(피처 집합, TC, 테스트 절차 우선 순위 존재)/테스트 완료 기준(테스트 완료 기준 달성에 가장 큰 기여를 할 수 있는 테스트 절차부터 실행)을 고려하여 실행하고자 하는 테스트 절차 선정 후 실행, 테스트 결과를 비교하며 그 결과를 실행 로그로 기록
* 테스트 실행 로그 : 테스트 실행 결과 테스트에 대한 전반적인 설명, 수행된 테스트 작업과 이벤트 나열

- 컴포넌트 테스트는 일반적으로 개발자가 실행하지만 역할이 매우 중요한 모듈은 테스터가 수행할 수도 있음
- 통합 테스트는 개발자가 직접 실행할 수도 있고 테스터가 진행할 수도 있음
- 시스템 테스트는 테스터가 주도적으로 중요한 역할을 하지만 개발자나 사용자가 수행할 수도 있음
- 인수 테스트는 원칙적으로 사용자의 환경에서 사용자가 수행하지만 테스터가 수행할 수도 있음

테스트 절차 선정 > 테스트 절차 실행 > 테스트 결과 비교 > 테스트 실행 기록

결함 보고 활동
- 테스트 실행 로그를 분석하여 결함 식별 후 결함 보고서의 기록함으로써 결함의 해결을 시작할 수 있게 함
- 식별된 결함이 해결되고 종료될 때까지의 과정을 결함 추적 보고서에 기록
* 결함 보고서(=버그 보고서, 테스트 사건 보고서, 문제 보고서) : 검출된 결함에 대하여 결함 컨텍스트, 결함 설명, 심각도, 우선순위, 위험 분석, 결함 상태 기술
* 결함 추적 보고서 : 보고된 결함이 종결될 때까지의 결함 검토 정보, 결함 해결 정보, 결함 해결 검증 정보 기술

결함의 구체화 : 결함 검출 상황, 데이터, 테스트 절차 및 환경 구체화
결함의 고립화 : 결함 발생 원인 분석(환경, 절차, 데이터 등)
결함의 일반화 : 결함 발생에 영향을 주는 요소를 최대한 일반적으로 기술

결함 나이 : Open 일자~Closed 일자
결함 생명 주기 : 일반적으로 Open-Review-Assigned-Resolved-Verified-Closed 순(Reopen, Deferred 제외)
Open : 테스터가 결함 보고
Review : Open 상태의 결함의 처리 방안 검토
* Deferred : Open 상태의 결함을 바로 수정하지 않고 다음 릴리스에서 해결
Assigned : 수정할 개발자 결정, 결함 해결이 요구된 상태
Resolved : 개발자가 수정 해결을 처리한 상태
아래로는 처리 결과
- Fixed : 개발자가 요청된 결함을 수정
- Duplicated : 다른 결함과 중복
- Won't Fix : 개발자 분석 결과 지금 수정이 필요치 않거나 긴급한 결함이 아니라 수정을 하지 않은 경우
- Invalid : 개발자 분석 결과 결함 보고 자체(테스트 케이스 및 테스트 절차)에 문제가 있는 경우
검증은 이루어지지 않았기에 확인이 필요함
Verified : 개발자의 결함 처리가 합당한지, 정확한지 검증된 상태
Closed : 정확한 수정이 이루어졌다고 판단되어 이슈 종료
Reopen : 결함이 정확히 수정되지 않은 경우