Spock Extension과 Elasticsearch + Kibana 조합으로 테스트 결과를 빠르게 피드백 받기

// 테스트 목적이나 테스트 항목에 대해 설명
@Narrative(value = """
   회원 번호로 회원의 기본 속성 정보를 조회하는 API를 테스트 합니다.
   
   기본 속성 정보는 다음과 같습니다.
   - 회원번호: 
   - 휴대전화번호: 
   - 회원탈퇴여부: 
""")
class FindMemberDefaultFieldsByMemberNumberSpec extends TestConfiguration {
   
   @Unroll
   @Timeout(value = 3, unit = TimeUnit.SECONDS)
   @Retry(condition = { failure.message.contains('spock.lang.Timeout') }, mode = Retry.Mode.ITERATION, delay = 10000)
   def "회원정보 > 원하는 속성의 회원 기본정보 조회 [회원번호: #memberNo]"() {
      given: // API 호출을 위한 요청을 생성
      request = given()

      when: // 요청에 필요한 인증정보, Content-Type, 요청 파라미터를 입력하고 요청을 전송
      response = request.config(restAssuredConfig)
            .header(authorize)
            .contentType(ContentType.JSON)
            .queryParams(TestHelper.requestParams(["memberNo", "mobileNumber", "fields"], [memberNo, mobileNumber, "memberNo,mobileNumber,isWithdrawn"]))
            .get("/blahblah")

      if (isPrint) {
         response.prettyPrint()
      }
      
      // 요청에 대한 응답을 JSON 객체로 변환
      JsonPath payload = new JsonPath(response.body().asString())

      then: // 기대했던 값과 실제 응답을 검증
      response.then().statusCode(status)
      payload.getList("data.findAll { x -> x.isWithdrawn == false }.collect {x -> x.memberNo} ") == _memberNo

      where: // 테스트 데이터 : API 호출을 위한 요청 데이터와 기대 결과 
      memberNo     || status | mobileNumber   | _memberNo
      ""           || 200    | "01000000000"  | [191011000004, 171025000004, 161123000379, 141124003077]
      141124003077 || 200    | ""             | [141124003077]
      180221000001 || 200    | ""             | []
   }
}

class TestReportExtension implements IGlobalExtension {
   @Override
   void start() {
      // spock 테스트가 맨 처음 시작될 때 한번 호출 됩니다
   }

   @Override
   void visitSpec(SpecInfo specInfo) {
      // 각 spec마다 한번씩 호출 됩니다
   }

   @Override
   void stop() {
      // spock 테스트가 맨 마지막 종료될 때 한번 호출 됩니다
   }
}

/*
   /META-INF/services/org.spockframework.runtime.extension.IGlobalExtension
*/
com.woowabros.service.commons.TestReportExtension

package org.spockframework.runtime;

import org.spockframework.runtime.model.*;

public class AbstractRunListener implements IRunListener {
  // Spec 실행 전에 수행해야할 작업
  public void beforeSpec(SpecInfo spec) {}
  
  // Feature 실행 전에 수행해야할 작업
  public void beforeFeature(FeatureInfo feature) {}
  
  // Iteration 실행 전에 수행해야할 작업 
  public void beforeIteration(IterationInfo iteration) {}
  
  // Iteration 실행 후에 수행해야할 작업
  public void afterIteration(IterationInfo iteration) {}
  
  // Feature 실행 후에 수행해야할 작업
  public void afterFeature(FeatureInfo feature) {}
  
  // Spec 실행 후에 수행해야할 작업
  public void afterSpec(SpecInfo spec) {}
  
  // 테스트가 실패했을 때 수행해야할 작업
  public void error(ErrorInfo error) {}
  
  // Spec을 건너뛰어야 할 때 수행해야할 작업
  public void specSkipped(SpecInfo spec) {}
  
  // Feature를 건너뛰어야 할 때 수행해야할 작업
  public void featureSkipped(FeatureInfo feature) {}
}

import spock.lang.Specification
import spock.lang.Unroll

// Specification : SpecInfo
class MyFirstSpecification extends Specification {
   // fixture methods
   def setup() {
   }

   def cleanup() {
   }

   // feature methods : FeatureInfo
   @Unroll
   def "length of language’s name: [#name], [#length]"() {
      expect:
      name.size() == length

      // iteration : IterationInfo
      where:
      name << ['groovy', 'java', 'javascript', 'swift', 'c']
      length << [6, 4, 10, 5, 1]
   }
}

class TestListener extends AbstractRunListener {

   ... 생략
   
   @Override
   void beforeSpec(SpecInfo specInfo) {
      initError()
      specFailed = false
      className = specInfo.getName()
      filename = specInfo.getFilename()
      pkg = specInfo.getPackage()
   }

   @Override
   void beforeFeature(FeatureInfo featureInfo) {
      initError()
      featureFailed = false
   }

   @Override
   void beforeIteration(IterationInfo iterationInfo) {
      initError()
      iterationFailed = false
   }

   @Override
   void afterIteration(IterationInfo iterationInfo) {
      // 테스트 케이스가 수행된 결과를 Elasticsearch로 전송합니다
      sendStatus(iterationInfo, iterationFailed ? Status.FAILED : Status.PASSED)
   }

   @Override
   void afterFeature(FeatureInfo featureInfo) {
   }

   @Override
   void afterSpec(SpecInfo specInfo) {
      if ( specInfo.getFilename() != "TestConfiguration.groovy") {
         sendStatus(specInfo, specFailed ? Status.FAILURE : Status.SUCCESS)
      }
   }

   @Override
   void error(ErrorInfo errorInfo) {
      specFailed = true
      // 테스트가 실패한 feature와 iteration 정보 확인
      FeatureInfo feature = errorInfo.getMethod().getFeature()
      IterationInfo iteration = errorInfo.getMethod().getIteration()
      if (feature != null) {
         featureFailed = true
      }

      if (iteration != null) {
         iterationFailed = true
         error = errorInfo.getException()
      }
   }

   @Override
   void specSkipped(SpecInfo specInfo) {
      // skip
   }

   @Override
   void featureSkipped(FeatureInfo featureInfo) {
      sendStatus(featureInfo, Status.SKIPPED)
   }

   private void sendStatus(Object spec, String status) {
      testStatus.setProject(System.getProperty("project.name"))
      testStatus.setPkg(pkg)
      testStatus.setTestClass(filename)
      if (spec instanceof SpecInfo) {
         testStatus.setDescription(spec.getNarrative())
      } else {
         testStatus.setDescription(((IterationInfo) spec).getName())
      }
      testStatus.setStatus(status)
      testStatus.setExecutionTime(LocalDateTime.now().toDate())
      testStatus.setError(error)
      
      // Elasticsearch로 테스트 결과 전송
      TestResultSender.send(testStatus)
   }
   
   ... 생략
}