스트레스 테스트를위한 합격 / 불합격 기준이없는 것이 합리적입니까? 실패 )

명확성을 기하기 위해 필자가 작성한 스트레스 테스트는 시스템이 중단 점에 도달 할 때까지 시스템의 부하를 꾸준히 증가시킵니다. 이론적으로는 무한정 실행되지만 시스템 자원이 유한하기 때문에 일정 시간이 지나면 실패 할 것으로 예상됩니다. 시스템에 대한 예상로드가 있지만 로드 테스트 에서 별도로 테스트됩니다. 이 스트레스 테스트의 목적은 스케일링을 구현하기 전에 시스템에 얼마나 많은 부하를 가할 수 있는지 알아내는 것입니다.


시스템에 대한 스트레스 테스트를 작성하는 중이며 합격 / 불합격 기준이 적합한 지 궁금합니다. 테스트의 특성상, 부하는 점에 도달 할 때까지 (즉, 실패 ) 부하는 꾸준히 증가 합니다 . 나는 분명히이 파괴 점이 무엇인지 알지 못하기 때문에 시스템이 (어쨌든 이론적으로) 처리 할 수있는 부하에 대한 기대는 없다.

이제 통과 / 실패 기준을 쉽게 설정할 수있는 예상 부하 등에서 시스템을 테스트하기위한 다른 성능 테스트를 수행했으며 이러한 기준을 스트레스 테스트의 기초로 사용할 있습니다. 다시 말해서, 스트레스 테스트를위한 최소 기준을 설정할 수는 있지만 이것이 옳은지 확실하지 않습니다 (이것이 다른 테스트를 ‘중복’하고 있습니까?).

성능 테스트에 대한 경험이 많은 사람이 도움이되기를 바랍니다. 스트레스 테스트시 다른 합격 / 불합격 기준은 무엇입니까?



답변

스트레스 테스트에서 당신의 임무는 피험자가받을 수있는 스트레스를 정의하는 것이 아닙니다. 실패하기 전에 걸리는 스트레스를 측정하는 것입니다.

성능 기준을 사용하여 응력 고장이 무엇인지 정의 할 수 있습니다. 그러나 스트레스 테스트 결과는 통과 / 실패하지 않습니다. “환기 50 %가 손상되고 100 % 사용률로 90 시간 후에 실패했습니다”.


답변

요구 사항에 따라 달라집니다. 요구 사항에 따라 앱 성능에 대한 예상 결과가 X이고 실제로는 Y라고 지정하면 실패입니다.
요구 사항이 정의되어 있지 않으면 시스템에 스트레스를주고 경계 데이터를 수집 한 다음 이러한 제한을 파악하고 문서화 할 수 있습니다.


답변

기본 스트레스 테스트를 쉽게 업데이트하여 “파괴없이 X로드에 도달 / 지속 할 수있는”과 같은 QA 합격 / 불합격 확인을 지원할 수 있습니다. X를 구성 할 수있는 것이 이상적입니다 (예 : 다른 릴리스 분기의 경우).

결과는 fail로드가 X에 도달하기 전에 시스템이 중단되고 pass중단되지 않는 경우입니다. “지속적인”시나리오에서로드가 X 값에 도달하면로드 증가를 중지해야합니다.

이와 같은 자동화 된 테스트 IMOM은 CI / CD와 관련하여 특히 생산 지점에서 매우 유용 할 수 있습니다.