503 오류가 발생하면, Serverless Inference 서버에 트래픽이 몰려 현재 요청을 처리할 수 없다는 의미입니다. 이 페이지에서는 이 오류가 발생하는 이유와 이를 완화하는 방법을 설명합니다.
이런 현상이 발생하는 이유
할 수 있는 작업
503 응답에서 복구하고 다시 이를 겪을 가능성을 줄이려면 다음 전략을 사용하세요:
- 잠시 기다린 후 다시 시도:
- 요청을 다시 시도하기 전에 몇 초 정도 기다리세요.
- 혼잡을 더 악화시키지 않도록 지수 백오프를 사용하세요.
- 요청 분산:
- 요청을 많이 보내는 경우 시간 간격을 두고 분산해서 보내세요.
- 트래픽 급증을 완화할 수 있도록 요청 대기열을 구현하세요.
Server Errors