- run이 실패하면(이벤트), Slack 채널로 알림을 보냅니다(액션).
- 아티팩트에
production별칭이 추가되면(이벤트), 배포를 트리거하는 웹훅을 호출합니다(액션).
production 추가(이벤트) 후 웹훅(액션).
Automations를 생성할 수 있는 위치
- 프로젝트에서: 프로젝트를 연 다음, 프로젝트 사이드바에서 Automations 탭을 클릭하세요.
- 레지스트리에서: 레지스트리를 연 다음, Automations 탭을 클릭하세요.
사용 사례
- run 모니터링 및 알림: run이 실패하거나 메트릭이 임곗값을 넘을 때(예: loss가 NaN이 되거나 정확도가 떨어질 때) 팀에 알림을 보냅니다.
- 레지스트리 CI/CD: 새 모델 버전이 연결되거나 별칭(예:
staging또는production)이 추가되면, 테스트를 실행하거나 배포하도록 웹훅을 트리거합니다. - 프로젝트 아티팩트 워크플로: 새 아티팩트 버전이 생성되거나 프로젝트에 별칭이 추가되면, 후속 작업을 실행하거나 Slack에 게시합니다.
자동화 작업
- Slack 알림: 이벤트를 트리거한 내용의 세부 정보와 함께 Slack 채널로 메시지를 보냅니다. 이 메시지는 이벤트를 요약하고, W&B에서 자세한 내용을 확인할 수 있는 링크를 제공합니다.
- 웹훅: 이벤트를 트리거한 내용에 대한 정보가 포함된 JSON 페이로드와 함께 웹훅 URL을 호출합니다. 이를 통해 CI/CD 파이프라인, 모델 배포 서비스 또는 맞춤형 워크플로와 같은 외부 시스템과 인테그레이션할 수 있습니다.
Automations의 작동 방식
- 필요한 경우 액세스 토큰, 비밀번호, 민감한 설정 세부 정보 등 자동화에 필요한 민감한 문자열에 대해 시크릿를 설정합니다. 시크릿은 Team Settings에 정의되어 있습니다. 시크릿은 웹훅 Automations에서 자격 증명이나 토큰을 평문으로 노출하거나 웹훅 페이로드에 하드코딩하지 않고 웹훅의 외부 서비스로 안전하게 전달하는 데 가장 자주 사용됩니다.
- 팀 수준의 웹훅 또는 Slack 인테그레이션을 설정하여 W&B가 사용자를 대신해 Slack에 게시하거나 웹훅을 실행할 수 있도록 승인합니다. 단일 자동화 작업(웹훅 또는 Slack 알림)은 여러 Automations에서 사용할 수 있습니다. 이러한 작업은 Team Settings에 정의되어 있습니다.
- 프로젝트 또는 레지스트리에서 자동화를 생성합니다.
- 새 아티팩트 버전이 추가될 때와 같이 모니터링할 이벤트를 정의합니다.
- 이벤트가 발생할 때 수행할 작업(Slack 채널에 게시하거나 웹훅 실행)을 정의합니다. 웹훅의 경우 필요하다면 액세스 토큰에 사용할 시크릿 및/또는 페이로드와 함께 전송할 시크릿을 지정합니다.
권장 사항
- 작게 시작하세요: 가치가 높은 이벤트(예: run 실패 또는 프로덕션 별칭 변경)에 대해 자동화 한두 개부터 시작하세요. 더 추가하기 전에 예상대로 작동하는지 확인하세요.
- 프로덕션 전에 테스트하세요: 먼저 테스트 프로젝트에서 자동화를 만들거나 테스트 웹훅 또는 Slack 채널을 사용하세요. 이벤트를 수동으로 트리거한 뒤 액션이 실행되고 페이로드 또는 메시지가 올바르게 표시되는지 확인하세요.
- 알림 피로를 피하세요: run 필터, 메트릭 임계값, 또는 별칭 패턴을 사용해 자동화가 트리거되는 빈도를 제한하세요. 필요하면 심각도에 따라 서로 다른 채널로 라우팅하세요.
제한 사항
다음 단계
- Automations 튜토리얼: run 실패 시 알림을 보내는 프로젝트 자동화와 별칭이 추가될 때 웹훅을 실행하는 레지스트리 자동화를 만드는 방법을 안내합니다. 이 튜토리얼에서는 W&B App을 사용합니다.
- 자동화를 생성.
- 자동화 이벤트 및 범위.
- 시크릿 생성.
Automations와 함께 볼 수 있는 튜토리얼을 찾고 계신가요?