서버 장애가 있었습니다.

제가 온갖 장치를 해두긴 했지만 서버가 갑자기 멍때리는 현상이 발생했고 약 2시간 가량 바이브크루 서비스가 중단되었습니다.

크루 여러분께 사과의 말씀을 올립니다. 그리고 다운된 동안 X랑 쓰레드에서 걱정해주신 크루님들을 보니 다운되면 안되는 서비스가 되어가고 있다는 뿌듯함(?)과 책임감도 느꼈습니다. 😁

식겁했지만 다행히 서버를 살렸고, 일백업을 하고 있는데 그걸로 다른 서버에 올려야 하나 고민하는 찰나 살렸습니다.

문제는 메모리 과부하였구요. 모니터링을 걸어서 디스크나 CPU, 메모리를 다 보고는 있는데 일시적으로 커서 리모트가 엄청난 자원을 쓰면서 다 뻗어버린 증상이었습니다.

갑자기 쳐버리니 알림 받자마자 ssh로 접속도 안되고 힘들었네요 ㅎㅎ

오늘의 교훈.

1. 백업을 잘하자.
2. 서버에 직접 붙어서 작업할때 주의하자. 특히 요즘처럼 에이전트 직접 붙일때는 더 더욱.
3. 도커 올릴때 메모리 상한을 명시하자.