로그 모니터링 어떻게 할것인가?

[nayonsoso]

#158 와 같은 버그가 있었다.
추천 대학교가 아예 응답되지 않는 치명적인 버그였으나,

• 치명적인 예외가 발생했음에도 발생했음을 알아차리기까지 오래걸렸다.
• 로그를 볼 수 없었다.
• 로그를 볼 수 있더라도, 무엇 때문에 발생했는지 파악하기 어렵다.

라는 문제가 있었다.

로그 모니터링 시스템을 바꿔야 정상적으로 운영을 할 수 있을 것이다.
가장 먼저 로그 모니터링부터 손보자!! 👷🏻

[nayonsoso]

저는 PLG(프로메테우스 / 로키 / 그라파나)만 사용해봤었습니다.
PLG 스택을 사용했을 때 느낀 장점은,

1/ 레퍼런스가 적지 않았다는 점 :
다른 툴을 안써봐서 비교는 못하겠지만, 레퍼런스가 부족하진 않았습니다.

2/ 그라파나 alret 를 통해 실시간 알림을 받을 수 있다는 점 :
특정 메트릭에 이상이 있는 경우나,특정 레벨의 로깅이 찍힌 경우 디스코드 채널로 알림을 줬었습니다. 그런데 sentry 에서 알림을 주는 것처럼 "예외 내용"이 담긴 알림은 아니고, "에러 로그 발생"처럼, 단순한 정보였습니다.

3/ 그라파나의 다양한 대쉬보드가 템플릿으로 제공되었다는 점 :
예를 들어 "특정 api를 호출했을 때 응답 시간이 얼마나 걸리는가"에 대해서도 시각화를 할 수 있습니다. 그리고 다양한 대쉬보드를 적용할 수 있는 스토어 같은 곳이 있어서, 무료로 가져다 쓸 수도 있었습니다. 무엇보다 그라파나 대쉬보드가 참 예쁩니다... ✨

단점은,

1/ PLG를 위한 컴퓨트 인스턴스를 만들어야 한다는 점
따로 인스턴스를 만들어서 설정해야 하는데, 이것도 관리 대상이라 번거롭더라고요. 그라파나에 로그가 안찍힌 경우에는 (어플리케이션 문제인지 || 로키의 문제인지 || 그라파나가 있는 컴퓨트 인스턴스의 문제인지) 를 따로 확인해야 하기도 합니다. sentry 의 경우에는 그렇지 않아도 되는 것 같네요.

2/ 그라파나 alret 이 처음 설정하기에 난이도가 있다는 점
처음 설정할 때 삽질을 정말 많이 했어요.. 개발자 커뮤니티에서도 악명높더라고요

입니다.

[nayonsoso]

written by @wibaek

PLG만으로도 로깅 알림을 받을 수 있군요, 처음 알게 된 사실이네요!
저는 Sentry말고는 사용해본것이 없어서 잘 모르겠네요😓
다만 로그 모니터링 시스템을 구축하는 것 자체가 목적이 아니라 당장 '모니터링' 자체가 필요한것이라면 Sentry를 바로 도입해보는 것도 좋을 것 같습니다. 일반 플랜으로는 사용 한도가 좀 적은데, edu 지원이 있어서 그것을 사용하면 사용량 한도에서도 단점을 느끼지 못했습니다.

[nayonsoso]

다만 로그 모니터링 시스템을 구축하는 것 자체가 목적이 아니라 당장 '모니터링' 자체가 필요한것이라면 Sentry를 바로 도입해보는 것도 좋을 것 같습니다.

이 말씀이 맞네요. 지금의 목표는 로그를 보는것이니깐요.
그런데 sentry 가 일반 플랜 / 프로 플랜이 있는거라면 조금 걱정되는게..
우리 지금 레디스가 락을 얻는 것과 동기화 로그(?) 가 거의 1초씩 찍히더라고요.
이런건 괜찮을 것 같나요?

[wibaek]

Sentry의 특성상 스프링 로그와 1대1 대응해서 해당 로그들을 기록하는 방식이 아니라, 한 요청에 대한 작업들을 trace라는 이름으로 Sentry만의 기준으로 알아서 로깅해주는 것이라 로그가 1초마다 찍혀도 상관 없을 것 같습니다.
설사 로그가 하나의 trace가 된다고 하더라도 월 trace 한도가 10m으로 초당 4건까지 받아낼 수 있어서 괜찮을 것 같네요!

[nayonsoso]

오 그럼 괜찮겠네요.
규혁님도 동의하셔서, sentry로 로그 보는걸로 하겠습니다 👨🏻‍⚖️

[Gyuhyeok99]

저는 따로 로그모니터링을 사용해본 적은 없고 logback만 사용하고 에러발생 시에만 슬랙으로 가게 했었는데 위에서 말씀해주신 것들은 처음들어보았습니다..! Sentry도 좋은 거 같네요!