Java 응용 프로그램 (log4j)에서 큰 소음이 많은 로그 파일 (500m / day)을 모니터링해야합니다. 지금은 파일을 수동으로보고 grep “ERROR”등을 지정합니다. 그러나 도구가 파일에서 반복되는 패턴을 발견하고이를 세고 개별 항목의 세부 사항을 드릴 다운 할 수 있어야합니다. 그런 도구를 아는 사람이 있습니까? 텍스트 또는 웹 기반 UI가 좋을 것입니다.
답변
사람들이 로그 파일에 베이지안 필터링을 적용하여 흥미로운 것들 대 일상적인 로그 항목을 발견했다고 들었습니다. 그들은 스팸 필터를 사용했는데, 일상적인 흥미없는 항목은 “양호한”것으로 간주되고 특이한 항목은 “스팸”으로 간주되어 그 색을 사용하여 전환 할 수있었습니다.
그것은 나에게 기계 학습 물건과 비슷하게 들리지만 다시는 실제로 그것을 보지 못했고 맥주를 통해서만 들었습니다.
답변
Splunk 는 이런 종류의 일에 놀라운 일을합니다. 내부적으로 모든 로그를 수집하고 뛰어난 브라우저 기반 인터페이스를 통해 빠른 검색을 수행합니다.
답변
syslog-ng에는 feature라는 이름의 patterndb가 있습니다. 패턴을 만들고 로그 항목을 실시간으로 일치시킨 다음 해당 항목을 별도의 로그 파일로 보낼 수 있습니다.
답변
syslog-ng와 patterndb (위의 답변에 +1)를 살펴보면서 ELSA라는 웹 기반 도구를 발견했습니다. http://code.google.com/p/enterprise-log-search-and-archive/ . 웹 인터페이스가있는 펄의 F / OSS이며 정말 빠릅니다.
아직 시도하지는 않았지만 patterndb를 사용하여 필터링을 완료하면 ELSA를 시도합니다.
답변
쁘띠를 사용해보십시오 .
log4j 형식으로 작동하는지 확실하지 않지만 사용자 정의 필터를 작성할 수 있습니다.
Petit은 웹 인터페이스가 없으며 쉘에 그래프를 표시합니다 (ASCII art ftw!).
반복되는 메시지를 빠르게보고 메시지가 발생하거나 더 자주 발생하는시기를 알아내는 것이 매우 유용합니다.
