GoAccess – realtime парсер логов Apache (ncurses)



Совершенно случайно натолкнулся на эту чудную вещь!
Это консольный realtime-парсер логов Apache с графическим режимом. Об этой штуке я давно мечтал – и вот, свершилось!

Что умеет GoAccess?


На лету собирает и анализирует такие показатели как:
* Пропускная способность
* Уникальные посетители,
* Браузеры,
* Приходящие веб-роботы(пауки),
* Хосты,
* IP geolocation,
* Ключевые фразы с поисковиков,
* Сайты-реффереры,

* Коды ответов сервера
* и многое другое.
Читать дальше →

Управляем логами

Ubuntu Linux, как и другие linux-дистрибутивы имеет такое свойство, как детальное документирование всех действий системы, т.е. логированию. Иногда пользователям подробные и большие лог-файлы совершенно ненужны, иногда пользователи жалуются на большой объем этих файлов. Что можно предпринять? Ответ прост — настроить свою систему, особенно правила ведения логов.
Итак, первым делом определите программу-источник наибольшего количества записей в логах. Для этого вам необходимо просто просмотреть часто повторяющиеся последние записи в лог-файлах. Проанализируйте сообщения — возможно они говорят о неправильной настройке приложения. Если все нормально с приложением, то ищем файлы конфигурации этого приложения и отключаем ведение логов или выбираем менее детальный уровень логирования.
Второй этап — настройка ротации лог-файлов. Тут мы зададим все параметры самих лог-файлов и действий над ними.

Читать дальше →

Ротация логов веб-сервера Apache (и любых других логов тоже)

Логи (или журналы) хранят в себе ценную информацию, позволяющую понять, что, когда и как происходило в системе. Логи веб-сервера — это ещё и важный источник данных для аналитики (ну, там, исследование аудитории веб-ресурса, определение основных источников трафика и прочее, хотя сегодня для подобных целей мало серверных логов, надо ещё подключать Google Analytics и Яндекс.Метрику). Но есть проблема: если на веб-ресурс ходит немало посетителей (или если система долго трудится без присмотра администратора), то логи вырастают до гигантских объемов.
Для того, чтобы однажды диск столь «самостоятельной» системы не переполнился логами под завязку и эту самую стабильную систему не завалил, надо логи периодически подчищать. Но удалять их вручную или по планировщику — плохая идея, ведь самые свежие (последние добавленные) данные из логов, как правило, действительно нужны для мониторинга системы или веб-сайта. Перед удалением надо как-то сохранять последние версии логов. Процесс сохранения нескольких копий логов с удалением самой старой при создании самой новой копии — называется ротацией. Задача типовая, а потому для ротации логов есть несколько известных инструментов, но я остановился на
logrotate
.
Читать дальше →