Как выгрузить и читать access-логи, если хостинг хранит их три дня
Инструкция7 мин 96 Обновлено 22 июля Сложность: Средняя
TL;DR
- Access-лог фиксирует весь трафик, включая ботов и ИИ-агентов, которых не видят Метрика и GA4.
- На многих хостингах логи хранятся 3–7 дней и удаляются безвозвратно – настройте регулярную выгрузку.
- Для анализа хватает 4-5 команд grep/awk – или отдайте лог ИИ-ассистенту и попросите сводку.
- Первым делом ищите: ИИ-ботов, поддельных ботов (по IP), 404, 500 и всплески с одного IP.
- Архив логов за месяцы – база для оценки динамики AI-видимости и SEO.
Access-лог – единственное место, где видно всё, что происходит с сайтом: каждый визит человека, каждый заход бота, каждую ошибку. Именно по логам я нашла поддельных ИИ-ботов и настоящий трафик из ChatGPT на клиентском сайте. Проблема одна: на многих хостингах логи хранятся всего несколько дней, а потом удаляются безвозвратно. Этот гайд – о том, как их вовремя забрать и что в них искать, даже если вы не системный администратор.
Что такое access-лог и почему он ценнее Метрики
Access-лог – это текстовый файл, куда веб-сервер (nginx или Apache) построчно записывает каждый HTTP-запрос к сайту. В отличие от счётчиков веб-аналитики, которым нужно, чтобы браузер выполнил JavaScript, лог фиксирует вообще всё:
- ботов – поисковых, ИИ-агентов, сканеров (счётчики их не видят совсем);
- запросы к несуществующим страницам (404) и ошибки сервера (500);
- обращения к файлам, картинкам, скриптам;
- реальные IP-адреса и заявленные имена клиентов (User-Agent).
Одна строка лога в распространённом формате combined выглядит так:
203.0.113.7 - - [20/Jul/2026:09:48:12 +0300] "GET /catalog/endoskopy/ HTTP/1.1" 200 61312 "-" "Mozilla/5.0 AppleWebKit/537.36; compatible; ChatGPT-User/1.0; +https://openai.com/bot"
Читается слева направо: IP клиента → дата и время → метод и адрес страницы → код ответа (200 – успех) → размер ответа в байтах → referer (откуда пришёл) → User-Agent (кем представился).
Где взять логи и почему нельзя откладывать
На виртуальном хостинге логи обычно доступны в панели управления – ищите разделы «Журналы», «Логи», «Статистика». На VPS – в каталоге /var/log/nginx/ или /var/log/apache2/.
Главная ловушка: ротация. Чтобы логи не занимали диск, хостинг хранит их считанные дни, затем старые файлы удаляются. На тарифе клиента из моего разбора доступны были ровно три последних дня – всё, что старше, потеряно навсегда. Восстановить удалённый лог невозможно: это не бэкап, его никто не хранит.
Поэтому первое правило: если хотите анализировать трафик – настройте регулярную выгрузку, не дожидаясь, когда логи понадобятся.
Как настроить регулярную выгрузку
Три рабочих варианта, от простого к системному:
- Вручную по расписанию. Раз в два-три дня скачивать файлы из панели хостинга в папку на компьютере. Просто, но держится на дисциплине.
- Планировщик (cron) на хостинге. Большинство панелей позволяют создать задание, которое копирует текущие логи в вашу папку на том же хостинге – например, ежедневно в 23:50 в
~/logs-archive/с датой в имени файла. Папка с архивом не ротируется, логи накапливаются. - Выгрузка на свою сторону. С сервера или даже с домашнего компьютера по расписанию забирать файлы по SFTP/SSH:
scp хостинг:/путь/к/access.log ~/logs/access-$(date +%F).log. Так у вас копится собственный архив, независимый от хостинга.
Для сжатия месячный архив логов среднего сайта – это десятки мегабайт в gzip, хранить его можно годами: именно такой архив позволяет сравнивать «до и после» при работе над AI-видимостью и SEO.
Как читать логи без специальных программ
Логи – обычный текст, и для 90% задач хватает командной строки (на macOS и Linux – терминал, на Windows – WSL или Git Bash).
Кто ходит на сайт – сводка по ботам:
grep -o '"[^"]*"$' access.log | sort | uniq -c | sort -rn | head -20Сколько запросов сделал конкретный бот:
grep -c "ChatGPT-User" access.logКакие страницы он смотрел:
grep "ChatGPT-User" access.log | awk '{print $7}' | sort | uniq -c | sort -rnВсе 404 – битые ссылки и сканеры:
awk '$9 == 404 {print $7}' access.log | sort | uniq -c | sort -rn | head -30С каких IP приходит бот (первый шаг проверки на подделку – подробная методика в исследовании ботов):
grep "GPTBot" access.log | awk '{print $1}' | sort | uniq -c | sort -rnЕсли командная строка – не ваш инструмент, есть путь ещё проще: отдать файл лога ИИ-ассистенту (Claude, ChatGPT) и попросить сводку по ботам, ошибкам и подозрительной активности. Именно так работает связка «логи + ИИ-аналитик»: машина считает, человек делает выводы.
Что искать: чек-лист первых находок
- ИИ-боты – GPTBot, ChatGPT-User, OAI-SearchBot, PerplexityBot, ClaudeBot: кто приходит, как часто, на какие страницы. Это ваш новый канал видимости – и потенциальные клиенты через ChatGPT.
- Подделки – сверяйте IP заметных ботов с официальными списками (ссылки – в исследовании выше): под маской Googlebot часто ходят парсеры и сканеры.
- 404-ошибки – битые внутренние ссылки, удалённые страницы, на которые ещё ссылаются, и попытки найти уязвимости (
/.git,/.env,/wp-login.php). - Ошибки 500 – страницы, на которых сайт падает: часто о них никто не знает, пока не посмотрит лог.
- Всплески трафика – резкий рост запросов с одного IP или подсети: парсинг, перебор, накрутка.
Итог
Access-логи – самый честный источник данных о сайте, и единственный, где виден ИИ-трафик целиком. Настройте выгрузку сегодня: через месяц у вас будет архив, с которым можно сравнивать динамику, а не гадать. А если хотите, чтобы логи вашего сайта разобрал специалист – напишите мне или начните с бесплатной AI-диагностики.
Частые вопросы
Как посмотреть логи сайта на хостинге?
В панели управления хостингом – разделы «Журналы», «Логи» или «Статистика». На VPS – каталоги /var/log/nginx/ или /var/log/apache2/. Если не находите – спросите поддержку хостинга, логи ведутся практически всегда.
Сколько хостинг хранит логи?
Обычно от 3 до 14 дней, дальше файлы удаляются при ротации безвозвратно. Точный срок зависит от тарифа – уточните у поддержки и настройте выгрузку с запасом.
Можно ли восстановить удалённые логи?
Нет. Ротация удаляет файлы без резервной копии – в бэкапы сайта логи, как правило, не попадают. Единственная защита – регулярная выгрузка в собственный архив.
Чем анализировать логи, если я не работаю с командной строкой?
Отдайте файл ИИ-ассистенту (Claude, ChatGPT) и попросите сводку: топ ботов, ошибки, подозрительные IP. Для регулярного анализа существуют и графические анализаторы логов, но для первых выводов достаточно ИИ.
Логи и веб-аналитика показывают разные цифры – кому верить?
Оба правы, но считают разное: счётчики видят людей с включённым JavaScript, логи – все запросы, включая ботов. На исследованном мной сайте боты давали 39% запросов – вся эта часть в Метрике невидима.
Что такое файл access log простыми словами?
Это журнал веб-сервера: текстовый файл, куда построчно записывается каждый запрос к сайту – кто пришёл (IP и User-Agent), когда, на какую страницу и что ответил сервер. Формат чаще всего combined (nginx или Apache).
Материалы по теме
Что почитать дальше по этой теме.