Как выгрузить и читать access-логи, если хостинг хранит их три дня

Access-лог – единственное место, где видно всё, что происходит с сайтом: каждый визит человека, каждый заход бота, каждую ошибку. Именно по логам я нашла поддельных ИИ-ботов и настоящий трафик из ChatGPT на клиентском сайте. Проблема одна: на многих хостингах логи хранятся всего несколько дней, а потом удаляются безвозвратно. Этот гайд – о том, как их вовремя забрать и что в них искать, даже если вы не системный администратор.

Что такое access-лог и почему он ценнее Метрики

Access-лог – это текстовый файл, куда веб-сервер (nginx или Apache) построчно записывает каждый HTTP-запрос к сайту. В отличие от счётчиков веб-аналитики, которым нужно, чтобы браузер выполнил JavaScript, лог фиксирует вообще всё:

• ботов – поисковых, ИИ-агентов, сканеров (счётчики их не видят совсем);
• запросы к несуществующим страницам (404) и ошибки сервера (500);
• обращения к файлам, картинкам, скриптам;
• реальные IP-адреса и заявленные имена клиентов (User-Agent).

Одна строка лога в распространённом формате combined выглядит так:

203.0.113.7 - - [20/Jul/2026:09:48:12 +0300] "GET /catalog/endoskopy/ HTTP/1.1" 200 61312 "-" "Mozilla/5.0 AppleWebKit/537.36; compatible; ChatGPT-User/1.0; +https://openai.com/bot"

Читается слева направо: IP клиента → дата и время → метод и адрес страницы → код ответа (200 – успех) → размер ответа в байтах → referer (откуда пришёл) → User-Agent (кем представился).

Где взять логи и почему нельзя откладывать

На виртуальном хостинге логи обычно доступны в панели управления – ищите разделы «Журналы», «Логи», «Статистика». На VPS – в каталоге /var/log/nginx/ или /var/log/apache2/.

Главная ловушка: ротация. Чтобы логи не занимали диск, хостинг хранит их считанные дни, затем старые файлы удаляются. На тарифе клиента из моего разбора доступны были ровно три последних дня – всё, что старше, потеряно навсегда. Восстановить удалённый лог невозможно: это не бэкап, его никто не хранит.

Поэтому первое правило: если хотите анализировать трафик – настройте регулярную выгрузку, не дожидаясь, когда логи понадобятся.

Как настроить регулярную выгрузку

Три рабочих варианта, от простого к системному:

1. Вручную по расписанию. Раз в два-три дня скачивать файлы из панели хостинга в папку на компьютере. Просто, но держится на дисциплине.
2. Планировщик (cron) на хостинге. Большинство панелей позволяют создать задание, которое копирует текущие логи в вашу папку на том же хостинге – например, ежедневно в 23:50 в ~/logs-archive/ с датой в имени файла. Папка с архивом не ротируется, логи накапливаются.
3. Выгрузка на свою сторону. С сервера или даже с домашнего компьютера по расписанию забирать файлы по SFTP/SSH: scp хостинг:/путь/к/access.log ~/logs/access-$(date +%F).log. Так у вас копится собственный архив, независимый от хостинга.

Для сжатия месячный архив логов среднего сайта – это десятки мегабайт в gzip, хранить его можно годами: именно такой архив позволяет сравнивать «до и после» при работе над AI-видимостью и SEO.

Как читать логи без специальных программ

Логи – обычный текст, и для 90% задач хватает командной строки (на macOS и Linux – терминал, на Windows – WSL или Git Bash).

Кто ходит на сайт – сводка по ботам:

grep -o '"[^"]*"$' access.log | sort | uniq -c | sort -rn | head -20

Сколько запросов сделал конкретный бот:

grep -c "ChatGPT-User" access.log

Какие страницы он смотрел:

grep "ChatGPT-User" access.log | awk '{print $7}' | sort | uniq -c | sort -rn

Все 404 – битые ссылки и сканеры:

awk '$9 == 404 {print $7}' access.log | sort | uniq -c | sort -rn | head -30

С каких IP приходит бот (первый шаг проверки на подделку – подробная методика в исследовании ботов):

grep "GPTBot" access.log | awk '{print $1}' | sort | uniq -c | sort -rn

Если командная строка – не ваш инструмент, есть путь ещё проще: отдать файл лога ИИ-ассистенту (Claude, ChatGPT) и попросить сводку по ботам, ошибкам и подозрительной активности. Именно так работает связка «логи + ИИ-аналитик»: машина считает, человек делает выводы.

Что искать: чек-лист первых находок

• ИИ-боты – GPTBot, ChatGPT-User, OAI-SearchBot, PerplexityBot, ClaudeBot: кто приходит, как часто, на какие страницы. Это ваш новый канал видимости – и потенциальные клиенты через ChatGPT.
• Подделки – сверяйте IP заметных ботов с официальными списками (ссылки – в исследовании выше): под маской Googlebot часто ходят парсеры и сканеры.
• 404-ошибки – битые внутренние ссылки, удалённые страницы, на которые ещё ссылаются, и попытки найти уязвимости (/.git, /.env, /wp-login.php).
• Ошибки 500 – страницы, на которых сайт падает: часто о них никто не знает, пока не посмотрит лог.
• Всплески трафика – резкий рост запросов с одного IP или подсети: парсинг, перебор, накрутка.

Итог

Access-логи – самый честный источник данных о сайте, и единственный, где виден ИИ-трафик целиком. Настройте выгрузку сегодня: через месяц у вас будет архив, с которым можно сравнивать динамику, а не гадать. А если хотите, чтобы логи вашего сайта разобрал специалист – напишите мне или начните с бесплатной AI-диагностики.