Last-Modified
Сообщает ли страница дату своего обновления и отвечает ли сервер «не менялась» на повторный запрос. Делаем два запроса: обычный и условный.
Зачем странице сообщать дату обновления
Заголовок Last-Modified говорит, когда страница менялась в последний раз.
Браузер и поисковый робот запоминают эту дату и при следующем заходе спрашивают: «отдай,
только если менялась после такого-то числа». Если не менялась, сервер отвечает коротким
304 без тела страницы — и экономит трафик обеим сторонам.
Почему это важно для поиска
- У робота есть предел на обход сайта. Чем дешевле ему проверять неизменившиеся страницы, тем больше он успеет обойти новых.
- На большом сайте разница заметна: тысяча страниц по 304 вместо тысячи полных загрузок — это минуты вместо часов.
- Дата попадает в некоторые сервисы и иногда показывается в выдаче.
Частая ошибка: дата есть, а 304 нет
Сайт отдаёт Last-Modified, но на условный запрос всё равно присылает
страницу целиком. Пользы от такого заголовка нет: экономия возникает только тогда,
когда сервер действительно отвечает 304. Так бывает, когда заголовок
подставляет кеширующий прокси, а само приложение про условные запросы не знает.
Обратная крайность — дата, равная текущему моменту при каждом запросе. Формально заголовок есть, но он всегда «только что изменилась», и смысл теряется.