Массовая проверка статусов url

Массовая проверка статусов url

164
19.06.2018

Последнее время 90% моих работ - это работы по сео-оптимизации сайтов. Когда сео-шники берутся за сайты - практически всегда приходится кардинально перерабатывать структуру сайтов и, как следствие - настройка 301-х редиректов. Когда их 1-2 - можно проверить через любой из онлайн-сервисов поштучно. Но когда адресов нужно проверить десятки-сотни ? В этом нам поможет curl на сервере:)

Нам нужно сформировать файл со списком адресов - просто делаете файлик, где каждый новый адрес - с новой строки. Сохраняете его, например, как testurls.list.

Дальше открываем консоль сервера, переходим в папку, где лежит наш файлик со списком адресов и пишем:

xargs -n1 -P 10 -I '{}' curl -o /dev/null --silent --head  --write-out "{};%{redirect_url};%{http_code};%{time_total};%{time_namelookup};%{time_connect};%{size_download};%{speed_download}\n" '{}' < testurls.list

Все! на выходе, рядом с файликом с адресами, появится файл results.csv с результатами обработки. Состоящий из колонок: адрес страницы, статус, время загрузки, время ответа сервера, время подключения, размер страницы и скорость загрузки.

Или вот краткая форма: страница - редирект - статус:

xargs -n1 -P 10 -I '{}' curl -o /dev/null --silent --head --write-out "{};%{redirect_url};%{http_code};\n" '{}' < url-list.txt | tee results.csv

Список директив curl-а можно посмотреть тут.


Источник: https://stackoverflow.com/questions/6136022/script-to-get-the-http-status-code-of-a-list-of-urls/6136861#6136861


Благодарю за внимание! Делитесь вашими замечаниями в комментариях ниже.


P.S. Обращайтесь ко мне за приобретением лицензий и продлений на 1C-Битрикс "Управление сайтом", лицензий на облачную и коробочную версии Битрикс 24 а также за приобретением и внедрением готовых решений на базе 1С-Битрикс от партнеров. За более подробной информацией свяжитесь со мной любым удобным для вас способом


Комментарии

Еще никто не комментировал данную публикацию. Будьте первыми!

Добавить комментарий

captcha

Возврат к списку