Массовая проверка статусов url

Последнее время 90% моих работ - это работы по сео-оптимизации сайтов. Когда сео-шники берутся за сайты - практически всегда приходится кардинально перерабатывать структуру сайтов и, как следствие - настройка 301-х редиректов. Когда их 1-2 - можно проверить через любой из онлайн-сервисов поштучно. Но когда адресов нужно проверить десятки-сотни ? В этом нам поможет curl на сервере:)

Нам нужно сформировать файл со списком адресов - просто делаете файлик, где каждый новый адрес - с новой строки. Сохраняете его, например, как testurls.list.

Дальше открываем консоль сервера, переходим в папку, где лежит наш файлик со списком адресов и пишем:

xargs -n1 -P 10 -I '{}' curl -o /dev/null --silent --head  --write-out "{};%{redirect_url};%{http_code};%{time_total};%{time_namelookup};%{time_connect};%{size_download};%{speed_download}\n" '{}' < testurls.list

Все! на выходе, рядом с файликом с адресами, появится файл results.csv с результатами обработки. Состоящий из колонок: адрес страницы, статус, время загрузки, время ответа сервера, время подключения, размер страницы и скорость загрузки.

Или вот краткая форма: страница - редирект - статус:

xargs -n1 -P 10 -I '{}' curl -o /dev/null --silent --head --write-out "{};%{redirect_url};%{http_code};\n" '{}' < url-list.txt | tee results.csv

Список директив curl-а можно посмотреть тут.