Host в robots.txt теперь можно не указывать
301 редирект полностью заменил директиву Host
Теперь при выборе главного зеркала Яндекс ориентируется на на редирект и собственный инструмент в Я.Вебмастере "Переезд сайта". Пруф
Скрин сервиса Яндекс.Вебмастер
Яндекс предлагает свою инструкцию по переездам:
- Поставить постраничный 301-й редирект;
- В вебмастере зайти в инструмент «Переезд сайта», указать новое главное зеркало
- Подождать несколько дней.
Эта инструкция подойдет в том случае, если структура и урлы не изменились. Если была полностью переделана структура сайта и все урлы изменились, возникла сложность с 301 редиректом, то придется подождать несколько недель, а не дней.
Что делать с директивой Host?
Её можно удалить из robots.txt или оставить, робот её просто игнорирует
К слову:
Google и ранее не использовал данную директиву. Пруф
16.09.2018