Главная › Новости

Зеркала сайта с WWW и без, а также склейка этих доменов при помощи 301 редиректа в htaccess

Опубликовано: 01.09.2018

Здравствуйте, уважаемые читатели блога Goldbusinessnet.com. Сегодня поговорим о таком важном аспекте в деле продвижения ресурса как определение его основного домена (главного зеркала), выбрав URL страниц сайта с префиксом WWW перед именем домена либо без.

Данная проблема (и не только она), касающаяся абсолютно всех веб-ресурсов в сети интернет, обычно устраняется путем установки 301 редиректа в файле htaccess ( эта статья полностью посвящена настройке постоянной переадресации для разных ситуаций). Правда, такой способ годится только для тех случаев, если ваш хостер использует сервера Apache (коих, правда, больше 90%, поэтому вероятность успешного решения задачи достаточно высока).

Чтобы не растекаться мыслью по древу, могу сразу привести вам пример подобной переадресации. Если попробуете ввести в составе урла на главную этого блога «www.goldbusinessnet.com», то при попытке открыть страницу произойдет автоматическое перенаправление на URL, содержащей «goldbusinessnet.com». Как это осуществить на практике и какие для этого существуют теоретические предпосылки, мы и разберем далее.

Откуда берет начало присутствие WWW в составе URL и почему это может навредить

Наличие WWW (аббревиатура от World Wide Web, что в вольном переводе означает «Всемирная Паутина») в адресе является, по сути, анахронизмом в наши дни, потому как берет свое начало еще со времен зарождения интернета, который создал Тим Бернерс-Ли.

В те времена глобальная сеть находилась в зачаточном состоянии, если ее сравнивать с высоты сегодняшнего уровня развития. Мощности машин были небольшими, поэтому для обеспечения функционирования отдельных составляющих их приходилось размещать на разных серверах, которые идентифицировались соответствующими префиксами (www, mail, ftp и т.д.):

www.domain-name.com — адрес в подсети WWW интернета mail.domain-name.com — почтовый сервер ftp.domain-name.com — файловый сервер

Таким образом, на основании этого примера совершенно очевидно, что Всемирная Паутина тогда была лишь небольшой частью интернета (его подсетью), в которой непосредственно присутствовали только связанные между собой информационные ресурсы. Поэтому все вебсайты и получали пресловутый префикс WWW к своему адресу.

В наши дни Мировую Паутину можно с полным правом олицетворять с интернетом, поскольку развитие технологий напрочь стерло эту грань. По идее, рудиментарный отросток в виде WWW уже давно должен был благополучно отмереть.

Три знаменитые буквы, тем не менее, остались, которые с появлением системы серверов ДНС по факту переводят все домены с WWW на третий уровень , что само по себе ничего плохого в себе не таит. Страшно другое, а именно появление двух разных URL адресов одного и того же сайта:

http://site.ru/ http://www.site.ru/

На мой взгляд, такое положение вещей обусловлено тем, что регистраторы доменов изначально в дополнение к зарегистрированному ДИ добавляют его клон с WWW. Поначалу, наверное, это делалось для того, чтобы неопытные юзеры, уверенные в необходимости нахождения перед именем домена ресурса трех волшебных букв, не были бы оскорблены в своих чувствах, увидев перед собой страничку с 404-й ошибкой или что-то в этом роде.

Но уже сейчас, думаю, даже самые отъявленные "чайники" знают о том, что наличие трех W в URL-адресе ресурса совсем не обязательно , однако воз и поныне там. Ничего не поделаешь, приходится вебмастерам мириться с существующим положением и произвести соответствующие действия по выправлению положения. В чем же заключается опасность такой ситуации?

Технически оба варианта вебсайта (с WWW и без этого префикса) совершенно разные ресурсы c одинаковым содержанием, поэтому в глазах поисковых систем они будут являться зеркалами. По сути это дубли, способные серьезно помешать вашим усилиям по раскрутке проекта.

А поисковики крайне не любят дублированный контент по той причине, что он не представляет никакой ценности и только засоряет сервера. А потому при появлении дублей (в нашем случае с WWW и без) поисковые системы в лице Яндекса и Гугла просто-напросто склеивают странички подобных ресурсов, выявляя один вариант доменного имени, который будет основным.

В чем заключается склейка? Это просто назначение одного из доменов главным, а другой (не важно, с WWW или без) в таком случае будет считаться неосновным зеркалом, или псевдонимом (от английского alias). Последствия будут такими, что странички алиаса будут вываливаться из индекса, либо, на худой конец, переместятся в дополнительный индекс (Supplemental Index) Google и потеряют свою значимость в глазах ПС.

Что тогда получается? Вы прилагаете определенные усилия по продвижению своего проекта, создаете качественные страницы, на которые со временем получаете в виде бонуса обратные ссылки. Но ни вы, ни владельцы веб-ресурсов, которые проставят бэклинки на ваш вебсайт, не знают, какое зеркало было признано главным. Это значит, что вы потеряете значительную часть полезной ссылочной массы и, соответственно, позиции в выдаче, что просто недопустимо.

Поэтому, чтобы гарантировать своему проекту успешное продвижение, вы должны сами склеить зеркала сайта, указав главное из них , то бишь основной домен. Поисковые системы обязательно учтут ваше пожелание, главное, вовремя уведомить их о своем выборе.

Как проверить склейку доменов с префиксом WWW и без

Итак, прежде, чем начать предпринимать мероприятия по склейке зеркал, нужно убедиться в том, что они вообще необходимы. Ведь может оказаться, что у вас уже правильно выбран основной домен, в таком случае все нормально, и дальнейшие действия ни к чему.

Для проверки введите в поисковую строку Яндекса вот такую конструкцию (естественно, вместо «goldbusinessnet.com» нужно прописать свой домен)

url:goldbusinessnet.com | url:www.goldbusinessnet.com

И нажмите кнопку «найти» либо «Enter» на клавиатуре. В итоге получите вот такую информацию:

Причем, здесь могут быть самые различные варианты:

В результате поиска появился только один вебсайт, как на скриншоте выше — это означает, что все в норме. Именно он и будет главным. Чтобы понять, какой (с WWW или без), подведите курсор к тайтлу либо URL сайта, расположенному под ним, и посмотрите, что отобразиться в адресной строке внизу слева (в моем случае это доменное имя без трех W); В выдаче оказалось два зеркала — значит, процесс склеивания еще не закончен. На этом этапе можно выбрать базовый домен по своему разумению. Чтобы сделать правильный выбор, необходимо проанализировать, какому из них соответствуют страницы, находящиеся в выдаче Яндекс и имеющие в сумме лучшие показатели трастовости (передаваемый на них ссылочный вес со сторонних ресурсов, который определяет тИЦ и PR). Именно такое зеркало, неважно, каким оно окажется (с WWW или без), и следует указать в качестве главного; Вы получили сразу несколько результатов — налицо ошибка при вводе операторов Яндекса для этого запроса. Попробуйте повторить это действие; Нет ни одного варианта — ваш вебсайт еще не проиндексирован. Значит, вам повезло, и вы можете с легким сердцем определить основное зеркало без каких-либо потерь.

Абсолютно аналогично можно провести такую же контрольную операцию и для Google'а. Только в этом случае в его поиск нужно вбить несколько другое выражение:

info:www.goldbusinessnet.com

Я намеренно добавил WWW перед доменом с тем, чтобы было понятнее. Смотрим на результат, который также оказался единственным:

И при подводе курсора тоже появляется ДИ без WWW, то есть, домен с WWW в данном случае неосновной, что и требовалось доказать. Но склейку можно проверить и другим способом. Для этого поочередно введите в адресную строку браузера оба варианта урла веб-ресурса:

http://ваш_домен.ru http://www.ваш_домен.ru

Если основное зеркало уже определено, то в одном из вариантов произойдет автоматическое перенаправление, в итоге в адресной строке появится или, наоборот, исчезнет сочетание WWW, в зависимости от того, какой домен является базовым. Ежели зеркала не склеены, никакой переадресации не будет, то бишь в каждом случае адрес останется в том виде, в котором он был введен в поисковую строку браузера.

Кроме того, проверить наличие главного зеркала можно, просмотрев код ответа сервера. С этой целью используем один из сервисов Яндекса , где в верхнюю строку требуется вписать урл любой страницы. Для разнообразия возьмем URL страницы записей и добавим три буковки W к ДИ:

Взглянув на скриншот, вы все поймете сами:

Ответ сервера содержит 301 редирект (moved permanently), что означает наличие постоянного перенаправления с псевдонима (с WWW) на основной домен (без WWW).

Определяем главное зеркало сайта для Яндекса и Гугла

Прежде, чем продолжить, отмечу, что эта давняя проблема сосуществования дублей с WWW и без на данном этапе развития часто вполне успешно решается в самом начале создания вебсайта автоматически еще до того момента, как неопытный начинающий вебмастер в полной мере осознает всю важность этого аспекта продвижения.

Причем, склейка инициируется не только на уровне хостинг провайдера, но и даже предусмотрена самой структурой некоторых движков ( в этот обзор помещены все лучшие CMS ). Например, если вы пользуетесь Вордпресс, то в самом начале создания своего веб-ресурса в общих настройках вы прописываете URL адрес своего проекта:

Немногие догадываются о том, что именно это действие инициирует выбор главного доменного имени (которое в данном случае, как видите, лишено WWW).

Но даже если вам не повезло, и после проверки с помощью описанных выше способов вы установили, что основной домен не определен, нет времени посыпать голову пеплом, нужно как можно быстрее выправлять ситуацию и назначить главное зеркало.

Для Яндекса это можно сделать в директиве host важнейшего файла robots.txt , которую необходимо прописать в блоке, предназначенном для роботов Yandex:

Обратите внимание, что если вы используете стандартный протокол HTTP, то в качестве значения этой директивы должен быть указан не урл, а просто имя домена:

Host: site.ru

или:

Host: www.site.ru

А вот если вы перевели свой ресурс на защищенный протокол HTTPS, то прописывается уже полный адрес URL:

Host: https://site.ru/

либо:

Host: https://www.site.ru/

Если вы желаете ускорить процесс склейки зеркал со стороны российского поисковика, то можно еще воспользоваться инструментом «Переезд сайта» в панели Яндекс Вебмастер ( тут найдете всё об этом сервисе):

Здесь вы можете указать главное зеркало (с WWW или без этих трех букв). Наверное, нет надобности озвучивать очевидные вещи вроде того, что домены, указанные в директиве Host и Яндекс Вебмастере, должны быть идентичными.

Ту же самую задачу для Google решаете в Search Console (это набор инструментов для вебмастеров, аналогичный яндексовскому). Для этого переходите в раздел «Настройки сайта» и указываете, какой домен вы желаете иметь в качестве базового:

Нужно заметить, что основной домен в Search Console можно будет указать только лишь после подтверждения прав на обе версии вебсайта (с WWW и без). А для этого требуется их добавить в панель вебмастеров Google, обязательно имейте это ввиду.

Поскольку данный блог работает на WordPress, где перенаправление на основной домен, который я указал в общих настройках, обусловлено самой структурой этого движка, я ничего не указывал в панели вебмастеров как Яндекса, так и Гугла, поскольку это уже было лишним.

301 редирект с WWW на без WWW (или наоборот) посредством файла htaccess сервера Apache

Однако, не только механизм выбранной вами CMS, но и конфигурация сервера, где располагается сайт, может быть специфической. Поэтому вам, возможно, понадобится вручную настроить 301 редирект с неосновного зеркала на главное для перенаправления на него трафика. Другими словами, установить переадресацию с вебсайта, имеющего в составе домена WWW, на ресурс без оного, или наоборот . Все зависит от вашего выбора.

Если говорить вкратце и по существу, то код ответа 301 дает команду поисковику включить в свою базу данных новоявленный URL вместо того, с которого осуществляется переадресация. Огромный плюс постоянного редиректа заключается в том, что все показатели страниц со старыми урлами (включая ссылочный вес от бэклинков) будут применены к вебстраницам с новыми адресами.

Как же осуществить redirect 301 технически? Поскольку подавляющее большинство сайтов в сети расположены на серверах Apache , то вполне естественным в этой связи упомянуть конфигурационный файл .htaccess, наличие которого позволяет вебмастерам расширить спектр своих возможностей по самостоятельному управлению вебсайтом, в том числе при необходимости без долгих проволочек прописывать перенаправления на нужные URL адреса.

Обычно этот файл находится в том каталоге, на который и будут направлены указанные в нем директивы. Для того, чтобы установить влияние .htaccess на весь сайт, необходимо поместить его в корневую папку ресурса на сервере, где он, впрочем, обычно и находится по умолчанию.

Если же вдруг этого файлика там не окажется, вы вполне можете создать его самостоятельно, вписав в качестве названия «.htaccess» (именно в таком виде, с точкой впереди). При этом настоятельно советую использовать для этого очень удобный редактор Notepad++ , позволяющий подключиться к серверу по ФТП-соединению и редактировать все находящиеся там файлы:

В нашем случае в .htaccess следует вписать директивы (обеспечивающие 301 redirect), используя модуль сервиса Apache «mod_rewrite» , служащий для преобразования URL .

Однако, прежде, чем редактировать .htaccess, рекомендую вам сделать копию уже имеющегося файла (если, конечно, он присутствует). Это поможет вам восстановить его первоначальное содержание, ежели вдруг что-то пойдет не так, и ваш веб-ресурс станет недоступным.

Чтобы настроить 301 редирект с урла, содержащего WWW на URL без WWW , следует добавить вот такой фрагмент:

Options +FollowSymLinks RewriteEngine on RewriteCond %{HTTP_HOST} ^www\.site\.ru$ [NC] RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]

Это правило с привязкой к конкретному домену, поэтому не забудьте вместо «site», «ru» и «site.ru» вписать свое доменное имя и зону в третьей и четвертой строке. Также имейте ввиду, что данная директива справедлива только для стандартных вебсайтов с протоколом HTTP.

О том, как ее применять для ресурсов с HTTPS, мы поговорим совсем скоро, поэтому подписывайтесь на обновления блога , чтобы не пропустить данный материал. А вот универсальный вариант решения той же самой задачи (с WWW на без) исключая привязку к конкретному доменному имени:

Options +FollowSymLinks RewriteEngine on RewriteCond %{HTTP_HOST} ^www\.(.*) [NC] RewriteRule ^(.*)$ http://%1/$1 [R=301,L]

Ну а если вы все же пожелаете оставить главным вариант вебсайта с тремя W, то ниже увидите директиву, которая инициирует переадресацию в обратном порядке ( с URL-ов без WWW на урлы с WWW ):

Options +FollowSymLinks RewriteEngine on RewriteCond %{HTTP_HOST} ^site\.ru$ [NC] RewriteRule ^(.*)$ http://www.site.ru/$1 [R=301,L]

Ну и этот случай имеет альтернативу без привязки к домену:

Options +FollowSymLinks RewriteEngine on RewriteCond %{HTTP_HOST} ^(.*)$ [NC] RewriteCond %{HTTP_HOST} !^www\. [NC] RewriteRule ^(.*)$ http://www.%1/$1 [R=301,L]

Возможно, у кого-то предоставленные выше коды по постоянной переадресации доменов с WWW и без действовать не будут. Отчаиваться не стоит, это вполне рабочий момент. Ведь изначально условия у всех разные (конфигурация серверов, используемые CMS и т.д.).

Поэтому в случае отрицательного результата при попытке их применения свяжитесь с техподдержкой вашего хостинг провайдера, для них исправление подобной ситуации не является сложной задачей. В ниже следующем ролике, который до сих пор не потерял актуальность, известный оптимизатор Михаил Шакин просто и доступно излагает о выборе главного зеркала: