Клоакинг

Клоакинг — прием «чёрной» поисковой оптимизации, заключающийся в том, что информация, выдаваемая пользователю и поисковым роботам на одной и той же странице, различается.

Хорошо оформленные, легко читаемые, удобные для посетителей сайта страницы могут проигрывать в выдаче по поисковым запросам (хотя бывают исключения), а оптимизированные страницы, специально насыщенные ключевыми словами, могут быть неудобны для пользователей. Создание страницы, которую и посетители, и роботы оценивают как информативную, достаточно сложно, в том числе и потому, что владелец сайта, выбирающий материалы для наполнения страницы и её оформление, может не иметь достаточных знаний о поисковой оптимизации.

По этим причинам был создан метод клоакинга, для реализации которого создаются два варианта страницы: один для поисковых роботов, другой — для посетителей. Пользовательская страница оформляется произвольным образом, без каких-либо ограничений, связанных с поисковой оптимизацией. Страница, предназначенная для пауков, наполняется и оформляется в соответствии с требованиями оптимизации, для чего нужно иметь знания о поисковых системах. Для различения роботов и посетителей могут проверяться их IP-адреса или User Agent.

Клоакинг напоминает использование дорвеев, но имеет перед ним некоторые преимущества. Во-первых, не нужно организовывать автоматическое перенаправление или заставлять пользователя вручную переходить к нужной странице (этот приём неудобен для пользователей и слишком легко вычисляется поисковыми системами). Во-вторых, конкуренты не смогут увидеть оптимизированную страницу и использовать применённый на ней код в своих разработках, потому что для этого им понадобился бы IP-адрес, совпадающий с адресом какого-либо паука, что невозможно. С другой стороны, клоакинг — более трудоёмкий приём, чем создание дорвеев, поскольку для его применения требуются не только навыки программирования и знание методов оптимизации, но и базы данных с IP-адресами и именами поисковых роботов.


Большинство поисковых систем (например, Яндекс [1]) борются с клоакингом как с нечестным приемом «раскрутки» сайтов и применяют к сайтам-нарушителям штрафные санкции (см. пессимизация).


Приемлемые области применения клоакинга (маскирования).

Немногие области поисковой оптимизации вызывают столько споров, как клоакинг. Известный специалист по СЕО Дэн Тайес считает, что "клоакинг — очень опасная техника". Кроме того, он утверждает, что единственная "цель маскирования - обман поисковых механизмов".
С последним заявлением трудно согласиться. Многие считают, что имеются и приемлемые области применения маскирования. В частности, Yahoo! и MSN довольно терпимо относятся к маскированию, если оно не предназначено для обмана.Но Google (Яндекс), на момент написания этих строк, недвусмысленно заявляет в своих условиях обслуживания, что клоакинг не рассматривается им как положительное явление независимо от его целей. В руководстве Web-мастера (http://www.google.com/support/webmasters/bin/answer.py?answer=40052) сказано: "... клоакинг ... может привести к исключению из нашего индекса".
Дэн Тайес утверждает: "Мы не считаем IP-клоакинг техникой, с которой стоит связываться профессионалам". Вряд ли стоит придерживаться такой радикальной точки зрения, особенно с учетом последних разработок. В последнее время тот же Google стал проявлять некоторую терпимость при проведении этого принципа. В частности, по отношению к маскированию контента New York Times. На этом сайте поисковым агентам видно все содержимое новостных статей, а обычным пользователям — только аннотации. Пользователи должны заплатить, чтобы увидеть контент, доступный поисковым механизмам. Для этого на сайте New York Times применяется клоакинг с помощью подмены по IP.
Дэнни Салливан, редактор SearchEngineWatch, заявляет относительно New York Times:"Считаю ли я, что NYT обманывает Google"? Нет. Считаю ли я, что они применяют клоакинг? Да. Считаю ли я, что их следует наказать, т.к. Google не поощряет клоакинг? Нет. Я уже давно писал, что политика Google no этому поводу устарела. Честно говоря, этот вопрос уже давно следовало бы пересмотреть, еще в 2004 г. NYT — лишь последнее звено в цепи больших компаний, которые демонстрируют, что сам по себе клоакинг - не обязательно плохо."
Опять же трудно полностью согласиться с этим заявлением. Если щелчок на результате поиска приводит на страницу оформления подписки, то это обман пользователей. Результаты поискового запроса должны содержать данные, релевантные тому, что ищет пользователь.
Клоакинг может вскоре стать более приемлемым методом, но все-таки его не стоит применять сразу и для решения всех задач. Клоакинг часто рекомендуется в качестве решения для уже существующих сайтов, в которых применяется Flash или AJAX; кроме того, это единственный способ реализации индексированного контента, выдаваемого по подписке (как это сделано в New York Times).
Вот несколько типичных ситуаций, где допустимо использовать маскирование [1]:
-- вывод текстовых изображений в виде текста;
-- перенаправление исключенного контента на эталонный эквивалент;
-- предоставление контента, распространяемого по подписке, только поисковому агенту (пример с New York Times);
-- использование маскирования для обработки сеансов на основе URL (trans_sid) для поисковых агентов.
Вывод изображений в виде текста.
К сожалению, использование графики, содержащей текст, негативно влияет на поисковую оптимизацию. Причина проста: поисковые механизмы не могут читать текст, включенный в графические изображения. Поэтому одной из очевидных и этичных причин применения маскирования может быть распознавание, является ли пользовательский агент поисковым агентом,и замена изображений на текст, включенный в эти изображения.
Перенаправление исключенного контента.
Допустим ваше предприятие выпускает, несколько категорий одного продукта. Это может привести к появлению почти идентичных страниц с различными URL-адресами. Это фундаментальная проблема дублирования контента. В данном случае вариант с маскированием сводится просто к перенаправлению 301 всех не первичных страниц на первичную страницу в том случае, если пользовательский агент является поисковым агентом.
Предоставление контента, распространяемого по подписке, только поисковому агенту.
Это пример с New York Times. В данном случае код определяет, является ли пользовательский агент поисковым агентом, и выдает либо часть контента, если посетитель является человеком, либо весь контент, если это поисковый агент.
Отключение обработки сеансов на основе URL для поисковых агентов.
Существует средство trans_sid в PHP, которое выполняет автоматическую модификацию URL-адресов и форм, чтобы включать переменные сеанса, и применяется для сохранения состояния сеанса у тех пользователей,которые запретили сохранение cookie-наборов. Однако у этого приема есть побочный эффект: выдача поисковым агентам потенциально бесконечного количества дублированного контента. Поэтому на многих современных Web-сайтах данная возможность просто отключена.Но эта возможность может включаться и отключаться динамически в PHP-коде, и поэтому можно применить маскирование для ее динамического включения и выключения, в зависимости от того, является ли посетитель человеком или поисковым агентом. Это позволяет сайту удовлетворять требованиям пользователей и в то же время не запутывать поисковый агент, чтобы он не пробирался через огромное количество семантически бессмысленных вариантов URL, содержащих различные идентификаторы сеанса. Конечно, ваш сайт также не должен строить свою работу на сеансах — поскольку поисковые механизмы в любом случае не принимают cookie-данные.