На информационном ресурсе применяются рекомендательные технологии (информационные технологии предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети "Интернет", находящихся на территории Российской Федерации)

#Robots.txt

После иска к OpenAI газета New York Times подала в суд на Perplexity за копирование контента

Газета New York Times (NYT) подала иск в федеральный суд Нью-Йорка против стартапа Perplexity, обвиняя его в незаконном копировании и распространении контента издания. По заявлению NYT, Perplexity, представляющий собой «поисковую систему с искусственным интеллектом», создаёт ответы, которые... Далее

Правильный Robots.txt для WordPress

Наверное, только ленивый не писал про то, как должен выглядеть правильный Robots.txt для Вордпресс. Я попробую объяснить, почему многие старые способы больше не работают. Прежде напомню, на дворе 2017-й год — прогресс не стоит на месте, технологии развиваются. Кто давно в теме — знают, что... Далее

Как разрешить индексацию только главной страницы

В последнее время часто возникает задача запретить индексацию всех страниц сайта кроме главной. Задача простейшая, но с нюансами в решении. Отмечу сразу, первый вариант решения категорически не верный, и приведет скорее всего к появлению в индексе дублей главной страницы со всеми вытекающими... Далее

Sitemap и robots.txt для блогов на Blogger (Blogspot) — как это сделать

Всех приветствую и желаю хорошего настроения! На днях на одном из занятий мы изучали вопрос добавления карты сайта (sitemap) и robots.txt в блог на платформе Blogger (Blogspot). И я решил, что эта информация будет полезна и всем читателям моего блога. Ну во-первых я хочу решительно заявить, что... Далее

Поисковик и robots.txt

Очень много написано про этот очень нужный файл robots.txt В интернете очень много типов,форм и правил прописания этого файла. Как определить какой из этих файлов может быть наиболее эфективным для поисковиков и индексации страниц.для движка Wordpress в частности. В статье приведен пример не... Далее

наверх