Документация Yottis
Как устроен поиск, что мы считаем нарушением и чем проверить свой сайт. Всё написано про нас самих, а не про поиск вообще.
Как работает поиск Обход, разбор, индексация, ранжирование — четыре этапа между нажатием «Найти» и десятью ссылками на экране. И список того, чего мы не делаем. Правила для сайтов Что считается нарушением, с примерами — и с тем, чем это НЕ является. Вторая часть важнее: почти у каждого нарушения есть добросовестный двойник. Инструменты вебмастера Проверка robots.txt и разбор структурированной разметки. Работают в браузере тем же кодом, которым читает файлы наш робот. О роботе YottisBot Как узнать наш робот, что он соблюдает, как ограничить или ускорить обход. Проверка подлинности по обратному DNS.