User-agent: * Disallow: /admin/ Disallow: /billing/ Disallow: /auth/ Disallow: /logout/ Disallow: /go/ Disallow: /deals/export.xlsx Disallow: /favorites/export.xlsx # Личные и служебные разделы (/login/, /favorites/, /alerts/, /subscribe/, /panel/) # сознательно НЕ закрыты Disallow: за ним робот не увидит их meta noindex и оставит # URL в индексе «заблокированным». Их выкидывает noindex, а обход экономит # Clean-param ниже — иначе /login/?next=… плодит копии одной страницы. # Clean-param понимает только Яндекс (Google на неизвестную директиву ругается), # поэтому отдельная секция. Список = все GET-параметры фильтров /deals/ # (apps/web/filters.py) + page/sort — иначе Яндекс плодит дубли одной страницы. User-agent: Yandex Disallow: /admin/ Disallow: /billing/ Disallow: /auth/ Disallow: /logout/ Disallow: /go/ Disallow: /deals/export.xlsx Disallow: /favorites/export.xlsx # UTM-метки рекламных ссылок не должны плодить дубли в индексе (site-wide) Clean-param: utm_source&utm_medium&utm_campaign&utm_content # Робот доказанно ходит по /login/?next=… — схлопываем в одну страницу входа Clean-param: next /login/ Clean-param: page&sort&rooms&metro&district&material&confidence&fresh&year_min&year_max&area_min&area_max&price_min&price_max&ppm2_min&ppm2_max&min_discount&no_lowrise¬_first¬_last&owner_only&show_suspicious&show_lowconf /deals/ # Лендинги /kvartiry/ самоканоникализируются (base.html canonical=request.path); # уточнения фильтрами дают ?-параметры — их тоже схлопываем для Яндекса. Clean-param: page&sort&rooms&metro&district&material&confidence&fresh&year_min&year_max&area_min&area_max&price_min&price_max&ppm2_min&ppm2_max&min_discount&no_lowrise¬_first¬_last&owner_only&show_suspicious&show_lowconf /kvartiry/ # Фильтры раздела торгов (apps/web/torgi_filters.py): общие параметры закрыты # строкой /kvartiry/ выше, свои у раздела два — тип лота и ценовая корзина. Clean-param: type&price /kvartiry/torgi/ # Блог: страницы списка и поиск по статьям — варианты /blog/ (canonical на /blog/, # поиск ещё и noindex) Clean-param: page&q /blog/ Sitemap: https://getflip.ru/sitemap.xml