QuerraBot
Робот представляется так:
QuerraBot/1.0 (+https://querra.ru/bot; hello@querra.ru)
Если в журнале другое имя — это не мы.
1. Зачем он приходил
1.1. Querra — поиск по сайту для магазинов на Tilda. Встроенный поиск Tilda ищет по точному совпадению слов, и на каталоге в несколько сотен позиций это становится заметно: посетитель, набравший «кросовки» или «чехол на айфон 15», не находит ничего.
1.2. Чтобы понять, кому это вообще может быть интересно, робот обходит сайты на Tilda и смотрит две вещи: есть ли каталог товаров и какого он размера, и стоит ли на сайте поиск. Сайтам-визиткам мы не пишем — им наш продукт не нужен, и рассылать предложения наугад нам самим невыгодно.
1.3. Если по итогам обхода мы решим, что вам может быть полезно, вы получите одно письмо от живого человека. Не рассылку: массовых кампаний мы не ведём. Не ответите — второго письма не будет.
2. Что именно он читает
2.1. Не более трёх обращений к сайту, все — к общедоступным адресам:
| Адрес | Зачем |
|---|---|
/ |
Понять, сделан ли сайт на Tilda и стоит ли на нём блок поиска. |
/sitemap-store.xml |
Узнать размер каталога. Tilda создаёт этот файл, когда включён модуль «Каталог»; его отсутствие — сразу ответ, что каталога нет. |
| Страница контактов | Найти адрес, по которому можно написать. Только если сайт прошёл предыдущие два шага. |
2.2. Чего робот не делает: не исполняет JavaScript, не заполняет и не отправляет формы, не пытается авторизоваться, не подбирает адреса, не обходит каталог постранично, не сохраняет содержимое ваших страниц и не индексирует сайт. Из страницы берутся только служебные признаки и контакты, опубликованные на ней открыто.
2.3. Нагрузка: не более двенадцати запросов в секунду суммарно по всем сайтам сразу, то есть на ваш сервер приходится три обращения за один заход и один заход за кампанию. Робот приходит разово, а не по расписанию.
3. Как запретить ему доступ
3.1. Отдавайте ему 403 или 404 по имени. Способ работает сразу и не требует нашего участия. Робот не пытается обойти отказ: не меняет имя, не приходит с другого адреса, не повторяет запрос.
3.2. Напишите на hello@querra.ru. Укажите домен — исключим его из базы в течение суток и навсегда, включая будущие кампании. Объяснять причину не нужно.
Про robots.txt честно. Робот его не запрашивает. Весь обход — это
одно-три обращения к общедоступным страницам, и отдельный запрос за
robots.txt перед каждым из них удвоил бы ту самую нагрузку,
которую он призван ограничить.
Мы предпочитаем сказать это прямо, а не написать «поддерживаем» и не поддерживать. Оба способа отказа выше — рабочие, и первый из них действует немедленно.
4. Что делаем с собранным
4.1. Сохраняем: домен, признаки движка, наличие поиска, размер каталога по карте сайта и опубликованные на сайте контакты организации. Используем для одного — решить, отправлять ли коммерческое предложение.
4.2. Не передаём третьим лицам, не продаём и не публикуем. Базу не перепродаём и в чужие рассылки не отдаём.
4.3. Если в собранном оказались персональные данные (например, личный адрес почты вместо корпоративного), их обработка подчиняется Политике в отношении обработки персональных данных. По письму на hello@querra.ru удалим всё, что относится к вашему домену.
5. Если робот вам мешает
5.1. Заметили, что он ходит чаще заявленного, ломится в закрытые разделы или создаёт нагрузку — напишите на hello@querra.ru и приложите строки из журнала. Разберёмся и ответим.
5.2. Это не формальная фраза для галочки. Робот написан нами, работает с одного адреса и останавливается одной командой.
Связанные документы: Политика в отношении обработки персональных данных · Файлы cookie