Как парсер находит формы и страницы входа без рекламного клика

Большинство руководителей, с которыми мы разговариваем, думают примерно одинаково: «Ну хорошо, конкурент может попытаться нас парсить. Но для этого ему надо сначала зайти на наш сайт. А значит, кликнуть по рекламе - и мы его увидим в Метрике как обычного посетителя».

Логика кажется убедительной. Она неверна.

Парсер - это автоматическая программа, которая собирает данные с сайтов. Она не ведёт себя как человек: не кликает по рекламе, не листает ленту, не ищет по запросу. Она работает иначе - и находит ваши формы и страницы входа задолго до того, как вы успеете это заметить.

Ниже - четыре метода, которыми это делается. Без технического жаргона, только то, что важно для понимания.

Почему компании думают, что формы в безопасности?

Короткий ответ: потому что путают два разных вопроса.

Первый вопрос - «может ли конкурент вообще найти мой сайт?» На этот вопрос правда ответ: да, нужен клик по рекламе или прямой переход. Ваш сайт не всплывает ниоткуда.

Второй вопрос - «может ли программа найти конкретную форму заявки или страницу входа на вашем сайте?» Вот здесь - нет, рекламный клик не нужен. Потому что существуют структуры, которые публично описывают сайт изнутри: что на нём есть, где лежат страницы, какие пути ведут к формам.

Именно этими структурами пользуется парсер.

Что такое парсер форм и зачем он нужен конкуренту?

Парсер - это программа, которая автоматически читает страницы сайтов и извлекает из них данные. Заходит на страницу, считывает содержимое, переходит на следующую.

В контексте форм задача парсера обычно одна: найти все поля, куда посетители вводят данные - имя, телефон, email, запрос. Это нужно для того, чтобы перехватить данные ещё до или сразу после того, как посетитель нажал «Отправить».

Конкурент, который знает, где на вашем сайте находится форма заявки, может выстроить систему мониторинга - и получать сигнал каждый раз, когда кто-то заполняет её. После чего связывается с этим человеком первым, пока вы считаете его «обычным посетителем» в Метрике.

Стандартная механика, которую уже используют некоторые B2B-конкуренты.

Метод 1: карта сайта рассказывает всё

Почти каждый сайт, сделанный на современном движке - WordPress, Bitrix, Tilda, 1C и других - автоматически создаёт файл под названием sitemap.xml.

Откройте прямо сейчас ваш сайт и добавьте в конце адреса /sitemap.xml. Например: вашсайт.ru/sitemap.xml.

Скорее всего, вы увидите список всех страниц вашего сайта. Весь список. Включая страницы с формами заявок, страницы контактов, разделы с личными кабинетами.

Этот файл существует для поисковых роботов - Яндекс и Google читают его, чтобы проиндексировать ваш сайт быстрее. Но читают его все, у кого есть адрес. Парсер делает то же самое: первым делом обращается к sitemap.xml и получает готовый список всех URL.

Никакой рекламы. Никакого клика. Просто открыл файл и получил карту.

Метод 2: стандартные пути открывают двери

У большинства сайтов страницы лежат по предсказуемым адресам. Это логично - движки CMS создают их автоматически, и менять адреса никто не спешит.

Вот что проверяет парсер по порядку:

• /contacts или /kontakty - страница контактов
• /request или /zayavka или /order - форма заявки
• /login или /signin или /auth - страница входа
• /cabinet или /lk или /profile - личный кабинет
• /register или /signup - регистрация

Парсер не угадывает - он перебирает эти адреса систематически, потому что они работают у 70-80% сайтов на популярных движках. Из десяти попыток семь-восемь приводят к нужной странице.

И снова: ни один рекламный клик, ни одна рубль из вашего бюджета при этом не тратится.

Метод 3: поисковик уже всё проиндексировал

Ваши страницы с формами, скорее всего, уже проиндексированы Яндексом и Google.

Вот простая проверка: откройте любой поисковик и введите site:вашсайт.ru. Поисковик покажет все страницы вашего сайта, которые он видит. Включая страницы с формами - если они не закрыты специально.

Поисковики кэшируют страницы - хранят их копии. Через кэш страницы доступны даже тогда, когда сам сайт временно лежит или страница была перемещена. Парсер работает с поисковым кэшем как с базой данных готовых адресов.

Поисковые системы сами публикуют инструменты для вебмастеров - и через них видно, какие страницы проиндексированы и как на них ведут ссылки. Эти данные частично открыты.

Метод 4: внешние ссылки ведут прямо к форме

Ваш сайт, скорее всего, упоминается в нескольких внешних источниках.

Типичный список:

• Яндекс.Карты или 2ГИС - там в профиле компании может стоять прямая ссылка на страницу контактов
• Отраслевые справочники и агрегаторы
• Сайты партнёров, которые упомянули вас и поставили ссылку
• Статьи в прессе или на профессиональных ресурсах

Часть этих ссылок ведёт не на главную страницу, а сразу на конкретные страницы - контакты, форму заявки, страницу «О компании». Парсер обходит эти источники и собирает ссылки - в результате получает прямые адреса ваших форм без единого клика по рекламе.

Ещё один источник - веб-архив. Сервисы вроде Wayback Machine хранят исторические копии сайтов. Если несколько лет назад у вас была форма по адресу /old-form, архив это помнит - даже если вы давно убрали страницу.

Что происходит после того, как форма найдена?

Нашедший форму парсер не просто «отмечает» её. Следующий шаг - мониторинг.

Программа начинает регулярно проверять страницу с формой. Задача - поймать момент, когда кто-то отправил заявку, или попытаться перехватить данные из незащищённых полей формы.

Это приводит к ситуации, которую описывают в STOPPARSING-FACTS.md как один из ключевых рисков: посетитель зашёл к вам с рекламы - вы заплатили за этот клик - посетитель ушёл подумать. А его данные уже оказались в базе конкурента. Конкурент звонит первым. У вас в аналитике это просто «отказ» или «посещение без заявки».

Вы видите цифры в Метрике. Конкурент видит живого человека с телефоном.

Как проверить свой сайт за 5 минут?

Самостоятельная проверка без технических знаний - четыре действия:

1. Откройте sitemap.xml

Введите в браузере: вашсайт.ru/sitemap.xml

Если открылся список страниц - значит, карта сайта публичная. Посмотрите, есть ли там страницы с формами и личными кабинетами.

2. Проверьте robots.txt

Введите: вашсайт.ru/robots.txt

Посмотрите строки, начинающиеся с Disallow: - они часто прямо указывают закрытые разделы. Парадокс: то, что robots.txt пытается скрыть от роботов, одновременно им же и раскрывает.

3. Поисковый запрос

В Яндексе или Google введите: site:вашсайт.ru

Посмотрите список проиндексированных страниц. Если среди них есть страница с формой - значит, поисковик её видит. Значит, и парсер тоже.

4. Стандартные пути

Попробуйте вручную: вашсайт.ru/contacts, вашсайт.ru/login, вашсайт.ru/request.

Если страницы открываются - они доступны для автоматического обхода.

Если хотя бы один из этих пунктов показал, что страницы с формами открыты - периметр не закрыт.

Как StopParsing закрывает эти каналы

StopParsing - это сервис защиты сайта и лидов от парсинга и перехвата. Он не работает как «поставить галочку и забыть» - это периметр, который нужно настраивать и поддерживать.

Работает в четыре шага:

1. 1Аудит периметра - вы передаёте список сайтов и телефонов сотрудников. StopParsing показывает, что из этого доступно системам сбора данных прямо сейчас.

1. 1План защиты - фиксируются конкретные векторы угрозы и рассчитывается индивидуальная цена. Стоимость под реальный объём, без шаблонных пакетов.

1. 1Закрытие каналов - домены и номера вносятся под защиту. Конкурентам, которые пользуются известными системами сбора данных, становится намного сложнее их снять.

1. 1Мониторинг периметра - добавление новых сайтов и номеров по мере роста, отчёты о закрытых каналах.

Важная оговорка: StopParsing снижает риск перехвата, но без обещания абсолютной защиты. Технически грамотный конкурент с достаточными ресурсами всегда найдёт способ. Задача - сделать перехват намного сложнее и дороже, чтобы большинство конкурентов переключились на более лёгкие цели.

Всё - строго в рамках 152-ФЗ. Защищаем только ваши данные: ваши сайты, ваших сотрудников.

Если хотите посмотреть, что сейчас видно системам сбора с вашего сайта - начните с бесплатного аудита периметра.

Оставить заявку на аудит - stopparsing.ru

Или позвоните напрямую: 8 910 050 01 00.

StopParsing - один из сервисов LEADLIFE. Полный набор инструментов - защита сайта, идентификация посетителей, перехват и дозвон - на leadlife.pro.

Связанные материалы в блоге:

• Как закрыть сайт от парсеров конкурентов
• Парсинг сайтов и 152-ФЗ: что законно, а что нет
• Чем защита от парсинга отличается от обычного файрвола

Источники

• stopparsing.ru - официальный сайт сервиса защиты от парсинга
• RFC 8615 - Well-Known Uniform Resource Identifiers (стандарт /.well-known/, robots.txt)
• sitemaps.org - стандарт на формат sitemap.xml
• robotstxt.org - стандарт на формат robots.txt
• Яндекс.Вебмастер - инструменты для проверки индексации