Парсинг сайта: почему мобильная версия остаётся дырой в защите

Компания настраивает защиту от парсинга: прописывают правила, подключают антибот-решение, проверяют - работает. Через неделю аналитик замечает, что данные с сайта всё равно утекают. Проверяют ещё раз. Основной сайт закрыт. А потом смотрят в браузере с телефона - и видят, что мобильная версия открыта полностью.

Это не редкость. Десктоп и мобайл - это два отдельных технических периметра, и защита одного не означает защиту другого.

Почему десктоп и мобильный - два разных периметра?

Коротко: потому что технически это разные адреса.

Когда у сайта есть отдельная мобильная версия, она обычно живёт на отдельном поддомене: m.site.ru вместо site.ru. Или на другом домене целиком. У каждого домена своя серверная конфигурация, своя настройка CDN, свой набор правил для входящих запросов.

Если вы настроили защиту от парсинга на site.ru - m.site.ru об этом не знает. Там стоят настройки по умолчанию, которые никто не трогал.

Парсеры об этом тоже знают. Когда основной адрес закрыт, они просто переходят на мобильный. Технически - подставляют в запросе заголовок с мобильным браузером и работают с m.site.ru так же, как работали с site.ru до того, как вы поставили защиту.

Важный момент: если вы используете адаптивный дизайн - один домен для всех устройств - этой проблемы нет. Один периметр, одна конфигурация. Но если мобильная версия живёт на отдельном адресе, её нужно защищать отдельно.

Что именно парсят в мобильной версии?

Коротко: всё то же самое, что и на десктопе.

Мобильная версия показывает те же данные - каталог товаров, контакты, цены, формы захвата. Разница в том, что мобильные версии часто делают эти данные ещё доступнее: большие кнопки с телефоном, упрощённые страницы без лишних элементов, минимум JavaScript.

Для парсера это хорошие новости: меньше скриптов на странице - проще извлечь данные. Меньше защитных механизмов - быстрее работает.

Конкретно что снимают:

Посетители сайта. Системы идентификации трафика работают и с мобильного. Если кто-то зашёл на ваш сайт с телефона, пока решал, позвонить ли вам, - он мог попасть в базу перехвата конкурента раньше, чем успел оставить заявку.

Телефоны сотрудников. Страница «Контакты» на мобильном - это часто просто список телефонов с кнопкой «позвонить». Для парсера это готовый список для сборки базы.

Формы захвата. Страница с формой заявки на мобильном доступна любому, кто запрашивает этот адрес - в том числе парсеру, который собирает ваши контакты и структуру форм.

Подробнее о том, как защитить формы захвата от автоматического сбора, читайте в этой статье.

Почему мобильный сайт - удобная точка входа для парсера

Коротко: потому что компании защищают то, за чем следят. А за мобильным следят меньше.

Большинство B2B-компаний смотрят на аналитику десктопа - там конверсии, там заявки. Мобильный трафик часто воспринимается как «люди читают по дороге» - второстепенный канал.

Это меняется: доля мобильного трафика в B2B растёт, руководители проверяют подрядчиков на телефоне. Но в голове у тех, кто настраивал защиту два года назад, мобильный до сих пор - второстепенная история.

Парсеры работают иначе. Они ищут самый простой путь к данным. Если основной сайт закрыт - переходят на мобильный. Если и там закрыто - ищут другие точки входа.

Не закрытый мобильный периметр - это буквально открытая дверь рядом с закрытыми воротами.

Три места, где мобильный периметр обычно разрыт

Коротко: поддомен без правил, страницы контактов и API мобильного приложения.

Первое - поддомен m.site.ru без настроенной защиты. Если при подключении антибот-решения передали только основной домен, а мобильный не включили в список - он открыт. Это самая частая ситуация: при первичной настройке все думают про основной сайт, про мобильный вспоминают позже.

Второе - страницы контактов. Даже если тело сайта закрыто, страницы /kontakty, /o-kompanii, /komanda на мобильном часто имеют упрощённую разметку, где телефоны сотрудников вынесены крупным текстом с ссылками «tel:». Для парсера, который собирает оргструктуру конкурента, это готовый материал.

Третье - API мобильного приложения. Если компания выпустила мобильное приложение в дополнение к сайту, его backend API-эндпоинты могут быть доступны напрямую. Парсер запрашивает не HTML-страницу, а API - и получает данные в структурированном формате, без всякого HTML-парсинга. Это уже совсем другой класс задачи для защиты.

О том, как парсинг сайтов соотносится с 152-ФЗ, читайте здесь.

*Хотите понять, что именно открыто на вашем сайте прямо сейчас? StopParsing начинает с аудита периметра - показываем, какие данные доступны системам сбора, по всем вашим доменам.*

*Запросить аудит периметра*

Как проверить, что ваш мобильный сайт действительно закрыт?

Коротко: пройти по чеклисту из 5 пунктов.

Это можно сделать самостоятельно, бесплатно, за 10 минут с телефоном в руках.

1. Найдите адрес мобильной версии. Откройте ваш основной сайт с телефона. Посмотрите в адресной строке: изменился ли адрес? Если site.ru превратился в m.site.ru или mobile.site.ru - у вас отдельный мобильный периметр.

2. Проверьте страницу контактов. Зайдите на /kontakty или /o-kompanii с телефона. Есть ли там личные телефоны конкретных менеджеров, помимо общего номера? Если да - это данные, которые парсер может снять без каких-либо технических сложностей.

3. Откройте форму заявки. Заполните форму и посмотрите, что происходит при отправке. Уходит ли запрос на тот же домен, что и основной сайт, или на другой? Разные домены - разные конфигурации, возможно, разная защита.

4. Спросите у тех, кто настраивал защиту. Простой вопрос: «В список доменов для защиты входит мобильная версия?» Если человек на другом конце провода колеблется - ответ, скорее всего, нет.

5. Закажите аудит периметра. Профессиональный аудит покажет полную картину: какие данные с каких ваших доменов доступны системам сбора. Не «кажется, всё нормально», а конкретный список того, что открыто.

Как выглядит полный аудит периметра - в этой статье.

Что значит «закрыть мобильный периметр»?

Коротко: те же шаги, что для основного сайта, - применённые к другому домену.

Защита мобильного периметра требует тех же действий, что и для десктопа, - применённых к другому домену.

Для каждого домена из вашего списка нужно:

• Проверить, какие данные видны снаружи
• Определить, какие из них составляют риск
• Настроить правила для этого конкретного домена
• Включить его в периметр мониторинга

Хорошая новость: если основной сайт уже закрыт, мобильный - это расширение, а не новый проект с нуля.

Риск снижается не одномоментно - он снижается по мере того, как закрываются точки входа. Мобильный домен в список, страницы контактов под контроль, API под отдельную политику - каждый шаг делает данные труднее достать.

Подробнее о том, чем защита от парсинга отличается от обычного антивируса.

Как выглядит полная защита: от аудита до мониторинга

Коротко: четыре шага, и мобильный входит в первый из них.

StopParsing работает по схеме, которая не предполагает «пакетов вслепую». Вот как это устроено.

Шаг первый - аудит периметра. Вы передаёте список ваших сайтов и телефонов сотрудников. Мобильная версия - в этом же списке. По результатам аудита видно, что доступно системам сбора прямо сейчас.

Важный момент: аудит даёт конкретный список того, что доступно системам сбора прямо сейчас - вместо «мы думаем, что всё нормально».

Шаг второй - план защиты. На основе аудита формируется индивидуальный план и стоимость - расчёт под конкретное количество ваших доменов и номеров, без стандартных пакетов вслепую.

Шаг третий - закрываем каналы. Домены и номера вносятся в защиту. Все домены из списка, включая мобильный.

Шаг четвёртый - держим периметр. По мере роста бизнеса появляются новые сайты, новые сотрудники. Их добавляют в периметр - периметр обновляется вместе с бизнесом.

Кому это важно прямо сейчас?

Коротко: тем, кто уже настроил защиту основного сайта, но не проверил мобильный.

Если вы когда-либо задавались вопросом «защищён ли наш сайт» - и настроили что-то в ответ - есть смысл проверить, входит ли мобильная версия в периметр. Открытый мобильный обнуляет часть работы, которая уже была сделана.

Конкуренту не нужно взламывать то, что закрыто. Достаточно найти то, что не закрыто.

Два рисковых сценария, которые встречаются чаще всего:

Первый - компания работает в нише, где конкуренты агрессивно используют перехват. Тогда закрытый основной сайт - это просто сигнал идти на мобильный.

Второй - у компании высокая доля мобильного трафика. Чем больше посетителей приходит с телефонов, тем больше данных доступно через мобильный периметр.

*StopParsing закрывает ваши сайты и телефоны сотрудников от систем сбора данных. Периметр - это всё, что вы передадите списком. Начинается с бесплатного аудита.*

*Запросить аудит на stopparsing.ru*

StopParsing - часть платформы LEADLIFE: меч (перехват клиентов конкурентов) и щит (защита ваших данных от перехвата) в одном месте.

Источники

• StopParsing.ru - сервис защиты сайта и лидов от парсинга. Официальная информация о методике работы.
• Принципы конфигурации веб-серверов и CDN для нескольких доменов (общеизвестные технические стандарты).
• User-Agent стандарты HTTP-заголовков (RFC 7231, раздел 5.5.3).