Инструменты Parser Club

Найти пост, который сработал в вашей нише, — половина дела. Вторая половина — написать свой так, чтобы сработала та же механика: тот же тип захода, тот же ритм, та же длина. Работаем по готовой выгрузке: отмечаете посты, описываете продукт — и получаете по три своих варианта на каждый.

Чтобы понять, что писать, надо сначала увидеть, что уже сработало у других в вашей нише. Посты Threads по вашим ключевым словам собираются с лайками, комментариями и репостами, а те, что заметно обошли типичный пост этой же выдачи, получают отметку.

Отзыв — это то, что клиент рассказал о вашей нише сам, бесплатно и без опроса: за что готов платить, что его бесит, из-за чего он ушёл. Задаёте нишу и город — забираете тексты отзывов об организациях с Яндекс.Карт, вместе с ответами самих компаний.

Проектирование и инженерные изыскания по договору подряда требуют членства в профильной СРО. Реестр НОПРИЗ объединяет такие организации — это те, кто готовит проектную документацию и проводит изыскания на законных основаниях.

Строительная компания не выйдет на объект без членства в СРО: этого требует закон при работах по договору подряда. Поэтому реестр НОСТРОЙ — это список тех, кто действительно строит, а не всех, кто указал подходящий ОКВЭД при регистрации.

Право торговать алкоголем есть у ограниченного круга компаний, и все они перечислены в государственном реестре: магазины, бары, рестораны. Для поставщика напитков, продавца касс или сервиса доставки это карта офлайн-точек с юрлицом и рабочей почтой.

В справочниках «охранные предприятия» — это рубрика, куда попадают продавцы видеонаблюдения и противопожарного оборудования. Здесь только те, у кого есть действующая лицензия Росгвардии на охранную деятельность, и у каждой записи есть ИНН.

В справочниках «аптеки» — это рубрика: туда попадают оптики, магазины медтехники и всё, что назвалось аптекой. Здесь наоборот: лицензия — государственное подтверждение права торговать лекарствами, и у каждой записи есть ИНН. Реестр Росздравнадзора обновляется еженедельно.

О переносе сдачи не пишет ни застройщик, ни банк — дольщик обычно узнаёт об этом последним, из чата дома или из новостей. Между тем дата лежит в государственном реестре и меняется там раньше, чем появляется объявление. Мы снимаем реестр каждую ночь и показываем дома, где она изменилась.

ВКонтакте отдаёт за один запрос около трёхсот человек и дальше не пускает — поэтому «поиск по критериям» у площадки упирается в потолок почти сразу. Мы нарезаем запрос по возрасту, полу и городам и склеиваем результат без дублей: замер по одной нише дал 1908 человек за 25 секунд вместо 132.

Реклама за неделю до дня рождения работает заметно лучше обычной — повод понятен и уместен, объяснять ничего не надо. Задаёте диапазон дат, получаете тех, у кого день рождения в него попадает.

Люди сами указывают место работы в профиле — и по этому признаку можно собрать команду конкретной компании. Достаточно ссылки на её сообщество: правильное название мы подставим сами.

В Яндекс.Картах есть то, чего не отдаёт ни один другой справочник: оценка, часы работы и тексты отзывов. Инструмента два. Первый собирает организации по нише и городу — с телефоном, сайтом, адресом и оценкой. Второй достаёт тексты отзывов о них: что клиенты хвалят, за что ругают и отвечает ли компания. По оценке видно не просто «компания есть», а насколько она живая: у заведения с 400 отзывами и у пустой карточки разговор с продажником пойдёт по-разному.

Компания, впервые открывшая вакансии, обычно что-то запускает: новую точку, смену, направление. В этот момент у неё появляется бюджет и потребности, которых не было месяц назад. Мы находим такие компании по государственному реестру вакансий: берём всю базу и оставляем тех, у кого самая ранняя открытая вакансия появилась за выбранный период.

Собранная таблица почти всегда шире, чем нужно для работы: в ней есть строки без контакта, не тот регион, не та цена. Обычно ради этого запускают сбор заново с другими настройками — и платят второй раз. Здесь фильтр работает по уже готовому файлу: выбираете свою завершённую задачу, движок читает её собственные колонки и оставляет только подходящие строки.

Договориться о рекламе, пожаловаться на спам, найти владельца — во всех этих случаях нужен не весь список участников, а несколько человек с правами. Их и получаете: владелец и модераторы, с профилями и ссылками.

Комментарий пишут единицы, а реакцию ставят многие: порог вовлечения ниже некуда. Отсюда и берётся аудитория — все, кто отреагировал на сообщения. Она меньше списка подписчиков, зато интерес в ней уже проявлен.

Истории живут сутки. Значит, всякий, кто с ними взаимодействовал, заходил в сообщество буквально сегодня — свежее сигнала активности просто не бывает. Эту аудиторию Stories мы и собираем.

В большом чате нужное сообщение тонет за час. Мы читаем историю и оставляем только то, где встретились ваши слова, — вместе с авторами. Обычный чат превращается в список людей с конкретной потребностью.

Число участников не говорит о сообществе ничего. Половина может молчать годами, часть — вообще удалённые аккаунты. Здесь состав разобран по долям: видно, за что именно вы платите при закупке рекламы.

Перед оплатой размещения важно не число подписчиков, а сколько человек увидит пост. Карточка канала это и показывает: охваты, реакции, признаки живой аудитории. На одном экране и в Excel.

Живой чат и мёртвый выглядят одинаково, пока не посмотришь на сообщения. Разбор показывает объём переписки, кто задаёт тон и в какие часы там вообще кто-то есть.

Название сообщества обещает одно, а обсуждают там своё. Частотный словарь по сообщениям это и вскрывает: настоящие темы, повторяющиеся вопросы и слова, которыми аудитория описывает свою задачу.

Иногда важен не сам список участников, а из кого он состоит. Расширенный профиль отвечает как раз на это: оплачен ли Premium, заполнено ли имя, стоит ли фото. По таким признакам и видно, живой перед вами аккаунт или пустышка.

Когда о нише не известно ничего, начинать с конкретного чата рано — вы ещё не знаете, какой брать. Разведка проходит по источникам и сводит картину: какие площадки по теме вообще есть, насколько они крупные и куда идти за аудиторией.

Пока вы ищете клиентов, они сами пишут о своей задаче — в отраслевых чатах, городских сообществах и барахолках: «посоветуйте мастера», «ищу подрядчика», «кто занимается…». Перехват следит за такими сообщениями по вашим ключевым словам и присылает их в Telegram в момент появления. Вы отвечаете первым, пока человеку ещё нужно.

Полный список участников чата — это в основном люди, которые вступили когда-то и больше туда не заходят. Поэтому есть второй режим: только те, кто писал за последние 72 часа, неделю или месяц. Плюс комментаторы каналов. А если списка площадок ещё нет, чаты и каналы ниши ищутся тут же, по ключевым словам.

Встроенный поиск Telegram отдаёт около десяти результатов и на этом заканчивается. Мы прогоняем через пул аккаунтов десятки синонимов вашей ниши и склеиваем всё в один список — счёт идёт на сотни площадок. По каналам сразу видно охват и вовлечённость, по чатам — живая там аудитория или нет.

Дословный перевод ниши почти всегда мимо: испанский канал не назовёт себя тем, что выдаст словарь. Поэтому запрос сначала превращается в термины, которыми тему называют сами носители языка, — сленг, транслит, устоявшиеся сокращения, — и уже по ним идёт поиск. Нишу вы пишете по-русски.

Список участников группы выгружается в Excel целиком — либо только та его часть, что писала за выбранный период. Свой аккаунт подключать не нужно: работает пул сервиса. Если чат с одобрением заявки и список закрыт, участники добираются из сообщений.

Дамп «всех подряд» красиво выглядит в цифрах и плохо работает на практике: половина списка — молчуны и боты. Здесь в выгрузку попадают только те, кто писал за выбранный период. Людей будет меньше. Зато каждый из них в чате есть и его читает.

Подписчиков broadcast-канала Telegram не отдаёт никому без прав админа. Но у канала есть привязанный чат обсуждений — оттуда мы собираем комментаторов, самую вовлечённую часть аудитории канала. Это работающий и легальный обход.

Тексты из Telegram выгружаются таблицей: посты каналов с просмотрами и реакциями, история чата, все комментарии под постами. Нужно всё подряд за период — берите всё. Нужны только сообщения с определёнными словами — задайте слова. В файле текст, дата, автор и ссылка на само сообщение, ставить ничего не надо, всё в браузере. И сразу про границу: мы про Telegram, а не про любые сайты. Нужен парсер произвольного сайта — это не к нам.

У сообществ ВКонтакте есть блок контактов — там компании сами пишут, к кому обращаться. Мы снимаем этот блок сразу по списку групп: кто назначен ответственным, с какой должностью и как до него достучаться.

Штатный поиск ВКонтакте показывает выдачу, из которой ничего нельзя вынести: листаешь и запоминаешь. Здесь сообщества по нише и городу ложатся в таблицу — с размером аудитории, тематикой и адресом. Сразу видно, какие площадки брать в работу.

Обычно это две задачи: сначала найти сообщества по теме, потом собрать в них людей. Здесь оба шага идут за один прогон. На входе ниша, на выходе готовая аудитория с полом, возрастом и датой рождения.

В любой группе большая часть участников вступила когда-то и больше не заходит. В базу попадут только те, кто себя проявлял: ставил лайки, писал комментарии под последними постами. Сколько именно действий считать достаточным, решаете вы.

Удачный пост конкурента — это готовая подборка заинтересованных людей, он их уже отобрал за вас. Нужна прямая ссылка на запись или видео: в выгрузку идут те, кто поставил лайк и оставил комментарий.

Обсуждения в сообществах живут годами, и сидит там самая вовлечённая часть аудитории: люди, которые не листают ленту, а пишут по теме. Их и собираем — с фильтром по числу комментариев, полу, возрасту и городу.

Окружение человека обычно похоже на него самого: тот же возраст, тот же город, те же интересы. Дайте ссылки на профили — выгрузим списки друзей. Так из десятка своих клиентов вырастает похожая на них аудитория.

Скачивать нечего: сбор идёт на нашем сервере, вам нужен только браузер — Windows, macOS, хоть телефон. Участники сообществ, отдельно активные, поиск людей по городу, полу и возрасту, поиск самих сообществ по ключевым словам, контакты администраторов и сотрудники компаний. В файле — открытые поля профиля и ссылка на каждого. Первый прогон бесплатный: до 100 строк.

Рекламные промопосты ВКонтакте помечает сам — значит, их можно собрать и посмотреть, что конкуренты крутят: креатив, текст, публичную вовлечённость. Сразу о размере выборки. Это срез «что крутят по теме», а не вся реклама ниши: по ключу площадка отдаёт около 60 последних постов и листать дальше не даёт.

Базу клиентов под холодный обзвон обычно либо покупают, либо собирают менеджеры руками с карт. Первое — чужие контакты неизвестной свежести, второе — недели работы. Здесь список собирается сам: название, рубрика, адрес, координаты — и телефоны, почты, сайты там, где компании их опубликовали. Ни программы, ни своего API-ключа не нужно, всё в браузере. 2ГИС и OpenStreetMap собираются вместе, одинаковые организации схлопываются по координатам. В поле ниши пишется только категория, город выбирается отдельным полем. Первый прогон бесплатный: до 100 организаций с выгрузкой в Excel.

Разовая выгрузка показывает срез на сейчас, а решения принимают по динамике: когда конкурент уронил цену, когда товар вернулся в наличие, когда в чате появились новые люди. Система мониторинга повторяет любой сбор по расписанию, сравнивает с прошлым прогоном и присылает в Telegram только то, что изменилось. Работает по чатам и каналам Telegram, сообществам ВКонтакте и справочникам организаций.

Одно и то же действующее вещество продаётся под десятком торговых названий, и цена различается в разы. Здесь видно всё, что государство зарегистрировало с тем же веществом, с ценой за таблетку или капсулу — таблицей, которую можно выгрузить и показать врачу.

Штатный поиск ВКонтакте показывает ленту, из которой ничего нельзя вынести. Здесь публикации собираются таблицей: текст, автор, дата, ссылка — и ставятся на слежение, чтобы новые приходили уведомлением.

Государственная система ЕИСЖС ведёт реестр всех строящихся домов — 13 408 объектов по стране. Здесь видно, кто строит, что обещано по срокам и не сдвинулась ли дата. О переносе сдачи не пишет ни застройщик, ни банк: об этом узнают из реестра.

Выгрузка вакансий hh.ru в таблицу: зарплаты, работодатели, требования, число откликов. Два применения — анализ рынка труда (сколько платят за вашу профессию и где) и разведка конкурента: кого и сколько он нанимает, то есть куда растёт.

Обычный поиск вакансий плохо отвечает на вопрос «где подработать в эти выходные». Здесь собраны именно те фильтры, которые для этого нужны: график, частота выплат, длина смены — и всё это выгружается таблицей, а не листается страницами.

Государственный портал занятости отдаёт то, чего нет на коммерческих сайтах вакансий: ИНН, ОГРН и телефон компании прямо в карточке. Это не аналитика рынка труда, а список организаций, которым прямо сейчас нужны люди — с реквизитами для проверки контрагента и контактом для звонка.

Государственный реестр всех, кто управляет многоквартирными домами: 49 312 организаций, под управлением которых 706 193 дома. Телефон, почта, ИНН и число домов у каждой — готовый список для тех, кто продаёт в ЖКХ.

Целевое обучение — когда работодатель оплачивает учёбу, а выпускник отрабатывает по договору. Портал «Работа в России» ведёт единый каталог таких предложений: 7 348 позиций с указанием, кто, кого и на какую специальность готов учить, и до какого числа принимает заявки.

Парсер Авито ещё не запущен — говорим сразу, чтобы вы не регистрировались зря. Что будет: карточки объявлений, цены и продавцы по категории и городу. Что работает прямо сейчас: Telegram, ВКонтакте и организации 2ГИС и Яндекс.Карт.

Парсера Ozon пока нет — он в работе, и мы говорим это до регистрации, а не после. В планах карточки товаров, цены, продавцы и отзывы по категории. Из маркетплейсов доступны Telegram, ВКонтакте и организации 2ГИС и Яндекс.Карт.