Краулинг ИИ и лицензирование данных
Nakordoni.eu публикует данные об очередях на границе в реальном времени, прогнозы времени ожидания и путеводители, сбор которых обходится нам в деньги ежеминутно и ежедневно. Поисковые системы и ИИ-ассистенты, которые присылают нам читателей, — добро пожаловать бесплатно. Массовый краулинг, который забирает данные и ничего не возвращает, — нет, для него нужно платное соглашение.
Кто может проводить краулинг без соглашения
Поисковые системы
Google, Bing, Yandex, DuckDuckGo, Apple, Seznam и другие общие поисковые краулеры — они присылают нам читателей.
ИИ-ассистенты, ссылающиеся на нас
Краулеры ИИ-продуктов, указывающие источник в своих ответах, — OpenAI, Google, Anthropic, Perplexity, Meta AI, Apple, Amazon, Cohere, You.com и подобные, включая инструменты, загружающие страницу по запросу пользователя.
Предпросмотр ссылок и проверка рекламы
Боты предпросмотра соцсетей и мессенджеров, а также краулеры проверки качества рекламы сетей, показывающих нашу рекламу.
Наши партнёры и клиенты API
Любой, кто использует документированный API для разработчиков с ключом, в рамках выбранного плана.
Бесплатный доступ всё равно означает: соблюдайте robots.txt, честно идентифицируйте себя через user-agent, не превышайте разумную частоту запросов и сохраняйте атрибуцию и рабочую ссылку на страницу-источник. Использование имени краулера другой компании считается злоупотреблением и блокируется.
Что требует платного соглашения
- Сбор наших страниц или данных для обучения, дообучения или оценки модели.
- Систематическое копирование данных об очередях, прогнозов, данных пунктов пропуска или перевозчиков в собственный продукт, набор данных или фид.
- Перепродажа, распространение или публикация наших данных, с указанием нашего названия или без него.
- Любой краулинг, достаточно интенсивный, чтобы влиять на наши серверы, или скрывающийся за фальшивым user-agent, резидентными прокси или ротацией адресов.
Краулеры этой группы получают HTTP 402 «Crawling not permitted» на каждый запрос, пока не заключено соглашение. О них не хранится ничего, кроме счётчиков, необходимых для контроля этого правила.
Как работает pay-per-crawl
Мы работаем по модели pay-per-crawl: вместо полной блокировки краулинг оценивается в стоимость. Вы сообщаете, какие части сайта вам нужны и в каком объёме, мы согласуем цену и способ оплаты, и вашему краулеру открывают доступ — либо через подписанное соглашение и разрешение для ваших проверенных адресов, либо через расчёты pay-per-crawl от Cloudflare, если их поддерживает ваш оператор.
Для структурированного и надёжного доступа большинству компаний лучше подходит API для разработчиков: документированные эндпоинты, стабильные форматы, более высокие лимиты и поддержка — вместо разбора HTML-страниц. Открыть портал разработчика →
Запросить доступ
Напишите нам через партнёрскую контактную форму, выбрав «AI crawling / data licensing», или на partnerships@nakordoni.eu. Укажите вашу компанию, user-agent и адреса краулера, что вам нужно и как часто, а также цель использования. Обычно мы отвечаем в течение двух рабочих дней.