Парсинг OLX в 2026: Полный гайд по обходу защиты и работе с API

Рассмотрим кейс: менеджеры агентства недвижимости тратят 4 часа в день, обновляя ленту OLX, чтобы первыми позвонить собственнику. Конкуренты перехватывают лоты за 15 минут.

Задача: Сделать бота, который присылает новые объявления в Telegram через 30 секунд после публикации.

Результат: Скорость обработки заявок выросла, сделки закрываются быстрее.

Ниже - техническая часть: как это реализовано, обходя защиту OLX.

Почему requests.get('olx.ua') не сработает?

Если вы попробуете просто использовать requests или Selenium, вы быстро столкнетесь с проблемами. OLX использует серьезную защиту:

1. TLS Fingerprint: Стандартные библиотеки Python (requests, httpx) имеют характерный отпечаток, который легко детектится.
2. JS Challenges: При входе с "чистого" браузера часто вылезает капча или проверка Cloudflare.
3. Лимиты: Активные запросы с одного IP быстро приводят к временному бану подсети.

Архитектура решения

Вместо парсинга HTML страниц объявлений (что медленно и ненадежно), эффективнее эмулировать работу мобильного приложения.

Схема работы парсера

Технический «Мякиш»: Работа с Private API

Самое эффективное решение - использовать API мобильного приложения. Чтобы его найти, достаточно проанализировать трафик приложения (Charles Proxy / MITMProxy).

Вы увидите запросы к https://api.olx.ua/api/v5/.... Это то, что нам нужно. JSON ответ содержит всю структуру объявления, часто даже больше, чем показано на сайте.

Пример запроса к API (Python)

import httpx
import json

# Эмулируем заголовки Android-приложения
headers = {
    "User-Agent": "OLX/5.74.0 (Android 13; Samsung SM-S908B)",
    "X-Device-Id": "android-uuid-generated-randomly",
    "Authorization": "Bearer <ACCESS_TOKEN>", # Нужен для телефонов
    "Content-Type": "application/json"
}

async def get_new_listings(city_id: int, category_id: int):
    # Параметры фильтрации
    params = {
        "offset": 0,
        "limit": 40,
        "category_id": category_id,
        "city_id": city_id,
        "sort_by": "created_at:desc" # Самые свежие
    }
    
    # Используем http2=True, чтобы быть похожими на современный клиент
    async with httpx.AsyncClient(http2=True) as client:
        response = await client.get(
            "https://api.olx.ua/api/v5/items", 
            headers=headers, 
            params=params
        )
        
        return response.json()

Главный секрет: Получение телефонов

Телефон не приходит в объекте объявления сразу. Чтобы его получить, нужно сделать отдельный запрос к эндпоинту /contact-info. И вот тут включаются основные лимиты.

Требования для стабильного получения телефонов:

1. Валидный access_token (нужна авторизация реальным или бот-аккаунтом).
2. Разумные лимиты. Не стоит пытаться забрать 100 телефонов с одного аккаунта за минуту.
3. Качественные прокси. Серверные (Datacenter) IP часто в бане. Лучше использовать мобильные прокси с ротацией.

Это решается через пул аккаунтов, которые работают по очереди, соблюдая паузы.

Типичные ошибки

1. ❌ Плохие прокси: Дешевые серверные прокси - деньги на ветер. Они уже в черных списках.
2. ❌ Слишком частые запросы: Если долбить API без пауз (asyncio.sleep), бан прилетит очень быстро. Используйте рандомные задержки.
3. ❌ Игнорирование ошибок: Бот должен уметь обрабатывать 429 (Too Many Requests) и 403 ошибки, делая паузу или меняя IP, а не падать.

Заключение

Парсинг в 2026 году - это не столько сложность кода, сколько грамотная работа с инфраструктурой (прокси, аккаунты, ротация).

Если вам нужно собрать базу один раз - проще купить готовую. Но если вам нужен поток свежих данных для бизнеса в реальном времени - нужно строить свою систему мониторинга.

FAQ: Часто задаваемые вопросы