Midnight Sea — универсальный краулер даркнет маркетплейсов. Обладает человекоподобным поведением, позволяющим обходить механизмы защиты от краулинга, а так же новой стратегией краулинга.

Самый просто способ — использовать Docker для загрузки всех необходимых служб и компонентов.

# Using Make to start the container
make up
# OR
Docker-compose -p ms -f deployments/docker-compose.yaml up -d —build

Из минусов: не решает капчу и не обеспечивает автоматический вход на маркетплейсы, здесь не обойдется без вашей помощи.

Функционал краулера:
— Scraper (для захвата data points на интернет страницах)
— Storage (обеспечивает хранение собранных данных)
— Crawler (сам краулер!)
— Postgres (шаблон postgres для хранения данных)
— PgAdmin (визуальный инструмент для управления БД)
— Proxy (прокси для Tor и I2P)
— pgBackups (cлужба резервного копирования)

📌https://github.com/RicYaben/midnight_sea


Мы в VK: https://vk.com/darkwebex