סקרייפר נדל"ן מסחרי של Crexi

האתגר

Crexi מוגן ב-Cloudflare Turnstile - requests פשוטים מקבלים 403.

הפתרון

Pipeline תלת-שכבתי ב-Python: cloudflare_utils.py פותר את Cloudflare; crexi_search.py מחלץ נכסים מ-__NEXT_DATA__; crexi_properties.py צולל לפרטים של כל נכס. crexi_pipeline.py מתזמר, crexi_api_probe.py שימש בגילוי.

תוצאות