סקרייפר רב-ארצי לנדל"ן ורכב

האתגר

כל אחד מ-8 האתרים מחזיר שדות שונים (bedrooms vs habitaciones, שטח ב-m² או ft², מטבעות שונים) - האיחוד שביר.

הפתרון

פורטפוליו של 8 סקרייפרים ב-Python, אחד לכל אתר, כולם מייצרים נתונים לשתי סכמות JSON משותפות. הסקרייפרים מחולקים בין HTTP טהור (curl_cffi + httpx), Playwright לאתרי Angular, ו-session-based לאתרים עם login, עם 2Captcha היכן שנדרש ו-checkpoints לכל סקרייפר.

תוצאות