סקרייפר פורטלי בתי משפט בפנסילבניה

האתגר

10 פורטלים שונים עם layout, טפסי חיפוש ו-pagination שונים.

הפתרון

Framework רב-פורטלי: config.py עם מיפוי keywords-to-category, רשימת מחוזות, אישורי proxy/captcha/ZenRows/BatchData. scrapers/ עם מודול לכל פורטל (civil_core.py + public_notice.py + trackers per-county עם גרסאות with/without-proxy). run_test.py להרצת subset. SQLite + Google Sheets export.

תוצאות