כל הפרויקטים

סקרייפר Pagination לרישום עסקים של Washington DC

סקריפט Python יחיד שעושה bulk-pagination מול ה-API של DLCP.

האתגר

DLCP מציע את הרישום רק דרך UI של pagination - בלי CSV או כפתור download.

הפתרון

סקריפט CLI יחיד שקורא ישירות ל-paginationadvance-search של DLCP עם headers מדויקים (x-app-route, referer), חיפוש wildcard עם %, pagination מבוסס-token, חילוץ רשומות מינימלי, ולוגים מתויגים עם timestamps. --start-page מאפשר resume.

תוצאות

DC DLCP registry

יעד

--start-page

Resume

Streaming JSON

פלט