האתגר
API המשרות לא מחזיר ספירה כוללת או סמן סוף - pagination עיוור שורף זמן.
הפתרון
Pipeline ב-Python שמתחבר ל-HireMyVisa, עוטף ה-API של המשרות עם stop-when-empty, מבצע dedup לפי job_id, מעשיר סיפון דרך POST בב-25 ל-/api/sponsor/batch-check, שומר JSON ביניים, ומייצר חוברת Excel עם pandas/openpyxl מחולקת ל-≤5,000 שורות עם פורמטים ותאריכים.
תוצאות
GB (UK)
מדינה
25/call
Batch סיפון
≤5K rows
פיצול קבצים
2 (jobs + sponsor)
APIs