רוב פרויקטי הסקרייפינג נכשלים אחרי המסירה, לא במהלכה - הסקרייפר עובד שישה שבועות ואז נשבר בשקט. איך לנסח את העבודה, מה מבדיל בין סקרייפר לצינור נתונים, ואילו שאלות חושפות את ההבדל לפני שמשלמים.
עיקרי הדברים
- סקרייפר הוא לא תוצר, הוא מנוי. אתרים משתנים, והשאלה האמיתית היא לא אם זה עובד היום אלא מי מתקן את זה בחודש הרביעי.
- ההצעות הזולות ביותר כמעט תמיד מניחות שהאתר הוא HTML סטטי בלי הגנות אנטי-בוט. בקשו מהמועמד לבדוק את היעד לפני שהוא מתמחר - התשובה מלמדת הרבה.
- התעקשו על ניטור והתראות כחלק מההיקף. סקרייפר שמחזיר אפס שורות בשקט גרוע יותר מאחד שקורס, כי אתם ממשיכים לקבל החלטות על נתונים ישנים.
- שאלו איך הם מתייחסים לחוקיות ולתנאי שימוש. מפתח שמעולם לא חשב על זה הוא סיכון שאתם סופגים, לא כזה שהוא נושא.
ההתקשרות הטיפוסית בסקרייפינג נראית כך. אתם מתארים את האתר, מישהו מתמחר מספר נמוך ולוח זמנים קצר, הסקריפט נמסר והוא עובד. שישה שבועות אחר כך האתר משנה שם של class, הסקרייפר מחזיר אפס שורות, אף אחד לא שם לב שבועיים, והדוחות שכולם קראו מבוססים על כלום.
הבעיה כמעט אף פעם היא לא שהמפתח לא ידע לכתוב סקרייפר. היא שסקרייפר היה התוצר הלא נכון. המדריך הזה מכסה איך לנסח את העבודה כך שתקבלו משהו ששורד, ומה לשאול כדי לגלות אם מי שמתמחר מבין את זה.
קודם כל - מה אתם באמת קונים
שלושה דברים שונים מאוד נקראים "סקרייפינג":
| סוג | מה זה | מה זה דורש |
|---|---|---|
| חילוץ חד-פעמי | למשוך מערך נתונים פעם אחת, למסור CSV | רק נכונות. תחזוקה לא רלוונטית. |
| איסוף מתוזמן | אותו מקור, שוב ושוב, לתוך אחסון | ניטור, התראות, ניסיונות חוזרים, מישהו זמין |
| צינור מנוטר | כמה מקורות, מנוקים, ללא כפילויות, מזינים מערכת | כל הנ"ל ועוד בדיקות איכות נתונים וניהול סכמה |
אם תנסחו את השני או השלישי כאילו הם הראשון, תקבלו את הראשון - והוא ייכשל בדיוק כמתואר למעלה. אמרו באיזה מהם מדובר בבריף.
מה לשים בבריף
- ה-URLs המדויקים, כולל דוגמה לעמוד עם הנתונים שאתם רוצים. לא "עמודי מוצר" - קישור אמיתי.
- השדות שאתם צריכים, עם ערך לדוגמה לכל אחד. עמימות כאן הופכת לעבודה חוזרת.
- נפח. מאה עמודים ומאה אלף עמודים הם ארכיטקטורות שונות, לא זמני ריצה שונים.
- תדירות. פעם אחת, יומי, שעתי, או לפי דרישה.
- לאן הנתונים הולכים. CSV, Google Sheet, מסד נתונים, API. זו לעיתים קרובות יותר עבודה מהחילוץ.
- מה קורה כשעמוד חסר או שדה ריק. לדלג, לסמן, או להיכשל? להחליט לפני, לא אחרי.
- עד כמה ישן זה ישן מדי. זה מה שמגדיר את סף ההתראות שלכם.
השאלות שמבדילות בין מועמדים
"בדקת כבר את אתר היעד?" מי שמתמחר לפני שבדק - מנחש. קיומם של רינדור JavaScript, הגנת אנטי-בוט, הגבלת קצב או חומות התחברות משנה את העלות בסדר גודל. תשובה טובה מתארת מה הוא מצא.
"מה קורה כשהאתר משנה את המבנה?" אתם מקשיבים ל: ניטור שמזהה את זה, התראה שמודיעה למישהו, וסידור מוצהר לגבי מי מתקן ובאילו תנאים. "אני אסתכל אם זה יישבר" זה לא סידור.
"איך אדע שהנתונים שגויים ולא רק חסרים?" התשובה הטובה כוללת ולידציה - מספר שורות צפוי, שדות חובה, טווחי היגיון - ולא רק קוד יציאה של הצלחה או כישלון.
"איך אתה מטפל בחסימות?" תשובות סבירות כוללות הגבלת קצב מכבדת, ניהול סשנים תקין, ופרוקסים במקום המתאים. תשובות שמתמקדות כולן בכלי התחמקות מרמזות שהיעד אולי לא מתאים לצינור בר-קיימא לטווח ארוך.
"ומה עם תנאי השימוש של האתר?" אתם רוצים מישהו שמעלה את זה בעצמו. העמדה המשפטית משתנה לפי מדינה, לפי מה שנאסף, ולפי אם מעורב מידע אישי - זו שאלה אמיתית עם תשובות אמיתיות, ומפתח שמעולם לא שקל אותה מעביר אליכם את הסיכון בשקט.
"מה אני מקבל אם תיעלם?" קוד מקור בריפוזיטורי שלכם, התקנה מתועדת, אישורי גישה בבעלותכם, ותשתית בחשבונות שלכם. לא סקריפט שרץ על המחשב הנייד שלו.
נורות אדומות
- הצעת מחיר שניתנה בלי להסתכל על היעד.
- תחזוקה לא מוזכרת עד שאתם שואלים.
- תשתית ואישורי גישה מוחזקים בחשבונות שלו.
- אין אזכור למה קורה בכשל.
- הערכה שמניחה שכל עמוד בנוי היטב.
- חוסר נכונות לדון בממד המשפטי בכלל.
כמה זה צריך לעלות
טווחים רחבים למפתח בכיר עצמאי:
| היקף | טיפוסי |
|---|---|
| משיכה חד-פעמית, מקור יחיד, מנוקה ונמסר | ימים |
| איסוף מתוזמן עם ניטור והתראות | 2-5 שבועות ועוד סידור תחזוקה חודשי |
| צינור רב-מקורות עם ניקוי כפילויות ובדיקות איכות | 6-12 שבועות ועוד חודשי |
הצעה הרבה מתחת לאלה בדרך כלל אומרת שניטור ותחזוקה לא בהיקף. זו יכולה להיות הבחירה הנכונה לחד-פעמי. זו הבחירה הלא נכונה לכל דבר שאתם מתכננים להסתמך עליו.
שיחת התחזוקה
נהלו אותה לפני החתימה, לא אחרי השבירה הראשונה. סכמו שלושה דברים במפורש: כמה מהר שבירה תזוהה, כמה מהר היא תתוקן, ואיך התיקון הזה משולם. ריטיינר חודשי צנוע שמכסה שבירות הוא כמעט תמיד זול יותר מתיקוני חירום בחיוב שעתי, והוא מיישר תמריצים - למי שכתב את זה יש סיבה לכתוב את זה חסין.
אם תרצו הערכה של היעד הספציפי שלכם לפני שמתחייבים למשהו, קבעו שיחה ללא עלות. קשור: איך לאפיין פרויקט סקרייפינג, למה סקרייפרים נשברים ומה כוללת תחזוקה, וכמה עולה סקרייפינג.
שאלות נפוצות
מה לכלול בבריף לפרויקט סקרייפינג?
כללו את ה-URLs המדויקים עם עמוד דוגמה אמיתי, את השדות הספציפיים שאתם צריכים עם ערך לדוגמה לכל אחד, את הנפח הצפוי, את התדירות, לאן הנתונים צריכים להגיע, מה צריך לקרות כשעמוד חסר או שדה ריק, וכמה ישנים הנתונים יכולים להיות לפני שהם מפסיקים להיות שימושיים. הנקודה האחרונה היא מה שמגדיר את סף ההתראות, והיא זו שהכי מרבים להשמיט.
למה סקרייפרים נשברים כל כך הרבה?
כי הם תלויים במבנה של עמוד שמישהו אחר שולט בו ומשנה בלי להודיע לכם. שינוי שם של class, דיאלוג הסכמה חדש, מעבר לרינדור בצד הלקוח, או שינוי בעימוד - כולם ישברו את החילוץ. זה נורמלי ובלתי נמנע, ולכן השאלה החשובה בשכירה היא לא אם הסקרייפר עובד במסירה אלא אם שבירה מזוהה מהר ומי אחראי לתקן.
המפתח צריך לארח את הסקרייפר או אני?
אתם. קוד המקור שייך לריפוזיטורי בבעלותכם, התשתית צריכה לרוץ בחשבונות הענן שלכם, וכל אישורי גישה או מנויי פרוקסי צריכים להיות על שמכם. סקרייפר שרץ על המחשב האישי של מפתח או בחשבון שלו הוא תלות שאתם לא יכולים לנהל ולא יכולים לשחזר אם הקשר נגמר. לסכם את זה מראש לא עולה כלום; לגלות את זה אחר כך יקר.
האם סקרייפינג חוקי?
זה תלוי במדינה, במה שנאסף, באם מעורב מידע אישי, ובתנאי השימוש של אתר היעד. זו שאלה אמיתית עם תשובות אמיתיות ולא כן או לא גורף, וזה לא משהו שמפתח או פוסט בבלוג יכולים להכריע למצב שלכם - עורך דין שמכיר את המדינה הרלוונטית יכול. מה שכדאי לחפש בשכירה הוא מפתח שמעלה את השאלה בעצמו, כי מי שמעולם לא שקל אותה מעביר אליכם את הסיכון בלי לומר זאת.
כמה תחזוקה שוטפת צריכה לעלות?
ריטיינר חודשי צנוע שמכסה שבירות הוא הסידור הרגיל, והוא כמעט תמיד זול יותר מתשלום על תיקוני חירום לפי שעה. הוא גם מיישר תמריצים, כי למי שכתב את הסקרייפר יש סיבה ישירה להפוך אותו לחסין ולא רק לעובד ביום המסירה. סכמו שלושה דברים במפורש לפני החתימה: כמה מהר שבירה תזוהה, כמה מהר היא תתוקן, ואיך התיקון משולם.
להמשך קריאה
שירות רלוונטי
Web Scraping וחילוץ נתונים
סקרייפינג וצינורות נתונים אמינים שמספקים נתונים נקיים.
על הכותב
יהונתן סעדיה
מהנדס פרילנסר לאוטומציה, אתרים ו-MVP
אני יהונתן סעדיה, מהנדס בכיר שבונה אוטומציה עסקית, אתרים מותאמים ומוצרי MVP לעסקים קטנים ובינוניים בארה"ב, אירופה וישראל. המדריכים האלה נכתבים מתוך עבודה אמיתית עם לקוחות, לא מתיאוריה.
בוא נעבוד יחדיש לך פרויקט דומה?
ספר לי מה אתה מנסה להפוך לאוטומטי או לבנות, ואומר לך מהי הדרך המהירה והאמינה ביותר ליישם את זה.