איסוף נתוני מודעות מיד2: מה לסגור לפני שבונים

יד2 הוא לוח המודעות הגדול בישראל, ולכן הוא גם המקום שאליו פונים כשרוצים להבין מה קורה בשוק - מחירי רכב יד שנייה, שכירות באזור, מגמות בקטגוריה. לפני שבונים משהו, יש שער אחד שצריך לעבור, והוא לא טכני.

השער הראשון: תנאי שימוש

אני שם את זה ראשון ולא בסוף, כי זה הסדר הנכון.

לאתרי מודעות יש תנאי שימוש, ולרוב הם מתייחסים במפורש לאיסוף אוטומטי. לקרוא אותם הוא לא סעיף בצ'קליסט - זה מה שקובע אם יש כאן פרויקט.

שלוש נקודות מעשיות:

1. לקרוא את תנאי השימוש ואת robots.txt של האתר. הם המקור, לא מאמר.
2. שימוש מסחרי הוא שאלה לעורך דין. אם אתה בונה מוצר, שירות או דוח שנמכר - ההבדל בין מחקר אישי לבין מוצר מסחרי הוא בדיוק ההבדל שחשוב, ואני לא יכול לתת עליו תשובה במאמר.
3. אם יש דרך רשמית - להשתמש בה. שיתוף פעולה, פיד או הסכם נתונים עדיפים על כל פתרון טכני, והם גם יציבים יותר.

אני לא מספק כאן קוד או שיטות עקיפה, ובכוונה. מה שכן שימושי הוא מה שקובע אם זה יעבוד, ומה החלופות - וזה מה שנשאר.

השער השני: מידע אישי

וזה שער שרבים לא רואים בכלל.

מודעה בלוח אינה רק מחיר. היא נושאת שם, מספר טלפון, ולפעמים מיקום מדויק - כלומר מידע אישי של אדם פרטי.

ההבחנה שחשובה:

איסוף ואחסון של פרטי קשר של אנשים פרטיים - ובוודאי שימוש בהם ליצירת קשר - הוא עניין של דיני פרטיות, לא עניין טכני. בישראל זה תחום שהוסדר, והתשובה לשאלה "מה מותר" שייכת לעורך דין.

ההמלצה המעשית שלי: אם הצורך הוא מחקר שוק, אל תאסוף פרטי קשר בכלל. לא כי זה מסובך - אלא כי הם לא נחוצים לשאלה, והם מה שהופך אוסף נתונים לא מזיק לבסיס נתונים אישי שצריך להגן עליו.

אם עברת את שני השערים - מה קובע אם זה יעבוד

זו עלות מתמשכת, לא פרויקט

זו הנקודה שהכי מרבים לתמחר שגוי. לוחות מודעות משנים מבנה - עיצוב, שמות שדות, אופן הטעינה. אוסף שעבד שלושה חודשים נשבר בלי אזהרה.

ולא רק נשבר - נשבר בשקט. התהליך רץ, לא קורס, ומחזיר אפס מודעות או שדות ריקים. אם אין התראה, מגלים את זה בדוח בעוד חודש.

מה שחייב להיות:

• התראה על צניחה בכיסוי. אם אתמול נאספו 800 מודעות והיום 6 - זה לא "השוק התייבש", זה שהאוסף נשבר. זה מצב הכשל המסוכן ביותר, כי הוא מתחזה לתובנה.
• אימות מבנה בכל ריצה, ועצירה כשמשהו השתנה.
• שמירת הגולמי - כשמספר ייראה מוזר, זו הראיה.

התחזוקה היא חלק מהעלות. מי שמתמחר את זה כפרויקט חד-פעמי סוגר על הפסד.

קצב

לאסוף בקצב אנושי. לא רק כדי לא להיחסם - שרת של אתר אחר אינו משאב שלך, וקצב אגרסיבי הוא גם מה שהופך שאלה טכנית לשאלה אחרת לגמרי.

הנתונים מלוכלכים

מודעות נכתבות על ידי אנשים, וזה נראה בנתונים:

• מחיר בשדה טקסט - עם פסיקים, עם ₪, או "גמיש" ו"לפי הצעות".
• אזור לא עקבי - שכונה, עיר, או "מרכז".
• מודעות כפולות - אותו נכס מפורסם כמה פעמים.
• עברית עם רווחים כפולים ותווים בלתי נראים.

שכבת נורמליזציה אינה מותרות, והיא בדרך כלל יותר עבודה מהאיסוף עצמו.

מה לתכנן: מגמות, לא מודעות

וזו ההחלטה שקובעת אם התוצאה שווה משהו.

מודעה בודדת נעלמת - היא נמכרת, מוסרת, מתעדכנת. מעקב אחרי מודעה ספציפית הוא נתון שמתכלה.

מה ששורד הוא המצרפי:

ולכן: לשמור סדרת זמן ולא מצב נוכחי. הערך אינו במחיר היום - הוא בשינוי. וסדרת זמן מצרפית גם לא דורשת שתשמור פרטי קשר.

החלופות שרוב האנשים מדלגים עליהן

לפני שבונים, שווה לבדוק:

1. נתונים ממשלתיים פתוחים. לעסקאות נדל"ן, למשל, יש מקורות רשמיים שמפורסמים לשימוש ציבורי - ראה מדריך data.gov.il. נתון רשמי עדיף על מודעה, כי מודעה היא מחיר מבוקש ולא מחיר עסקה.
2. מקורות שמפרסמים לפי חובה. כמו מחירי המדף בקמעונאות - שם אין שאלת תנאי שימוש בכלל.
3. הסכם ישיר. אם הצורך מסחרי ומתמשך, לפנות לאתר. זה נשמע לא סביר ולפעמים עובד, וזה יציב לאין שיעור.
4. ספק נתונים. יש כאלה שמוכרים נתוני שוק מוכנים. עלות מול שקט תפעולי.

ההערה החשובה: מודעה היא מחיר מבוקש. אם השאלה היא "בכמה נמכר", לוח מודעות הוא המקור הלא נכון - גם אם הוא הזמין ביותר.

מתי לא לבנות

אם השאלה היא חד-פעמית - "מה הטווח באזור הזה עכשיו" - אל תבנה כלום. חצי שעה של הסתכלות ידנית נותנת תשובה טובה יותר, בלי תחזוקה ובלי שער משפטי.

בנייה משתלמת רק כשצריך מעקב מתמשך וסדרת זמן. אחרת זו תשתית שמישהו יתחזק בשביל שאלה שנשאלה פעם אחת.

צ'קליסט

1. לקרוא תנאי שימוש ו-robots.txt - לפני הכול.
2. שימוש מסחרי - לעורך דין.
3. לא לאסוף פרטי קשר אם השאלה היא שוק.
4. לבדוק אם יש מקור רשמי או מפורסם-בחובה.
5. לתקצב תחזוקה, לא פרויקט.
6. התראה על צניחה בכיסוי - זה הכשל שמתחזה לתובנה.
7. סדרת זמן מצרפית, לא מעקב אחרי מודעות.