להביא נתוני אתר לגוגל שיט - מהפונקציות המובנות IMPORTHTML/IMPORTXML לעמודים פשוטים ועד סקרייפר אמיתי לכל דבר דינמי או מוגן. מתי כל אחד עובד ומתי לשדרג.
להביא נתוני אתר לגוגל שיט זו בקשת הסקרייפינג ה"קטנה" הכי נפוצה, ולעמודים פשוטים בכלל לא צריך מפתח. כאן אני מסביר את הפונקציות המובנות בגיליון שעובדות לאתרים בסיסיים, למה הן נכשלות על אתרים מודרניים, ומתי שווה סקרייפר אמיתי שמזין את הגיליון אוטומטית.
הדרך המובנית: IMPORTHTML ו-IMPORTXML
לגוגל שיטס יש פונקציות שמושכות נתונים מכתובת URL: IMPORTHTML תופסת טבלה או רשימה, ו-IMPORTXML מושכת אלמנטים ספציפיים. לעמוד סטטי עם טבלה נקייה - מחירון, אינדקס פשוט - אלה עובדות בלי שורת קוד ומתרעננות אוטומטית.
למה הן נשברות על אתרים מודרניים
- תוכן שנטען ב-JavaScript - הנתונים נטענים אחרי העמוד, אז הפונקציות לא רואות כלום.
- הגנות אנטי-בוט - הבקשה נחסמת.
- התחברות או עימוד - מעבר למה שנוסחה יכולה.
- קנה מידה - הרבה כתובות עושות את הגיליון איטי ושביר.
אם היעד הוא אתר מודרני בסגנון אפליקציה, הפונקציות המובנות בדרך כלל מחזירות שגיאות או ריק.
השדרוג: סקרייפר שכותב לגיליון
כשנוסחאות לא מספיקות, סקרייפר קטן יכול לטפל ב-JavaScript, התחברות והגנות, ואז לכתוב שורות נקיות ישר לגוגל שיט שלכם לפי לוח זמנים - כך שהצוות ממשיך לעבוד בכלי שהוא מכיר. זו נקודת המתיקות לצוותים לא-טכניים שרוצים דאטה חיה בלי לצאת מהגיליון.
לחלופות no-code ראו את השוואת הכלים; לכללים ראו האם סקרייפינג חוקי בישראל; ואם אתר מתנגד, בלי להיחסם מסביר למה.
שאלות נפוצות
גוגל שיטס יכול לסרוק אתר?
לעמודים פשוטים וסטטיים - כן. IMPORTHTML מושכת טבלאות ורשימות, ו-IMPORTXML מושכת אלמנטים ספציפיים, בלי קוד ועם רענון אוטומטי. הן נכשלות על אתרים שנטענים ב-JavaScript, מוגנים, או מאחורי התחברות.
למה IMPORTHTML/IMPORTXML מחזירות שגיאה?
בדרך כלל כי העמוד טוען את הנתונים ב-JavaScript (הפונקציה רואה עמוד ריק), האתר חוסם בקשות אוטומטיות, או שהתוכן מאחורי התחברות או עימוד שהנוסחה לא יכולה לעקוב אחריו.
איך מביאים דאטה מאתר דינמי לשיטס?
בעזרת סקרייפר קטן שמטפל ב-JavaScript ובהגנות וכותב שורות נקיות לגוגל שיט לפי לוח זמנים, כך שהדאטה נשארת חיה בלי שהצוות יוצא מהגיליון.
זה חוקי?
משיכת נתונים ציבוריים ועובדתיים בנימוס נמוכה בסיכון. כבדו את תנאי האתר ואת הקצב, הימנעו מדאטה אישית, וראו את מדריך החוקיות בישראל לפרטים.
להמשך קריאה
שירות רלוונטי
Web Scraping וחילוץ נתונים
סקרייפינג וצינורות נתונים אמינים שמספקים נתונים נקיים.
על הכותב
יהונתן סעדיה
מהנדס פרילנסר לאוטומציה, אתרים ו-MVP
אני יהונתן סעדיה, מהנדס בכיר שבונה אוטומציה עסקית, אתרים מותאמים ומוצרי MVP לעסקים קטנים ובינוניים בארה"ב, אירופה וישראל. המדריכים האלה נכתבים מתוך עבודה אמיתית עם לקוחות, לא מתיאוריה.
בוא נעבוד יחדיש לך פרויקט דומה?
ספר לי מה אתה מנסה להפוך לאוטומטי או לבנות, ואומר לך מהי הדרך המהירה והאמינה ביותר ליישם את זה.