מה זה llms.txt (והאם האתר שלכם צריך אחד)?

llms.txt הוא קובץ טקסט פשוט שמניחים בשורש האתר ושמפנה כלי AI - מודלי השפה הגדולים שמאחורי ChatGPT, Perplexity ומנועים דומים - לתוכן החשוב והכתוב בנקיות ביותר. אפשר לחשוב עליו כמדריך קצר ואצור לסורקי AI: במקום להשאיר אותם לבוסס בכל האתר, מוסרים להם מפה מסודרת של מה שחשוב והיכן הגרסה הנקייה נמצאת. מדובר במוסכמה צעירה ולא בתקן רשמי, אבל היא פשוטה, חינמית, ובהדרגה כדאי שתהיה.

יש הרבה בלבול לגבי מה הקובץ הזה עושה ולא עושה, אז כדאי להבהיר. במדריך הזה נסביר מה זה llms.txt, מה לשים בו, בדיוק במה הוא שונה מ-robots.txt ו-sitemap.xml, ומתי אתר עסק קטן באמת זקוק לאחד.

מה זה llms.txt, בדיוק?

הרעיון שמאחורי llms.txt הוא שמנועי AI עובדים הכי טוב עם תוכן נקי, מובנה וקל לקריאה, ולעתים קרובות הם מתקשים עם הבלגן של עמוד אינטרנט רגיל: תפריטי ניווט, חלונות קופצים, פרסומות, סקריפטים ועיצוב - כולם מסתירים את המידע האמיתי. llms.txt הוא מוסכמה מוצעת שנועדה לתקן זאת. מדובר בקובץ Markdown בכתובת yoursite.com/llms.txt שמפרט את העמודים המרכזיים שלכם, עם תיאורים קצרים וקישורים, כך שסורק AI יכול למצוא במהירות את התוכן שהכי רוצים שיבין ויצטט.

הפורמט פשוט בכוונה. לכל הפחות יש בו כותרת (שם העסק), תיאור קצר של הפעילות, ורשימה אצורה של קישורים לעמודים החשובים ביותר, כל אחד עם הערה בת שורה על מה שהוא מכסה. חלק מהאתרים גם מפרסמים קובץ נלווה llms-full.txt שמכיל את הטקסט הנקי המלא של אותם עמודים במקום אחד, כך שה-AI אפילו לא צריך לשלוף ולנקות כל עמוד בנפרד.

מה לכלול ב-llms.txt

המטרה היא אצירה, לא שלמות. בוחרים את התוכן שהכי רוצים ש-AI ישאב ממנו, לא משליכים את כל האתר. llms.txt טוב לעסק קטן בדרך כלל כולל:

• שם העסק וסיכום בן שורה על הפעילות ועל מי שמשרתים.
• עמודי השירות או המוצר המרכזיים, כל אחד עם תיאור קצר.
• התוכן ההסברי הטוב ביותר - מדריכים, שאלות נפוצות ומאמרים שפותחים בתשובה, שהופכים אתכם למקור שימושי.
• עמודי ייחוס מרכזיים כמו תמחור, תהליך עבודה, או אודות - אם הם מכילים עובדות שרוצים שיצוטטו נכון.
• קישורי יצירת קשר או קביעת פגישה, כדי ש-AI שמפנה אליכם ידע גם איך להגיע אליכם.

מה שמשאירים בחוץ חשוב לא פחות. כדאי לדלג על עמודים דלילים, תוכן כפול, וכל דבר שלא רוצים שה-AI יתייחס אליו כמקור סמכותי. כל הערך נמצא בהפניית מנועים לחומר הטוב והברור ביותר - אותו תוכן שפותח בתשובה ומובנה היטב שמניע אופטימיזציה למנועים גנרטיביים.

llms.txt מול robots.txt מול sitemap.xml

שלושת הקבצים האלה חיים בשורש האתר וכולם מדברים עם מבקרים אוטומטיים, אבל הם עושים עבודות שונות לחלוטין. הבלבול ביניהם הוא הטעות הנפוצה ביותר, אז הנה ההשוואה הנקייה.

ההבדלים המרכזיים: robots.txt עוסק בהרשאה (למה מותר לגשת), sitemap.xml עוסק בכיסוי (הנה הכל, מצאו את הכל), ו-llms.txt עוסק באצירה (הנה מה שחשוב ביותר, בצורה נקייה). robots.txt ו-sitemap.xml מבוססים זה זמן רב ומובנים על ידי כל מנוע חיפוש מרכזי. llms.txt חדש יותר ועדיין לא מכובד באופן אוניברסלי. כדאי להחזיק את שלושתם מסיבות שונות - הם לא מחליפים זה את זה.

האם llms.txt באמת עובד כבר?

הנה התשובה הכנה, כי יש הייפ משני הצדדים. llms.txt הוא מוסכמה מוצעת ולא תקן רשמי שכל מנוע AI התחייב לקרוא. האימוץ גדל וכמה כלים וסורקים מתחילים לכבד אותו, אבל לא צריך לצפות שהוא לבדו יגרום לציטוטים מהיום למחר. מדובר באות בעלות נמוכה וסיכון נמוך, לא במתג קסם.

הפרספקטיבה הריאלית: llms.txt זול להוספה ולא מזיק, וככל שגילוי מונע-AI ממשיך לגדול, להחזיק מפה נקייה ואצורה של התוכן הטוב ביותר מוכנה - זה הימור הגיוני. אבל זה חלק אחד מתמונה גדולה יותר. בפני עצמו הוא לא יהפוך אתר דליל או בנוי גרוע לניתן לציטוט. הוא עובד הכי טוב כנגיעת הסיום על תוכן שכבר ברור, עובדתי ופותח בתשובה.

האם האתר שלכם צריך אחד?

לרוב אתרי העסקים הקטנים ההמלצה הכנה היא כן - כדאי להוסיף, אבל לראות בו שלב סיום ולא נקודת התחלה. הנה הסדר ההגיוני.

1. קודם, לסדר את היסודות. אתר מהיר, ניתן לסריקה ובנוי היטב עם תוכן ברור שפותח בתשובה. בלי זה, ל-llms.txt אין על מה טוב להצביע. אפשר להתחיל עם SEO לאתרים של עסקים קטנים.
2. אז להפוך את התוכן הטוב ביותר לניתן לציטוט באמת. עמודים מוחשיים, עובדתיים ומובנים בבירור עם ה-schema הנכון, כפי שמתואר באיך לגרום ל-AI לצטט את העסק שלך.
3. ואז להוסיף llms.txt ממוקד שמפנה סורקי AI בדיוק לתוכן הזה.

בסדר הזה, llms.txt הוא תוספת חכמה ובמאמץ נמוך. על אתר חלש, לפני שמסדרים את היסודות, הוא רק קישוט. הקובץ שווה רק כמו התוכן שהוא מצביע עליו.

בשורה התחתונה

llms.txt הוא מפה פשוטה, חינמית ואצורה שאומרת למנועי AI היכן התוכן הטוב ביותר שלכם ומה הוא מכסה. הוא עדיין לא תקן, הוא לא קיצור דרך קסום, והוא לא יציל אתר דליל - אבל הוא זול, לא מזיק, ובהדרגה הגיוני שיהיה ככל שיותר אנשים מוצאים עסקים דרך AI. כדאי להוסיף אותו ברגע שהתוכן שלכם באמת שווה להצביע עליו, והוא הופך ליתרון שקט בנראות שלכם לכלי AI.

אני בונה אתרים שמוגדרים להימצא ולהיות מצוטטים על ידי AI מהיסוד - מבנה נקי, ה-schema הנכון, תוכן שפותח בתשובה, ו-llms.txt ממוקד שמפנה סורקים לעמודים החזקים ביותר. אם רוצים לדעת האם האתר שלכם מוכן לגילוי מונע-AI ומה היה עוזר הכי הרבה, אפשר לקבוע שיחה ולשלוח את הכתובת, או לפנות דרך טופס יצירת הקשר.