ייצור קובץ רובוטים
אודות ייצור קובץ רובוטים
כאשר רובוטים של מנועי חיפוש סורקים אתרי אינטרנט, לרוב הם יחפשו קודם כל קובץ שמותאם אליהם. קובץ זה נקרא:
Robots.txt
הקובץ הוא בעצם "מדריך". אוסף הוראות הכתובות בקוד שבעצם מסבירים למנועי החיפוש איך להתייחס לכל עמוד בדף.
בעזרת קובץ זה אנו יכולים להסביר לרובוטים. בשפה שהם יבינו איך אנחנו רוצים שהם יקראו וישתמשו באתר האינטרנט שלנו.
אחד השימושים הנפוצים בקובץ הוא פעולת האינדוקס. כך נוכל להציג לרובוטים שיש דפים מסוימים בתוך האתר שאנחנו רוצים שהם יכניסו למאגר הנתונים שלהם. ויציגו את הדפים הרלוונטיים כאשר לקוחות יחפשו אותנו במנועי החיפוש.
בהרבה מקרים נרצה דווקא שעמודים מסוימים לא יופיעו בעמוד תוצאות החיפוש (SERP). דוגמה מעולה לכך היא אם יש לנו דפים המכילים מידע רגיש כמו שמות של לקוחות, נתונים מסוימים או פשוט דפים לא חשובים. במקרים כאלו נרצה להימנע מאינדוקס עמודים אלו כי לא לפגוע בדירוג האתר או לחשוף מידע לציבור הרחב.
