ייצור קובץ רובוטים
אודות ייצור קובץ רובוטים
הכלי שלנו ליצירת קובץ רובוטים יאפשר לך ליצור קובץ רובוטים בקלות ובמהירות באופן אוטומטי. יש להזין את כל השדות הריקים בנתונים הרלוונטיים וללחוץ על כפתור "יצירת קובץ רובוטים".
לאחר מכן יש ליצור את הקובוץ Robots.txt בתיקיה הראשית של האתר שלך ולהעתיק את הקוד המתקבל בעמוד זה אליו.
כאשר רובוטים של מנועי חיפוש סורקים אתרי אינטרנט, לרוב הם יחפשו קודם כל קובץ שמותאם אליהם. קובץ זה נקרא:
Robots.txt
למה חשוב להשתמש בקובץ Robots.txt?
קובץ רובוטים משמש כמעין מדריך. אוסף הוראות הכתובות בשפה שרובוטים מבינים. והוא זה שיקבע איך הזחלנים (אלגוריתמים הסורקים את אתרי האינטרנט – Crawlers) של מנועי החיפוש יקראו ויאנדקסו את האתר (אם בכלל).
בעזרת קובץ קטן זה נוכל להגדיר למנועי החיפוש השונים איזה דפים ברצוננו שהם יסרקו ויכניסו למאגרי המידע שלהם (תהליך האינדקס). ומאיזה אזורים באתר עליהם להתעלם לחלוטין.
ברוב המקרים נרצה לאפשר לרובוטים לקרוא את מרבית הדפים. אך אם יש בידנו עמודים שבהם נמצא תוכן רגיש כמו מידע של לקוחות – נרצה לאסור את הסריקה בדפים אלו כדי שלא יופיעו בעמודי התוצאות השונים ויהיו נגישים לציבור הרחב.
הקובץ עצמו נמצא בתיקייה הראשית של האתר (Root) ומכיל בעיקרו 2 פקודות עיקריות:
Allow / Disallow
בעזרת פקודות אלו אנו בעצם מראים לרובוטים מה אנחנו מרשים או לחלופין – לא מרשים להם לקרוא ולסרוק.
