מה זה ROBOTS.TXT וכיצד הוא קשור ל-SEO?

robots.txt
ראשי » מידע מקצועי » מה זה ROBOTS.TXT וכיצד הוא קשור ל-SEO?
אם יצא לכם לגעת ב-SEO בטח כבר שמעתם על המונח הזה. אבל מהו בעצם קובץ robots.txt ואיך הוא קשור ל-SEO? בפוסט הבא נעמיק ונבין איך אפשר להשתמש בו בו נכון כדי לשפר את הנראות של האתר בעמודי התוצאות של מנועי החיפוש.
robots.txt הוא קובץ טקסט פשוט שנמצא בתיקיית השורש של האתר. הוא נועד לתקשר עם הבוטים של מנועי החיפוש ולסמן להם אילו אזורי תוכן באתר לא נרצה שיתווספו לאינדקס שלהם. זהו כלי חיוני לכל בעל אתר או מקדם אתרים מכמה סיבות:
  • בקרת סריקה: על ידי סימון העמודים שיש להוסיף או להסיר מהאינדקס אפשר לשלוט חלקית על האופן שבו מנועי החיפוש ניגשים לאנדקס את עמודי התוכן.

  • מונע תוכן כפול: למשל, אם קיימות 2 גרסאות דומיין באמצעות הקובץ ניתן ללסמן לגוגל לסרוק רק גרסה אחת ומועדפת ובכך להימנע מתוכן כפול.

  • אבטחת מידע רגיש: אם יש אזורים באתר המכילים מידע רגיש או וחסוי נוכל להשתמש בקובץ robots.txt כדי לחסום למנועי חיפוש את הגישה לשם.

עד כמה הקובץ יעיל ל-SEO?

קובץ robots תקין שעבר את ההתאמה הנדרשת יכול לשפר את הנראות של האתר בתוצאות החיפוש, להגדיל תנועה אורגנית ולמנוע מגוגל לאנדקס תוכן רגיש או בעל ערך נמוך ולא רק:
  • חשוב לזכור שמנועי חיפוש בנוסף לגוגל (בינג ו-Yandex  בעיקר) יכבדו ויפעלו על פי ההוראות המפורטות בקובץ ה-robots.txt  שלכם.

  • על ידי ניטור ואופטימיזציה של קובץ ה-robots.txt במרווחי זמן גדולים אבל קבועים, אפשר להקדים בעיות סריקה או התנגשויות שעלולות להתעורר עם בוטים של מנועי חיפוש מכל העולם.

פקודות נפוצות שאפשר להגדיר בקובץ

ישנן מספר פקודות או הנחיות שבהן תוכל להשתמש בקובץ robots.txt:
  • User-agent: פקודה זו מציינת עבור אלו מנועי חיפוש חלים הכללים הבאים.
    לדוגמה, “User-agent: Googlebot” מורה לסורק של Google להתחשב בכללים.

  • Disallow: פקודה זו אומרת לזחלנים אילו איזורים או ספריות באתר אסור לסרוק.
    לדוגמה, /Disallow: /private מונע ממנועי החיפוש לאנדקס את כל העמודים המשויכים ל- /private/.

  • allow: פקודה זו מעדכנת את הזחלנים אם יש צריך לסרוק עמודים ספציפיים באתר.
    לדוגמה, הפקודה /allow: /public תאפשר לאנדקס את כל העמודים המשויכים בכתובת ל-/public /.

  • Sitemap: פקודה זו מציינת את הנתיב של מפת ה-XML שבפני עצמה מסייעת למנועי חיפוש לגלות ולהוסיף את העמודים לאינדקס בצורה יעילה יותר.
    לדוגמה, Sitemap: https://www.example.com/sitemap.xml.

לסיכום

קובץ robots.txt ממלא תפקיד חשוב ב-SEO בכל מה שקשור לתקשורת מול הבוטים של גוגל בכך שהוא מאפשר להנחות אותם לסרוק רק את העמודים שנרצה להציג בתוצאות החיפוש. הבנה ושימוש נכון בקובץ robots.txt חיוניים לשיפור ההופעות של האתר בעמודי התוצאה של גוגל.

על ידי מיפוי עמודי האתר, נוכל להבין אלו אזורים או עמודים ספציפיים נרצה למנוע מהבוטים של מנועי החיפוש לסרוק ולאנדקס, ובכך להבטיח שהתוכן החשוב והרלוונטי ביותר שלך יקבל עדיפות בעמודי התוצאה.