Robots.txt
Robots.txt הוא קובץ טקסט בשורש האתר שמנחה את זחלני מנועי החיפוש אילו חלקים באתר מותר או אסור לזחול, ומצביע על מפת האתר.
Robots.txt הוא קובץ טקסט פשוט הממוקם בשורש האתר (למשל example.com/robots.txt), שנותן הנחיות לזחלני מנועי החיפוש (כמו GoogleBot): אילו נתיבים מותר לזחול, אילו לחסום, והיכן נמצאת מפת האתר.
למה robots.txt חשוב?
- ניהול זחילה - מונע בזבוז תקציב זחילה על עמודים לא חשובים.
- הצבעה על Sitemap - מפנה את הזחלנים למפת האתר.
- בקרת AI - יכול לכלול הנחיות לבוטים של AI.
שימו לב: robots.txt מונע זחילה אך לא בהכרח אינדוקס - כדי למנוע הופעה בתוצאות משתמשים בתגית noindex, לא בחסימת robots.txt.
שאלות נפוצות
האם robots.txt חוסם עמוד מגוגל?
הוא חוסם זחילה, אך עמוד חסום עדיין יכול להופיע באינדקס אם יש אליו קישורים. למניעת הופעה מלאה יש להשתמש בתגית noindex.
איפה נמצא הקובץ?
תמיד בשורש הדומיין - example.com/robots.txt. זה המקום היחיד שבו מנועי החיפוש מחפשים אותו.
מה קורה אם אין robots.txt?
מנועי החיפוש יזחלו את כל האתר כברירת מחדל. קובץ תקין עוזר לנהל זחילה ולהצביע על מפת האתר, אבל חסר כזה לא חוסם אינדוקס.
זקוקים לעוד מידע?
מילון מונחים ←
זקוקים לייעוץ או שירות?
שירות קידום אתרים אורגני ←