סמלט: מהו Googlebot?
- מבוא
- מהו Googlebot?
- מדוע צריך לדאוג ל- Googlebot?
- מדוע Googlebot אינו סורק את כל הדפים באתרים מסוימים?
- כיצד לייעל את האתר שלך כדי למקסם את התקציב של Googlebot
- סיכום
מבוא
האם אתה יודע כיצד Google מוצאת משאבים לחיפוש שלך? כפי שהאמינו ברבים, גוגל אינה רוח יודע הכול יודע מהו כל תוכן מקוון. זה לא סוג של מדיום מי יודע היכן התשובה המדויקת לשאלתך.
כמו כל מנוע חיפוש אחר, יש לה תוכנה שזוחלת בין מיליארדי דפים (ואתרים) בכל שנייה כדי לאסוף מידע; לחלץ את ערך התוכן ונושא הנושא שלו. כך שכאשר מתבצע חיפוש, התשובה נמשכת מאותם דפים - בערך כמו ספרייה.
זה נשמע הרבה כמו קידום אתרים, וזה בגלל שיש לזה הרבה מה לעשות. כאשר אתר מותאם ביעילות, Google רואה את האתר במהירות, קוראת את דפיו ומציגה אותו כאשר מבצעים חיפושים קשורים במנוע החיפוש.
אבל זה לא קורה לכל הדפים באתר, מה שמייצר כמה דפים בלתי נראה לעולם. למה זה קרה? ומה אפשר לעשות נגדו (במיוחד לדפים חשובים מאוד)? להלן מדריך המפרט על כל סורק האתרים של Google (Googlebot), מדוע הוא אינו סורק מספיק דפים וכיצד יכול בעל אתר להשתמש באופטימיזציה של אתרים ובקידום אתרים כדי למקסם את תקציב הסריקה של Googlebot.
מהו Googlebot?
עַכָּבִישׁ! סורק! אלה שמות פופולריים שניתנו ל- Googlebot. זה בגלל שזה עובד ככה. התוכנה נוצרת כדי לסרוק ולחפש מיליארדי דפי אתרים שפורסמו לציבור.
זה נכון - אם אתר אינטרנט נשאר פרטי, פשוט אין שום אפשרות ש- Googlebot יכול לסרוק את הדפים שלו, נזכר שהעכביש אינו פסיכי. הוא פשוט עוקב אחר קישורי דפים (מדף אחד למשנהו) ולאחר מכן ממשיך בעיבוד נתונים. לאחר השלמת זה, המידע נאסף לאינדקס (קל לזכור כספרייה או חנות של Goggle).
בשל נוכחותה של תוכנה זו, Google יכולה לאסוף ולצבור מידע בהיקף של למעלה ממיליון גיגה -בייט (GB) תוך פחות משנייה (אוקיי - עכשיו זה קסם). ואז מהאינדקס המתעדכן באופן קבוע, גוגל מוציאה משאבים עבור כל חיפוש מקוון הן במחשב שולחני והן במכשיר נייד.
מדוע צריך להיות מודאג עם Googlebot?
לסריקה של Googlebot יש המון מה לעשות עם SEO של אתר אינטרנט (אופטימיזציה למנועי חיפוש). כל מהותו של העכביש היא לאסוף מידע מדפי האתר כך שכאשר חיפושים יתבצעו בנושאים קשורים, הוא יכול להציג את הדף כאחת מתוצאות החיפוש המקוונות. לכן, כאשר Googlebot סורק כל הזמן את רוב דפי האתר, תהיה חשיפה מוגברת אשר תוביל לתנועה רבה יותר באתר בדף כזה (שזו אחת המטרות נכון?).
השתמש באיור זה:
ל- X יש אתר עם דף בנושא: קידום אתרים מקצועי לאתרים. ו- Y מחפש אתרים לאתר. אם Googlebot היה זוחל דרך דף X ב- SEO והוסיף אותו לאינדקס, זו תהיה אחת התוצאות שיופיעו בתוצאות החיפוש של Google. אותו הדבר יקרה גם בחיפושים אחרים הקשורים לעריכה גם אם זה קורה מאה פעמים ביום בכל רחבי העולם.
שים לב לכך שישנם גורמי הדגשה אחרים כגון מבנה אתר טוב, זמני טעינה מהירים של אתרים. אבל רק א מומחה SEO יכול לסייע לוודא שפעולות אלה מבוצעות כראוי ושהדף של אתר יופיע בדף הראשון של תוצאות החיפוש של Google.
מדוע Googlebot לא סורק את כל הדפים באתרים מסוימים?
באחד המפגשים של Google במשרדי SEO, נשאלה השאלה מדוע Googlebot לא סורק מספיק דפים באתרים מסוימים. ישנם למעלה ממאות מיליארד עמודים המתפרסמים באופן ציבורי לשרת האינטרנט. אנשים מפרסמים דף חדש לשרת מדי יום, כלומר יותר דפים עבור Googlebot לאינדקס. עם זאת, לפעמים, הבוט אינו עומד בציפיות; זה; לצבור יותר ממיליון GB של מידע תוך פחות משנייה. ישנן מספר סיבות לכך שזה יכול לקרות.
ראשית, יכול להיות שיש יותר מדי תוכן, דפים ואתרים באינטרנט לאינדקס. וחלקם באיכות נמוכה, אחרים בעלי מהירות טעינת אתרים איטית, ולשאר יתכן תוכן לא רלוונטי עם מבנה אתרים מסובך (או כל דבר אחר שעובד כנגד חווית משתמש טובה). זו הסיבה שגוגל יצרה אסטרטגיה לאינדקס של דפי אינטרנט באיכות גבוהה בלבד ואי הכללת דפים באיכות נמוכה יותר. כך ניתן לסנן ולצמצם את הדפים (במקום להוסיף לאינדקס את כל הדפים באינטרנט - גם דפים בעלי ערך וגם לא בעלי ערך).
אבל האמור לעיל אינו עונה באופן מלא על השאלה: מדוע Googlebot לא סורק את כל האתרים? שאלת העניין היא מדוע Googlebot לא סורק את כל הדפים (או מספיק דפים) באתר. ויש לכך שתי תשובות. התשובה הארוכה והתשובה הקצרה:
התשובה הקצרה
גוגל מייחסת כמות מסוימת של משאבים וזמן לסריקה של כל אתר ביום. זה נקרא תקציב סריקה של אתר. לכן, הבוט עושה את עבודתו של סריקה ואינדקס בתוך תקציב זה. וכך, עבור אתר עם יותר מעשרת אלפים עמודים, לא כל הדפים יצורפו לאינדקס.
עם זאת, יש בזה יותר מה שמביא אותנו לתשובה הארוכה:
התשובה הארוכה
תקציב הסריקה הוא שקובע את מספר הדפים ש- Googlebot יכול לסרוק ולאנדקס לאתר בכל יום. אבל כאמור, יש בזה הרבה יותר. כמה גורמים קובעים את קצב העכביש בזמן הזחילה בכל אתר במסגרת תקציב הסריקה. הגיוני? זה אומר שלמרות שהתקציב יצר מגבלה, כמה גורמים יכולים להאיץ או להאט את קצב הבוט. הם כוללים:
- שרת איטי: אם זמן התגובה לשרת איטי באופן משמעותי, הוא יכול לשנות את הקצב בו הבוט זוחל בכל עמוד במסגרת תקציב הסריקה. בעלי אתרים יכולים לבדוק זאת בדוח סטטיסטיקות הסריקה שלהם. מומלץ שכל דבר מעל 300 אלפיות השנייה אינו זמן תגובה טוב.
- מארח שרת אתרים: אם אתר אינטרנט מתארח בשרת משותף, הדבר יכול להאט את הקצב שבו כל דף מוגש ל- Google במהלך הסריקה. הסיבה לכך היא שאתרים אחרים באותו שרת עשויים להאט אותו באמצעות משאבים גדולים. זה אפילו יותר גרוע כאשר אותו שרת מארח אתרים רבים.
- בוטים של רוז ': אלה בוטים אחרים שיכולים להפריע, לחסום או להאט את פעולות Googlebot. הם יכולים לבוא בצורות שונות ולפעמים, אתר זקוק לעזרה מקצועית לניהול ושליטה בפעולות הבוטים הללו.
- יכולת הסריקה של האתר: זוהי כמות הגישה שיש לסורק לכל דפי האתר. כאשר לתוכנה יש גישה נוחה לתכני האתר, דפים רבים ייסרקו ויצאו לאינדקס במסגרת תקציב הסריקה.
כיצד לייעל את האתר שלך כדי למקסם את התקציב של Googlebot
בחלק הקודם דנו בגורמים הקובעים כמה מהר (או כמה איטי) Googlebot סורק דף. אבל יש יותר ממה שאדם יכול לעשות בכדי למקסם כמה דפים הבוט זוחל במסגרת התקציב. בקצרה, להלן כמה דברים שבעל אתר יכול לעשות בכדי למקסם כמה דפים סורק ואינדקס של Googlebot במסגרת תקציב הסריקה ליום.
- פיתוח מפת אתר: זהו אחד הדברים שניתן לעשות כדי לסייע ל- Googlebot לזחול באתר מהר יותר. ניתן להתקין מפת אתר, ליצור ממחולל מפות אתר, או ליצור מאפס.
- השקיעו בארגון אתרים: זה קשור לאופן בניית האתר ולקטלוג הדפים באתר. כאשר אתר בנוי כך שמבקרים יוכלו להבין בקלות ולנווט דרכם, יש סבירות גבוהה שלגוגלבוט יהיה קל לזחול דרכו.
- אופטימיזציה לאתר: זה מסכם את כל הנקודות שהוזכרו לעיל. כאשר אתר מבצע אופטימיזציה מתמדת (בדרך הנכונה), ממשק האתר יבנה בצורה נכונה ויווצר מפת אתר. דברים אחרים כוללים שליטה על גורמים שחוסמים סריקה (כגון robots.txt), אופטימיזציה של כותרות, קריאת התוכן, ערך התוכן ועוד. אופטימיזציה נכונה של אתר תעזור ל- Googlebot לסרוק מהר יותר בין דפי אתר כזה.
סיכום
אפשר לראות את Googlebot כרובוט אינטרנט קטן שעובד עבור Google. הוא עובר קבלת דפים משרת האינטרנט באמצעות קישורים לאתרים. לאחר מכן הוא עובר בכל עמוד ומוסיף אותו לאוסף המידע האינדקס. עם זאת, בשל מספר גורמים ומשתנים, הבוט אינו יכול לזחול בכל הדפים של כל אתר (למעשה, לפעמים, זה לא מספיק). ומכל הגורמים והפתרונות שהוזכרו, הפתרון הקל ביותר הוא להזמין חברה מקצועית כמוה סמלט שיכול לעשות את כל הנדרש בדרך הנכונה ובזמן הנכון על מנת להבטיח שדפים חשובים באתר שלך ייסרקו ויוספו לאינדקס - אם לא כל הדפים.