מנועי חיפוש

מנוע חיפוש הוא כלי המאפשר למשתמשי האינטרנט לאתר מידע רלוונטי בנושאים המעניינים אותם על-פי דרישה. מנוע החיפוש המוכר ביותר כיום הוא גוגל.

המונח מנועי חיפוש מתייחס לאתרים בהם קיימים שלושה מרכיבים עיקריים:

1. רובוט זחלן ( Crawler )

מנועי החיפוש המודרניים משתמשים בתוכנות מיוחדות לסריקה של האינטרנט. שם החיבה שניתן לתוכנות אלה הוא "זחלן" ( crawler ) - משום שהתוכנה זוחלת מדף לדף דרך קישורים המופיעים בדפים השונים. במהלך הזחילה של התוכנה היא אוספת את הדפים בהם היא נתקלת.

את הדפים אותם אסף הזחלן הוא מעביר אל אינדקס דפים אשר מעדכן את הדפים שכבר קיימים במסד הנתונים, ומוסיף דפים חדשים שלא מופיעים באינדקס.

ישנם זמנים בהם הזחלן יבצע סריקה רדודה של הדפים, בה יסרקו הדפים הראשיים באתר, דפים חשובים ודפים המתעדכנים בתדירות גבוהה, ולעיתים יבצע הזחלן סריקה עמוקה ( deep crawl ) בה יסרקו כל דפי האתר.

לדפים הנסרקים בתדירות גבוהה על ידי מנוע חיפוש יש שני יתרונות עיקריים:

חלק ממנועי החיפוש נותנים יתרון לדפים שעודכנו לאחרונה בתוצאות החיפוש.
במידה ומעוניינים לבצע הוספת אתר אל האינדקס של מנוע חיפוש, ניתן לעשות זאת בקלות על ידי הוספת קישור אל האתר החדש בדף הנסרק לעיתים קרובות על ידי מנועי החיפוש.

2. אינדקס דפים:

האינדקס הוא המקום בו מנוע החיפוש מאכסן את המידע אותו אספו הרובוטים שלו ברחבי האינטרנט. כאשר מבוצע חיפוש במנוע חיפוש, הוא למעשה מתבצע על האינדקס ולא על האינטרנט, ולכן רמת העדכניות של תוצאות החיפוש תלויה ברמת העדכניות של האינדקס.

מסד הנתונים של מנועי החיפוש בנוי לחיפוש מהיר אחר מילות מפתח המופיעות בדפים השונים או בקישורים המובילים אל דפים אלו.

3. ממשק חיפוש:

כאשר משתמש מעוניין למצוא חומר על נושא מסוים, הוא משתמש בחלק של מנועי החיפוש הנקרא ממשק חיפוש. חלק זה במנוע משמש לאיתור התוצאות הרלוונטיות ביותר לחיפוש אותו ביצע המשתמש בתוך אינדקס הדפים של מנוע החיפוש.

התוצר של ממשק החיפוש הוא רשימת דפי אינטרנט בהם אמור להימצא המידע המבוקש. רשימות אלו נקראות תוצאות חיפוש או באנגלית:

SERPs - Search Engine Result Pages

שיטת העבודה לפיה מסדר מנוע החיפוש את התוצאות נקראת אלגוריתם חיפוש, שהוא בעצם לב ליבה של המערכת.

אתרים שאינם מנועי חיפוש:

קיימים סוגי אתרים רבים המשמשים גם הם לאיתור מידע, אך אינם מוגדרים בתור מנועי חיפוש. הדוגמא הבולטת ביותר היא אתרים המשמשים בתור אינדקס אתרים, בו קיים קטלוג קישורים אל אתרי אינטרנט הממוין על-פי עץ נושאים היררכי. הכנסת אתר חדש לקטלוג מבוצעת בעקבות הצעת האתר על ידי אחד ממשתמשי האינדקס. בעת הרישום מגיש מציע האתר את שם האתר ותיאור קצר של תוכנו. בשלב הבא האתר נסקר על ידי אחד מעורכי האינדקס, ובמידה והוא נמצא ראוי להופיע, הוא יתווסף לאינדקס האתרים. המידע המופיע באינדקס לגבי האתר הוא שילוב של המידע אותו הגיש מציע האתר, עם שינויים אותם ביצע העורך. אינדקס אתרים מסוג זה יהיה מבוסס על עריכה אנושית, וידרוש משאבים רבים על מנת לשמור על עדכניות המידע. דוגמא לאינדקס מסוג זה היא דמוז ( dmoz.org ).

תפריט ראשי