موتور جستجو چیست ؟
در فرهنگ رایانه، موتور جستجو یا جویشگر یا جستجوگر (به انگلیسی: Search Engine)، به طور عمومی به برنامهای گفته میشود که کلمات کلیدی را در یک سند یا بانک اطلاعاتی جستجو میکند. در اینترنت به برنامهای گفته میشود که کلمات کلیدی موجود در فایلها و سندهای وب جهانی، گروههای خبری، منوهای گوفر و آرشیوهای FTP را جستجو میکند.
برخی از موتورهای جستجو برای تنها یک وبگاه(پایگاه وب) اینترنت به کار برده میشوند و در اصل موتور جستجویی اختصاصی آن وبگاه هستند و تنها محتویات همان وبگاه را جستجو میکنند.
برخی دیگر نیز ممکن است با استفاده از SPIDERها محتویات وبگاههای زیادی را پیمایش کرده و چکیدهای از آن را در یک پایگاه اطلاعاتی به شکل شاخصگذاریشده نگهداری میکنند. کاربران سپس میتوانند با جستجو کردن در این پایگاه داده به پایگاه وبی که اطلاعات موردنظر آنها را در خود دارد پی ببرند.
انواع جستجوگرها در اینترنت
موتورهای جستجوی پیمایشی
موتورهای جستجوی پیمایشی (Crawler-Based Search Engines) مانند گوگل فهرست خود را بصورت خودکار تشکیل میدهند. آنها وب را پیمایش کرده، اطلاعاتی را ذخیره میکنند، سپس کاربران از میان این اطلاعات ذخیره شده، آنچه را که میخواهند جستجو میکنند. اگر شما در صفحه وب خود تغییراتی را اعمال نمایید، موتورهای جستجوی پیمایشی آنها را به طور خودکار مییابند و سپس این تغییرات در فهرستها اعمال خواهد شد. عنوان، متن و دیگر عناصر صفحه، همگی در این فهرست قرار خواهند گرفت.وجه مشخصه این گروه از جستجوگرها وجود نرم افزار موسوم به SPIDER در آنهاست. این شبه نرمافزار کوچک بصورت خودکار به کاوش در شبکه جهانی پرداخته و از پایگاههای وب یادداشتبرداری و فهرستبرداری میکند سپس این اطلاعات را برای تجزیه و تحلیل و طبقهبندی به بانک اطلاعاتی موتور جستجوگر تحویل میدهد.
فهرستهای دستنویس شده
فهرستهای دستنویسشده یا (Human-Powered Directories) مانند فهرست بازی (Open Directory) مانند Dmoz وابسته به کاربرانی است که آن را تکمیل میکنند. شما صفحه مورد نظر را به همراه توضیحی کوتاه در فهرست ثبت میکنید یا این کار توسط ویراستارهایی که برای آن فهرست در نظر گرفته شده، انجام میشود. عمل جستجو در این حالت تنها بر روی توضیحات ثبت شده صورت میگیرد و در صورت تغییر روی صفحه وب، روی فهرست تغییری به وجود نخواهد آورد. چیزهایی که برای بهبود یک فهرستبندی در یک موتور جستجو مفید هستند، تأثیری بر بهبود فهرستبندی یک دایرکتوری ندارند. تنها استثناء این است که یک سایت خوب با پایگاه دادهای با محتوای خوب شانس بیشتری نسبت به یک سایت با پایگاه داده ضعیف دارد. البته در مورد جستجوگرهای مشهور مانند گوگل و یاهو، یک مولفه دیگر هم برای بهبود فهرستبندی وجود دارد که کمک مالی (یا به اصطلاح اسپانسر) است، یعنی وبگاههایی که مایل به بهبود مکان وبگاه خود در فهرست بندی هستند، میتوانند با پرداخت پول به این جستجوگرها به هدف خویش برسند.
موتورهای جستجوی ترکیبی با نتایج مختلف
به موتورهایی گفته میشود که هر دو حالت را در کنار هم نمایش میدهند. غالباً، یک موتور جستجوی ترکیبی در صورت نمایش نتیجه جستجو از هر یک از دستههای فوق، نتایج حاصل از دسته دیگر را هم مورد توجه قرار میدهد. مثلاً موتور جستجوی ام.اس.ان (MSN) بیشتر نتایج حاصل از فهرستهای تکمیلدستی را نشان میدهد اما در کنار آن نیم نگاهی هم به نتایج حاصل از جستجوی پیمایشی دارد.
ابر جستجوگرها
این گونه جدید از موتورهای جستجوگر که قدمت چندانی نیز ندارند،بصورت همزمان از چندین موتورجستجوگر برای کاوش در شبکه برای کلید واژه مورد نظر استفاده میکنند. بدین معنی که این موتور عبارت مورد نظر شما را در چندین موتورجستجوگر ِ جستجو کرده و نتایج آنها را با هم ترکیب کرده و یک نتیجه کلی به شما ارائه میدهد. بهعنوان مثال موتور جستجوگر داگ پایل از نتایج حاصل از موتورهای Google - Yahoo - MSN و ASK استفاده کرده و نتیجه حاصله را به شما ارائه میدهد.لازم به ذکر است که روش و یا راهکار مشخص و یکسانی برای ترکیب نتایج حاصله از موتورهای پایه - موتورهایی که به عنوان موتور جستجوگر استفاده میشوند مانند Yahoo که یک موتور پایه برای dogpile میباشد - وجود ندارد.اما dogpile قابلیت جستجو به همه زبانها را ندارد و ظاهرا فقط کلمات انگلیسی را پیدا می کند
بررسی یک موتور جستجوی پیمایشی
موتورهای جستجوی پیمایشی شامل سه عنصر اصلی هستند. اولی در اصطلاح عنکبوت (Spider) است که پیمایشگر (Crawler) هم نامیده میشود. پیمایشگر همین که به یک صفحه میرسد، آن را میخواند و سپس پیوندهای آن به صفحات دیگر را دنبال مینماید. این چیزیست که برای یک سایت پیمایششده (Crawled) اتفاق افتاده است. پیمایشگر با یک روال منظم، مثلاً یک یا دو بار در ماه به سایت مراجعه میکند تا تغییرات موجود در آن را بیابد. هر چیزی که پیمایشگر بیابد به عنصر دوم یک موتور جستجو یعنی فهرست انتقال پیدا میکند. فهرست اغلب به کاتالوگی بزرگ اطلاق میشود که شامل لیستی از آنچه است که پیمایشگر یافته است. مانند کتاب عظیمی که فهرستی را از آنچه پیمایشگرها از صفحات وب یافتهاند، شامل شده است. هرگاه سایتی دچار تغییر شود، این فهرست نیز به روز خواهد شد. از زمانی که تغییری در صفحهای از سایت ایجاد شده تا هنگامی که آن تغییر در فهرست موتور جستجو ثبت شود مدت زمانی طول خواهد کشید. پس ممکن است که یک سایت پیمایششده باشد اما فهرستشده نباشد. تا زمانی که این فهرستبندی برای آن تغییر ثبت نشده باشد، نمیتوان انتظار داشت که در نتایج جستجو آن تغییر را ببینیم. نرمافزار موتور جستجو، سومین عنصر یک موتور جستجو است و به برنامهای اطلاق میشود که به صورت هوشمندانهای دادههای موجود در فهرست را دستهبندی کرده و آنها را بر اساس اهمیت طبقهبندی میکند تا نتیجه جستجو با کلمههای درخواست شده هر چه بیشتر منطبق و مربوط باشد.
رتبهبندی صفحات وب توسط موتورهای جستجو
وقتی شما از موتورهای جستجوی پیمایشی چیزی را برای جستجو درخواست مینمایید، تقریباً بلافاصله این جستجو از میان میلیونها صفحه صورت گرفته و مرتب میشود بطوریکه مربوطترین آنها نسبت به موضوع مورد درخواست شما رتبه بالاتری را احراز نماید. البته باید در نظر داشته باشید که موتورهای جستجو همواره نتایج درستی را به شما ارائه نخواهند داد و مسلماً صفحات نامربوطی را هم در نتیجه جستجو دریافت میکنید و گاهی اوقات مجبور هستید که جستجوی دقیقتری را برای آنچه میخواهید انجام دهید اما موتورهای جستجو کار حیرتانگیز دیگری نیز انجام میدهند. فرض کنید که شما به یک کتابدار مراجعه میکنید و از وی درباره «سفر» کتابی میخواهید. او برای این که جواب درستی به شما بدهد و کتاب مفیدی را به شما ارائه نماید با پرسیدن سؤالاتی از شما و با استفاده از تجارب خود کتاب مورد نظرتان را به شما تحویل خواهد داد. موتورهای جستجو همچنین توانایی ندارند اما به نوعی آنها را شبیهسازی میکنند. پس موتورهای جستجوی پیمایشی چگونه به پاسخ مورد نظرتان از میان میلیونها صفحه وب میرسند؟ آنها یک مجموعه از قوانین را دارند که الگوریتم نامیده میشود. الگوریتمهای مورد نظر برای هر موتور جستجویی خاص و تقریباً سری هستند اما به هر حال از قوانین زیر پیروی میکنند:
مکان و بسامد
یکی از قوانین اصلی در الگوریتمهای رتبهبندی موقعیت و بسامد (تعداد تکرار) واژههایی است که در صفحه مورد استفاده قرار گرفتهاند که بطور خلاصه روش مکان-بسامد (Location/Frequency Methode) نامیده میشود. کتابدار مذکور را به خاطر میآورِد؟ لازم است که او کتابهای در رابطه با واژه «سفر» را طبق درخواست شما بیابد. او در وحله اول احساس میکند که شما به دنبال کتابهایی هستید که در نامشان کلمه «سفر» را شامل شوند. موتورهای جستجو هم دقیقاً همان کار را انجام میدهند. آنها هم صفحاتی را برایتان فهرست میکنند که در برچسب عنوان (Title) موجود در کد زبان نشانهگذاری اَبَرمتنی (زنگام) (HTML) حاوی واژه «سفر» باشند. موتورهای جستجو همچنین به دنبال واژه مورد نظر در بالای صفحات و یا در آغاز بندها (پاراگرافها) هستند. آنها فرض میکنند که صفحاتی که حاوی آن واژه در بالای خود و یا در آغاز بندها و عناوین باشند به نتیجه مورد نظر شما مربوطتر هستند. بسامد عامل بزرگ و مهم دیگری است که موتورهای جستجو از طریق آن صفحات مربوط را شناسایی مینمایند. موتورهای جستجو صفحات را تجزیه کرده و با توجه به تکرار واژهای در صفحه متوجه میشوند که آن واژه نسبت به دیگر واژهها اهمیت بیشتری در آن صفحه دارد و آن صفحه را در درجه بالاتری نسبت به صفحات دیگر قرار میدهند.
چگونگی کارکرد دقیق موتورهای جستجو درباره روشهایی از قبیل مکان-تکرار فاش نمیشود و هر موتور جستجویی روش خاص خود را دنبال میکند. به همین دلیل است که وقتی شما واژههای همانندی را در موتورهای متفاوت جستجو میکنید، به نتایج متفاوتی میرسید. الگوریتمهای اولیه موتورهای جستجوی معتبر و بزرگ همچنان محرمانه نگهداری می شوند. برخی موتورهای جستجو نسبت به برخی دیگر صفحات بیشتری را فهرست کردهاند. نتیجه این خواهد شد که هیچ موتور جستجویی نتیجه جستجوی مشترکی با موتور دیگر نخواهد داشت و شما نتایج متفاوتی را از آنها دریافت میکنید. موتورهای جستجو همچنین ممکن است که برخی از صفحات را از فهرست خود حذف کنند البته به شرطی که آن صفحات با هرزنامه (Spam) شدن سعی در گول زدن موتورهای جستجو داشته باشند. فرستادن هرزنامه (Spamming) روشی است که برخی از صفحات برای احراز رتبه بالاتر در موتورهای جستجو در پیش میگیرند و آن به این صورت است که با تکرار بیش از حد واژهها و یا بزرگ نوشتن یا بسیار ریز نوشتن متنها بطور عمدی کوشش در بر هم زدن تعادل و در نتیجه فریب موتورهای جستجو دارند. آنها سعی دارند که با افزایش عامل تکرار، در رتبه بالاتری قرار بگیرند. البته آنگونه که گفته شد تعداد تکرارها اگر از حد و اندازه خاصی فراتر رود نتیجه معکوس میدهد. موتورهای جستجو راههای متنوعی برای جلوگیری از فرستادن هرزنامه دارند و در این راه از گزارشهای کاربران خود نیز بهره میبرند. امروزه بهینهسازی سایتهای اینترنت برای موتورهای جستجو یکی از مهمترین روشهای جلب بازدیدکننده به سایت است.
عوامل خارج از صفحه