تاریخچه جستجو گرها:

در اولین روزهای گسترش اینترنت، کاربران آن آزادی عملی کمی داشتند و مقدار اطلاعات آن نیز نسبتا کم بود. بیشتر دسترسی به اینترنت توسط کارکنان دانشگاهها و آزمایشگاه ها بود که از آن به منظور دستیابی به اطلاعات علمی استفاده می کردند. در آن روزها مشکل یافتن اطلاعات در اینترنت به اندازه امروز بحرانی نبود. دایرکتوریها یکی از اولین شیوه هایی بودند که دسترسی به منابع اطلاعات در شبکه را آسان می نمودند. در دایرکتوریها منابع اطلاعاتی بر اساس موضوع طبقه بندی شده بودند. یاهو که اولین پروژه در این زمینه به حساب می آید در آوریل 1994 شروع به کار کرد. زمانی که تعداد سایتها در دایرکتوری یاهو افزایش پیدا کرد، توسعه دهندگان یاهو قابلیت جستجو را به دایرکتوری خود افزودند. البته این قابلیت جستجو یک موتور جستجو در شکل واقعی خود نبود زیرا جستجو به منابعی که در دایرکتوری یاهوثبت شده بودند محدود می شد. امروزه دایرکتویها به نسبت گذشته محبوبیت خود را از دست داده اند. دلیل آن ساده است. حتی مدرن ترین دایرکتوری با منابع بسیار تنها اطلاعات بخش کوچکی از اینترنت را می توانند ارائه کنند. برای مثال، بزرگترین دایرکتوری موجود در اینترنت در حال حاضر DMOZ می باشد. این دایرکتوری شامل اطلاعات حدود 5 میلیون منبع می باشد. حالا آن را با بانک اطلاعاتی گوگل که شامل بیش از 8 میلیارد سند می باشد مقایسه کنید. پروژه web crawler (خزنده وب) که در سال 1994 آغاز شد اولین موتور جستجو با ویژگیهای کامل بود. موتورهای جستجوی lycos و Altavista در سال 1995 پدیدار شدند و برای سالها Altavista مهمترین نقش آفرین در این زمینه بود. در سال 1997 sergeyBrin و larrypage، گوگل را به عنوان یک پروژه تحقیقاتی در دانشگاه استنفورد خلق کردند. گوگل هم اکنون محبوبترین موتور جستجو در جهان می باشد. هم اکنون مهمترین موتورهای جستجو گوگل و یاهو و MSN می باشند. هر کدام از آنها بانک اطلاعاتی و الگوریتم ها جستجوی خاص خودشان را دارند. و بیشتر موتورهای جستجوی دیگر از نتایج سازماندهی شده این سه موتور اصلی استفاده می کنند. برای مثال موتور جستجوی AOL از بانک اطلاعاتی گوگل استفاده می کند در حالیکه Altavista و lycos از بانک اطلاعاتی یاهو استفاده می نمایند.