مقاله جستجوی پیشرفته در اینترنت(رایگان)

نام پروژه :جستجوی پیشرفته در اینترنتجستجوی پیشرفته در اینترنت

حجم : 1.05 کيلو بايت
دسته بندي : مهندسی کامپیوتر
فرمت : WORD
صفحات :29

قيمت : رايگان
رمز فايل: bazar4h.ir
منبع : بازارچه تحقيقاتي

فهرست مطالب

ماشین جستجو گر چگونه کار می کند؟
محتويات ماشين جستجوگر
وجوه تمايز ماشين هاي جستجوگر
روشهای ارائه نتایج
نحوه رتبه بندی اسناد وب
آموزش جستجو در شبکه اینترنت
معرفی مهمترین موتورهای جستجو
ارزیابی عملکرد موتورهای جستجو

 

بخشی از مقاله(شما می توانید کل مقاله را در لینک بالا دانلود کنید)

مقدمه:
كاربري كه وارد اينترنت مي شود با تنوع رنگارنگ و چشم گيري از سايت هاي متنوع روبرو مي شود و با هيجان و علاقه با موس خود بر لينكهاي جذاب اشاره مي كند تا سايت هاي جديدتر و جالب تر كشف كند…. اما اين طراح يا مدير سايت است كه با زحمت و هزينه آن را طراحي و برنامه نويسي كرده، بر اينترنت نصب نموده و حال مشتاقانه به انتظار نشسته تا كاربران و يا در واقع مشتريان احتمالي، با كليك هاي تصادفي خود وارد سايت او شوند.
اما دليلي ندارد كه اين انتظار بطور انفعالي و يا با توسل به دعا و نذر بگذرد، زيرا نكات و ريزه كاريهاي زيادي است كه به مديران وب سايت امكان آن را مي دهد در بازار پر رقيب اينترنت سايت خود را عرضه و ارتقاء دهند و پايه و زير بناي اعمال اين گونه ريزه كاريها، دانشي عميق و كارا از طرز جستجوي ماشين هاي جستجوگر كه ابزار اصلي هر كاربر اينترنت به مشار مي روند، است.

مباحثي عميق تر در باب جستجو در اينترنت
اگر چه مبحث جستجو در اينترنت از نظر مفهومي ساده به نظر مي رسد،‌ اما در عمل به وسعت و پيچيدگي شبكه اينترنت، مسائل و معضلات خاص خود را به همراه دارد. اگاهي از اين مسائل براي كساني كه به طور جدي خواهان استفاده از اينترنت هستند (يعني مثلا مي خواهند براي خود وب سايتي را – حقوقي يا حقيقي- نصب و از آن به عنوان يك ابزار قوي اطلاع رساني استفاده كنند) واقعا لازم است. امروزه ديگر فقط حضور داشتن در اينترنت و نصب يك وب سايت اطلاعات كافي نيست بلكه بايد سعي كرد به طور فعالانه مخاطبين و يا در حقيقت بازديدكنندگان بيشتري را به وب سايت خود جذب نمود. ارائه اطلاعات در اينترنت تنها زماني مفيد است كه كاربران و جستجوگران و محققان اينترنت از وجود اين اطلاعات، اگاه، و حاضر باشند وقت و منابع كامپيوتري خود را صرف بازديد از وب سايت حاوي آن اطلاعات نمايند. روشهاي گوناگون ارتقاء وب سايت در شبكه اينترنت مساله اي است كه هم اكنون ذهن و قواي بسياري از متخصصين اينترنت را مشغول كرده است زيرا امروزه ديگر در اين مورد كه اينترنت يك رسانه بسيار قوي اطلاع رساني است ترديدي وجود ندارد بلكه مساله اصلي، آن است كه چگونه مي توان با ايجاد استراتژيهاي موثرتر براي انجام جستجوهاي بهينه و سريع، اطلاعات موجود در وب سايتها را به بهترين نحو ارائه داد. يك شركت، دانشگاه، تاجر، محقق، كتابخانه، خطاط و يا نمايشگاه به راحتي مي تواند با صرف هزينه اي مشخص وب سايتي براي خود طرح و در اينترنت نصب نموده و ظرفيت هاي خدماتي و توليداتي خود را معرفي كند اما چگونه مي تواند مطمئن باشد كه تمام مخاطبيني كه ممكن است اين وب سايت برايشان جالب باشد از وجود آن آگاهي پيدا كرده و از آن بازديد به عمل مي آورند و در نهايت خدمات آنها را بر مي گزينند؟ اهميت اين سئوال هنگامي روشن مي شود كه انبوه وب سايتهاي متنوع و رقيب دراينترنت را به خاطر بياوريم.
در چنين بازار آشفته اي كه هيچ معياري براي ارزيابي جز سليقه شخصي بر آن حكمفرما نيست، لازم است هر كس كه مي خواهد به نحوي نامش در اينترنت مطرح شود نكات و راهنمايي هاي تكنيكي و منطقي خاصي را به كار بندد تا تلاش او براي عرضه اطلاعات بي نتيجه نماند و بهترين بازدهي را برايش داشته باشد.
گرافيستي را در نظر بگيريد كه براي خود يك وب سايت طرح و در اينترنت نصب كرده باشد. اين وب سايت ممكن است شامل نمونه هايي از كار خود، اطلاعات تماس، تخصص هاي ويژه و مسائل مربوط ديگر باشد. آنچه براي اين گرافيست اهميت دارد اين است كه، كسي که به دنبال خدمات گرافيكي مي گردد بتواند زودتر به وب سايت او برسد. به عبارت ديگر و عملي تر، هنگامي كه كسي عبارتي چون “خدمات گرافيكي” را به ماشين جستجوگر معتبي چون Alta Vista يا  Lycos وارد مي كند، سايت وي در فهرست نتايج حتما موجود باشد تا بدين ترتيب، ‌جوينده بتواند آن را مشاهده و انتخاب كند.
پس در واقع دو عامل اصلي در اجراي موثرتر و بهتر جستجوها دخيل هستند: اول ساختار خود ماشين جستجوگر (يعني اينكه اصولا نرم افزار آن چگونه كار مي كند و كدام سايتها را برمي گزيند.) و ديگري خود وب سايت، و اينكه از چه اصولي بايد پيروي كند تا در جستجوها مطرح شود و ترجيحا با يك رتبه بالا معرفي گردد.

ماشين جستجو گر چگونه كار مي كند؟
ماشين جستجوگر در حقيقت يك بانك اطلاعات از منابعي است كه طي يك فرآيند كاوشگرانه اتوماتيك از اينترنت استخراج شده اند. اين بانك، از طريق پرسشهاي كاربران قابل جستجو است؛ بدين ترتيب كه كلمات يا عباراتي كه كاربر در ناحيه مخصوص جستجو (Search Box) وارد مي كند با منابعي از بانك اطلاعات كه حاوي آن عبارات يا كلمات هستند تطبيق داده مي شوند. سپس اين منابع بر اساس ربطي كه با پرسش  كاربر مي توانند داشته باشد مرتب و ارائه مي شوند؛ به طوري كه سايت هايي كه احتمال داده مي شود ربط بيشتري دارند در ابتداي فهرست نتايج ظاهر مي شوند. به عبارت ساده تر، پس از آن كه ماشين جستجوگر با استفاده از عبارات وارد شده، سايت هايي را از بانك اطلاعات خود بازيابي نمود،‌ اين سايت ها را بر اساس یك الگوريتم خاص –كه مربوط بودن آن سايت را به عبارت كاربر تخمين مي زند- مرتب كرده و در قالب فهرست نتايج به كاربر باز مي گرداند. اما بايد توجه كرد كه رويه ها و عواملي كه اين رتبه بندي را تعيين مي كنند معمولا جزو اسرار شركت ها هستند و در نتيجه معمولا مشكل مي توان فهميد كه دقيقا چرا يك سايت در فهرست نتايج برتر ظاهر مي شود.

پيش بيني ربط
عواملي كه براي پيش بيني مربوط بودن يك سايت با عبارت جستجوي كاربر استفاده مي شود را مي توان به طور كلي به دو قسمت تقسيم كرد: عوامل دروني (يعني عواملي كه مربوط به صفحه وب مي شوند) و عوامل بيروني (يا عواملي كه خارج از صفحه وب هستند)

عوامل دروني
•    فراواني كلمات در سند موجود؛ يعني فهرستي از تمام كلماتي كه در سند به كار رفته اند و ميزان فراواني هر كلمه در سند.
•    محل كلمات مورد جستجو در سند؛‌ يعني اينكه كلمات كليدي و تعريف كننده در عنوان (title)، سرتيتر (heading)، پاورقي (footer) و … آمده اند يا خير.
•    خوشه بندي رابطه اي (Relation Clustering)؛ يعني اينكه چند صفحه از اين سايت حاوي كلمات مورد جستجو هستند.
•    طرح HTML سند؛‌ چگونگي فريم ها و لينك ها، سرعت انتقال، Metatags و ALT.

عوامل بيروني
هر ماشين جستجوگر از الگوريتم خاص خود با انديس بندي و امتياز دادن به صفحات وب استفاده مي كند و سعي مي كند كه با بهبود بخشيدن به اين فرمول، به جستجوگران، مربوط ترين نتايج را بازگرداند. در اين راستا عوامل مطرح شده ارزيابي مي شوند و با يكديگر تركيب مي شوند تا بهترين فرمول براي بازيافت بهترين نتايج پيدا شود. كساني كه تمايل دارند وب سايت آنها در زمره 20 سايت اولي كه يك ماشين بر ميگرداند باشد بايد با دقت اين عوامل را بررسي نمايند.
•    محبوبيت لينكي: هر چه لينك هاي بيشتري به يك سايت نشانه رفته باشند بدين معني است كه محبوبيت آن سايت بيشتر و در نتيجه رتبه آن بالاتر است.
•    محبوبيت كليكي: سايت هايي كه به لحاظ تعداد دفعات و مدت زمان بيشتر مورد بازديد عموم قرار گرفته باشند از محبوبيت بيشتر و در نتيجه رتبه بالاتري برخوردار هستند.
•    محبوبيت گروهي: با ردگيري مسيرهاي كليك قشرهاي خاص جامعه مشخص مي شود كه كدام گروه ها بيشتر از اين سايت بازديد مي كنند و در نتيجه رتبه سايت براي گروه هاي مورد جستجو كننده مختلف، متفاوت است.
•    پيوندهاي بازرگاني ميان شركتهاي خدماتي: يعني سايتهايي كه مربوط به شركاي بازرگاني و يا خدمات خاصي باشند رتبه هاي بالاتري دارند.
•    امكان كسب جايگاه در ازاي پول: بعضي ماشين هاي جستجوگر مي پذيرند كه در ازاي دريافت وجهي مشخص، سايت را در مرتبه بالاتري قرار دهند.
•    اسم URL: برخي ماشين هاي جستجوگر سايتي را كه URL آن حاوي كلمات كليدي مورد جستجو باشد را رتبه بالاتري مي دهند.

محتويات ماشين جستجوگر
محتويات يك ماشين جستجوگر در واقع همان بانك اطلاعات آن است. اما اين بانك اطلاعات چگونه تشكيل مي شود؟ ماشين هاي مختلف از روشها و تكنولوژيهاي مختلفي استفاده مي كنند و اين باعث مي شود كه اگر يك عبارت جستجو را در دو ماشين مختلف وارد كنيم با دو نتيجه متفاوت رو به رو بشويم. اين مساله ناشي از تفاوت در برنامه ريزي نرم افزارهايي است كه ماشين هاي جستجوگر براي گزينش و بازيابي اطلاعات از آنها استفاده مي كنند.
اما به طور كلي همه ماشين هاي جستجوگر از سه قسمت مجزا تشكيل شده اند:
قسمت اول «عنكبوت» (spider) نام دارد. عنكبوت نرم افزاري است كه يك صفحه وب را ملاقات مي كند، آن را مي خواند و لينك هاي به صفحات ديگر را دنبال مي كند. به اين كار اصطلاحا كاوش مي گويند. عنكبوت به طور منظم، مثلا هر ماه يا دو ماه يكبار مجددا به سايتها و فضاي وب سر مي زند. به عنكبوتها، كاوشگر و روبات نيز مي گويند. اين روبات ها مثل تمام بازديدكنندگان ديگر در «كارنامه دسترسي» سايت ثبت مي شوند (بدين معني كه روبات از آن سايت ديدن كرده است). بر طبق همين كارنامه است كه مي توان متوجه شد يك ماشين جستجوگر از سايت بازديد كرده است يا خير.
البته بايد توجه كرد كه عنكبوتها نيز اسامي خاص خودشان را دارند و در اينجا، فهرست كوتاهي از اسامي عنكبوتهاي معروف ترين ماشين ها ذكر گرديده است. با مشاهده اين اسامي در كارنامه دسترسي وب سايت، مي توان فهميد كه آيا ماشين جستجوگر، آن وب سايت را تا به حال بازديد كرده است يا خير.
AltaVista            Scooter
HotBot            Slurp
Netscape            Mozilla
InfoSeek            Infoseek Sidewinder /0.9
WebCrawler            Robot libwww /5.0
در سايت Market ware (با آدرس www.marketware.com) ابزاري عرضه شده كه براي تحليل كارنامه دسترسي و گرفتن اطلاعاتي كامل تر در مورد بازديد عنكبوتها از يك محل، قابل استفاده است. با اين ابزار حتي مي توان فهميد كه جويندگان از كدام كلمات كليدي براي جستجوهاي خود استفاده مي كنند.
هر چند كه از نظر طراحان و صاحبان وب سايت، عنكبوت مهم ترين قسمت ماشين جستجو گر است، اما هر ماشين دو قسمت اصلي ديگر نيز دارد:
تمام اطلاعاتي كه عنكبوت مي يابد وارد قسمت دوم ماشين جستجوگر، يعني انديس (index)   مي شود. انديس يا كاتالوگ مثل كتاب بزرگي است كه صفحات آن كپي همان صفحه- وب هايي است كه عنكبوت بازديد كرده. اگر صفحه وبي عوض شود، اين كتاب نيز تغيير مي كند.
بعضي وقتها بين زمان يافت شدن يك صفحه توسط عنكبوت و اضافه شدن آن به انديس، فاصله اي مي افتد. به عبارت ديگر، ممكن است عنكبوت از يك صفحه بازديد كرده باشد، اما هنوز آن صفحه به انديس وارد نشده باشد. تا زماني كه صفحه به انديس نرفته باشد، مورد جستجو و بازيابي قرار نخواهد گرفت.
سومين قسمت ماشين، نرم افزار جستجوگر آن است. اين برنامه قادر است ميليونها صفحه اي كه در انديس وجود دارد را گشته و موارد هماهنگ با كلمات جستجو را بيابد و آنها را بر اساس موارد هماهنگ با كلمات جستجو را بيابد و آنها را بر اساس الگوريتم خاص خود، رتبه بندي نمايد.

وجوه تمايز ماشين هاي جستجوگر
دو عامل مهمي كه كيفيت يك ماشين را تعيين مي كنند، «وسعت» و «عمق» جستجو هستند:
وسعت: منظور از وسعت، محدوده جغرافيايي اينترنت است كه مورد جستجو قرار مي گيرد. به طور كلي سه رده جغرافيايي براي جستجو وجود دارد : 1- سرورهايي كه در كشور مبدا ماشين جستجوگر وجود دارند. 2-سرورهايي از تمام قاره 3-سرورهايي از تمام دنيا
عمق: منظور از عمق ماشين اين است كه چه مقدار از سايت بازيابي شده در اختيار كاربر قرار مي گيرد. اين موضوع مي تواند چند سطح به ترتيب زير از حداقل تا حداكثر را در بر بگيرد:
•    فقط URL (http://…)
•    عنوان (title)
•    سر تيتر اول
•    اولين 200 كلمه ابتدايي
•    متن كامل سند
•    متن كامل به همراه برخي از لينك هاي اتصالي آن
•    متن كامل به همراه تمام لينك هاي اتصالي آن

جستجو بر اساس موقعيت كلمه در سند
برخي ماشين ها به جوينده اين امكان را مي دهند كه محل مورد جستجو در سند درخواستي را تعيين كند. اين ويژگي بسيار مفيدي است زيرا از يك طرف به كارگيري صحيح آن باعث مي شود كه نتايج متمركزتر و مربوط تري بازيافت شود و از طرف ديگر، تهيه كنندگان صفحه وب مي توانند با جاسازي دقيق كلمات كليدي، احتمال بازيابي صفحه وب خود را افزايش دهند. به عنوان مثال، با محدود كردن جستجو به اسنادي كه عبارت مورد جستجو را در عنوان (title) خود دارند يقينا نتايج بهتري عايد شما خواهد شد.
هر سند از اجزايي تشكيل شده كه هر كدام مي توانند به عنوان محل جستجو مورد استفاده قرار بگيرند. البته بايد دقت كرد، زيرا هر ماشين جستجوگر روش خاص خود را براي انجام جستجو دارد و ممكن است همه اين اجزا اساسا قابل جستجو نباشد. اجزا تشكيل دهنده سند عبارتند از:
–    URL
–    عنوان
–    قلمرو يا كشور
–    سرور اينترنتي
–    لينك
–    تصوير
با توجه به اين توضيحات، مي توانيد جستجويي را آغاز كنيد كه در آن عبارت «lit» در URL آن قيد شده باشد. چنين جستجويي ممكن است وب سايتي با آدرس www.literary.com را برگرداند يا مي توانيد جستجوهايي را انجام دهيد كه قلمرو يا كشور وب سايت را قيد كرده باشد مثلا سايتهاي كه مربوط به كشور انگلستان هستند، قلمرو آنها .uk است. با توجه به اين امر، به صاحبان وب سايت ها توصيه مي شود كه حتي المقدور اسامي و عناوين مربوط و با مسمايي براي وب سايت خود برگزينند.
از ديگر امكاناتي كه ماشين هاي جستجوگر مختلف ارائه مي دهند، امكان محدود كردن جستجو بنابر «تاريخ سند» است. اين امكان براي كساني كه به دنبال جديدترين اخبار، پيرامون موضوعي خاص يا اخبار مربوط به زماني مشخص هستند بسيار مفيد است. اما بايد به مفهوم «تاريخ»  دقت كرد، زيرا تاريخي كه در يك سند وب مشاهده مي شود ممكن است يكي از چند معني زير را داشته باشد:
–    تاريخي كه آن سند ساخته شده
–    تاريخي كه در سرور قرار گرفته
–    آخرين باري كه تغيير داده شده
–    تاريخي كه به بانك اطلاعات ماشين جستجوگر اضافه شده

جستجو بر اساس نوع فايل
در بعضي ماشين هاي جستجوگر اين امكان وجود دارد كه جستجو بر اساس نوع فايل يا رسانه پايه ريزي شود. اين بدين معني است كه جوينده مي تواند نوع فايل درخواستي خود را در بدو جستجو مشخص كند. فايل هاي مختلفي در اينترنت وجود دارند كه از جمله رايج ترين آنها عبارتند از:
–    تصاوير (فايلهايي با پسوند jpg، gif و …)
–    فايلهاي صوتي و تصويري
–    فايلهاي MP3
–    آكروبات
–    جاوا

روشهاي ارائه نتايج
نحوه ارائه فهرست نتايج و نوع اطلاعات داده شده در آن، در هر ماشين، شكل خاص خود را دارد، اما اغلب ماشين ها به كاربر اين امكان را مي دهند كه نحوه ارائه نتايج را تا حدي كنترل كنند تا بتوانند آن را حتي المقدور به شكل مطلوب خود مشاهده كنند. اين كنترل به طرق زير انجام پذير است:

دسته بندي نتايج
برخي ماشين ها براي آنكه بتوانند تعداد بيشتري وب سايت در فهرست نتيجه نشان دهند، تمام صفحات مربوط به يك سايت را تحت يك عنوان، جمع كرده و فقط يكي از آنها را نشان مي دهند. براي مشاهده بقيه صفحات مربوط به آن سايت معمولا لينكي تحت عنوان More from this site وجود دارد كه با كليك روي آن ظاهر مي شوند.

بازيابي از ساير صفحات مشابه
در بعضي ماشين ها مي توان صفحات شبيه به صفحات موجود در فهرست نتايج را بازيابي كرد. براي اين منظور، معمولا لينكي تحت عنوان More like this وجود دارد كه با كليك روي آن، صفحات مشابه ديگر ظاهر خواهند شد.

جستجو در فهرست نتايج
“Search Within these results” يك ويژگي براي متمركز كردن فهرست نتايج است. با اين ويژگي، مي توان جستجوي دومي را درون فهرست نتجه اي كه حاصل جستجوي اول بوده، انجام داد.
فرض كنيد جوينده اي عبارتي چون “modern art” را وارد يك ماشين جستجوگر كرده باشد. چنين عبارتي كه بسيار كلي است ممكن است چند ميليون سايت در فهرست نتايج معرفي نمايد. با استفاده از امكان فوق، مي توان اين فهرست وسيع را كوچك تر نمود. وارد كردن يك عبارت جستجوي ديگر، مثلا Ancdy” Warhol” يا “France” باعث مي شود تمام سايت هاي بازيابي شده از جستجوي اول براي يافتن اين كلمات مورد جستجو قرار بگيرند.

توصيف سايت هاي پيدا شده
با توجه به افزايش حجم اطلاعات در اينترنت، يك بررسي اجمالي و كوتاه سايت، قبل از ورود به آن مي تواند در صرفه جويي در وقت و رسيدن به اطلاعات صحيح بسيار مفيد باشد. معمولا در فهرست نتايج فقط چند كلمه اول سايتهاي بازيافت شده نمايش داده مي شوند و به سختي مي توان كيفيت و ارزش يك سايت را از اين چند كلمه فهميد. لذا بسياري از ماشين هاي جستجوگر اين امكان را به جويندگان مي دهند كه ميزان توصيفات سايت ها را به اختيار خود تنظيم كنند،‌ كه البته چنين امري روي تعداد سايت هايي كه در هر صفحه از فهرست نتايج قابل ارائه هستند تاثير خواهد گذاشت.

نحوه رتبه بندي اسناد وب توسط ماشين هاي جستجوگر
معمولا در فهرست نتايجي كه در پايان جستجو ارائه مي شود، تعدادي وب سايت كاملا بي ربط به موضوع وجود خواهد داشت و اين تعداد شايد كم هم نباشد. اما اين مساله، كاملا هم تقصير ماشين جستجوگر نيست. فرض كنيد وارد كتابخانه اي بشويد و از كتابدار بخواهيد كتابهاي مربوط به مسافرت را به شما معرفي كند. طبيعي است كه او عكس العمل جالبي نخواهد داشت، و بايد در نظر گرفت كه ماشين جستجوگر، برخلاف كتابدار قادر نيست با چند سئوال، محدوده جستجو را مشخص تر سازد‌، اگرچه امروزه عوامل هوشمند در اين راه نيز قدم گذاشته اند اما در حال حاضر فقط چند قاعده از پيش تعيين شده وجود دارد كه به نكات اصلي آنها در بالا اشاره شد و در ادامه به توضيح دقيق تر اين نكات مي پردازيم.

راههاي هل دادن صفحه وب به رده هاي بالاتر
اين موضوع هميشه ذهن صاحبان وب سايت را مشغول كرده كه جويندگان معمولا فقط 10 سايت اولي را از زير نظر مي گذرانند و غالبا ميان همان 10 سايت اول يكي را برمي گزينند بنابراين همه مي خواهند جزو 10 سايت اول باشند، زيرا گرفتن رتبه 11 به بالا بدين معني است كه وب سايت در صفحه اول فهرست نتايج، نمايش داده نمي شود و از نظرها دور مي ماند.
در اين ميان، كلمات كليدي از اهميت بسيار حياتي برخوردارند. ماشين هاي جستجوگر تاكيد بسياري روي «محل» و «دفعات تكرار» اين كلمات دارد. پس لازم است كه صاحبان و طراحان وب بر اين موضوع تاملي كنند تا بتوانند رتبه اي كه نمايانگر ارزش واقعي سايت شان باشد را به دست آورند.
 انتخاب كلمات كليدي مهم
فكر مي كنيد جويندگان، چگونه به دنبال صفحه وب شما مي گردند؟ كلماتي را كه تصور مي كنيد آنها وارد ناحيه جستجو مي كنند،‌ كلمات كليدي استراتژيك شما هستند.
معمولا كلمات كليدي استراتژيك بايد بيشتر از دو كلمه باشند، زيرا صفحات وب بسيار زيادي هستند كه فقط در حد يك يا دو كلمه قابل تعريف هستند و همه اين صفحات، رقيب صفحه شما محسوب مي شوند. هر چقدر رقابت بيشتر باشد طبيعتا احتمال موفقيت در ماشين جستجوگر كمتر مي شود اما با انتخاب كلمات كليدي طولاني تر و مشخص تر، مي توان ضريب اين احتمال را افزايش داد.

    مكان و تكرار كلمات كليدي- دو عامل اصلي
به طور كلي مي توان گفت كه قاعده اصلي براي تعيين رتبه يك صفحه، مكان و ميزان تكرار كلمات كليدي آن است.
در مثال كتابدار،‌ همان طور كه منطقي به نظر مي رسد كه او براي آوردن كتابي در مورد «مسافرت» در مرحله اول به كتابهايي مراجعه كند كه لغت «مسافرت» يا «سفر» در عنوان آن به كار رفته باشد، يك ماشين جستجوگر هم معمولا ابتدا عنوان (title) يك سند را چك مي كند، با اين فرض كه عنواني كه حاوي عبارت جستجو باشد، حتما به نوعي مربوط تر به خواسته جوينده است. در مرحله بعدي، خطوط اول صفحه و سرتيتر آن (heading) مورد جستجو قرار مي گيرند. در اينجا فرض بر اين است كه اگر سندي مربوط به عبارت جستجو باشد، از همان ابتداي صفحه آن را مطرح مي كتد.
يكي از دلايل اصلي پايين بودن رتبه صفحات در عين مربوط و موجه بودن آنها اين است كه اين صفحات، كلمات كليدي استراتژيك را در عنوان صفحه به كار نبرده اند. به جرات مي توان گفت كه عنوان صفحه، مهمترين محل براي جادادن كلمات كليدي است. ماشين هاي جستجوگر عموما صفحاتي را ترجيح مي دهند كه كلمات كليدي در قسمتهاي اول يا بالاي آن ظاهر شده باشند. بنابراين، فقط درج كلمات كليدي در عنوان كافي نيست و حتي الامكان بايد آنها را در سر تيتر (heading) و پاراگرافهاي اول صفحه نيز شامل كرد. در برخي سايت ها با عناوين بزرگي روبه رو مي شويم كه فرمت گرافيكي دارند، اين گونه صفحات اگر چه ظاهري جذاب دارند ولي ماشين جستجوگر قادر به خواندن گرافيك نيست.
ميزان تكرار، عامل اصلي ديگري است كه چگونگي رتبه بندي از نظر ماشين جستجوگر را تعيين مي كند. يك ماشين جستجوگر، صفحه وب را تحليل مي كند تا دريابد كلمات كليدي نسبت به كلمات ديگر چه مقدار تكرار مي شوند، و صفحاتي كه كلمات كليدي در آنها بيشتر شده باشند، مربوط تر فرض مي شوند. به عنوان يك اصل كلي، بايد سعي كنيد كه تا حد ممكن، از متون HTML استفاده كنيد. به علاوه بايد مطمئن شويد كه متن HTML قابل رويت باشد. برخي طراحان سعي مي كنند با تكرار بيش از حد كلمات كليدي با يك قلم بسيار ريز و يا همرنگ با رنگ زمينه، مشاين جستجوگر را فريب دهند اما امروزه ماشين ها به اين گونه شگردها هوشيار شده اند و مي توانند در برابر آنها واكنش نشان دهند به طوري كه اگر متني در مرورگر، قابل رويت نباشد به احتمال قوي توسط ماشين جستجوگر انديس نمي شود.

    محبوبيت لينكي
ماشين جستجوگر Excite، جستجوهاي مفهومي بسيار قدرتمندي انجام مي دهد. Excite، سايتي را كه لينك هاي بيشتري به آن اشاره مي كنند را رتبه بالاتري مي دهد، زيرا فرض مي كند صفحه اي كه داراي لينك هاي زيادي است و افراد متعددي با آن  پيوند برقرار كرده اند، احتمالا از اعتبار بيشتري برخوردار خواهد بود.