نظر در مورد نحوه کار Google
 

من یه مسئله ای برام پیش اومده و اینه که به نظر من این جستجوی سریع گوگل و آماری که میده که مثلا این تعداد رکورد در فلان زمان پیدا شد نمی تونه واقعی باشه.حالا اینو رو چه حسابی می گم؟ بعضی وقتها که یه کلمه کلیدی رو جستجو می کنی گوگل پایین صفحه مثلا 10 تا ایندکس صفحه نشون می ده اما وقتی وارد صفحه مثلا 2 می شی بقیه شماره ها حذف می شه و پایان جستجو رو در همین صفحه اعلام میکنه. نظر من اینه که گوگل فقط صفحه اول رو جستجو می کنه و نتایج اون رو سریع نشون می ده و بقیه صفحات رو در پس زمینه وقتی کاربر مشغول بررسی نتایج صفحه هست انجام می ده. نمی دونم این حدس درسته یا نه اما می خوام بدونم نظر بقیه اعضای انجمن راجع به این موضوع چیه.
:)

خوب در بحث Indexing مقالات خيلي زيادي هست. حرف شما تا حدودي درست هست اما كاملا نه.
هيچ كدام از Search Engine هاي بزرگ وقتي شما سرچ مي كنيد عمليات اصلي سرچ رو انجام نميدن. يعني مثلا شما كلمه ي "هوش مصنوعي" رو سرچ مي كنيد گوگل نمياد از ركورد هايي كه در بانك اطلاعاتيش داره Query بگيره در اون لحظه! در اين صورت امكان نداره در اون زمان بسيار كم بين اون تعداد بسيار بسيار زياد ركورد Query بگيره. در نتيجه از Caching استفاده مي كنه كه حتي در خيلي سايت هاي كوچك مقياس هم از اين سيستم استفاده مي شه.
يعني براي اكثر كلمات كليدي نتيجه ي آماده اي از قبل تعيين شده و صفحه اي كه شما مي بينيد تقريباً يك صفحه ي Static هست. اين صفحات بر حسب تعداد درخواست اون واژه ي جستجو بروزرساني ميشن.
مثلاً عبارتي مثل "Download" يا عباراتي كه مربوط به اخبار مي شن خيلي سريع تر Cache شون بروزرساني ميشه.
براي اينكه بهتر به اين نكته پي ببريد كلمه اي رو جستجو كنيد كه خيلي دور از ذهن باشه و فكر مي كنيد تا به حال كسي سرچ نكرده و زمان رو نگاه كنيد. مي بينيد زمان خيلي بيشتري رو نشون مي ده و دليلش هم اين هست كه Cache براي اون عبارت جستجو نداشته. يا صفحات 100 به بالاي هر عبارت زمان بيشتري نسبت به صفحه ي اول نشون مي دن.
دليل كم شدن نتايج وقتي به صفحه ي 2 مي رويد هم شايد همين باشه. چون صفحه ي اول در يك زمان Cache شده و صفحه ي دوم در زمان ديگر (يا اصلاً Cache نشده). ممكن هست در زماني كه صفحه ي اول Cache شده بوده نتايج بيشتري براي اين عبارت وجود داشته.
بعضي اوقات بايد از خيلي دقيق بودن بگذريم چون سرعت ممكنه اهميت بيشتري داشته باشه.

احتمالا یک سری معیار باید داشته باشه که صفحات رو بر اساس اونها درجه بندی می‌کنه. احتمالا cache برای گوگل مسئله‌ای نیست. پس در نهایت کل سایت‌هایی که کلمه‌های مورد نظر رو دارند بر اساس رنکشون لیست می‌کنه. ولی وقته به صفحه‌ای رسیدین که ممکنه بر اساس معیارشون خیلی از هدف مورد نظر دور باشه، پیغامی که نوشتین رو نشودن می‌ده.
در ضمن به نظر نمی‌رسه که حتما نیاز به ذخیره کردن کل صفحه داشته باشند. فقط ایندکسه براشون مهمه.