Evet büyük, ama ne kadar büyük? Google, İnternetin 1 trilyon siteden oluştuğunu söylüyor…

   İnternetin, üniversite görevlileri ve askeri çalışanlar dışında normal insanların da kullanabildiği ticari İnternetin doğum tarihi 6 Ağustos 1991. Google’ın ilk oluşturduğu indeks 28 milyon, yıllardan ise 1998. İnternetin büyüyüşünün matematiksel bir ivme göstermediğini düşünürsek mantıklı bir miktar. Google’ın minik robot örümcekleri, 2000 yılında 1 milyar siteyi indekslemiş durumdaydı. Google, kendi blog’unda 1 trilyon adresi indekslediğini açıkladı.

   Bu hesabı nasıl yapıyorlar? Bir siteyi izleyen robot yazılımlar, sitedeki bütün linklere ışınlanıyorlar. Işınlandıkları sitedeki linkler, oradan o sitenin linkleri derken programcıklar Web’i didik didik edip duruyor. Bu işi, googlebot denen örümcekler yapıyor. Googlebot’lar’ın formları doldurup sonuç sayfasını indeksledikleri bile oluyor.