CNC Turkey

Bilgisayar ve Teknoloji => Bilgisayar-Genel => Network ve Güvenlik => Konuyu başlatan: cncturk - Ekim 18, 2008, 09:23:28 ÖÖ

Başlık: İnternet Örümcekleri
Gönderen: cncturk - Ekim 18, 2008, 09:23:28 ÖÖ
Şu bahsi geçen arama motorlarına endeksli çalıştığını düşündüğüm örümceklerle alakalı bilgisi olan varsa kısaca paylaşabilirmi?
Başlık: Ynt: İnternet Örümcekleri
Gönderen: pinacoloda - Nisan 27, 2009, 01:50:19 ÖS
örümcek ne ya ilk defa duydum solucan torojan tamamda bu ilk :D
Başlık: Ynt: İnternet Örümcekleri
Gönderen: cncturk - Nisan 27, 2009, 08:13:06 ÖS
bu konu ile ilgili şu ufak bilgiyi buldum umarım kapıyı aralar  ;)

Bir blogunuz varsa ve/veya içerik üreten herhangi bir siteye sahipseniz bu siteniz büyük ihtimalle örümcekler (bot) tarafından ziyaret ediliyordur. Özellikle arama motorları sayfalarınız indekslemek için bu yöntemi kullanıyorlar. Örnek olarak Google’ın örümceği Googlebot periyodik olarak sitenizi ziyaret ediyordur. Bu aslında iyi bir şey. Bu örümceklere yardımcı olmak amacı ile de robots.txt adlı bir dosya kullanılır.
Başlık: Ynt: İnternet Örümcekleri
Gönderen: efemak - Şubat 20, 2014, 11:21:07 ÖÖ
robots.txt bir site çok önemlidir. örneklerini internette bulabilirsiniz. arama motorlarına üstte çıkmak için mutlaka bulunması gerekir.