Veri Tarama

Veri tarama (data crawling) nedir?
Veri tarama, bir web sitesindeki ya da web genelindeki sayfaların otomatik olarak keşfedilmesidir: crawler bir başlangıç URL kümesinden yola çıkar, bulduğu bağlantıları izler ve nelerin var olduğuna dair bir harita çıkarır. E-ticarette bu harita genellikle bir perakendecinin tüm kataloğudur — her kategori, sayfalanmış her liste, her ürün URL'i — ve yeni eklenen ya da yayından kaldırılan ürünlerin yakalanması için düzenli aralıklarla yenilenir.

Veri tarama ile veri kazıma farkı. İki terim çoğu zaman birbirinin yerine kullanılır, ama aynı hattın iki ayrı yarısını adlandırır. Tarama hangi sayfaların var olduğunu, kazıma ise o sayfalarda ne olduğunu yanıtlar. Bir fiyat takibi çalışması önce rakibin kategori ağacını tarayarak 40.000 ürün URL'i keşfeder, ardından her birinden fiyat, stok ve kampanya alanlarını kazır. Tarama adımı atlanırsa yalnızca zaten bilinen ürünler izlenir. Ayrım veri tarama ve veri kazıma arasındaki fark yazısında ayrıntılı ele alınıyor.

Ölçekte veri tarama büyük ölçüde bir ölçülülük ve kayıt tutma işidir: robots.txt'ye uymak, hedef sitenin performansını düşürmeyecek biçimde istek hızını kısmak, yalnızca izleme parametresiyle ayrışan URL'leri tekilleştirmek, sayfalama ve sonsuz kaydırmayı ele almak ve bir sonraki turun öncelik verebilmesi için son geçişten bu yana hangi sayfaların değiştiğini kaydetmek.