Fiyat Kazıma (Price Scraping) Nedir, Yasal mı?

Fiyat kazıma adım adım nasıl çalışır, hukuken hangi ayrımlar önemli, ölçekte neden zorlaşır ve kazıyıcı kurmak mı normalize besleme almak mı daha doğru.

Fiyat kazıma (price scraping) nedir?

Fiyat kazıma; web sitelerinde halka açık gösterilen ürün fiyatlarının — satıcı ürün sayfaları, pazaryeri listelemeleri ve fiyat karşılaştırma siteleri — otomatik olarak toplanması ve kendi kataloğunuzla karşılaştırılabilecek yapılandırılmış kayıtlara dönüştürülmesidir. Bir fiyat kazıyıcı sayfayı çeker, fiyatı ve ilgili alanları ayıklar ve zaman damgasıyla bir veri kümesine yazar.

Rakip fiyat takibinin altındaki toplama katmanı budur. Fiyatlandırma ekibinin sonrasında yaptığı her şey, bu adımın ne kadar iyi yapıldığına bağlıdır.

Fiyat kazıma nasıl çalışır?

Altı aşama. Kendi altyapısını kuran ekipler genellikle son üçünü hafife alır.

• Keşif. Toplanacak URL'leri bulmak — kategori sayfaları, site haritaları, arama veya SKU tohum listesi üzerinden. Bu tarama (crawling) işidir ve ayıklamadan farklı bir problemdir; ayrım veri tarama ile veri kazıma arasındaki fark yazısında.
• Çekme. Sayfayı almak. Modern perakende siteleri fiyatı sıklıkla istemci tarafında oluşturur; düz bir HTTP isteği içinde fiyat olmayan bir işaretleme döndürür ve başsız tarayıcı gerekir.
• Ayıklama. Fiyat, para birimi, liste fiyatı, kampanya, stok durumu, satıcı, kargo ve teslim tahmini. Sayfa içindeki yapılandırılmış veri (JSON-LD, microdata) varsa CSS seçicilerinden daha kararlıdır.
• Normalizasyon. Para birimi, KDV muamelesi, birim ve paket boyutunu standartlaştırmak. Verginin ve kargonun dahil olup olmadığını bilmeden bir fiyat karşılaştırılabilir değildir.
• Eşleştirme. Her teklifi kanonik bir ürüne bağlamak. Ürün eşleştirme, veri kümesinin kullanılabilir olup olmayacağını belirleyen adımdır.
• Teslim ve izleme. Bir ambara, beslemeye veya API'ye yazmak — ve boru hattının kendisini izlemek; çünkü olağan arıza biçimi sessiz bozulmadır.

Fiyat kazıma yasal mı?

Aşağıdakiler genel bilgidir, hukuki görüş değildir — cevap ülkenize, ne topladığınıza ve nasıl topladığınıza bağlıdır. Somut bir programı hukuk danışmanınıza götürün.

Pratikte önemli olan ayrımlar:

• Halka açık veri ile kapalı veri. Sitenin her ziyaretçiye gösterdiği bilgiyi toplamak, giriş ekranının veya ödeme duvarının arkasındaki veriye erişmekten çok farklı değerlendirilir. ABD'deki davalar son on yılda tekrar tekrar bu çizgi üzerinden yürüdü; en görünür örnek hiQ Labs ile LinkedIn arasındaki uzun süreli uyuşmazlıktı ve mahkemeler halka açık sayfaların kazınmasını bilgisayara izinsiz erişim saymaya isteksiz davrandı. Kimlik bilgisiyle erişim tamamen ayrı bir konudur.
• Sözleşme ve kullanım koşulları. Hesap açarak, tıklayarak veya giriş yaparak fiilen kabul ettiğiniz koşullar, veri halka açık olsa bile sizi bağlayabilir. Avrupa içtihadı tam olarak buna baktı: kendine özgü veritabanı korumasının dışında kalan bir veritabanı, kullanımına bağlanan sözleşmesel koşullarla hâlâ korunabilir.
• Veritabanı ve telif hakları. AB'de kendine özgü (sui generis) veritabanı hakkı, tek tek olgular telif konusu olmasa da bir veritabanından yapılan esaslı çıkarımları koruyabilir. Fiyatların kendisi olgudur; yapılandırılmış bir derlemenin büyük ölçekli yeniden üretimi başka bir sorudur.
• Kişisel veri. Kişisel veri topladığınız anda KVKK ve GDPR devreye girer — kişiyi belirlenebilir kılan satıcı adları, yorumcu profilleri, iletişim bilgileri. Ürün fiyatı kişisel veri değildir; yorumcu kimliği öyledir. Toplama kapsamınızı ihtiyacınız olmayanı almayacak şekilde daraltın.
• Yük ve erişim kontrolleri. Hizmeti bozacak ölçüde saldırgan tarama ve teknik erişim kontrollerinin aşılması, verinin halka açık olup olmamasından bağımsız olarak projeyi belirgin biçimde daha riskli bir alana taşır.

Uygulanabilir duruş: yalnızca halka açık veriyi toplayın, robots yönergelerine ve hız sınırlarına uyun, kimlik doğrulamalı alanlardan uzak durun, işinize yaramayacak kişisel veriyi toplamayın, kaynak kayıtlarını (provenance) tutun ve ölçeklemeden önce onay alın.

Ölçekte neden zor?

• İstemci tarafı oluşturma. Fiyat yükleme sonrası JavaScript ile basılır; naif bir kazıyıcı hiçbir şey ya da yanlış değer kaydeder.
• Bot koruma altyapısı. Hız sınırlama, parmak izi çıkarma, doğrulama sayfaları. Bunu sorumlu biçimde ele almak, tırmandırmak değil geri çekilmek demektir.
• Coğrafya ve para birimi. Fiyatlar ülkeye ve aynı ülkede IP'ye göre değişir. Kontrollü coğrafi bağlam olmadan veri kümeniz pazarları sessizce karıştırır.
• Varyant patlaması. Renk, beden, paket adedi ve satıcı fiyatı değiştirir. Katlamak sinyali kaybettirir, katlamamak sinyali gömer.
• Tasarım kayması. Satıcılar sitelerini yeniler. Seçici tabanlı kazıyıcı sessizce bozulur; bu, gürültülü çökmekten kötüdür.
• Tazelik ile maliyet. 100.000 SKU'da saatlik toplama, 5.000 SKU'da günlük toplamadan farklı bir mühendislik problemidir.
• Sessiz veri kalitesi kaybı. Null yerine 0 döndüren veya geçen haftanın önbelleğini veren bir hat hata üretmez. Sadece fiyatlarınızı yanlışlar.

Kendin kur mu, satın al mı?

Kazıma ürününüzün merkezindeyse, alışılmadık kaynaklara ihtiyacınız varsa ve bakımı süresiz kadrolayabiliyorsanız kendiniz kurmak mantıklı — bakım, toplam maliyetin ayıklama değil %80'lik kısmıdır.

Fiyatları bir veri şirketi işletmek için değil fiyatlandırma kararı vermek için istiyorsanız satın almak mantıklı. Bu durumda dürüst karşılaştırma "lisans bedeli ile sıfır" değildir; lisans bedeli ile mühendis zamanı, proxy harcaması ve üç hafta önce bozulup kimsenin fark etmediği bir beslemeyle alınan kararların maliyetidir.

Sık gözden kaçan iki ara seçenek var:

• Kazıyıcı API'si — orkestrasyon ve zamanlama sizde kalır, oluşturma, engellenme ve ayıklamayı başkası üstlenir. E-ticaret veri toplama API'miz bu katmanı kapsar.
• Yönetilen besleme — normalize ve eşleştirilmiş veriyi düzenli aralıkla alırsınız, toplamaya hiç dokunmazsınız. Bu, hizmet olarak web veri toplamadır veya kaynakların hâlihazırda kapsandığı hazır rakip fiyat veri setleridir.

İyi fiyat verisi neye benzer?

Kurun da alın da, kayıt başına şu alanlarda ısrar edin:

• Kanonik ürün kimliği ile kaynağın kendi SKU'su ve GTIN'i
• Güncel fiyat, liste fiyatı ve aktif kampanya; para birimi ve vergi muamelesi belirtilmiş
• Kargo bedeli ve teslim tahmini
• Stok durumu ve satıcı kimliği
• Pazaryeri, ülke ve URL
• Toplama zaman damgası ve eşleşme güven puanı

Son ikisi, ekiplerin dışarıda bıraktığı ve sonradan onlar olmadan çalışamadığı alanlar. Zaman damgası olmadan tazelik üzerine akıl yürütemezsiniz; eşleşme güveni olmadan gerçek fiyat farkını eşleştirme hatasından ayırmanız mümkün olmaz.

En sık yapılan hatalar

• Ayıklamayı problemin tamamı sanmak. Zor kısımlar eşleştirme, normalizasyon ve bakımdır.
• Boru hattını izlememek. Kaynak ve gün bazında kapsam ile null oranı uyarıları isteğe bağlı değildir. Bozulan kazıyıcı kendini duyurmaz.
• Pazarları karıştırmak. Ülke alanı olmadan DE, AT ve CH fiyatlarını aynı veri kümesinde tutmak anlamsız karşılaştırma üretir.
• Kargoyu yok saymak. En düşük fiyat artı pahalı teslimat, en düşük teklif değildir; rakipleriniz bunu biliyor.
• İhtiyaçtan fazla kazımak. Her ek kaynak kalıcı bakımdır. Hacminizi gerçekten etkileyen rakiplerle başlayın.
• Hukuki inceleme yapmamak. Teknik iş genellikle onaydan kolaydır; onayı önce alın.

Nereden başlamalı?

Bir kategori ve o kategoride önemli beş rakip seçin. Günlük toplayın, ilk günden geçmişi saklayın ve herhangi bir pano kurmadan önce eşleşme oranını ölçmeye başlayın.

Amaç bir veri platformu değil fiyatlandırma kararıysa aradaki adımları atlayın: rakip fiyat veri setleri ve veri toplama API'si aynı girdiyi bakım yükü olmadan verir. Çıktıyla ne yapılacağı için fiyat zekası, rakip fiyatlarının en yoğun tek halka açık kaynağı için fiyat karşılaştırma siteleri yazısına bakın.