Rakip Fiyat Takibi Yazılımı

Scrapy, Python’da online e-ticaret fiyat verisi toplamak için kullanılan en yaygın kütüphanedir. Kendi fiyat takip yazılımınızı oluşturmak için Scrapy kullanarak nasıl temel bir crawler geliştirebileceğinizi ve bunun nasıl yapılacağını adım adım açıklayacağız.

• Scrapy Nasıl Yüklenir

Öncelikle bilgisayarınızda en güncel Python sürümünün yüklü olduğundan emin olun. Sonrasında aşağıdaki kod ile Scrapy kütüphanesini projenize yükleyin. Python terminal veya komut satırında aşağıdaki komutu kullanarak kurulumu yapabilirsiniz:

pip install scrapy

• Scrapy Projesi Oluşturmak

Scrapy kullanmaya başlamak için önce bir proje oluşturmanız gerekir. Aşağıdaki komutla yeni bir Scrapy projesi başlatabilirsiniz:

scrapy startproject fiyat_takibi

Bu komut, fiyat takibi adında bir klasör oluşturur ve içinde temel Scrapy proje dosyalarını bulundurur.

• Scrapy Spider (Tarayıcı) Oluşturmak

Şimdi, ürünlerin fiyatlarını çekmek için bir “spider” (tarayıcı) yazmamız gerekiyor. Scrapy’de “spider”, belirlediğiniz bir web sayfasından verileri almak için yazılan bir sınıftır.

Proje klasöründe fiyat_takibi/spiders dizinine gidin.

Yeni bir Python dosyası oluşturun, örneğin fiyat_spider.py.

İşte bir Scrapy crawler örneği:

import scrapy

class FiyatSpider(scrapy.Spider):

    name = “fiyat_spider”

    # Rakip sitenizin ürün sayfalarının URL’lerini burada tanımlayın

    start_urls = [

        ‘https://www.ornek-site.com/urunler/urun-1’,

        ‘https://www.ornek-site.com/urunler/urun-2’,

        ‘https://www.ornek-site.com/urunler/urun-3’,

    ]

    def parse(self, response):

        # Sayfa başlığı ve ürün fiyatını çekiyoruz

        urun_adi = response.xpath(‘//h1[@class=”product-title”]/text()’).get()

        urun_fiyati = response.xpath(‘//span[@class=”price”]/text()’).get()

        # Verileri çıktı olarak döndürüyoruz

        yield {

            ‘urun_adi’: urun_adi,

            ‘urun_fiyati’: urun_fiyati.strip() if urun_fiyati else ‘Fiyat bulunamadı’,

        }

Açıklama:

Yukarıdaki kod parçacığı örnek bir e-ticaret sitesi için yazılmıştır. Her rakip web sitesi için ayrı ayrı isimlendirme yaparak çalıştırmalısınız.

start_urls: Her bir rakip web sitesi için linkler ayrı dosyalarda tutulmalıdır. Burada rakip fiyat takibi yapmak istediğiniz ürün sayfalarının URL listelerini burada tanımlıyorsunuz.

parse: Scrapy, her bir URL için parse fonksiyonunu çalıştırarak sayfadan veri çeker. Burada, XPath ifadelerini kullanarak sayfadaki ürün adı ve fiyat bilgisini alıyoruz.

xpath: Sayfadaki öğeleri bulmak için kullanılan bir yöntemdir. XPath, XML ve HTML yapılarına erişim sağlar.

yield: Bu, Scrapy’ye verileri çıktı olarak döndürmesini söyler. Çekilen veriler genellikle bir JSON veya CSV dosyasına kaydedilebilir.

• Spider’ı Çalıştırmak

Spider’ı çalıştırmak için terminal veya komut satırında şu komutu kullanabilirsiniz:

scrapy crawl fiyat_spider -o fiyatlar.json

Bu komut, spider’ı çalıştırır ve çekilen verileri fiyatlar.json dosyasına kaydeder. Bu dosyada, ürün adları ve fiyatlar yer alacaktır.

• Scrapy ile Otomatik Fiyat Takibi için Ekstra Özellikler

1. Zamanlama (Scheduler): Fiyatları günün belirli zamanında otomatik almak için Scrapy’yi bir cron job (Linux/Mac) veya Windows Task Scheduler ile kullanabilirsiniz.
2. Veri Depolama: Çekilen verileri CSV, JSON veya bir veri tabanına (MySQL, PostgreSQL vb.) kaydedebilirsiniz. Dosyaları JSON formatında tutmayı tavsiye ediyoruz. Size hem hız hem de yer kazandıracaktır.Projenizin ilerleyen aşamalarında PostreSQL gibi bir veri tabanında çalıştırarak ileri düzeyde raporlar elde edebilirsiniz.