Rate Limiting (İstek Limitleme)

Rate limiting nedir?
Rate limiting (istek limitleme), bir istemcinin belirli bir zaman penceresinde sunucuya yapabileceği istek sayısını kısıtlar; örneğin IP başına dakikada 100 istek. Sunucular bunu kararlılığı ve adil kullanımı korumak için uygular; limitin aşılması genellikle HTTP 429 (Too Many Requests) yanıtı döndürür.

Web veri toplamada istek limitleri hat tasarımını iki yönde şekillendirir. Tüketici tarafında bir crawler, her hedef sitenin toleransı altında kendi hızını ayarlamalı, istekleri zamana ve IP’lere yayarak siteyi asla yavaşlatmamalıdır; bu hem etik bir norm hem de pratik bir zorunluluktur. Sağlayıcı tarafında veri API’leri öngörülebilir hizmeti garanti etmek için müşterilerine kendi limitlerini ve kotalarını uygular.

İyi crawler vatandaşlığı — robots.txt’e uymak, 429/5xx yanıtlarında geri çekilmek ve düşük trafikli saatlerde taramak — sorumlu kazımanın işletimsel çekirdeğidir.