Neler yeni

Python Scraping: Playwright ve Anti-Bot Teknikler

BulentKorkmaz3

BulentKorkmaz3 

Yeni Üye
Administrator
Üye
Puan 0
Çözümler 0
photo-1515879218367-8466d910aaa4


Kod:
from playwright.async_api import async_playwright
import asyncio,random
async def scrape(url):
    async with async_playwright() as p:
        br=await p.chromium.launch(headless=True)
        pg=await br.new_page()
        await pg.goto(url)
        await pg.wait_for_selector('.item')
        return [await e.inner_text() for e in await pg.query_selector_all('.item')]
asyncio.run(scrape('https://example.com'))

Anti-Bot
  • playwright-stealth
  • Rotating proxy: Brightdata, Oxylabs
  • asyncio.sleep(random.uniform(1,3))
  • fake-useragent rotasyonu
 
Çok faydalı, teşekkürler!
 
Harika paylaşım!
 
Katılıyorum tamamen.
 
Bu konuda ben de benzer deneyim yaşadım.
 

Tema özelleştirme sistemi

Bu menüden forum temasının bazı alanlarını kendinize özel olarak düzenleye bilirsiniz

Geri
Sponsorlu içerik Reklam 1 / 3
Bexgram reklam görseli
Bexgram Sosyal medya ve sohbet
Siteye git