Wat is de snelste manier om broncode te downloaden van een webpagina in python met proxy?

Ik gebruik al urllib2 om de pagina's te krijgen met behulp van proxy, maar het duurt te lang, en ik weet dat het gebruik van proxy langer duurt, maar het duurt te lang om te vergelijken als ik de proxy test in firefox of ie.

Bedankt.

0
Moderne web-browsers gebruiken HTTP-pijplijn waarbij ze meerdere verzoeken verzenden om snellere laadtijden te garanderen. Je zou ook kunnen proberen om meerdere threads te gebruiken om parallel te scrappen. Ik zie echter geen relatie met de proxy.
toegevoegd de auteur Anirudh Ramanathan, de bron

1 antwoord

To download pages faster you need to do that concurrently no matter using proxy or not. Try gevent library. There is an example for concurent download https://bitbucket.org/denis/gevent/src/tip/examples/concurrent_download.py

1
toegevoegd