Bonjour à tous,
ça fait 2 jours que je galère avec mon script casper.js.
Je n’arrive pas à régler le proxy.
J’ai essayé de passer en argument --proxy=monproxy:port --proxy-auth=userame:password => marche pas
J’ai aussi essayé phantom.setProxy() mais toujours rien.
Quelqu’un a déjà réussi à régler le proxy avec casperJs ?
Merci
Pour l’utilisation de paramètres via la command line, attention à la syntaxe car ce ne sont pas des « : » qu’il faut utiliser, mais des « = ».
Exemple de syntaxe:
casperjs --proxy=« 37.205.108.165:21163 » --proxy-auth=« ghostscraper:Xa9v4I5eR »
Plus d’info:
http://phantomjs.org/api/command-line.html
Je me suis trompé dans mon premier post. J’ai bien mis des « = » mais on dirait que casper n’arrive pas à se connecter au proxy. Et il ne me renvoie pas d’erreur… Juste « Loading resource failed with status=fail: https://www.whatismyip.com/ ». Les proxy viennent de ghostproxies.com.
J’ai testé le proxy sous chrome et ça marche.
Est ce qu’il s’agit bien d’un proxy HTTP, et non pas proxy via protocol SOCKS ?
Essaye de tester avec un proxy public.
Oui il s’agit d’un proxy HTTP
Est-ce que tu as un password de type à rallonge avec caractères spéciaux?
Si oui, alors il y a de fortes chances que l’interpréteur de commande de PhantomJS n’apprécie pas, j’ai déjà eu le cas.
une dizaine de caractères - chiffres et lettres.
Mais c’est bizarre parce qu’avec ce proxy public : 124.88.67.30:81 Je n’arrive pas à lancer le petit script casper.
Il faut voir sur l’URL que tu cherches à charger est en HTTPS et si le proxy ne fonctionne qu’en HTTP?
@ScrapingExpert ça semble être ça…j’ai perdu 48h de ma vie 
Effectivement il semble bloquer sur les requêtes http. Merci
Tu sais où je peux trouver des proxys (Linkedin, Google) ?
Proxies de type payants j’imagine 
Oui bien entendu !
Le problème est réglé. J’avais des mauvais proxies. J’ai pris des nouveaux proxies sur http://instantproxies.com/ et casper marche bien Tout est bien qui finit bien.
Quelle est la qualité de ces proxies d’ailleurs? En terme de vitesse/perf ?
Honnêtement je n’ai pas mesuré mais pour mes requêtes sont rapides pour ce que j’ai à faire (Linkedin, Google). Je ne vois pas vraiment de différences sans le proxy et avec le proxy, donc je suis satisfait pour le moment.
Et sur Google ça passe niquel sans aucun blocage sur de fortes volumétries de requêtes?
Je vais faire les tests sur Google prochainement! Tu peux définir forte volumétrie ? (1 req/sec ou 10 req/sec, + ?) ?
Disons 20 000 requêtes / jour, à répartir sur 2H, soit 166 requêtes par minute, 3 requêtes par seconde, grossomodo