Instabot

1. Puede variar por ejecucion como puede ser la misma, es aleatoreo.

2. Con Crawlera Sessions las peticiones se haran con la misma IP que viene establecia en la ID de la Session (ojo que estas no son las mismas IPs de Scrapy Cloud), sin Sessions las peticiones van por distintas IPs.

3. Parte de Crawlera, es decir esta incluido. Nota: C10 tiene para un maximo de 100 Sessions activas, todos los otros planes tienen 5000.

4. Usando Crawlera no habria forma de detectar el origen ya que las peticiones son via distintas IPs de diferentes paises.

Muchas gracias Nestor.
Perdona, pero no sé si te he entendido bien en algunos puntos:

1. Con Scrapy Cloud, de una unit siempre sale la misma ip?? O puede que hoy salga con una ip, mañana con otra y la semana que viene con otra??
2. Y respecto a Crawlera, he entendido que Crawlera Sessions sirve para controlar el tema de las ips. Entiendo que aquí tengo la opción de "hacer lo que quiera", es decir, que las ips sean siempre la misma para algunos jobs y distintas para el resto, etc?? 
3. Crawlera Sessions es un producto diferente a Crawlera? O está incluido? Tiene un coste añadido??
4. Y por último, cuando te decía si Instagram tiene forma de identificar mi dispositivo, no me refería a la ip, sino a que cuando haces una llamada a una url generalmente se identifica el tipo de dispositivo desde el que ésta se hace, no es así? Cómo es esto en el caso de Scrapinghub??
   

Perdona por molestarte tanto Nestor, y muchas gracias, me estás ayudando muchísimo a entender cómo funciona la plataforma.
Un saludo,
Leire.

 

1. Scrapy Cloud tiene alrededor de 70 IPs. A la hora que ejecutas un job, este usa 1 de las 70 IPs. Pero al ejecutar otro job no esta garantizado que sea la misma IP o una distinta. Si necesitas que usen la misma IP, podrias usar Crawlera + Crawlera Sessions (https://doc.scrapinghub.com/crawlera.html#sessions).

2. No estoy al tanto de los mecanismos anti-bot de Instagram, pero en cualquier caso, Crawlera ayuda a evadir estos.

3. Si necesitas ejecutar los 10 a la misma vez, si, necesitas 10 Scrapy Cloud units a un precio de $9/mes c/u. Si no hay necesidad de ejecutar los 10 a la vez, y solo 2 por ejemplo, entonces necesitarias 2 Scrapy Cloud units a $18/mes.

Respecto a las ID´s a las que hacía referencia, perdona Nestor!! hablo de IP´s!!! que me he liado!!!
sorry
me refiero a ver cómo son las ips que se generan con scrapy cloud!!!
un saludo!!!

 

Nestor, muchas gracias por la información...
Tengo alguna duda más, no sé si me podrás ayudar...
1. Estoy haciendo una prueba con bots que trabajan sobre Instagram, en la que cada bot funciona sobre una cuenta de Instagram diferente, y por tanto necesito que cada bot (o cada 2-3 bots como máximo) compartan la misma ip, pero no más... no sé si me explico.
2. Y por otra parte, sabes si Instagram puede identificar el dispositivo desde el que estoy ejecutando el bot? Entiendo que en este sentido no habrá problemas, verdad??
3. Finalmente y respecto al tema del coste: si ejecuto 10 bots diferentes digamos, tengo que pagar 9$x10 bots al mes? No hay forma de abaratar este coste??
Ya me dirás si me puedes ayudar
Muchas gracias por la info x anticipado!!!!
Un saludo,
Leire.

Si es posible correr Python scripts en Scrapinghub. Este blog post explica los pasos para subir tu script: https://blog.scrapinghub.com/2016/09/28/how-to-run-python-scripts-in-scrapy-cloud/. Lo unico que necesitas es una cuenta en Scrapinghub y podras subir tus scripts o Scrapy spiders a Scrapy Cloud. Si usas la version gratis, puedes correr 1 job a la vez y tendra un limite de duracion maxima de 1 hora. Para retirar estos limites necesitas al menos estar suscrito a 1 Scrapy Cloud unit a $9/mes. Y si necesitas correr mas de 1 job a la vez necesitas al menos 1 unit por cada job.

"Is it possible true? And the ID´s? Is the same for all of then or there are different ones??" Sobre estas preguntas no se a que ID te refieres, podrias explicar un poco mas?