Pagina 1 di 2

Cercasi script per download da sito

MessaggioInviato: 18 mag 2016, 15:10
da IsidoroKZ
In realta` cerco qualcuno che sia capace di preparare uno script che scarichi le design ideas da EDN che si trovano qui http://www.edn.com/design-ideas/all Sono circa 2500!

La cosa interessante sarebbe poter effettuare il download non del sito, con tutta la pubblicita` intorno alle pagine, ma solo delle design ideas. Una volta EDN dava i libro cartaceo delle design ideas :(

In seconda battuta anche solo l'elenco sarebbe gia` qualcosa.

Scripter anyone?

Grazie!

Re: Cercasi script per download da sito

MessaggioInviato: 18 mag 2016, 15:18
da Candy
E non hanno nemmeno un server ftp da cui fare il download massiccio?

Re: Cercasi script per download da sito

MessaggioInviato: 18 mag 2016, 15:21
da eAlucarD
Web2Disk o Teleport Ultra
nelle opzioni indichi cosa scaricare e cosa no

Re: Cercasi script per download da sito

MessaggioInviato: 18 mag 2016, 15:30
da gotthard
Non so se ho ben capito quel che cerchi, però, parlando di "download massiccio" mi è tornato in mente un certo comando wget sotto Linux (mi pare che ne avevo sentito "parlare" qui nel forum da Foto Utentesimo85)...

Potrebbe fare al caso tuo, o sono fuori strada? :roll:

Re: Cercasi script per download da sito

MessaggioInviato: 18 mag 2016, 15:32
da Sjuanez
Vedi se ti torna comodo l'approccio di Foto UtenteeAlucarD che è il più semplice, altrimenti bisogna mettere su un piccolo crawler e pure si può fare, ma io prima di questa estate non riuscirei ad aiutarti.

O_/ O_/ O_/

Re: Cercasi script per download da sito

MessaggioInviato: 18 mag 2016, 15:34
da IsidoroKZ
Grazie! Ho provato httrack ma tira giu` solo le pagine con i link, non gli articoli veri e proprii. Puo` darsi che abbia limitato il numero di livelli cui scendere, non essendo un utente abituale chissa` che cosa ho combinato.

Provero` con i due programmi che hai detto.

Foto UtenteCandy, pare che non abbiano un ftp cosi` visibile :(

Foto Utentegotthard ah gia`, c'e` anche lui. Provero`, anche mi preoccupa la complessita` delle pagine, mentre a me interessa solo il testo.

Re: Cercasi script per download da sito

MessaggioInviato: 18 mag 2016, 15:37
da simo85
Da Linux si può fare uno script in shell con un ciclo for. :-)
Come sempre, con il mio amico wget. :D

A questo link http://www.edn.com/design/wireless-netw ... serial-bus se si copia il link dell'icona PDF, il risultato è:

Codice: Seleziona tutto
http://www.edn.com/Pdf/ViewPdf?contentItemId=4441669


quindi fai un ciclo for dove incrementi il numero. Il primo è 4337697 l'ultimo al momento di scrivere è 4441754.

Per esempio questo comando

Codice: Seleziona tutto
wget http://www.edn.com/Pdf/ViewPdf?contentItemId=4441669


Scarica un file ViewPdf?contentItemId=4441669. Lo si rinomina come nome.pdf ed ecco l'articolo Splitting and arbiting a bidirectional serial bus. :D

Foto UtenteIsidoroKZ conosci lo shell script ?

Re: Cercasi script per download da sito

MessaggioInviato: 18 mag 2016, 15:55
da simo85
Ecco lo script su Linux:

Codice: Seleziona tutto
#!/bin/bash

FIRST=4337697
LAST=4441754
FNAME="ViewPdf?contentItemId="
URL="http://www.edn.com/Pdf/ViewPdf?contentItemId="
CNTR=$FIRST

while [ ${CNTR} -le ${LAST} ];
do
   wget ${URL}${CNTR}
   if [ $? == 0 ]; then
      mv ${FNAME}${CNTR} ${CNTR}.pdf
   fi

   let CNTR=$((CNTR+1))
done


L'ho provato pochi secondi, con i primi articoli.

EDIT: versione per scaricare direttamente il file con il nome.

Codice: Seleziona tutto
#!/bin/bash

FIRST=4337697
LAST=4441754
URL="http://www.edn.com/Pdf/ViewPdf?contentItemId="
CNTR=$FIRST

while [ ${CNTR} -le ${LAST} ];
do
   wget --content-disposition ${URL}${CNTR}
   let CNTR=$((CNTR+1))
done


O_/

Re: Cercasi script per download da sito

MessaggioInviato: 18 mag 2016, 16:05
da eAlucarD
credo ci sia un eccesso di 102.000 elementi ma per il resto è ottimo O_/

Re: Cercasi script per download da sito

MessaggioInviato: 18 mag 2016, 18:31
da IsidoroKZ
simo85 ha scritto:Foto UtenteIsidoroKZ conosci lo shell script ?


No, ma trovo chi me lo fa :-)

Grazie!