Cercasi script per download da sito

[IsidoroKZ]

In realta` cerco qualcuno che sia capace di preparare uno script che scarichi le design ideas da EDN che si trovano qui http://www.edn.com/design-ideas/all Sono circa 2500!

La cosa interessante sarebbe poter effettuare il download non del sito, con tutta la pubblicita` intorno alle pagine, ma solo delle design ideas. Una volta EDN dava i libro cartaceo delle design ideas

In seconda battuta anche solo l'elenco sarebbe gia` qualcosa.

Scripter anyone?

Grazie!

[Candy]

E non hanno nemmeno un server ftp da cui fare il download massiccio?

[eAlucarD]

Web2Disk o Teleport Ultra
nelle opzioni indichi cosa scaricare e cosa no

[gotthard]

Non so se ho ben capito quel che cerchi, però, parlando di "download massiccio" mi è tornato in mente un certo comando wget sotto Linux (mi pare che ne avevo sentito "parlare" qui nel forum da simo85)...

Potrebbe fare al caso tuo, o sono fuori strada?

[Sjuanez]

Vedi se ti torna comodo l'approccio di eAlucarD che è il più semplice, altrimenti bisogna mettere su un piccolo crawler e pure si può fare, ma io prima di questa estate non riuscirei ad aiutarti.

[IsidoroKZ]

Grazie! Ho provato httrack ma tira giu` solo le pagine con i link, non gli articoli veri e proprii. Puo` darsi che abbia limitato il numero di livelli cui scendere, non essendo un utente abituale chissa` che cosa ho combinato.

Provero` con i due programmi che hai detto.

Candy, pare che non abbiano un ftp cosi` visibile

gotthard ah gia`, c'e` anche lui. Provero`, anche mi preoccupa la complessita` delle pagine, mentre a me interessa solo il testo.

[simo85]

Da Linux si può fare uno script in shell con un ciclo for.
Come sempre, con il mio amico wget.

A questo link http://www.edn.com/design/wireless-netw ... serial-bus se si copia il link dell'icona PDF, il risultato è:

Codice: Seleziona tutto

http://www.edn.com/Pdf/ViewPdf?contentItemId=4441669

quindi fai un ciclo for dove incrementi il numero. Il primo è 4337697 l'ultimo al momento di scrivere è 4441754.

Per esempio questo comando

Codice: Seleziona tutto

wget http://www.edn.com/Pdf/ViewPdf?contentItemId=4441669

Scarica un file ViewPdf?contentItemId=4441669. Lo si rinomina come nome.pdf ed ecco l'articolo Splitting and arbiting a bidirectional serial bus.

IsidoroKZ conosci lo shell script ?

[simo85]

Ecco lo script su Linux:

Codice: Seleziona tutto

#!/bin/bash

FIRST=4337697
LAST=4441754
FNAME="ViewPdf?contentItemId="
URL="http://www.edn.com/Pdf/ViewPdf?contentItemId="
CNTR=$FIRST

while [ ${CNTR} -le ${LAST} ];
do
   wget ${URL}${CNTR}
   if [ $? == 0 ]; then
      mv ${FNAME}${CNTR} ${CNTR}.pdf
   fi

   let CNTR=$((CNTR+1))
done

L'ho provato pochi secondi, con i primi articoli.

EDIT: versione per scaricare direttamente il file con il nome.

Codice: Seleziona tutto

#!/bin/bash

FIRST=4337697
LAST=4441754
URL="http://www.edn.com/Pdf/ViewPdf?contentItemId="
CNTR=$FIRST

while [ ${CNTR} -le ${LAST} ];
do
   wget --content-disposition ${URL}${CNTR}
   let CNTR=$((CNTR+1))
done

[eAlucarD]

credo ci sia un eccesso di 102.000 elementi ma per il resto è ottimo

[IsidoroKZ]

IsidoroKZ conosci lo shell script ?

No, ma trovo chi me lo fa

Grazie!