Cos'è ElectroYou | Login Iscriviti

ElectroYou - la comunità dei professionisti del mondo elettrico

Cercasi script per download da sito

Linguaggi e sistemi

Moderatori: Foto UtenteMassimoB, Foto UtentePaolino, Foto Utentefairyvilje

1
voti

[1] Cercasi script per download da sito

Messaggioda Foto UtenteIsidoroKZ » 18 mag 2016, 15:10

In realta` cerco qualcuno che sia capace di preparare uno script che scarichi le design ideas da EDN che si trovano qui http://www.edn.com/design-ideas/all Sono circa 2500!

La cosa interessante sarebbe poter effettuare il download non del sito, con tutta la pubblicita` intorno alle pagine, ma solo delle design ideas. Una volta EDN dava i libro cartaceo delle design ideas :(

In seconda battuta anche solo l'elenco sarebbe gia` qualcosa.

Scripter anyone?

Grazie!
Per usare proficuamente un simulatore, bisogna sapere molta più elettronica di lui
Plug it in - it works better!
Il 555 sta all'elettronica come Arduino all'informatica! (entrambi loro malgrado)
Se volete risposte rispondete a tutte le mie domande
Avatar utente
Foto UtenteIsidoroKZ
107,6k 1 3 8
G.Master EY
G.Master EY
 
Messaggi: 19024
Iscritto il: 17 ott 2009, 0:00

0
voti

[2] Re: Cercasi script per download da sito

Messaggioda Foto UtenteCandy » 18 mag 2016, 15:18

E non hanno nemmeno un server ftp da cui fare il download massiccio?
Avatar utente
Foto UtenteCandy
32,5k 7 10 13
CRU - Account cancellato su Richiesta utente
 
Messaggi: 10129
Iscritto il: 14 giu 2010, 22:54

2
voti

[3] Re: Cercasi script per download da sito

Messaggioda Foto UtenteeAlucarD » 18 mag 2016, 15:21

Web2Disk o Teleport Ultra
nelle opzioni indichi cosa scaricare e cosa no
E l’uomo si addormentò e nel sogno creò il mondo
Avatar utente
Foto UtenteeAlucarD
1.210 3 5
Expert
Expert
 
Messaggi: 560
Iscritto il: 4 lug 2014, 11:01

0
voti

[4] Re: Cercasi script per download da sito

Messaggioda Foto Utentegotthard » 18 mag 2016, 15:30

Non so se ho ben capito quel che cerchi, però, parlando di "download massiccio" mi è tornato in mente un certo comando wget sotto Linux (mi pare che ne avevo sentito "parlare" qui nel forum da Foto Utentesimo85)...

Potrebbe fare al caso tuo, o sono fuori strada? :roll:
...\frac{\mathrm{d} p}{\mathrm{d} t}=JCM... :!:
Avatar utente
Foto Utentegotthard
4.606 2 5 9
Expert EY
Expert EY
 
Messaggi: 1358
Iscritto il: 5 lug 2013, 14:01

0
voti

[5] Re: Cercasi script per download da sito

Messaggioda Foto UtenteSjuanez » 18 mag 2016, 15:32

Vedi se ti torna comodo l'approccio di Foto UtenteeAlucarD che è il più semplice, altrimenti bisogna mettere su un piccolo crawler e pure si può fare, ma io prima di questa estate non riuscirei ad aiutarti.

O_/ O_/ O_/
Più so e più mi accorgo di non sapere.

Qualsiasi cosa abbia scritto, tieni presente che sono ancora al mio primo rocchetto di stagno.
Avatar utente
Foto UtenteSjuanez
11,3k 5 8 13
G.Master EY
G.Master EY
 
Messaggi: 3480
Iscritto il: 18 mar 2015, 13:48

0
voti

[6] Re: Cercasi script per download da sito

Messaggioda Foto UtenteIsidoroKZ » 18 mag 2016, 15:34

Grazie! Ho provato httrack ma tira giu` solo le pagine con i link, non gli articoli veri e proprii. Puo` darsi che abbia limitato il numero di livelli cui scendere, non essendo un utente abituale chissa` che cosa ho combinato.

Provero` con i due programmi che hai detto.

Foto UtenteCandy, pare che non abbiano un ftp cosi` visibile :(

Foto Utentegotthard ah gia`, c'e` anche lui. Provero`, anche mi preoccupa la complessita` delle pagine, mentre a me interessa solo il testo.
Per usare proficuamente un simulatore, bisogna sapere molta più elettronica di lui
Plug it in - it works better!
Il 555 sta all'elettronica come Arduino all'informatica! (entrambi loro malgrado)
Se volete risposte rispondete a tutte le mie domande
Avatar utente
Foto UtenteIsidoroKZ
107,6k 1 3 8
G.Master EY
G.Master EY
 
Messaggi: 19024
Iscritto il: 17 ott 2009, 0:00

6
voti

[7] Re: Cercasi script per download da sito

Messaggioda Foto Utentesimo85 » 18 mag 2016, 15:37

Da Linux si può fare uno script in shell con un ciclo for. :-)
Come sempre, con il mio amico wget. :D

A questo link http://www.edn.com/design/wireless-netw ... serial-bus se si copia il link dell'icona PDF, il risultato è:

Codice: Seleziona tutto
http://www.edn.com/Pdf/ViewPdf?contentItemId=4441669


quindi fai un ciclo for dove incrementi il numero. Il primo è 4337697 l'ultimo al momento di scrivere è 4441754.

Per esempio questo comando

Codice: Seleziona tutto
wget http://www.edn.com/Pdf/ViewPdf?contentItemId=4441669


Scarica un file ViewPdf?contentItemId=4441669. Lo si rinomina come nome.pdf ed ecco l'articolo Splitting and arbiting a bidirectional serial bus. :D

Foto UtenteIsidoroKZ conosci lo shell script ?
Avatar utente
Foto Utentesimo85
30,8k 7 12 13
Disattivato su sua richiesta
 
Messaggi: 9928
Iscritto il: 30 ago 2010, 4:59

7
voti

[8] Re: Cercasi script per download da sito

Messaggioda Foto Utentesimo85 » 18 mag 2016, 15:55

Ecco lo script su Linux:

Codice: Seleziona tutto
#!/bin/bash

FIRST=4337697
LAST=4441754
FNAME="ViewPdf?contentItemId="
URL="http://www.edn.com/Pdf/ViewPdf?contentItemId="
CNTR=$FIRST

while [ ${CNTR} -le ${LAST} ];
do
   wget ${URL}${CNTR}
   if [ $? == 0 ]; then
      mv ${FNAME}${CNTR} ${CNTR}.pdf
   fi

   let CNTR=$((CNTR+1))
done


L'ho provato pochi secondi, con i primi articoli.

EDIT: versione per scaricare direttamente il file con il nome.

Codice: Seleziona tutto
#!/bin/bash

FIRST=4337697
LAST=4441754
URL="http://www.edn.com/Pdf/ViewPdf?contentItemId="
CNTR=$FIRST

while [ ${CNTR} -le ${LAST} ];
do
   wget --content-disposition ${URL}${CNTR}
   let CNTR=$((CNTR+1))
done


O_/
Avatar utente
Foto Utentesimo85
30,8k 7 12 13
Disattivato su sua richiesta
 
Messaggi: 9928
Iscritto il: 30 ago 2010, 4:59

2
voti

[9] Re: Cercasi script per download da sito

Messaggioda Foto UtenteeAlucarD » 18 mag 2016, 16:05

credo ci sia un eccesso di 102.000 elementi ma per il resto è ottimo O_/
E l’uomo si addormentò e nel sogno creò il mondo
Avatar utente
Foto UtenteeAlucarD
1.210 3 5
Expert
Expert
 
Messaggi: 560
Iscritto il: 4 lug 2014, 11:01

1
voti

[10] Re: Cercasi script per download da sito

Messaggioda Foto UtenteIsidoroKZ » 18 mag 2016, 18:31

simo85 ha scritto:Foto UtenteIsidoroKZ conosci lo shell script ?


No, ma trovo chi me lo fa :-)

Grazie!
Per usare proficuamente un simulatore, bisogna sapere molta più elettronica di lui
Plug it in - it works better!
Il 555 sta all'elettronica come Arduino all'informatica! (entrambi loro malgrado)
Se volete risposte rispondete a tutte le mie domande
Avatar utente
Foto UtenteIsidoroKZ
107,6k 1 3 8
G.Master EY
G.Master EY
 
Messaggi: 19024
Iscritto il: 17 ott 2009, 0:00

Prossimo

Torna a PC e informatica

Chi c’è in linea

Visitano il forum: Nessuno e 11 ospiti