Scaricare file da sito

[schumy91]

Buongiorno, sono un regolare possessore dell'abbonamento al sito https://navdatapro.aerosoft.com/. Su questo sito posso accedere e scaricare i file di mio interesse...siccome vorrei salvarmeli tutti ma sono migliaia e migliaia vorrei sapere se esiste un programma. uno script o qualche stratagemma che possa farlo in automatico.

[elfo]

Scarica wget (free & open source)

per l'help di wget

Codice: Seleziona tutto

wget --help

File batch

Codice: Seleziona tutto

@echo off
for /f "tokens=1-2 delims=," %%i in (<nome_del_file_con_l'elenco_dei_file_da_scaricare>) do (
wget -O %%j %%i
sleep 5
)


Per la sintassi di FOR (For e' un comando del sistema operativo di windows)

Codice: Seleziona tutto

help for

Sleep 5: aspetta 5 secondi prima di scaricare il file successivo per non "stressare" il server - pratica di "buona educazione"

[alev]

Io aggiungerei al comando wget l'opzione

Codice: Seleziona tutto

--no-check-certificate

per evitare di dover approvare il certificato

[schumy91]

Vi ringrazio...in due ore sono soltanto riuscito a capire come installare wget e l'ho fatto. Ora se non ho capito male per usarlo devo aprire il cmd. In ogni caso non so se esiste
"(<nome_del_file_con_l'elenco_dei_file_da_scaricare>)" o dove poterlo ricavare.

[schumy91]

Non so se può tornarvi utile...ma io qualsiasi file apro sul sito, il link rimane sempre uguale...non cambia mai...rimane tale e quale a come l'ho scritto nel post di apertura.

[alev]

Vi ringrazio...in due ore sono soltanto riuscito a capire come installare wget e l'ho fatto. Ora se non ho capito male per usarlo devo aprire il cmd. In ogni caso non so se esiste
"(<nome_del_file_con_l'elenco_dei_file_da_scaricare>)" o dove poterlo ricavare.

Il file che contiene la lista dei files da scaricare lo devi creare tu

qualsiasi file apro sul sito, il link rimane sempre uguale...non cambia mai...rimane tale e quale a come l'ho scritto nel post di apertura.

Quale sarebbe questo link?
Se fosse legato ad una utenza di quel sito, almeno cerca di spiegarti più chiaramente

[schumy91]

Allora vi allego qualche screenshot con la speranza di essere piu chiaro.

Per ogni gruppo di 4 lettere (un aeroporto) a partire da AGGH, AYPY, ecc...ci sono un numero variabile di file che nel caso di AGGH sono quelli che iniziano con AFC e finiscono con STAR che poi contengono, nel caso di AFC una mappa o un documento testuale.

In questo caso la selezione di RFC OVERVIEW fatta dalla paletta sottostante a quella selezionata nelle foto precedente, consente di vedere una mappa che come si vede ha due pagine.

Ora in rete si trovano tutte queste mappe e documenti in formato .pdf ma di anni passati, nel caso della foto 1, raggruppati per cartella. Esempio: tutti i file appartenenti all'aeroporto AGGH staranno in una cartella che si chiamerà AGGH di conseguenza nella cartella ci saranno 25 file che avranno un numero diverso di pagine in riferimento alle varie informazioni che hanno. Nel caso di AFC in foto 1 una sola mappa. Grossomodo lo stesso discorso vale anche per i documenti in foto 2 anche se c'è una "cartella" in meno. Ora se notate tra foto 1 e foto 2 pur avendo cambiato "zona" del sito, il link è rimasto sempre lo stesso.
Per di piu c'è anche la possibilità di vedere il tutto sia in versione "chiara" cioè diurna che in versione notturna "dark mode" che si può attivare o meno con un semplice flag che nelle foto 1 e 2 si intravede in basso a sinistra.

Qui invece ho provato ad eseguire il comando che mi avete proposto voi senza neanche sapere se ho usato la procedura giusta.

Per di piu c'è la possibilità di vedere il tutto sia in versione "chiara" cioè diurna che la versione dei file notturna "dark mode" che si può attivare o meno con un semplice flag.

[Etemenanki]

winhttrack ... gli dai l'indirizzo di partenza, quanti link deve risalire al massimo da quello, se deve rimanere in quel dominio o seguire i link anche in altri, i tipi di files che deve scaricare e quelli che deve ignorare, piu molti altri parametri a scelta se necessari, e poi fa tutto da solo.

[alev]

Attenzione che winhttrack può venire rilevato dal webserver remoto e l'admin del servizio, per varie ragioni (sicurezza, overload sul servizio, etc) può decidere di bannare l'IP richiedente

[Etemenanki]

Se lasci la comunicazione di default, magari si, ma puoi anche dirgli di identificarsi con nome di programma e sistema operativo a tua scelta, perfino totalmente inventate (una volta l'ho fatto identificare come sistema operativo "Cyberdyne SkyNet v0.8beta" ... ed il sito non ha creato alcun problema di funzionamento )