Elaborazione video massiva [FFMPEG ?]

[ThEnGi]

Buonasera a tutti,
Ho una cartella dove sono presenti circa 360 video di varie risoluzioni (circa da 360p a 720p), Fattore di forma (4:3,16:9 ecc), Dimensioni (50 MB a 3/4 GB), framerate (penso la maggiorpare 30FPS ma magari qualche maggiore/minore) e codec (un pastroccio assoluto )

Sono tutti video da vari fonti tipo go pro, reflex e telefoni di vari avvenimenti degli ultimi anni

Volevo sapere se esiste la possibilità di effettuare una conversione massiva e portarli tutti a HVEC* magari comprimendoli un po', c'è da capire come è la perdità di qualità
Al momento siamo a circa 350 GB e mancano quelli di quest'anno.

La creazione di uno script o lavorare in linea di codice non è un problema (es ffmpeg), magari con il vostro aiuto
Pultroppo esistono una miriade di parametri che non riesco (non ho tempo ) a capire fino in fondo, nel caso si accettano anche tutorial

La separazione manuale dei video credo sia improponibile e i nomi non aiutano più di tanto

La scheda video è NVIDIA, ho visto che ci sono i tool per far eseguire a lei il lavoro

Ringrazio per la disponibilità dei più esperti

*HVEC: Da quello che ho capito è il migliore come rapporto qualità/spazio anche se computazionalmente più impegnativo, si accettano altri consigli

EDIT: Se vedo che la cosa si fa veramente lunga la faccio girare un un serverino equipaggiato con I3 10105T (scheda video INTEL integrata) tanto lui può stare accesso 24/7

[eimiar]

Con ffmpeg è possibile, come hai giustamente dedotto devi scrivere uno script.
La perdita di qualità è difficile dirla a priori senza sapere quali siano codec e bitrate di partenza.

I miei consigli sono:

• Ricodificare in libvpx-vp9 (link alla guida) che è open source e royalty-free invece di libx265 (link alla guida) che è lentissimo a codificare
• Non importa che ci siano diversi fattori di forma o risoluzioni, una volta dato in pasto a ffmpeg ci pensa lui
• Catalogare tutti i video e raggrupparli per bitrate e framerate in quanto potresti voler variare i parametri di codifica in base a loro (fai uno script con

  Codice: Seleziona tutto

  ffmpeg -i $input

  senza output, e ti vengono restituite le informazioni del video in STDOUT)
• Output in formato mp4

Non c'è bisogno di studiarsi parametri particolari, se non sei un professionista i preset ti bastano e avanzano (vedi la sezione "Constrained quality").
Quindi un comando del genere ti dovrebbe bastare

Codice: Seleziona tutto

ffmpeg -i input.mp4 -c:v libvpx-vp9 -crf 30 -b:v 2000k output.webm

Chiaramente devi giocare un po' coi parametri crf e b:v finché non trovi quello che piace a te.

Ti suggerisco di fare anche diverse prove con l'opzione -pix_fmt per vedere quali formati siano riproducibili sul telefono o sugli altri tuoi dispositivi.

[ThEnGi]

Con ffmpeg è possibile, come hai giustamente dedotto devi scrivere uno script.

Output in formato mp4

Non c'è bisogno di studiarsi parametri particolari, se non sei un professionista i preset ti bastano e avanzano (vedi la sezione "Constrained quality").

Grazie per gli aiuti e spunti di riflessione

Pultroppo la CPU/GPU non supporta l'encoding HW in VP9..... anzi la cpu non ha HW dedicato all'encoding ne IGPU
Dovrei fare tutto via SW e ci metterei giorni (oltre agli atuali )

Sono limitato a NVENC, perciò H265 (mi tocca ricompilare FFMPEG )

I file verranno letti solo da PC se ho bisogno eventualmente vado a riconvertirli, ma come mai in MP4 e non MKV o altro ?

[eimiar]

In genere preferisco adottare MP4 perché è più diffuso e supportato, ma se non hai esigenze di riprodurre i video su dispositivi datati allora è effettivamente meglio MKV.
Sulla codifica HW non saprei consigliarti perché non ci ho smanettato abbastanza, ma mi è capitato in passato che NVENC non codifichi bene quanto l'equivalente software, ma potrebbe essere che abbia sbagliato le config di ffmpeg.
Le codifiche che faccio io non sono supportate da CPU con HW dedicato, né uso la GPU, ma ad ogni modo ti direi di fare una prova, dovresti riscontrare che VP9-SW sia decisamente più veloce di x265-SW a codificare.

[ThEnGi]

Ho trovato Shutter Encoder che fa proprio al caso mio

Preso un batch da 25GB e la ricodifica in H265 viaggia a circa 850/950 FPS con i codec 265 NVENC
EDIT: Ha trovato un file più grande e va a circa 200 FPS
Senza toccare nessun parametro con la ricodifica in "VBR" (variable bitrate ?) tutto su auto e ninete variaizione di risoluzione. Ho una riduzione della dimensione di circa 30/40% senza visibili variazioni

Pur esendo i file su un SSD (Sata) in locale, l'uso della GPU non sale oltre il 40/50% con la CPU che si assesta al 30/35% (6C/12T@3.5 GHz) e il disco circa 5/6%

Cosa sta limitando il sistema ?

[lelerelele]

Cosa sta limitando il sistema ?

Difficile da dire, hai scomposto il testo manager di singoli processori logici? I software possono lavorare anche su un solo core, quindi non andranno a caricare mai la cpu al Massimo, poi gli stessi sistemi operativi vanno a gestire i vari task limitandone l'uso per consentire a tutti i task di essere eseguiti, si può andare a gestire il singolo programma assegnando un uso superiore al normale, (su win attraverso il task manager) ma di solito non ho trovato grandi miglioramenti. Potrebbe anche essere che i tempi morti siano dovuti a driver magari video.
La RAM è molto piena?

[ThEnGi]

Potrebbe anche essere che i tempi morti siano dovuti a driver magari video.
La RAM è molto piena?

Partiamo che sono passato ad handbrake perché shutter encoder mi "rovinava"* i video in bassa risoluzione

Ho ottenuto buoni risultati sul batch con preset NVENC 265 + SLOW + CQ 30, già così con una riduzione da 27GB a 10 GB (-60% spazio medio), con circa 200 FPS di elaborazione media... Punte di 800 e minimi di 100

Che senza andare a tocacciare ulteriormente sarebbe già un risparmio di 120GB sul totale

Provo a fare una passata con un CQ più basso, dalla documentazione un 20-24 dovrebbe essere sufficiente

La ram è praticamente scarica, in uso circa 15 GB su 32GB, ammetto di non aver fatto caso se un core era più o meno carico ma aver guardato solo la "media"

Saluti



*110% non so come configurarlo

[ThEnGi]

Non mi fa modificare più

Trovato l'arcano lelerelele

Il programma usa un solo core alla volta portandolo al 100%, ora faccio partire più istanze e vediamo come si comporta

[lelerelele]

Non ti conviene prendere un disco esterno, e se non vuoi pretendere i dati magari pensare se vale la pena di un Cloud esterno, (per esempio Google drive).

Niente di più facile che programmini free usino un solo core.

Saluti.

[ThEnGi]

Google drive per quella capacità costa 120€/Anno

I file sono giù su un RAID1 + HDD Esterno da 500Gb, più alcuni i più imporatanti li hanno anche i parenti.

Sicuramente non quello dove vado in giro a zonzo con la GoPro.

Sto facendo lo stesso batch con CQ 36, SLOW e H265 NVENC con due video in contemporanea usa circa 80/90% della GPU (Circa 1400 FPS combinati), Riduzione a circa il 30% dello spazio originale

vediamo come viene e poi valuto, sicuramente provo un altro batch più sostanzioso