Processus d'ingest

Messages : 253
Enregistré le : mer. 4 déc. 2013 - 17:53
Localisation : Bobigny

Processus d'ingest

Message

Bonjour,

Savez-vous ce qui ce passe vraiment lors de l'ingest d'un DCP?
- copie de l'ensemble des fichiers du répertoire du DCP du disque externe sur l'espace disque du serveur,
- contrôle de l'intégrité de l'ensemble des fichiers à partir des codes de contrôle contenus dans la PKL
- autre chose...?

En dehors des serveurs de projection et autres IMB, y a t-il d'autres équipements qui réalisent des vrais "ingest" systématiquement?

Enfin, en fonction du port externe utilisé, combien de temps dure un ingest?
A vue de nez, un port USB2 tourne à 480 Mb/s maximum. Pour un DCP de 150Go, cela donnerait environ 45mn juste pour le transfert des fichiers.
En e-sata, on tourne à 3Gb/s max et en USB3 à 5G/s max, d'où un temps de transfert divisé en théorie respectivement par 6 et 10.
Le temps de traitement pour calculer les codes de contrôle et les comparer avec ceux de la PKL vient-il s'ajouter en plus?

Merci pour vos retours d'expérience,

Fred
Messages : 3139
Enregistré le : ven. 21 oct. 2011 - 13:17
Localisation : entre les toilettes et la cabine suivant les pannes

Re: Processus d'ingest

Message

sur une librairie simple(espace de stockage) c'est équivalent a un copier coller pour l'ingest dans un serveur de lecture la première étape est le contrôle de l’intégrité du contenu il y a donc un scan des asset en fonction des donnée de la pkl l'ingest commence après que ce scan est été validé pour ce qui est des vitesse de transfert c'est moins rapide que cela étant donné que les serveur de lecture sont en usb2 pas d'usb3 (errata)
En bibliothèque je n'ai jamais vu des transferts usb au delà de 80mbs
je crois que linux n'est pas un foudre de guerre en ce qui concerne les transfert usb?
Modifié en dernier par diproj le ven. 9 mai 2014 - 19:03, modifié 2 fois.
Messages : 253
Enregistré le : mer. 4 déc. 2013 - 17:53
Localisation : Bobigny

Re: Processus d'ingest

Message

Merci pour ce retour.

Si dans un serveur, l'ingest démarre après le contrôle d'intégrité, que reste t-il à faire comme boulot pour la machine sachant que le DCP est toujours chiffré et le restera jusqu'à ce qu'une KDM en autorise le déchiffrement?
NB: je suppose que le déchiffrement est réalisé "à la volée" à chaque projection, sinon il serait possible de continuer de projeter le film après la date limite de la KDM, ou bien le film risquerait de pouvoir être extrait non chiffré du projecteur...

Je doute que les serveurs utilisent encore des ports USB1. Le débit maxi est de 12Mb/s en USB1.1, ce qui donnerait des temps de transfert de 30 heures pour un DCP de 150Go :(
D'autres paramètres doivent certainement venir s'ajouter indépendamment du système d'exploitation:
- saturation du processeur et/ou de la mémoire
- saturation du bus qui gère les échanges entre CPU, RAM et disques
- la vitesse des disques et surtout la configuration de l'espace RAID.

RAID logiciel plus long que RAID hardware, mais les cartes RAID coûtent cher.
RAID1 nécessite l'écriture sur 2 disques (donc 2 fois plus long). RAID0 répartit les données sur x disques (donc x fois plus rapide), mais aucune sécurité...
Les librairies les plus courantes sont en RAID6, autorisant la défaillance de 2 disques, mais les temps d'écriture sont longs à cause des calculs de redondance complexes.

Plutôt que d'incriminer Linux, je pencherais volontiers pour une combinaison de RAID5 ou RAID6 géré au niveau logiciel...

Cordialement,
Fred
Messages : 690
Enregistré le : ven. 6 mai 2011 - 10:16
Localisation : Vendée

Re: Processus d'ingest

Message

Fred93 a écrit : Je doute que les serveurs utilisent encore des ports USB1.
Et pourtant c'est bien le cas, peut être que les modèles plus récent en sont équipés mais je n'en ai jamais vu en tout cas.
Messages : 4334
Enregistré le : lun. 2 mars 2009 - 10:16
Localisation : Maine et Loire - France
Contact :

Re: Processus d'ingest

Message

Pourtant, l'USB 3 a été implémenté par Intel dans le noyau linux 2.6.31 (septembre 2009). Sachant que la dernière version Ubuntu sortie en avril dernier utilise un noyau 3.13.x... on peut supposer que les serveurs plus récents pourraient en profiter ?
Messages : 253
Enregistré le : mer. 4 déc. 2013 - 17:53
Localisation : Bobigny

Re: Processus d'ingest

Message

Yermat a écrit :
Fred93 a écrit : Je doute que les serveurs utilisent encore des ports USB1.
Et pourtant c'est bien le cas, peut être que les modèles plus récent en sont équipés mais je n'en ai jamais vu en tout cas.
Je viens de regarder la doc Doremi, c'est de l'USB2 qui est mentionné:
http://www.doremilabs.com/downloads/bro ... 1_v1_0.pdf
Mais si je regarde le modop en ligne sur projectionniste.net, le document date de 1998 et la norme USB2 date de 2000. Il doit donc exister des serveurs en USB1 aussi.
http://www.projectionniste.net/docs/Dor ... sateur.pdf
et http://fr.wikipedia.org/wiki/Usb

Cependant, le passage au numérique de nombreuses salles étant intervenu beaucoup plus tard, soit il y avait un stock de serveurs à écouler, soit la partie logicielle gérant les ports USB est restée figée depuis 1998... 003654

Fred
Messages : 690
Enregistré le : ven. 6 mai 2011 - 10:16
Localisation : Vendée

Re: Processus d'ingest

Message

Ah j'avais lu trop vite et confondu usb 1 et usb 2, my bad.
Donc c'est bien de l'usb 2 qui équipe principalement les serveurs, et l'usb 3 que nous aimerions tous avoir sur nos serveurs :wink:
Messages : 7352
Enregistré le : sam. 9 mai 2009 - 23:12

Re: Processus d'ingest

Message

Vu de l'USB 3 sur un projo SONY, l'un des plus récents (lampes au mercure, baie CRU et DEUX ports USB 3, utile quand il en faut un pour l'alim... -le SRX R-320 n'en avait qu'un.)
Messages : 1515
Enregistré le : mer. 18 juil. 2012 - 19:48

Re: Processus d'ingest

Message

sachant que le DCP est toujours chiffré et le restera
Je suis au regret de ne pas partager cette certitude.
Le DCP n'est pas TOUJOURS chiffré.
Messages : 7352
Enregistré le : sam. 9 mai 2009 - 23:12

Re: Processus d'ingest

Message

Hors contexte évidemment... :?
Il faut comprendre qu'un DCP crypté le reste entre les projs autorisées par le kdm.
Il ne devient pas un fichier non crypté pendant 3 semaines par exemple!
Messages : 253
Enregistré le : mer. 4 déc. 2013 - 17:53
Localisation : Bobigny

Re: Processus d'ingest

Message

C'est effectivement ce que j'ai voulu dire. Un DCP chiffré ne sera pas déchiffré pendant 3 semaines, puis re-chiffré une fois la KDM périmée :shock:

Bon, le chiffrement n'est bien sûr pas une obligation, mais en dehors de la pub et des FA, les DCP non-chiffrés ne sont pas les plus courants...

Fred
Messages : 423
Enregistré le : lun. 7 juin 2010 - 10:40

Re: Processus d'ingest

Message

Fred93 a écrit : Plutôt que d'incriminer Linux, je pencherais volontiers pour une combinaison de RAID5 ou RAID6 géré au niveau logiciel...
Je suis en RAIDRIENDUTOUT à la maison et le transfert USB2 c'est pas trop ça en copie vers Ubuntu et catastrophique en copie vers USB (bien moins rapide que windows en tous cas)...
Messages : 253
Enregistré le : mer. 4 déc. 2013 - 17:53
Localisation : Bobigny

Re: Processus d'ingest

Message

Fred93 a écrit :... , en fonction du port externe utilisé, combien de temps dure un ingest?
A vue de nez, un port USB2 tourne à 480 Mb/s maximum. Pour un DCP de 150Go, cela donnerait environ 45mn juste pour le transfert des fichiers.
En e-sata, on tourne à 3Gb/s max et en USB3 à 5G/s max, d'où un temps de transfert divisé en théorie respectivement par 6 et 10.
Le temps de traitement pour calculer les codes de contrôle et les comparer avec ceux de la PKL vient-il s'ajouter en plus?
Je viens de trouver une réponse sur Manice

2 heures pour l'ingest d'un DCP de 160Go, cela donnerait environ 1h00 pour les calculs et la vérifications de l'intégrité du DCP.

Bien que cela ne soit pas conseillé, l'ingest est-il plus long si il y a une projection en cours en même temps?

Fred
Messages : 690
Enregistré le : ven. 6 mai 2011 - 10:16
Localisation : Vendée

Re: Processus d'ingest

Message

Oui, que ce soit un ingest ou un transfert via une librairie, cela prendra beaucoup plus de temps en cours de projection.
Messages : 3139
Enregistré le : ven. 21 oct. 2011 - 13:17
Localisation : entre les toilettes et la cabine suivant les pannes

Re: Processus d'ingest

Message

oui dans certains cas cela peu même suspendre pratiquement l'ingest.La priorité étant donnée par les serveurs a la lecture projection il laisse les ressource restantes a l'ingest (exception des ingest KDM qui sont affectés en haute priorité) elle ne sont pas mise en file d'attente mais traités en priorité
Répondre