¿Cómo sincronizar "correctamente" millones de archivos con rsync e inotify?

Pregunta:

Supongamos que tengo 1 millón de archivos, la lista de archivos sería algo así como 20 MB. Si agrego solo un archivo, inotify le dirá a rsync que transfiera la lista de archivos y el nuevo archivo. Mi red no es buena y es posible que --bwlimit limitar el ancho de banda ( --bwlimit ).

Es posible que se agreguen varios archivos a la vez y, dada la velocidad de transferencia de la red, es posible que haya varios rsyncs ejecutándose a la vez.

¿Vale la pena? ¿Existe una forma mejor?

Respuesta:

Su caso suena exactamente para lo que se hizo lsyncd .
Observa el directorio con inotify y genera un rsync solo con los archivos modificados.
Agrega cambios durante unos segundos.
Entonces, cuando realiza 5 cambios en un segundo, solo generará un nuevo proceso de sincronización en los servidores de destino.

Leave a Comment

Your email address will not be published.

Scroll to Top

istanbul avukat

-

web tasarım