<div dir="auto">Well if you create a new filesystem and do an rsync then there is nothing to compare so the copy should go fast.<div dir="auto"><br></div><div dir="auto">If you have 46k files and they need to be compared before overwriting then that may take a little longer.</div><div dir="auto"><br></div><div dir="auto">Try copying a 2gb file across your nfs and see how long that takes. I once had a config error that caused my network copies to run slower than they should.</div><div dir="auto"><br></div><div dir="auto">Also run you rsync a second time to a full tmpfs and check the timing I suspect it will take longer. Not sure how many of your files change, but you might have to let some change to get a better reading.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Feb 6, 2020, 12:35 PM Nathan (PLUGAZ) <<a href="mailto:plugaz@codezilla.xyz">plugaz@codezilla.xyz</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
<br>
I realize ext4 does not easily fragment, but when you have a large <br>
volume with lots of files of differing size, how can you optimize it?<br>
<br>
I have a 2TB mirrored array that has hundreds of thousands of less than <br>
12KB files and hundreds of files that are more than 1MB and of course <br>
lots of movies and such which can be 1 to 4GB. Over the years it has <br>
gotten really slow.<br>
<br>
I have a shell script that basically runs rsync against my home <br>
directory and pushes it to a specific folder on my file server (part of <br>
this 2TB array).<br>
<br>
Typically the script runs in the wee hours when I'm asleep. But the <br>
other day I decided to run it just to watch it and see what happens. It <br>
was horrendously slow!<br>
I tried timing it. I ran time { rsync -av /home/myuser/.cache/ <br>
remote:/backup/dir/.cache/; } and after 75 minutes I cancelled it. There <br>
are 46k files in that folder and it is roughly 2GB... 75 minutes it <br>
wasn't finished. Now this is running over an NFS link just FYI.<br>
<br>
So I created a 4GB tmpfs and mounted it where I needed and ran my time <br>
backup again and it took 2 minutes and 6 seconds. Obviously my network <br>
is not the issue.<br>
<br>
So today I'm trying to find places to store 2TB of data so I can <br>
rearrange things, but I'm wondering...<br>
<br>
Is there a program that watches and optimizes placement of files on a <br>
hard drive? I know these exist for windows, but linux?<br>
---------------------------------------------------<br>
PLUG-discuss mailing list - <a href="mailto:PLUG-discuss@lists.phxlinux.org" target="_blank" rel="noreferrer">PLUG-discuss@lists.phxlinux.org</a><br>
To subscribe, unsubscribe, or to change your mail settings:<br>
<a href="https://lists.phxlinux.org/mailman/listinfo/plug-discuss" rel="noreferrer noreferrer" target="_blank">https://lists.phxlinux.org/mailman/listinfo/plug-discuss</a></blockquote></div>