wo liegt der engpass beim datenkopieren?

[jutta]

ich kopiere grad groessere backups quer durchs lan und frage mich, wo der flaschenhals liegt:

szenario: die backup-verzeichnisse in der groesse zwischen 30 und 75 gb werden von einer am server angeschlossenen externen usb-festplatte via lan auf eine an meinem desktop angeschlossene externe usb-festplatte kopiert. dabei kann ich zuschauen, wie es von minute zu minute langsamer geht. am anfang noch ca 30 MB/s, dann 28 ... 12, 10, 8, ...

beide rechner haben gigabit-netzwerkkarten (der switch auch), die externen hdds sind mit usb 2.0 angeschlossen.

wenn ich vom lokalen pc auf die lokal angeschlossene usb-hdd kopiere, liegt die geschwindigkeit anfangs bei etwas ueber 50 MB/s und geht dann auch runter, aber nicht so extrem.

woran liegt es? geschwindigkeit der festplatten? (die wurden nach dem kriterium "leise" gekauft, daher eher langsam) oder usb an beiden enden? oder doch am netzwerk? oder an den ebenfalls nach dem kriterium "leise" gekauften rechnern (thinkcentre M90)?

da ich die hardware hier eh nicht grossartig veraendern kann, ist mein interesse eher theoretischer natur

[lordpeng]

AV programm hast du deaktiviert? das kann nämlich einen extremen performance schub geben ...

[jutta]

hatte ich kurzzeitig gemacht, da sah es nicht nach einem weltbewegenden unterschied aus. (auf dauer trau ich mich nicht, da ich gleichzeitig mails abrufen muss usw)

*eine* bremse duerfte jedenfalls die externe hdd sein (eine nicht mehr ganz taufrische WD passport). die wird jetzt langsam voll (nur mehr weniger als 20 prozent frei) und jetzt geht das kopieren *wirklich* langsam: 4,69 MB/s, 13 Stunden verbleibend
vielleicht wuerde defragmentieren helfen, aber das probier ich erst nach dem wochenende.

[pc_net]

1.) die bandbreite von usb 2.0 ist nicht so überragend. und gerade die billigen controller der externen datenträger sind üblicherweise auch nicht wirklich für solche aktionen optimiert

2.) wie sind die dateien strukturiert? handelt es sich um viele sehr kleine dateien oder wenige größere? kleine dateien verursachen in der regel einen sehr starken geschwindigkeitseinbruch beim kopieren

[jutta]

unterschiedlich: der "daten" ordner enhaelt geschaeftsbriefe etc, also eher kleine sachen, aber auch broschueren usw. aber die mehrzahl kleinzeug. der "e-mail" ordner ethaelt zt sehr grosse files, da unser mailprogramm alle mails in einem ordner zusammenfasst. der war am langsamsten, aber das duerfte eben daran gelegen sein, dass die hdd schon ziemlich voll war und die grossen files auf unterschiedliche stellen verteilt werden mussen.

am usb 2.0 wird sich leider in den naechsten jahren nichts aendern. dazu sind die pcs noch zu neu.

[WaJoWi]

Es gibt ja auch USB 3.0 Karten um die PCs nach zu rüsten. Aber auch dann wird es bei vielen eher kleinen Dateien keinen großen Unterschied geben. Solche Aktionen lässt man am besten über Nacht laufen. Dann aber die beiden Platten wenn möglich an einem PC anstecken. So braucht man weniger Recourcen. Und wenn es da schneller geht, weiß man dass es auch am Netzwerk liegt - oder eben auch nicht...

[Viennaboy]

Bei mir ist es auch so wenn ich Filme von meinen Server (SSD) auf meinen Pc (Raid5 mit Enterprise Platten) kopiere habe ich so ca. 10MB trotzt Gigabit.

[WaJoWi]

Bei mir ist es auch so wenn ich Filme von meinen Server (SSD) auf meinen Pc (Raid5 mit Enterprise Platten) kopiere habe ich so ca. 10MB trotzt Gigabit.

Da kann was nicht passen. Wenn ich große Dateien (z.B. Filme) von einem Rechner (Win 7) mit externer USB 3.0 Platte über einen Switch und einen Router/Switch auf einen anderen Rechner (Linux) mit externer USB 2.0 Platte kopiere, erhalte ich eine recht konstante Geschwindigkeit von 30 MB/s. In umgekehrter Richtung ist es gleich flott. Kabellänge rund 30 Meter.

Von einem Win 8 Rechner mit SSD auf den Win 7 Rechner mit USB 3.0 Platte (beide am Switch mit ~3 Metern Kabel) komme ich auf etwa 60 MB/s.

Also ist USB bzw. die HD jeweils der Flaschenhals bei mir...

[Viennaboy]

Das schlimme ich weis nicht wie ich es genau eingrenzen soll. Was ich einmal anehme ist in der kette irgend ein 100MB Switch aber das es dann trotzdem so lanksam ist?

[zid]

die transferrate hängt auch vom eingesetzten kopierverfahren ab. ein freund mußte unlängst ein paar TB von einem festplattenfeld auf ein andres kopieren und hat bei der gelegenheit verschiedene kopierverfahren verglichen (unter linux).
ergebnis: rsync ist mit ~ 115MBps (mit abstand) am schnellsten (entsprechende hw. natürlich vorausgesetzt).

lg
zid

[WaJoWi]

Was ich einmal anehme ist in der kette irgend ein 100MB Switch aber das es dann trotzdem so lanksam ist?

Ja klar. Bei einem 100Mb-Netzwerk kommt man real auf etwa 10 MB/s. Wenn also ein Switch, Hub oder Netzwerkkarte nicht mehr kann, dann hilft auch die restliche Hardware nichts. Aufpassen muss man dann auch noch auf die Verkabelung und die verwendeten Dosen! Gerade die Dosen können leicht übersehen werden.

Um irgendwelche Flaschenhälse zwischen den Rechnern ausschließen zu können, wäre es angebracht eine Direktverbindung zu testen. Also nur ein kurzes LAN-Kabel und sonst nichts.

[Viennaboy]

Wenn ich das Wort "Dosen" lese muss ich lachen.
Ich habe mal einen verdacht wer da reinpfuschen könnte.

[WaJoWi]

Jetzt stehe ich auf der Leitung...

[rupb]

Oft hilft auch die Remoteunterschiedskomprimierung abzuschalten.
Bringt bei mir (gemischtes Netzwerk) sehr viel.

Ist unter Windows Funktionen zu finden.

[lordpeng]

>Ist unter Windows Funktionen zu finden
vorausgesetzt man verwendet windows vista oder höher ...