FTP Verzeichnis einlesen nicht möglich (Dateien >60.000)

[willi2010]

Hallo Zusammen,

ich habe da ein großes Problem bei der Sicherung eines Onlineshops, denn das Verzeichnis der Artikelbilder läßt sich nicht einlesen. In diesem Verzeichnis bzw. Verzeichnissen befinden sich mehr als 60.000 Dateien und jedes FTP Programm bricht das Einlesen nach einer gewissen Zeit ab.

Was kann man da machen ?

[celtic]

im FTP Programm Einstellungen checken wegen Zeitüberschreitung (kann man einstellen - Timeout höherstellen) oder mal aktiven/passiven Modus umstellen. Firewall aus?

[willi2010]

Ich glaube nicht, das es mit dem Timeout zu tun hat. Jegliches FTP Programm was ich bis jetzt probiert habe, versucht die Liste einzulesen und bricht bei der Datenmenge von ca. 24/25 MB ab, bleibt stehen und macht dann einen Abbruch.

[celtic]

evtl. hat der Hoster einen Timeout eingestellt?

[willi2010]

Ich habe jetzt das Verzeichnis mit Filezilla einlesen können ... allerdings habe ich mich bei der Angabe >60.000 wohl ein wenig vertan *grins* es sind genau 305.514 Dateien und scheinbar habe da die anderen FTP Programme wie WS-Ftp oder Total-Commander ihre Probleme.

[schrödingerkatz]

Ich weiß ja nicht, was Du nun mit dem Shop vorhast, aber: Diese Verzeichnis-"Struktur" scheint mir höchst überdenkenswert zu sein...

[willi2010]

Was heißt: "Was ich damit vorhabe?"

Es handelt sich um einen bestehenden Shop mit über 65.000 Artikeln unter kiwi-electronics.de und ich wollte nur ein Backup erstellen.

[schrödingerkatz]

Ich wusste halt nicht, wofür das Backup ist. Um den Shop neu aufzusetzen, um einfach nur ein Backup zu erstellen, um mit den ge-backup-ten Dateien weiterzuarbeiten...
Eigentlich geht es mir nur um den Punkt, dass ich eine Verzeichnisstruktur, die derart viele Dateien in einem Verzeichnis zulässt, für schlecht konzipiert halte.
Wenn der Shop so bleibt und läuft, gibt es natürlich kaum einen Grund, daran etwas zu ändern. Sollte da aber ein Relaunch oder so anstehen, sollte man das m.E. ändern.

[willi2010]

Eigentlich wollte ich mir einen Parallelshop einrichten um diverse Module durchzutesten, doch die hin- und her kopiererei lasse ich wohl mal bei derart vielen Dateien.

[maxi89]

Das Problem dürfte wirklich sein, dass sich der Server alleine mit dem Auflisten der Dateien auf der Festplatte zu Tode kratzt und entsprechend lange fürs Directory-Listing (=Anzeige der Dateien im Ordner) braucht.
Kannst du deinem Client einstellen, wie lange er auf eine Antwort des Servers warten soll?
Bzw: Welche Fehlermeldung gibt dir denn der FTP-Client aus? Trennt der FTP-Client die Verbindung oder moppert der dich an, dass der Server die Verbindung beendet hätte?

Mit dem neuen Shop solltest du diese Verzeichnisstruktur jedoch wirklich ändern bzw. garnicht erst übernehmen.
Erstelle notfalls für jeden Monat einen Unterordner (Marke "jan2011", "feb2011", "mar2011") und lege die Bilder dort ab.