sneller ftp van 30.000 docs

[user]

ipv weex, en per doc uploaden heb ik al eens gelezen
van zoiets als een tar.gz uploaden, dan een cmd en de
server plooit alles netjes open.

Hoe zou het gaan??

Merci
Marc

[John Bokma]

Post by user
ipv weex, en per doc uploaden heb ik al eens gelezen
van zoiets als een tar.gz uploaden, dan een cmd en de
server plooit alles netjes open.
Hoe zou het gaan??

kan je de server op met ssh?

[Rikishi42]

Post by John Bokma

Post by user
ipv weex, en per doc uploaden heb ik al eens gelezen
van zoiets als een tar.gz uploaden, dan een cmd en de
server plooit alles netjes open.
Hoe zou het gaan??

kan je de server op met ssh?

Als dat het geval is, kan je mmisschien zelfs ftp oveslaan en rsync
gebruiken.

[John Bokma]

Post by Rikishi42

Post by John Bokma

Post by user
ipv weex, en per doc uploaden heb ik al eens gelezen
van zoiets als een tar.gz uploaden, dan een cmd en de
server plooit alles netjes open.
Hoe zou het gaan??

kan je de server op met ssh?

Als dat het geval is, kan je mmisschien zelfs ftp oveslaan en rsync
gebruiken.

Yup, hoewel ik denk dat als je 30K docs in 1x wilt overzetten dit
sneller gaat door een tarball over te zenden en uit te pakken,
on-the-fly, dan met rsync.

[Fred Mobach]

Post by John Bokma

Post by Rikishi42

Post by John Bokma

Post by user
ipv weex, en per doc uploaden heb ik al eens gelezen
van zoiets als een tar.gz uploaden, dan een cmd en de
server plooit alles netjes open.
Hoe zou het gaan??

kan je de server op met ssh?

Als dat het geval is, kan je mmisschien zelfs ftp oveslaan en rsync
gebruiken.

Yup, hoewel ik denk dat als je 30K docs in 1x wilt overzetten dit
sneller gaat door een tarball over te zenden en uit te pakken,
on-the-fly, dan met rsync.

Dat zou best eens mee kunnen vallen. Als men rsync gebruikt hoeft er
niet voor verzending en na ontvangst zowel tar als gzip gedraaid te
worden, want dat wordt dan door rsync zelf verwerkt. En qua disk I/O
maakt het ook al niet uit door wie die verzorgd wordt.

Aan de andere kant heeft tar ook zijn voordelen in het gebruik. Oftewel,
eigenlijk is het gebruik van SSH de meest doorslaggevende factor. Maar
daar had je al naar gevraagd.

[goarilla]

Post by Fred Mobach

Post by John Bokma

Post by Rikishi42

Post by John Bokma

ipv weex, en per doc uploaden heb ik al eens gelezen van zoiets als
een tar.gz uploaden, dan een cmd en de server plooit alles netjes
open.
Hoe zou het gaan??

kan je de server op met ssh?

Als dat het geval is, kan je mmisschien zelfs ftp oveslaan en rsync
gebruiken.

Yup, hoewel ik denk dat als je 30K docs in 1x wilt overzetten dit
sneller gaat door een tarball over te zenden en uit te pakken,
on-the-fly, dan met rsync.

Dat zou best eens mee kunnen vallen. Als men rsync gebruikt hoeft er
niet voor verzending en na ontvangst zowel tar als gzip gedraaid te
worden, want dat wordt dan door rsync zelf verwerkt. En qua disk I/O
maakt het ook al niet uit door wie die verzorgd wordt.
Aan de andere kant heeft tar ook zijn voordelen in het gebruik. Oftewel,
eigenlijk is het gebruik van SSH de meest doorslaggevende factor. Maar
daar had je al naar gevraagd.

vergeet wel niet dat ssh een toch niet negeerbare overhead heeft (niet
iedereen beschikt over een dual/quad core!), bij data transfers is dit
trouwens toch wel merkbaar: 3-5 MB/s ipv 8-10 (smb) hier bij mij op een
oude pentium III celeron

veel hangt ook af van het netwerk protocol:
wanneer het SAMBA is tar ik altijd als het veel files zijn en veel data.
je hebt dan immers 1 grote file die praktisch volledig aan elkaar
aansluit ipv meerdere files verspreid over de schijven,
gzippen doe ik bijna nooit tenzij het praktisch alleen maar
tekstbestanden zijn.

nog een opmerking, in de man van ftp staat dit:

Note: mget and mput are not meant to transfer entire directory subtrees
of files. That can be done by transferring a
tar(1) archive of the subtree (in binary mode).

[Frank Van Damme]

Post by Fred Mobach

Post by John Bokma
Yup, hoewel ik denk dat als je 30K docs in 1x wilt overzetten dit
sneller gaat door een tarball over te zenden en uit te pakken,
on-the-fly, dan met rsync.

Hmmmm, nope. Het nadeel met rsync is dat je eerst een filesystem walk moet
doen voor je effectief begint te kopiëren, maar de afzonderlijke files
sturen zorgt niet voor vertragingen (round trip times). Het protocol is daar
op voorzien.

Post by Fred Mobach
Dat zou best eens mee kunnen vallen. Als men rsync gebruikt hoeft er
niet voor verzending en na ontvangst zowel tar als gzip gedraaid te
worden, want dat wordt dan door rsync zelf verwerkt. En qua disk I/O
maakt het ook al niet uit door wie die verzorgd wordt.

Tar draaien is nu niet meteen wat je noemt veel overhead. gzip vreet net
zoveel cpucycles binnen rsync als binnen euh, gzip; los daarvan draait het
bij de tar methode in een ander proces, wat een speed bonus geeft op SMP
systemen (meerdere cpu's of processorcores).

[Rikishi42]

Post by John Bokma

Post by Rikishi42

Post by John Bokma

Post by user
ipv weex, en per doc uploaden heb ik al eens gelezen
van zoiets als een tar.gz uploaden, dan een cmd en de
server plooit alles netjes open.
Hoe zou het gaan??

kan je de server op met ssh?

Als dat het geval is, kan je mmisschien zelfs ftp oveslaan en rsync
gebruiken.

Yup, hoewel ik denk dat als je 30K docs in 1x wilt overzetten dit
sneller gaat door een tarball over te zenden en uit te pakken,
on-the-fly, dan met rsync.

A priori zou dat inderdaad beter gaan, maar ik denk neit dat hij daar zoveel
van zou merken. Natuurlijk, als het gaat om een regelmatig te herhalen werk,
zou ik wel tijd steken ik optimiseren.

De tarball is allemaal goed en wel, maar die maken zal ook tijd innemen.
Misschien dat de compressie niet zo groot is, dan zou hij er niet eens aan
winnen.

En dan nog iets: is het voor de admin van die server OK dat er zo'n gebruik
gemaakt wordt van zijn machine? De cpu wordt wel aan het werk gezet, met
30.000 files. En is er voldoende volume om bij die verzameling docs, nog
eens een grote tar toe te voegen?

[John Bokma]

Post by Rikishi42

Post by John Bokma

Post by Rikishi42

Post by John Bokma

Post by user
ipv weex, en per doc uploaden heb ik al eens gelezen
van zoiets als een tar.gz uploaden, dan een cmd en de
server plooit alles netjes open.
Hoe zou het gaan??

kan je de server op met ssh?

Als dat het geval is, kan je mmisschien zelfs ftp oveslaan en rsync
gebruiken.

Yup, hoewel ik denk dat als je 30K docs in 1x wilt overzetten dit
sneller gaat door een tarball over te zenden en uit te pakken,
on-the-fly, dan met rsync.

A priori zou dat inderdaad beter gaan, maar ik denk neit dat hij daar zoveel
van zou merken. Natuurlijk, als het gaat om een regelmatig te herhalen werk,
zou ik wel tijd steken ik optimiseren.
De tarball is allemaal goed en wel, maar die maken zal ook tijd innemen.
Misschien dat de compressie niet zo groot is, dan zou hij er niet eens aan
winnen.
En dan nog iets: is het voor de admin van die server OK dat er zo'n gebruik
gemaakt wordt van zijn machine? De cpu wordt wel aan het werk gezet, met
30.000 files. En is er voldoende volume om bij die verzameling docs, nog
eens een grote tar toe te voegen?

Die tarball stream je naar de andere kant, waar die on-the-fly weer
uitgepakt wordt ;-).

Zie: http://www.koopman.me/2008/11/tar-pipe-ssh/
en: http://linux.icydog.net/ssh/piping.php

[Rikishi42]

Post by John Bokma

Post by Rikishi42
En dan nog iets: is het voor de admin van die server OK dat er zo'n gebruik
gemaakt wordt van zijn machine? De cpu wordt wel aan het werk gezet, met
30.000 files. En is er voldoende volume om bij die verzameling docs, nog
eens een grote tar toe te voegen?

Die tarball stream je naar de andere kant, waar die on-the-fly weer
uitgepakt wordt ;-).

God ja, was ik vergeten. De laatste keer dat ik tar echt gebruikt heb, waren
DAT tapes van 4 GB nog een luxe. :-)

Maar dan mag er niets fout gaan, of je kan alles opnieuw beginnen.
Rsync is beter. :-)

[user]

Post by John Bokma
kan je de server op met ssh?

ftp.fulladsl.be

ik denk van niet

www.fulladsl.be --->
http://myaccount.fulladsl.be/Technical/Webspace.aspx

wellicht kan ik niet zo inloggen op de server, maar ik
dacht dat sommige ftp een tar.gz konden
"interpreteren", mits weetikveel...

Alvast bedankt

[John Bokma]

Post by user

Post by John Bokma
kan je de server op met ssh?

ftp.fulladsl.be
ik denk van niet
www.fulladsl.be --->
http://myaccount.fulladsl.be/Technical/Webspace.aspx
wellicht kan ik niet zo inloggen op de server, maar ik
dacht dat sommige ftp een tar.gz konden
"interpreteren", mits weetikveel...

Geen idee, ik gebruik zeer zelden ftp (alleen als het niet anders
kan). Als je een CGI script kan schrijven, dan kan die vast die tar
uitpakken (met de juiste rechten). Anders zou ik filezilla gebruiken, en
een lange koffiepauze houden :-).

[Rikishi42]

Post by user

Post by John Bokma
kan je de server op met ssh?

ftp.fulladsl.be
ik denk van niet
www.fulladsl.be --->
http://myaccount.fulladsl.be/Technical/Webspace.aspx
wellicht kan ik niet zo inloggen op de server, maar ik
dacht dat sommige ftp een tar.gz konden
"interpreteren", mits weetikveel...
Alvast bedankt

Ga er gewoon met een goede FTP client heen, die zal de boel ook wel halen.
De tijd van er over na te denken, is de boel al bij U. En herstarten in
geval van onderbrekeing is toch ook geen probleem meer.
FileZilla of mc, zou ik zeggen.


Of vraag of iemand hier het voor U kan sponzen, alles op DVD zetten en per
snailmail versturen. Tegen betaling, natuurlijik. :-)

[Bas Janssen]

Post by user
ipv weex, en per doc uploaden heb ik al eens gelezen
van zoiets als een tar.gz uploaden, dan een cmd en de
server plooit alles netjes open.
Hoe zou het gaan??
Merci
Marc

Als je geen overhead wilt hebben van ssh of smb, en je wilt tussen 2
machines in een vertrouwde netwerk omgeving tig duizenden files van
machine a naar b zetten, kan je eventueel ook netcat gebruiken icm tar:

Zie: http://bas.dds.nl/wordpress/?p=252

Is in mijn ervaring vaak de snelste manier van kopieren van *heel veel*
kleine files.

[John Bokma]

Post by Bas Janssen

Post by user
ipv weex, en per doc uploaden heb ik al eens gelezen
van zoiets als een tar.gz uploaden, dan een cmd en de
server plooit alles netjes open.
Hoe zou het gaan??
Merci
Marc

Als je geen overhead wilt hebben van ssh of smb, en je wilt tussen 2
machines in een vertrouwde netwerk omgeving tig duizenden files van
Zie: http://bas.dds.nl/wordpress/?p=252
Is in mijn ervaring vaak de snelste manier van kopieren van *heel veel*
kleine files.

Nuttig, thanks.

[houghi]

["Followup-To:" header set to be.comp.os.linux.]

Post by Bas Janssen
Als je geen overhead wilt hebben van ssh of smb, en je wilt tussen 2
machines in een vertrouwde netwerk omgeving tig duizenden files van
Zie: http://bas.dds.nl/wordpress/?p=252
Is in mijn ervaring vaak de snelste manier van kopieren van *heel veel*
kleine files.

Wat noem je klein?

houghi