DRBD

Post by Hans W
Hoi allemaal,
Moet voor een project een paar testen uitvoeren. We moeten flink wat
data van een klant gaan syncen en ha aanbieden. Het gaat hier onder
andere om een iscsi machine die vm's host.
Nu zitten we er aan te denken om linux-ha te gaan testen hier voor.
Heeft iemand ervaring met
een soort gelijke omgeving? Het is de bedoeling dat we 100 GB+ gaan
syncen. Het lijntje naar de andere kant is het probleem niet, die
kunnen we zo dik maken als we willen.
Waar we vooral naar benieuwd zijn zijn de eventuele bottlenecks en
valkuilen.
Vr. Gr.,
Hans

Hoi hans,

Performance van DRDB is zeer goed, ook bij grotere storage pools.
(TeraByte(s)

Als het tussen 2 machines is die in dezelfde kast hangen, kan ik je
aanraden in beide bakken een extra gigabit nic te hangen met een directe
kabel ertussen (scheelt een hoop verkeer op je switch, plus weer een
single point of failure minder).

Recentelijk kan je met drdb ook een master-master configuratie hebben,
maar dit werkte toen (ong anderhalf jaar geleden) niet echt naar behoren...

Je zou als alternatief ook nog eens naar GlusterFS kunnen kijken:
http://www.howtoforge.com/high-availability-storage-with-glusterfs-on-debian-lenny-automatic-file-replication-across-two-storage-servers

--
Bas Janssen /. ***@dds.nl /. www.bas.dds.nl /. PGP#0x22FA2C9F

May thou have interesting times

Hans W

2009-08-27 09:09:05 UTC

Hallo Bas,

Post by Hans W
Nu zitten we er aan te denken om linux-ha te gaan testen hier voor.
Heeft iemand ervaring met
een soort gelijke omgeving? Het is de bedoeling dat we 100 GB+ gaan
syncen. Het lijntje naar de andere kant is het probleem niet, die
kunnen we zo dik maken als we willen.
Waar we vooral naar benieuwd zijn zijn de eventuele bottlenecks en
valkuilen.

Hoi hans,
Performance van DRDB is zeer goed, ook bij grotere storage pools.
(TeraByte(s)

Dat is mooi om te horen.

Post by Bas Janssen
Als het tussen 2 machines is die in dezelfde kast hangen, kan ik je
aanraden in beide bakken een extra gigabit nic te hangen met een directe
kabel ertussen (scheelt een hoop verkeer op je switch, plus weer een
single point of failure minder).

Gaat een nogal lang kabeltje worden :-) Kilometer of 80.

Post by Bas Janssen
Recentelijk kan je met drdb ook een master-master configuratie hebben,
maar dit werkte toen (ong anderhalf jaar geleden) niet echt naar behoren...
Je zou als alternatief ook nog eens naar GlusterFS kunnen kijken:http://www.howtoforge.com/high-availability-storage-with-glusterfs-on...

Bedankt voor de tips, ik ga er naar kijken.

Vriendelijke groeten,

Hans

blacklistme

2009-08-28 02:20:29 UTC

Post by Hans W
Hallo Bas,

Dit is je eerste ha-cluster? Huur iemand in, bespaartje veel problemen.
Ow en blijf uit de buurt van Redhat Cluster totdat ze netjes onsite komt
om een cluster te certificeren.

Post by Bas Janssen
Hoi hans,
Performance van DRDB is zeer goed, ook bij grotere storage pools.
(TeraByte(s)

Dat is mooi om te horen.

Je durft wel. Zeker omdat DRDB nogal wat design flaws heeft. De mooiste
is nog wel hoe ze met splitbrain om gaan. Ze maken een mix van Veritas
Cluster en Sun Cluster en brengen zichzelf in een staat waar je nooit
wilt zijn. De opmerking over datacorruptie is echt geweldig of hoe ze
bepalen welke wijzigingen ze weggooien.

Het idee lijkt leuk, maar of je nu al je data wilt vertrouwen aan iets
wat nog niet af is. Dopd lijkt redelijk in de buurt te komen van het
principe lijkt veilig, maar het mist wat dingen. Zoals ook bij CRM btw.

Gaat een nogal lang kabeltje worden :-) Kilometer of 80.

*proest* Je bent serieus? Als DRDB dat gaat supporten en certificeren
moet je achter je oren gaan krabbelen. Als je RTT hoger is dan 15 ms
moet je sneller licht gaan kopen, maar je wilt op ongeveer 7 a 8 ms
average uitkomen. Dat laatste gaat een uitdaging worden op die afstand.

Bedankt voor de tips, ik ga er naar kijken.

Lustre is nog een optie als je weinig wilt uitgeven. We moeten het nog
wel testen, maar het kan je data wel op meerdere locaties aanbieden met
bepaalde garanties.

Maar er zijn betere oplossingen voor wat je wilt. En vooral veiligere,
maar het gaat wel geld kosten. Kan ook kosteloos zonder certificering,
maar ik ga niet vloeken in de GPL-tempel hier.

B.

Hans W

2009-08-28 06:51:03 UTC

Post by Hans W
Hallo Bas,

Dit is je eerste ha-cluster? Huur iemand in, bespaartje veel problemen.
Ow en blijf uit de buurt van Redhat Cluster totdat ze netjes onsite komt
om een cluster te certificeren.

Post by Bas Janssen
Hoi hans,
Performance van DRDB is zeer goed, ook bij grotere storage pools.
(TeraByte(s)

Dat is mooi om te horen.

Hmm, punt van aandacht dus nog.

Post by blacklistme
Het idee lijkt leuk, maar of je nu al je data wilt vertrouwen aan iets
wat nog niet af is. Dopd lijkt redelijk in de buurt te komen van het
principe lijkt veilig, maar het mist wat dingen. Zoals ook bij CRM btw.

Gaat een nogal lang kabeltje worden :-) Kilometer of 80.

Het certificeren zal wellicht nog een issue zijn ja.

Bedankt voor de tips, ik ga er naar kijken.

Lustre is nog een optie als je weinig wilt uitgeven. We moeten het nog
wel testen, maar het kan je data wel op meerdere locaties aanbieden met
bepaalde garanties.
Maar er zijn betere oplossingen voor wat je wilt. En vooral veiligere,
maar het gaat wel geld kosten. Kan ook kosteloos zonder certificering,
maar ik ga niet vloeken in de GPL-tempel hier.

Dank je, vooral voor de technische opmerkingen :-)

Martijn Lievaart

2009-09-01 22:16:17 UTC

Post by Hans W
Gaat een nogal lang kabeltje worden :-) Kilometer of 80.

Huidige huurlijnen van >2Mb hebben een RTT van ca 4 ms, dus dat komt wel
goed.

M4

Hans W

2009-09-02 19:11:29 UTC

Post by Hans W
Gaat een nogal lang kabeltje worden :-) Kilometer of 80.

Huidige huurlijnen van >2Mb hebben een RTT van ca 4 ms, dus dat komt wel
goed.

Daar zitten wij idd ongeveer op.

Hans W

2009-09-30 19:58:28 UTC

Post by Hans W
Gaat een nogal lang kabeltje worden :-) Kilometer of 80.

Huidige huurlijnen van >2Mb hebben een RTT van ca 4 ms, dus dat komt wel
goed.

Daar zitten wij idd ongeveer op.

Momenteel zijn wij gestart met testen. De huidige situatie gaat maar
om 1
machine. We zullen vooral kijken naar hoevaak het inconsistent is en
op
welke tijden (het is een server die vooral overdag druk is).

Zijn er naast de normale Nagios plugins nog tips om dit te monitoren?

Beetje uitleg, het gaat om een server die live draait op locatie a met
een eigen
storage. De locatie b is een andere storage waar de gesyncte
(brakke omschrijving) staat. Deze zal alleen live gaan als locatie a
niet
meer is te bereiken (contract staat dat toe).

Vr. Gr.,

Hans

Martijn Lievaart

2009-10-01 06:13:55 UTC

Post by Martijn Lievaart
Huidige huurlijnen van >2Mb hebben een RTT van ca 4 ms, dus dat komt
wel goed.

Daar zitten wij idd ongeveer op.

Momenteel zijn wij gestart met testen. De huidige situatie gaat maar om
1
machine. We zullen vooral kijken naar hoevaak het inconsistent is en op
welke tijden (het is een server die vooral overdag druk is).
Zijn er naast de normale Nagios plugins nog tips om dit te monitoren?
Beetje uitleg, het gaat om een server die live draait op locatie a met
een eigen
storage. De locatie b is een andere storage waar de gesyncte (brakke
omschrijving) staat. Deze zal alleen live gaan als locatie a niet
meer is te bereiken (contract staat dat toe).

Doe een 6 maandelijkse failover test. Dit wordt door veel mensen
vergeten, maar is zoooo belangrijk.

Nagios plugins zijn makkelijk te schrijven, dus laat je verbeelding er
eens op los. (Ik ben in te huren.) Schrijf een file met bekende maar
wisselende inhoud naar het ene backend en controleer of ie op het andere
backend met dezelfde inhoud staat.

M4

blacklistme

2009-10-03 00:44:40 UTC

Post by Martijn Lievaart
Huidige huurlijnen van >2Mb hebben een RTT van ca 4 ms, dus dat komt
wel goed.

Daar zitten wij idd ongeveer op.

Momenteel zijn wij gestart met testen. De huidige situatie gaat maar om
1
machine. We zullen vooral kijken naar hoevaak het inconsistent is en op
welke tijden (het is een server die vooral overdag druk is).
Zijn er naast de normale Nagios plugins nog tips om dit te monitoren?
Beetje uitleg, het gaat om een server die live draait op locatie a met
een eigen
storage. De locatie b is een andere storage waar de gesyncte (brakke
omschrijving) staat. Deze zal alleen live gaan als locatie a niet
meer is te bereiken (contract staat dat toe).

Doe een 6 maandelijkse failover test. Dit wordt door veel mensen
vergeten, maar is zoooo belangrijk.

Je doelt op firewallrules die niet in sync zijn, applicaties die geen
gebruik maken van FQDNs, applicaties met kapotte resolvers, applicaties
die dingen vast pinnen op IP-adressen (denk aan keyhandshake of
licenties), applicaties die geen rollback cq integriteitscheck kunnen
doen, etc. Altijd leuk. Of mijn favoriet, de uitwijkmachine is te klein
cq kapot cq is niet aanwezig ;-)

Post by Martijn Lievaart
Nagios plugins zijn makkelijk te schrijven, dus laat je verbeelding er
eens op los. (Ik ben in te huren.) Schrijf een file met bekende maar
wisselende inhoud naar het ene backend en controleer of ie op het andere
backend met dezelfde inhoud staat.

Schrijf ook checks voor queue dieptes en schrijfvertraging. Dit is zijn
tekenen van problemen. En natuurlijk ook een check die zoekt naar de
term inode cq vnode in syslog.

B.

Bas Janssen

2009-10-01 08:23:15 UTC

Post by Hans W
Gaat een nogal lang kabeltje worden :-) Kilometer of 80.

Huidige huurlijnen van >2Mb hebben een RTT van ca 4 ms, dus dat komt wel
goed.

Daar zitten wij idd ongeveer op.

Momenteel zijn wij gestart met testen. De huidige situatie gaat maar
om 1
machine. We zullen vooral kijken naar hoevaak het inconsistent is en
op
welke tijden (het is een server die vooral overdag druk is).
Zijn er naast de normale Nagios plugins nog tips om dit te monitoren?
Beetje uitleg, het gaat om een server die live draait op locatie a met
een eigen
storage. De locatie b is een andere storage waar de gesyncte
(brakke omschrijving) staat. Deze zal alleen live gaan als locatie a
niet
meer is te bereiken (contract staat dat toe).
Vr. Gr.,
Hans

Monitoren drbd met nagios kan je doen via de check_drbd plugin van
Brandon Lee Poyner:

http://exchange.nagios.org/directory/Plugins/Uncategorized/Operating-Systems/Linux/check_drbd/details

Voorbeeld output:

--
DRBD OK: Dev 1 ConUpT, Dev 2 ConUpT, Dev 3 ConUpT, Dev 4 ConUpT
--

Plugin op alle drbd machines zetten, en je (aparte) monitoring server de
'remote' plugin laten checken.

--
Bas Janssen /. ***@dds.nl /. www.bas.dds.nl /. PGP#0x22FA2C9F

God: "Here's a quarter, kid, get yourself a real operating system."
-- [ducks flames]

Hans W

2009-10-01 20:50:55 UTC

Post by Hans W
Gaat een nogal lang kabeltje worden :-) Kilometer of 80.

Huidige huurlijnen van >2Mb hebben een RTT van ca 4 ms, dus dat komt wel
goed.

Daar zitten wij idd ongeveer op.

Momenteel zijn wij gestart met testen. De huidige situatie gaat maar
om 1
machine. We zullen vooral kijken naar hoevaak het inconsistent is en
op
welke tijden (het is een server die vooral overdag druk is).
Zijn er naast de normale Nagios plugins nog tips om dit te monitoren?
Beetje uitleg, het gaat om een server die live draait op locatie a met
een eigen
storage. De locatie b is een andere storage waar de gesyncte
(brakke omschrijving) staat. Deze zal alleen live gaan als locatie a
niet
meer is te bereiken (contract staat dat toe).
Vr. Gr.,
Hans

Monitoren drbd met nagios kan je doen via de check_drbd plugin van
http://exchange.nagios.org/directory/Plugins/Uncategorized/Operating-...
--
DRBD OK: Dev 1 ConUpT, Dev 2 ConUpT, Dev 3 ConUpT, Dev 4 ConUpT
--
Plugin op alle drbd machines zetten, en je (aparte) monitoring server de
'remote' plugin laten checken.

Die bedoelde ik dus met de normale nagios plugins :-)

Martijn, die failover test komt er hoor, ook bedankt voor de input.

Groet,

Hans

blacklistme

2009-10-03 00:28:39 UTC

Post by Hans W
Gaat een nogal lang kabeltje worden :-) Kilometer of 80.

Huidige huurlijnen van >2Mb hebben een RTT van ca 4 ms, dus dat komt wel
goed.

Interessant. Heb je een naam, want oa KPN, BT en Eurofiber kunnen het
ons niet leveren.

B.

Martijn Lievaart

2009-10-03 22:24:10 UTC