Problem mit SAN Partition an Windows Fileserver Cluster

[rkoenig]

Hallo Liebe Community!

Ich habe hier ein Problem mit 2 Partitionen die an Fileserverclustern
angeschlossen sind. Der Failover misslingt.

Hier kurz die Beschreibung des Hintergrunds:

Am SAN Controller sind die ClusterNodes mit der HBA WWN als
zugriffberechtigt eingetragen.
Beide Nodes sehen die Partition im Dateimanager und ich kann einzeln
wechselnd jeweils von jedem Node darauf zugreifen.

Nun möchte ich die Partition im Clusteradministrator eintragen und als
Ressource verwenden.
Ich trage dazu die Partition als Physikalischen Datenträger im
Clusteradministrator ein. Der Aktive Node sieht die Partition und ich kann
Ordner einrichten und sie freigeben.
So weit so gut.

Nun das Problem:
Führe ich den Failover durch kann der zweite Node die Partition nicht
übernehmen.

Fehlermeldung im Ereignisprotokoll:

Event Type: Error
Event Source: ClusSvc
Event Category: Physical Disk Resource
Event ID: 1034
Date: 27.09.2009
Time: 13:51:27
User: N/A
Computer: yyyy
Description:
The disk associated with cluster disk resource 'xxxx' could not be found.
The expected signature of the disk was A18FACA5. If the disk was removed from
the server cluster, the resource should be deleted. If the disk was replaced,
the resource must be deleted and created again in order to bring the disk
online. If the disk has not been removed or replaced, it may be inaccessible
at this time because it is reserved by another server cluster node.


Die einschlägige Suche ergab Hinweise auf ein dumpcfg Tool das aber schon
etwas älter ist (win2000 wird häufig erwähnt). Die 64 bit Varinate gibts wohl
nur per Support Call bei MS. Eine zweite Spur führt zum Clusterrecovery Tool
aus den Win 2003 Server Ressource Kit. Dieses wiederum scheint es nur für
32bit und Itanium zu geben. http://support.microsoft.com/kb/932465


In der Registry konnte ich beobachten das unter dem Schlüssel

HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\ClusDisk\Parameters

VOR der Cluster Einbindung auf beiden Nodes ein Eintrag AvailableDisks mit
der Partition (A18FACA5) sichtbar ist. Wenn die Partition im
ClusterAdministrator eingetragen ist wandert die A18FACA5 auf dem aktiven
Node mit in den Schlüssel "Signatures". Auf dem passiven Node nicht! Das
Umschalten im Cluster schlägt dann mit der og. Meldung im Ereignisprotokoll
fehl.

Gibt es dazu in der Community einschlägige Erfahrungen oder Tipps?

Besten Dank!
René


Hier noch infos zum Server:

-Server Win2003 R2 SP2 64Bit
-Hotfix KB914961
A hotfix that adds support for GUID partition table (GPT) volumes that are
larger than 2 terabytes on a Windows Server 2003-based server cluster
-Activ Passiv Cluster
-QLogic FibreChannel HBA Adpater
-2 SAN Partitionen (SUN Storagtek 6140) je 5,5 TB

[Bernd Pfann [MS]]

Post by rkoenig
Hallo Liebe Community!
Ich habe hier ein Problem mit 2 Partitionen die an Fileserverclustern
angeschlossen sind. Der Failover misslingt.

Wie ist den der Cluster aufgebaut? Wie liegen die Daten, wo liegt die
Quorum?

Post by rkoenig
Am SAN Controller sind die ClusterNodes mit der HBA WWN als
zugriffberechtigt eingetragen.
Beide Nodes sehen die Partition im Dateimanager und ich kann einzeln
wechselnd jeweils von jedem Node darauf zugreifen.
Nun möchte ich die Partition im Clusteradministrator eintragen und als
Ressource verwenden.
Ich trage dazu die Partition als Physikalischen Datenträger im
Clusteradministrator ein. Der Aktive Node sieht die Partition und ich kann
Ordner einrichten und sie freigeben.
So weit so gut.
Führe ich den Failover durch kann der zweite Node die Partition nicht
übernehmen.

Hast Du einen Failover probiert - bevor Ressourcen angelegt wurden. Also
lediglich die Disk in der Gruppe ... und diese auf den anderen Knoten
geschoben?

Post by rkoenig
Event Type: Error
Event Source: ClusSvc
Event Category: Physical Disk Resource
Event ID: 1034
Date: 27.09.2009
Time: 13:51:27
User: N/A
Computer: yyyy
The disk associated with cluster disk resource 'xxxx' could not be found.
The expected signature of the disk was A18FACA5. If the disk was removed from
the server cluster, the resource should be deleted. If the disk was replaced,
the resource must be deleted and created again in order to bring the disk
online. If the disk has not been removed or replaced, it may be inaccessible
at this time because it is reserved by another server cluster node.
Die einschlägige Suche ergab Hinweise auf ein dumpcfg Tool das aber schon
etwas älter ist (win2000 wird häufig erwähnt). Die 64 bit Varinate gibts wohl
nur per Support Call bei MS. Eine zweite Spur führt zum Clusterrecovery Tool
aus den Win 2003 Server Ressource Kit. Dieses wiederum scheint es nur für
32bit und Itanium zu geben. http://support.microsoft.com/kb/932465

Die Tools sind dazu da, Probleme mit der Signatur zu korrigieren - hier
scheint aber die Signatur aus welchem Grund auch immer geändert zu werden.

Post by rkoenig
In der Registry konnte ich beobachten das unter dem Schlüssel
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\ClusDisk\Parameters
VOR der Cluster Einbindung auf beiden Nodes ein Eintrag AvailableDisks mit
der Partition (A18FACA5) sichtbar ist. Wenn die Partition im
ClusterAdministrator eingetragen ist wandert die A18FACA5 auf dem aktiven
Node mit in den Schlüssel "Signatures". Auf dem passiven Node nicht! Das
Umschalten im Cluster schlägt dann mit der og. Meldung im
Ereignisprotokoll
fehl.
Gibt es dazu in der Community einschlägige Erfahrungen oder Tipps?
Besten Dank!
René
-Server Win2003 R2 SP2 64Bit
-Hotfix KB914961
A hotfix that adds support for GUID partition table (GPT) volumes that are
larger than 2 terabytes on a Windows Server 2003-based server cluster
-Activ Passiv Cluster
-QLogic FibreChannel HBA Adpater
-2 SAN Partitionen (SUN Storagtek 6140) je 5,5 TB

Steht das System auf der HCL? Welche Server (Hersteller, Modell), HBA Modell
Nummer habt ihr ... ich kann z.B. auf die Schnelle keine Kombination aus
Qlogic HBA und Sun StorageTek im www.windowsservercatalog.com finden und
insofern ist der Cluster schon mal nicht supported!

[rkoenig]

Hallo Herr Pfann!

Besten Dank für die Antwort!

Post by Bernd Pfann [MS]
Wie ist den der Cluster aufgebaut? Wie liegen die Daten, wo liegt die
Quorum?

Ja die Quorum ist jeweils auf einer eigenen kleinen Partition im SAN.
Die Daten auf den anderen angeschlossenen Partitonen (insgeamt 8). Die
anderen Partitionen funktionieren und sind auch schon länger im Einsatz. Nur
die beiden 5,5 TB Partitionen wollen nicht.
Wir haben auch ein baugleiches Storagetek 6140 erfolgreich im Einsatz.

Post by Bernd Pfann [MS]
Hast Du einen Failover probiert - bevor Ressourcen angelegt wurden. Also
lediglich die Disk in der Gruppe ... und diese auf den anderen Knoten
geschoben?

Ja haben wir versucht. Nur die Physical Disk angelegt und umgeschaltet.

Post by Bernd Pfann [MS]
Die Tools sind dazu da, Probleme mit der Signatur zu korrigieren - hier
scheint aber die Signatur aus welchem Grund auch immer geändert zu werden.

Sie wird geändert? Da ist mir nichts aufgefallen. Wo müsste ich da
nachschauen?
In der Registry taucht auf dem zweiten Node die Signatur gar nicht auf...
Gibt es evtl. noch eine Stelle wo man die Signaturen finden kann? Ich habe
mit diskpart mal geschaut. Aber da gibts so ca. 20stellige Signaturen zu
sehen.

Post by Bernd Pfann [MS]
Steht das System auf der HCL? Welche Server (Hersteller, Modell), HBA Modell
Nummer habt ihr ... ich kann z.B. auf die Schnelle keine Kombination aus
Qlogic HBA und Sun StorageTek im www.windowsservercatalog.com finden und
insofern ist der Cluster schon mal nicht supported!

Uff! Na das wär ja ein Ding! Das wurde uns so von unserem Systemhaus verkauft.
Der Cluster besteht aus 2 Nodes (SUN X4100 Server) Qlogic HBA QLA2460 mit
SUN Produktnummer und SUN Storagtek 6140 bzw. die ältere SUN Storedge 3511.

[Andreas Altermann]

Hi,

Nur die beiden 5,5 TB Partitionen wollen nicht.

Wie sind die Partitionen bzw. LUNs initialisiert, GPT oder MBR ?

Gruß
Ralph Andreas

Hallo Herr Pfann!
Besten Dank für die Antwort!

Post by Bernd Pfann [MS]
Wie ist den der Cluster aufgebaut? Wie liegen die Daten, wo liegt die
Quorum?

Ja die Quorum ist jeweils auf einer eigenen kleinen Partition im SAN.
Die Daten auf den anderen angeschlossenen Partitonen (insgeamt 8). Die
anderen Partitionen funktionieren und sind auch schon länger im Einsatz. Nur
die beiden 5,5 TB Partitionen wollen nicht.
Wir haben auch ein baugleiches Storagetek 6140 erfolgreich im Einsatz.

Post by Bernd Pfann [MS]
Hast Du einen Failover probiert - bevor Ressourcen angelegt wurden. Also
lediglich die Disk in der Gruppe ... und diese auf den anderen Knoten
geschoben?

Ja haben wir versucht. Nur die Physical Disk angelegt und umgeschaltet.

Post by Bernd Pfann [MS]
Die Tools sind dazu da, Probleme mit der Signatur zu korrigieren - hier
scheint aber die Signatur aus welchem Grund auch immer geändert zu werden.

Sie wird geändert? Da ist mir nichts aufgefallen. Wo müsste ich da
nachschauen?
In der Registry taucht auf dem zweiten Node die Signatur gar nicht auf...
Gibt es evtl. noch eine Stelle wo man die Signaturen finden kann? Ich habe
mit diskpart mal geschaut. Aber da gibts so ca. 20stellige Signaturen zu
sehen.

Post by Bernd Pfann [MS]
Steht das System auf der HCL? Welche Server (Hersteller, Modell), HBA Modell
Nummer habt ihr ... ich kann z.B. auf die Schnelle keine Kombination aus
Qlogic HBA und Sun StorageTek im www.windowsservercatalog.com finden und
insofern ist der Cluster schon mal nicht supported!

Uff! Na das wär ja ein Ding! Das wurde uns so von unserem Systemhaus verkauft.
Der Cluster besteht aus 2 Nodes (SUN X4100 Server) Qlogic HBA QLA2460 mit
SUN Produktnummer und SUN Storagtek 6140 bzw. die ältere SUN Storedge 3511.

[rkoenig]

Die Partitionen sind mit GPT initialisiert.
(Alles was bei uns grösser 2TB ist hab ich mit GPT initialisiert.)

Post by Andreas Altermann
Hi,

Nur die beiden 5,5 TB Partitionen wollen nicht.

Wie sind die Partitionen bzw. LUNs initialisiert, GPT oder MBR ?
Gruß
Ralph Andreas

Hallo Herr Pfann!
Besten Dank für die Antwort!

Post by Bernd Pfann [MS]
Wie ist den der Cluster aufgebaut? Wie liegen die Daten, wo liegt die
Quorum?

Ja die Quorum ist jeweils auf einer eigenen kleinen Partition im SAN.
Die Daten auf den anderen angeschlossenen Partitonen (insgeamt 8). Die
anderen Partitionen funktionieren und sind auch schon länger im Einsatz. Nur
die beiden 5,5 TB Partitionen wollen nicht.
Wir haben auch ein baugleiches Storagetek 6140 erfolgreich im Einsatz.

Post by Bernd Pfann [MS]
Hast Du einen Failover probiert - bevor Ressourcen angelegt wurden. Also
lediglich die Disk in der Gruppe ... und diese auf den anderen Knoten
geschoben?

Ja haben wir versucht. Nur die Physical Disk angelegt und umgeschaltet.

Post by Bernd Pfann [MS]
Die Tools sind dazu da, Probleme mit der Signatur zu korrigieren - hier
scheint aber die Signatur aus welchem Grund auch immer geändert zu werden.

Sie wird geändert? Da ist mir nichts aufgefallen. Wo müsste ich da
nachschauen?
In der Registry taucht auf dem zweiten Node die Signatur gar nicht auf...
Gibt es evtl. noch eine Stelle wo man die Signaturen finden kann? Ich habe
mit diskpart mal geschaut. Aber da gibts so ca. 20stellige Signaturen zu
sehen.

Post by Bernd Pfann [MS]
Steht das System auf der HCL? Welche Server (Hersteller, Modell), HBA Modell
Nummer habt ihr ... ich kann z.B. auf die Schnelle keine Kombination aus
Qlogic HBA und Sun StorageTek im www.windowsservercatalog.com finden und
insofern ist der Cluster schon mal nicht supported!

Uff! Na das wär ja ein Ding! Das wurde uns so von unserem Systemhaus verkauft.
Der Cluster besteht aus 2 Nodes (SUN X4100 Server) Qlogic HBA QLA2460 mit
SUN Produktnummer und SUN Storagtek 6140 bzw. die ältere SUN Storedge 3511.

[Bernd Pfann [MS]]

Sorry, dass ich nochmals nachfrage ...
(war 2 Tage weg im Urlaub ....)

Post by rkoenig
Hallo Herr Pfann!
Besten Dank für die Antwort!

Post by Bernd Pfann [MS]
Wie ist den der Cluster aufgebaut? Wie liegen die Daten, wo liegt die
Quorum?

Ja die Quorum ist jeweils auf einer eigenen kleinen Partition im SAN.
Die Daten auf den anderen angeschlossenen Partitonen (insgeamt 8). Die
anderen Partitionen funktionieren und sind auch schon länger im Einsatz. Nur
die beiden 5,5 TB Partitionen wollen nicht.

OK :-) Der Cluster hat vieviele Partitionen?
1x Quorum (MBR)
2x 5,5TB (GPT)
8x ???? (MBR oder GPT)

Sind 8 anderen Partitionen auch GPT oder MBR?

Post by rkoenig
Wir haben auch ein baugleiches Storagetek 6140 erfolgreich im Einsatz.

Post by Bernd Pfann [MS]
Hast Du einen Failover probiert - bevor Ressourcen angelegt wurden. Also
lediglich die Disk in der Gruppe ... und diese auf den anderen Knoten
geschoben?

Ja haben wir versucht. Nur die Physical Disk angelegt und umgeschaltet.

Post by Bernd Pfann [MS]
Die Tools sind dazu da, Probleme mit der Signatur zu korrigieren - hier
scheint aber die Signatur aus welchem Grund auch immer geändert zu werden.

Sie wird geändert? Da ist mir nichts aufgefallen. Wo müsste ich da
nachschauen?
In der Registry taucht auf dem zweiten Node die Signatur gar nicht auf...
Gibt es evtl. noch eine Stelle wo man die Signaturen finden kann? Ich habe
mit diskpart mal geschaut. Aber da gibts so ca. 20stellige Signaturen zu
sehen.

Post by Bernd Pfann [MS]
Steht das System auf der HCL? Welche Server (Hersteller, Modell), HBA Modell
Nummer habt ihr ... ich kann z.B. auf die Schnelle keine Kombination aus
Qlogic HBA und Sun StorageTek im www.windowsservercatalog.com finden und
insofern ist der Cluster schon mal nicht supported!

Uff! Na das wär ja ein Ding! Das wurde uns so von unserem Systemhaus verkauft.
Der Cluster besteht aus 2 Nodes (SUN X4100 Server) Qlogic HBA QLA2460 mit
SUN Produktnummer und SUN Storagtek 6140 bzw. die ältere SUN Storedge 3511.

Bekommt der Cluster die LUNs von einem Storage System (6140) oder von beiden
(3511 + 6140)?

Ich schau noch mal in den Katalog, ob ich die Kombination finde?

[rkoenig]

Hallo Herr Pfann!

Danke fürs Feedback!

Ich hole kurz etwas weiter aus um unsere Struktur zu beschreiben:

Wir haben insgesamt 3 SANController SUN 3511 und 2x SAN Controller 6140.
Teilweise mit JBODs hinten dran.
Wir haben 4 Fileservercluster (Aktiv/Passiv) über die wir die Partitionen
zur Verfügung stellen.
Damit die Fileserver flexibel an die SANs rankommen läuft die Kommunikation
über Fibre Channel HBAs und FC Brocade Switches (u.a. Silkworm 3850).

Die Partitionen sind unterschiedlich groß. (Hat sich historisch so
entwickelt). Als es noch keine 64bit Clusterunterstützung gab sind wir bis
max. 2TB gegangen. Dann bis 4TB (max. Größe einer Logical Disk bei unseren
3511) Und nun haben wir frei gewählt in einer der Storagetek 6140 mal 5,5 TB
initialisiert und formatiert.

Die beiden 5,5 TB Partitionen haben wir auf 2 Fileservercluster verteilt.
Beide Cluster haben das Problem beim Umschalten. An beiden hängen noch
weitere Partitionen unterschiedlicher Grösse von den 3511 und von den 6140
SANs.

Für mein exemplarisch beschriebenes Problem in meinem ersten Post bedeutet
das konkret:



DISKPART> list disk

Disk ### Status Size Free Dyn Gpt
-------- ---------- ------- ------- --- ---
Disk 0 Online 2655 GB 991 KB * StorEdge 3511
Disk 1 Online 2000 GB 0 B StorEdge 3511
Disk 2 Online 1953 GB 0 B StorEdge 3511
Disk 3 Online 4655 GB 991 KB * Storagetek 6140
Disk 4 Online 4655 GB 991 KB * Storagetek 6140
Disk 5 Online 1953 GB 0 B StorEdge 3511
Disk 6 Online 68 GB 0 B lokale Platte
Disk 7 Online 5586 GB 991 KB * Storagetek 6140 unser
Problem!
Disk 8 Online 1850 GB 0 B StorEdge 3511
Disk 9 Online 4096 GB 991 KB * StorEdge 3511


Alle anderen Partitionen funktionieren beim Umschalten sauber nur diese
nicht.
Ich bin nicht tausend prozentig sicher ob wir ein Problem mit dem
Controller haben. Aber wenn ich vor dem Clustereinbinden auf beiden Nodes die
5,5 TB Partition sehen und benutzen kann und sie beim Einbinden auf dem
ersten Node auch da funktioniert, suche ich nach dem Fehler bei den
Clusterrechnern.... Evtl. werden die Signaturinfos nicht sauber ins Quorum
geschrieben und falsch oder gar nicht übergeben?

Viele Grüsse
René

P.S. Die Angaben von Diskpart in der Spalte "Free" sind verkehrt fällt
mir dabei gerade auf....?!?

Post by Bernd Pfann [MS]
Sorry, dass ich nochmals nachfrage ...
(war 2 Tage weg im Urlaub ....)

Post by rkoenig
Hallo Herr Pfann!
Besten Dank für die Antwort!

Post by Bernd Pfann [MS]
Wie ist den der Cluster aufgebaut? Wie liegen die Daten, wo liegt die
Quorum?

Ja die Quorum ist jeweils auf einer eigenen kleinen Partition im SAN.
Die Daten auf den anderen angeschlossenen Partitonen (insgeamt 8). Die
anderen Partitionen funktionieren und sind auch schon länger im Einsatz. Nur
die beiden 5,5 TB Partitionen wollen nicht.

OK :-) Der Cluster hat vieviele Partitionen?
1x Quorum (MBR)
2x 5,5TB (GPT)
8x ???? (MBR oder GPT)
Sind 8 anderen Partitionen auch GPT oder MBR?

Post by rkoenig
Wir haben auch ein baugleiches Storagetek 6140 erfolgreich im Einsatz.

Post by Bernd Pfann [MS]
Hast Du einen Failover probiert - bevor Ressourcen angelegt wurden. Also
lediglich die Disk in der Gruppe ... und diese auf den anderen Knoten
geschoben?

Ja haben wir versucht. Nur die Physical Disk angelegt und umgeschaltet.

Post by Bernd Pfann [MS]
Die Tools sind dazu da, Probleme mit der Signatur zu korrigieren - hier
scheint aber die Signatur aus welchem Grund auch immer geändert zu werden.

Sie wird geändert? Da ist mir nichts aufgefallen. Wo müsste ich da
nachschauen?
In der Registry taucht auf dem zweiten Node die Signatur gar nicht auf...
Gibt es evtl. noch eine Stelle wo man die Signaturen finden kann? Ich habe
mit diskpart mal geschaut. Aber da gibts so ca. 20stellige Signaturen zu
sehen.

Post by Bernd Pfann [MS]
Steht das System auf der HCL? Welche Server (Hersteller, Modell), HBA Modell
Nummer habt ihr ... ich kann z.B. auf die Schnelle keine Kombination aus
Qlogic HBA und Sun StorageTek im www.windowsservercatalog.com finden und
insofern ist der Cluster schon mal nicht supported!

Uff! Na das wär ja ein Ding! Das wurde uns so von unserem Systemhaus verkauft.
Der Cluster besteht aus 2 Nodes (SUN X4100 Server) Qlogic HBA QLA2460 mit
SUN Produktnummer und SUN Storagtek 6140 bzw. die ältere SUN Storedge 3511.

Bekommt der Cluster die LUNs von einem Storage System (6140) oder von beiden
(3511 + 6140)?
Ich schau noch mal in den Katalog, ob ich die Kombination finde?
--
Mit freundlichen Grüßen / Kind regards - Bernd Pfann (Microsoft)
This posting is provided "AS IS" with no warranties, and confers no
rights.

[rkoenig]

Noch als Nachtrag Quorum Frage:

DISKPART> list disk

Disk ### Status Size Free Dyn Gpt
-------- ---------- ------- ------- --- ---
Disk 0 Online 2655 GB 991 KB * StorEdge 3511
Disk 1 Online 2000 GB 0 B StorEdge 3511
Disk 2 Online 1953 GB 0 B StorEdge 3511
Disk 3 Online 4655 GB 991 KB * Storagetek 6140
Disk 4 Online 4655 GB 991 KB * Storagetek 6140
Disk 5 Online 1953 GB 0 B StorEdge 3511
(Hier liegt die Quorum mit.*)
Disk 6 Online 68 GB 0 B lokale Platte
Disk 7 Online 5586 GB 991 KB * Storagetek 6140
unser Problem!
Disk 8 Online 1850 GB 0 B StorEdge 3511
Disk 9 Online 4096 GB 991 KB * StorEdge 3511

* Die SAN-Disk ist im Windows partitioniert. 200MB Quorum und der Rest
noch für Daten.

Post by rkoenig
Hallo Herr Pfann!
Danke fürs Feedback!
Wir haben insgesamt 3 SANController SUN 3511 und 2x SAN Controller 6140.
Teilweise mit JBODs hinten dran.
Wir haben 4 Fileservercluster (Aktiv/Passiv) über die wir die Partitionen
zur Verfügung stellen.
Damit die Fileserver flexibel an die SANs rankommen läuft die Kommunikation
über Fibre Channel HBAs und FC Brocade Switches (u.a. Silkworm 3850).
Die Partitionen sind unterschiedlich groß. (Hat sich historisch so
entwickelt). Als es noch keine 64bit Clusterunterstützung gab sind wir bis
max. 2TB gegangen. Dann bis 4TB (max. Größe einer Logical Disk bei unseren
3511) Und nun haben wir frei gewählt in einer der Storagetek 6140 mal 5,5 TB
initialisiert und formatiert.
Die beiden 5,5 TB Partitionen haben wir auf 2 Fileservercluster verteilt.
Beide Cluster haben das Problem beim Umschalten. An beiden hängen noch
weitere Partitionen unterschiedlicher Grösse von den 3511 und von den 6140
SANs.
Für mein exemplarisch beschriebenes Problem in meinem ersten Post bedeutet
DISKPART> list disk
Disk ### Status Size Free Dyn Gpt
-------- ---------- ------- ------- --- ---
Disk 0 Online 2655 GB 991 KB * StorEdge 3511
Disk 1 Online 2000 GB 0 B StorEdge 3511
Disk 2 Online 1953 GB 0 B StorEdge 3511
Disk 3 Online 4655 GB 991 KB * Storagetek 6140
Disk 4 Online 4655 GB 991 KB * Storagetek 6140
Disk 5 Online 1953 GB 0 B StorEdge 3511
Disk 6 Online 68 GB 0 B lokale Platte
Disk 7 Online 5586 GB 991 KB * Storagetek 6140 unser
Problem!
Disk 8 Online 1850 GB 0 B StorEdge 3511
Disk 9 Online 4096 GB 991 KB * StorEdge 3511
Alle anderen Partitionen funktionieren beim Umschalten sauber nur diese
nicht.
Ich bin nicht tausend prozentig sicher ob wir ein Problem mit dem
Controller haben. Aber wenn ich vor dem Clustereinbinden auf beiden Nodes die
5,5 TB Partition sehen und benutzen kann und sie beim Einbinden auf dem
ersten Node auch da funktioniert, suche ich nach dem Fehler bei den
Clusterrechnern.... Evtl. werden die Signaturinfos nicht sauber ins Quorum
geschrieben und falsch oder gar nicht übergeben?
Viele Grüsse
René
P.S. Die Angaben von Diskpart in der Spalte "Free" sind verkehrt fällt
mir dabei gerade auf....?!?

Post by Bernd Pfann [MS]
Sorry, dass ich nochmals nachfrage ...
(war 2 Tage weg im Urlaub ....)

Post by rkoenig
Hallo Herr Pfann!
Besten Dank für die Antwort!

Post by Bernd Pfann [MS]
Wie ist den der Cluster aufgebaut? Wie liegen die Daten, wo liegt die
Quorum?

Ja die Quorum ist jeweils auf einer eigenen kleinen Partition im SAN.
Die Daten auf den anderen angeschlossenen Partitonen (insgeamt 8). Die
anderen Partitionen funktionieren und sind auch schon länger im Einsatz. Nur
die beiden 5,5 TB Partitionen wollen nicht.

OK :-) Der Cluster hat vieviele Partitionen?
1x Quorum (MBR)
2x 5,5TB (GPT)
8x ???? (MBR oder GPT)
Sind 8 anderen Partitionen auch GPT oder MBR?

Post by rkoenig
Wir haben auch ein baugleiches Storagetek 6140 erfolgreich im Einsatz.

Post by Bernd Pfann [MS]
Hast Du einen Failover probiert - bevor Ressourcen angelegt wurden. Also
lediglich die Disk in der Gruppe ... und diese auf den anderen Knoten
geschoben?

Ja haben wir versucht. Nur die Physical Disk angelegt und umgeschaltet.

Post by Bernd Pfann [MS]
Die Tools sind dazu da, Probleme mit der Signatur zu korrigieren - hier
scheint aber die Signatur aus welchem Grund auch immer geändert zu werden.

Sie wird geändert? Da ist mir nichts aufgefallen. Wo müsste ich da
nachschauen?
In der Registry taucht auf dem zweiten Node die Signatur gar nicht auf...
Gibt es evtl. noch eine Stelle wo man die Signaturen finden kann? Ich habe
mit diskpart mal geschaut. Aber da gibts so ca. 20stellige Signaturen zu
sehen.

Post by Bernd Pfann [MS]
Steht das System auf der HCL? Welche Server (Hersteller, Modell), HBA Modell
Nummer habt ihr ... ich kann z.B. auf die Schnelle keine Kombination aus
Qlogic HBA und Sun StorageTek im www.windowsservercatalog.com finden und
insofern ist der Cluster schon mal nicht supported!

Uff! Na das wär ja ein Ding! Das wurde uns so von unserem Systemhaus verkauft.
Der Cluster besteht aus 2 Nodes (SUN X4100 Server) Qlogic HBA QLA2460 mit
SUN Produktnummer und SUN Storagtek 6140 bzw. die ältere SUN Storedge 3511.

Bekommt der Cluster die LUNs von einem Storage System (6140) oder von beiden
(3511 + 6140)?
Ich schau noch mal in den Katalog, ob ich die Kombination finde?
--
Mit freundlichen Grüßen / Kind regards - Bernd Pfann (Microsoft)
This posting is provided "AS IS" with no warranties, and confers no
rights.

[Bernd Pfann [MS]]

Post by rkoenig
DISKPART> list disk
Disk ### Status Size Free Dyn Gpt
-------- ---------- ------- ------- --- ---
Disk 0 Online 2655 GB 991 KB * StorEdge 3511
Disk 1 Online 2000 GB 0 B StorEdge 3511
Disk 2 Online 1953 GB 0 B StorEdge 3511
Disk 3 Online 4655 GB 991 KB * Storagetek 6140
Disk 4 Online 4655 GB 991 KB * Storagetek 6140
Disk 5 Online 1953 GB 0 B StorEdge 3511
(Hier liegt die Quorum mit.*)
Disk 6 Online 68 GB 0 B lokale Platte
Disk 7 Online 5586 GB 991 KB * Storagetek 6140
unser Problem!
Disk 8 Online 1850 GB 0 B StorEdge 3511
Disk 9 Online 4096 GB 991 KB * StorEdge 3511
* Die SAN-Disk ist im Windows partitioniert. 200MB Quorum und der Rest
noch für Daten.

Post by rkoenig
Hallo Herr Pfann!
Danke fürs Feedback!
Wir haben insgesamt 3 SANController SUN 3511 und 2x SAN Controller 6140.
Teilweise mit JBODs hinten dran.
Wir haben 4 Fileservercluster (Aktiv/Passiv) über die wir die Partitionen
zur Verfügung stellen.
Damit die Fileserver flexibel an die SANs rankommen läuft die Kommunikation
über Fibre Channel HBAs und FC Brocade Switches (u.a. Silkworm 3850).
Die Partitionen sind unterschiedlich groß. (Hat sich historisch so
entwickelt). Als es noch keine 64bit Clusterunterstützung gab sind wir bis
max. 2TB gegangen. Dann bis 4TB (max. Größe einer Logical Disk bei unseren
3511) Und nun haben wir frei gewählt in einer der Storagetek 6140 mal 5,5 TB
initialisiert und formatiert.
Die beiden 5,5 TB Partitionen haben wir auf 2 Fileservercluster verteilt.
Beide Cluster haben das Problem beim Umschalten. An beiden hängen noch
weitere Partitionen unterschiedlicher Grösse von den 3511 und von den 6140
SANs.
Für mein exemplarisch beschriebenes Problem in meinem ersten Post bedeutet
DISKPART> list disk
Disk ### Status Size Free Dyn Gpt
-------- ---------- ------- ------- --- ---
Disk 0 Online 2655 GB 991 KB * StorEdge 3511
Disk 1 Online 2000 GB 0 B StorEdge 3511
Disk 2 Online 1953 GB 0 B StorEdge 3511
Disk 3 Online 4655 GB 991 KB * Storagetek 6140
Disk 4 Online 4655 GB 991 KB * Storagetek 6140
Disk 5 Online 1953 GB 0 B StorEdge 3511
Disk 6 Online 68 GB 0 B lokale Platte
Disk 7 Online 5586 GB 991 KB * Storagetek 6140 unser
Problem!
Disk 8 Online 1850 GB 0 B StorEdge 3511
Disk 9 Online 4096 GB 991 KB * StorEdge 3511
Alle anderen Partitionen funktionieren beim Umschalten sauber nur diese
nicht.
Ich bin nicht tausend prozentig sicher ob wir ein Problem mit dem
Controller haben. Aber wenn ich vor dem Clustereinbinden auf beiden Nodes die
5,5 TB Partition sehen und benutzen kann und sie beim Einbinden auf dem
ersten Node auch da funktioniert, suche ich nach dem Fehler bei den
Clusterrechnern.... Evtl. werden die Signaturinfos nicht sauber ins Quorum
geschrieben und falsch oder gar nicht übergeben?
Viele Grüsse
René
P.S. Die Angaben von Diskpart in der Spalte "Free" sind verkehrt fällt
mir dabei gerade auf....?!?

Zusammenfassend:

1) Der Failover geht nur mit den GPT Disks nicht!
2) Die GPT Disk wurde partitioniert! Das bedingt aber, dass beide
Partitionen in der gleichen Gruppe sein müssen. Eigentlich ist
partitionieren von SAN Luns nicht die optimale Lösung. Geht den der Failover
wenn Sie die Partitionen löschen und ein einzige Partition auf der GPT
anlegen?

[rkoenig]

Hmm, ich hätte nicht den "*" als Fussnotensymbol nutzen sollen. Das verwirrt
doch etwas.

Die 5,5TB GPT Disk ist nicht partitioniert. Die Quorum liegt mit auf Disk 5.
Nur das Umschalten der 5,5TB GPT Disk funktioniert nicht. (Dort ist nur eine
Partition drauf.) Alle 8 anderen SAN Disks funktionieren beim Failover.

Ein "*" in der Spalte GPT zeigt an das es sich um eine GPT Disk handelt.
Fehlt er in einer Zeile, ist es eine MBR Disk.

Viele Grüsse
René

Post by Bernd Pfann [MS]
Sorry, dass ich nochmals nachfrage ...
(war 2 Tage weg im Urlaub ....)

Post by rkoenig
Hallo Herr Pfann!
Besten Dank für die Antwort!

Post by Bernd Pfann [MS]
Wie ist den der Cluster aufgebaut? Wie liegen die Daten, wo liegt die
Quorum?

Ja die Quorum ist jeweils auf einer eigenen kleinen Partition im SAN.
Die Daten auf den anderen angeschlossenen Partitonen (insgeamt 8). Die
anderen Partitionen funktionieren und sind auch schon länger im Einsatz. Nur
die beiden 5,5 TB Partitionen wollen nicht.

OK :-) Der Cluster hat vieviele Partitionen?
1x Quorum (MBR)
2x 5,5TB (GPT)
8x ???? (MBR oder GPT)
Sind 8 anderen Partitionen auch GPT oder MBR?

Post by rkoenig
Wir haben auch ein baugleiches Storagetek 6140 erfolgreich im Einsatz.

Post by Bernd Pfann [MS]
Hast Du einen Failover probiert - bevor Ressourcen angelegt wurden. Also
lediglich die Disk in der Gruppe ... und diese auf den anderen Knoten
geschoben?

Ja haben wir versucht. Nur die Physical Disk angelegt und umgeschaltet.

Post by Bernd Pfann [MS]
Die Tools sind dazu da, Probleme mit der Signatur zu korrigieren - hier
scheint aber die Signatur aus welchem Grund auch immer geändert zu werden.

Sie wird geändert? Da ist mir nichts aufgefallen. Wo müsste ich da
nachschauen?
In der Registry taucht auf dem zweiten Node die Signatur gar nicht auf...
Gibt es evtl. noch eine Stelle wo man die Signaturen finden kann? Ich habe
mit diskpart mal geschaut. Aber da gibts so ca. 20stellige Signaturen zu
sehen.

Post by Bernd Pfann [MS]
Steht das System auf der HCL? Welche Server (Hersteller, Modell), HBA Modell
Nummer habt ihr ... ich kann z.B. auf die Schnelle keine Kombination aus
Qlogic HBA und Sun StorageTek im www.windowsservercatalog.com finden und
insofern ist der Cluster schon mal nicht supported!

Uff! Na das wär ja ein Ding! Das wurde uns so von unserem Systemhaus verkauft.
Der Cluster besteht aus 2 Nodes (SUN X4100 Server) Qlogic HBA QLA2460 mit
SUN Produktnummer und SUN Storagtek 6140 bzw. die ältere SUN Storedge 3511.

Bekommt der Cluster die LUNs von einem Storage System (6140) oder von beiden
(3511 + 6140)?
Ich schau noch mal in den Katalog, ob ich die Kombination finde?
--
Mit freundlichen Grüßen / Kind regards - Bernd Pfann (Microsoft)
This posting is provided "AS IS" with no warranties, and confers no
rights.

[Bernd Pfann [MS]]

Post by rkoenig
Hmm, ich hätte nicht den "*" als Fussnotensymbol nutzen sollen. Das verwirrt
doch etwas.
Die 5,5TB GPT Disk ist nicht partitioniert. Die Quorum liegt mit auf Disk 5.
Nur das Umschalten der 5,5TB GPT Disk funktioniert nicht. (Dort ist nur eine
Partition drauf.) Alle 8 anderen SAN Disks funktionieren beim Failover.
Ein "*" in der Spalte GPT zeigt an das es sich um eine GPT Disk handelt.
Fehlt er in einer Zeile, ist es eine MBR Disk.

[...]
Klappt der Failover nur in eine Richtung nicht? Wurde versucht die LUN auf
Node 1 einzurichten und auf Node 2 zu schieben und ungekehrt?
Gibt es die Möglichkeit das wir ein paar Dateien austauschen können (ich
bräuchte die sog. MPSReports).

http://www.microsoft.com/downloads/details.aspx?displaylang=en&FamilyID=cebf3c7c-7ca5-408f-88b7-f9c79b7306c0

[rkoenig]

Hallo Herr Pfann!

Sorry für die späte Antwort. Ja wir hatten bei unseren Tests auch den
umgekehrten Fall einmal probiert.
Das Reporting-Tool habe ich mir mal runtergeladen und werd mich hier wieder
melden wenn ichdie Daten gesammelt habe.

Viele Grüsse
René König

Post by Bernd Pfann [MS]

Post by rkoenig
Hmm, ich hätte nicht den "*" als Fussnotensymbol nutzen sollen. Das verwirrt
doch etwas.
Die 5,5TB GPT Disk ist nicht partitioniert. Die Quorum liegt mit auf Disk 5.
Nur das Umschalten der 5,5TB GPT Disk funktioniert nicht. (Dort ist nur eine
Partition drauf.) Alle 8 anderen SAN Disks funktionieren beim Failover.
Ein "*" in der Spalte GPT zeigt an das es sich um eine GPT Disk handelt.
Fehlt er in einer Zeile, ist es eine MBR Disk.

[...]
Klappt der Failover nur in eine Richtung nicht? Wurde versucht die LUN auf
Node 1 einzurichten und auf Node 2 zu schieben und ungekehrt?
Gibt es die Möglichkeit das wir ein paar Dateien austauschen können (ich
bräuchte die sog. MPSReports).
http://www.microsoft.com/downloads/details.aspx?displaylang=en&FamilyID=cebf3c7c-7ca5-408f-88b7-f9c79b7306c0
--
Mit freundlichen Grüßen / Kind regards - Bernd Pfann (Microsoft)
This posting is provided "AS IS" with no warranties, and confers no
rights.

[rkoenig]

Lieber Herr Pfann,
Liebe Liste,

wir haben unterdessen über den MS Support einen Call eröffnet und sind an
dem Problem dran. Ich melde mich sobald eine Lösung gefunden wurde.

Post by Bernd Pfann [MS]

Post by rkoenig
Hmm, ich hätte nicht den "*" als Fussnotensymbol nutzen sollen. Das verwirrt
doch etwas.
Die 5,5TB GPT Disk ist nicht partitioniert. Die Quorum liegt mit auf Disk 5.
Nur das Umschalten der 5,5TB GPT Disk funktioniert nicht. (Dort ist nur eine
Partition drauf.) Alle 8 anderen SAN Disks funktionieren beim Failover.
Ein "*" in der Spalte GPT zeigt an das es sich um eine GPT Disk handelt.
Fehlt er in einer Zeile, ist es eine MBR Disk.

[...]
Klappt der Failover nur in eine Richtung nicht? Wurde versucht die LUN auf
Node 1 einzurichten und auf Node 2 zu schieben und ungekehrt?
Gibt es die Möglichkeit das wir ein paar Dateien austauschen können (ich
bräuchte die sog. MPSReports).
http://www.microsoft.com/downloads/details.aspx?displaylang=en&FamilyID=cebf3c7c-7ca5-408f-88b7-f9c79b7306c0
--
Mit freundlichen Grüßen / Kind regards - Bernd Pfann (Microsoft)
This posting is provided "AS IS" with no warranties, and confers no
rights.

[Bernd Pfann [MS]]

Dann würde mich interessieren was da raus kommt :-)
--
Mit freundlichen Grüßen / Kind regards - Bernd Pfann (Microsoft)

This posting is provided "AS IS" with no warranties, and confers no
rights.

Post by rkoenig
Lieber Herr Pfann,
Liebe Liste,
wir haben unterdessen über den MS Support einen Call eröffnet und sind an
dem Problem dran. Ich melde mich sobald eine Lösung gefunden wurde.

Post by Bernd Pfann [MS]

Post by rkoenig
Hmm, ich hätte nicht den "*" als Fussnotensymbol nutzen sollen. Das verwirrt
doch etwas.
Die 5,5TB GPT Disk ist nicht partitioniert. Die Quorum liegt mit auf
Disk
5.
Nur das Umschalten der 5,5TB GPT Disk funktioniert nicht. (Dort ist nur eine
Partition drauf.) Alle 8 anderen SAN Disks funktionieren beim Failover.
Ein "*" in der Spalte GPT zeigt an das es sich um eine GPT Disk handelt.
Fehlt er in einer Zeile, ist es eine MBR Disk.

[...]
Klappt der Failover nur in eine Richtung nicht? Wurde versucht die LUN auf
Node 1 einzurichten und auf Node 2 zu schieben und ungekehrt?
Gibt es die Möglichkeit das wir ein paar Dateien austauschen können (ich
bräuchte die sog. MPSReports).
http://www.microsoft.com/downloads/details.aspx?displaylang=en&FamilyID=cebf3c7c-7ca5-408f-88b7-f9c79b7306c0
--
Mit freundlichen Grüßen / Kind regards - Bernd Pfann (Microsoft)
This posting is provided "AS IS" with no warranties, and confers no
rights.

[rkoenig]

Hallo Herr Pfann!
Hallo Liebe Liste!

wie versprochen hier die (wahrscheinliche) Lösung unseres Problems:

Wie ein paar Posts vorher beschrieben haben wir neben der 6140 auch noch SAN
Controller SUN 3511 in Betrieb auf die die Fileservercluster zugreifen.
Nach einem FW Update auf den 6140 kamen wir der Lösung näher: Die Storagetek
6140 benötigt jetzt MPIO DSM Treiber zur korrekten Funktion. Die 3511 läuft
nur mit RDAC Multipath Treibern. Beide Versionen sind nicht zusammen auf
einem Win2003 Server installierbar. Die RDAC Treiber tun offenbar Ihren
Dienst auch mit der 6140 aber nur eingeschränkt. Der Cluster Failover bei
grossen Partitionen schlägt fehl.

Wir müssen also die SAN Ressourcen auf den Fileservern trennenund neu
zuordnen RDAC und 3511 auf einem Cluster und MPIODSM und 6140 auf/an einem
anderen.
.....und haben dann hoffentlich das Problem gelöst.

Post by Bernd Pfann [MS]
Dann würde mich interessieren was da raus kommt :-)
--
Mit freundlichen Grüßen / Kind regards - Bernd Pfann (Microsoft)
This posting is provided "AS IS" with no warranties, and confers no
rights.

Post by rkoenig
Lieber Herr Pfann,
Liebe Liste,
wir haben unterdessen über den MS Support einen Call eröffnet und sind an
dem Problem dran. Ich melde mich sobald eine Lösung gefunden wurde.

Post by Bernd Pfann [MS]

Post by rkoenig
Hmm, ich hätte nicht den "*" als Fussnotensymbol nutzen sollen. Das verwirrt
doch etwas.
Die 5,5TB GPT Disk ist nicht partitioniert. Die Quorum liegt mit auf
Disk
5.
Nur das Umschalten der 5,5TB GPT Disk funktioniert nicht. (Dort ist nur eine
Partition drauf.) Alle 8 anderen SAN Disks funktionieren beim Failover.
Ein "*" in der Spalte GPT zeigt an das es sich um eine GPT Disk handelt.
Fehlt er in einer Zeile, ist es eine MBR Disk.

[...]
Klappt der Failover nur in eine Richtung nicht? Wurde versucht die LUN auf
Node 1 einzurichten und auf Node 2 zu schieben und ungekehrt?
Gibt es die Möglichkeit das wir ein paar Dateien austauschen können (ich
bräuchte die sog. MPSReports).
http://www.microsoft.com/downloads/details.aspx?displaylang=en&FamilyID=cebf3c7c-7ca5-408f-88b7-f9c79b7306c0
--
Mit freundlichen Grüßen / Kind regards - Bernd Pfann (Microsoft)
This posting is provided "AS IS" with no warranties, and confers no
rights.

[Bernd Pfann [MS]]

Post by rkoenig
Hallo Herr Pfann!
Hallo Liebe Liste!
Wie ein paar Posts vorher beschrieben haben wir neben der 6140 auch noch SAN
Controller SUN 3511 in Betrieb auf die die Fileservercluster zugreifen.
Nach einem FW Update auf den 6140 kamen wir der Lösung näher: Die Storagetek
6140 benötigt jetzt MPIO DSM Treiber zur korrekten Funktion. Die 3511 läuft
nur mit RDAC Multipath Treibern. Beide Versionen sind nicht zusammen auf
einem Win2003 Server installierbar. Die RDAC Treiber tun offenbar Ihren
Dienst auch mit der 6140 aber nur eingeschränkt. Der Cluster Failover bei
grossen Partitionen schlägt fehl.
Wir müssen also die SAN Ressourcen auf den Fileservern trennenund neu
zuordnen RDAC und 3511 auf einem Cluster und MPIODSM und 6140 auf/an einem
anderen.
.....und haben dann hoffentlich das Problem gelöst.

[...]
OK, freut mich das die Lösung des Problems einen Schritt näher gerückt ist.
Viel Erfolg und wenn wir irgendwie unterstützen können, ein Post genügt!