Liten tuva sänkte stort lass (driftstopp fredag morgon)

2011-03-11 11:26

#1

Björnström
Medlem ●
Stockholm
2011-03-11 11:26

99mac försvann från Internet strax före sjutiden imorse pga ett problem vid uppgradering av en brandvägg. Problemet gick inte att lösa "remote" utan vi tvingades åka till serverhallen för att undersöka och en halvtimme senare var allt igång igen.

Skärmdumpen nedan visar vad vi fick se när vi kom fram - korrupt filsystem på en hårddisk som snabbt löstes genom att köra motsvarigheten till skivverktyget.

För er NIX-nerdar där ute: har ni några kommentarer på hur detta kunde hända?

Anmäl Ändra Gilla Svara

2011-03-11 11:29

#2

Björnström
Medlem ●
Stockholm
2011-03-11 11:29

Det är inte första gången vi får konstiga fel:
http://www.99.se/nyhetskommentarer/43514-liten-flakt-stjalper-stort-lass.html

Anmäl Ändra Gilla Svara

2011-03-11 11:39

#3

keptang
Medlem ●
2011-03-11 11:39

Ser ut som att någon hårddisk är på väg att ge upp. Kan också orsakas av minnesfel iofs, har varit med om det själv.

Anmäl Ändra Gilla Svara

2011-03-11 12:00

#4

=JoNaZ=
Medlem ●
2011-03-11 12:00

Jag tycker det set ut som burken bootat om och sedan misslyckades med att köra den schemalagda fsck? Så denna eventuella random reboot kan ha skapat fel på filsystemet. Behövs mer info än det där för att veta exakt, men kolla i /var/logs/ och läs alla filer där.

Anmäl Ändra Gilla Svara

2011-03-11 21:56

#5

Dalle
Medlem ●
2011-03-11 21:56

Jag har noterat att sidan ligger nere varje dag på morgonen. När jag ska kolla läget innan jag åker till jobbet runt 05:30 så ligger sidan alltid nere. Vad kan detta bero på? Det har varit så ett par veckor nu.

Anmäl Ändra Gilla Svara

2011-03-12 07:38

#6

Björnström
Medlem ●
Stockholm
2011-03-12 07:38

Ursprungligen av Dalle:

Jag har noterat att sidan ligger nere varje dag på morgonen. När jag ska kolla läget innan jag åker till jobbet runt 05:30 så ligger sidan alltid nere. Vad kan detta bero på? Det har varit så ett par veckor nu.

Gå till inlägget

Det har "alltid" varit så skulle jag säga. Det är backupscripten av databasen som låser tabeller och gör att inloggningen inte fungerar.
Vi har hittat en lösning för detta genom att gå över till replikerande databaser där man kör backupen på slaven men har inte gått över till den lösningen ännu (lite mer komplicerat).

Detta är första gången någon ens tar upp ämnet på 99mac så det kan inte vara ett superstort problem. Vi skulle kunna köra backuperna tidigare - 04.00?

Anmäl Ändra Gilla Svara

2011-03-12 09:53

#7

Dalle
Medlem ●
2011-03-12 09:53

Ursprungligen av Björnström:

Det har "alltid" varit så skulle jag säga. Det är backupscripten av databasen som låser tabeller och gör att inloggningen inte fungerar.
Vi har hittat en lösning för detta genom att gå över till replikerande databaser där man kör backupen på slaven men har inte gått över till den lösningen ännu (lite mer komplicerat).

Detta är första gången någon ens tar upp ämnet på 99mac så det kan inte vara ett superstort problem. Vi skulle kunna köra backuperna tidigare - 04.00?

Gå till inlägget

Det är inget superstort problem för mig heller. Jag kan lika gänra ögna igenom forumet på jobbet.

Anmäl Ändra Gilla 1 Svara

2011-03-13 13:47

#8

=JoNaZ=
Medlem ●
2011-03-13 13:47

Ursprungligen av Björnström:

Det har "alltid" varit så skulle jag säga. Det är backupscripten av databasen som låser tabeller och gör att inloggningen inte fungerar.
Vi har hittat en lösning för detta genom att gå över till replikerande databaser där man kör backupen på slaven men har inte gått över till den lösningen ännu (lite mer komplicerat).

Detta är första gången någon ens tar upp ämnet på 99mac så det kan inte vara ett superstort problem. Vi skulle kunna köra backuperna tidigare - 04.00?

Gå till inlägget

Det är så man brukar lösa det Hoppas ni får igång det snart! Jag jobbar natt ibland och då har jag upptäckt att forumet inte går att nå.

Anmäl Ändra Gilla Svara

2011-03-12 03:17

#9

Kermit
Medlem ●
2011-03-12 03:17

Kolla med leverantören först och främst. Har varit med om liknande två ggr, ena gången var det schemalagda backuper som sög så mycket bandbredd (eller vad det du var) att övriga requests ignorerades eller timeade ut. Inte så bra backupssystem om du frågar mig I det andra fallet då en sida alltid var nere en viss tid visade det sig att levelrantören helt enkelt hade ställt in att servern skulle boota om kl 6 varje morgon. Gissa om det tog tid att komma på varför vissa interna nattliga databasscript osv avbröts till synes helt utan orsak..

Anmäl Ändra Gilla Svara

Liten tuva sänkte stort lass (driftstopp fredag morgon)

Senaste nytt