Fin de vie
SATA / USB
06/2016 : depuis plusieurs mois, les logs se remplissent d'erreurs sur la communication SATA, j'ai changé les nappes, intervertit les connecteurs, essayé différentes options de noyau pour abaisser la vitesse du bus mais rien à faire
.
[83368.466693] ata3.00: exception Emask 0x10 SAct 0x0 SErr 0x400000 action 0x6 frozen
[83368.466739] ata3.00: irq_stat 0x08000000, interface fatal error
[83368.466765] ata3: SError: { Handshk }
[83368.466789] ata3.00: failed command: WRITE DMA EXT
[83368.466820] ata3.00: cmd 35/00:e8:ff:5a:4c/00:01:1f:00:00/e0 tag 4 dma 249856 out
[83368.466823] res 50/00:00:fe:5a:4c/00:00:1f:00:00/e0 Emask 0x10 (ATA bus error)
[83368.466889] ata3.00: status: { DRDY }
[83368.466917] ata3: hard resetting link
[83368.784115] ata3: SATA link up 1.5 Gbps (SStatus 113 SControl 310)
[83368.785584] ata3.00: configured for UDMA/100
[83368.785609] ata3: EH complete
L'USB est également devenu instable, de nombreuses erreurs noyaux sont loguées et finissent pas bloquer Popeye :
[508921.204450] pin.pl D f3ff8f74 0 1807 1790 0x00000000 [508921.204460] f3ff8d50 00200082 c102e5dc f3ff8f74 00000000 00000000 c102d2b9 c1484ac0 [508921.204475] f3ff8f00 c1484ac0 f3ff8d50 c12c4721 b9cb27bb 0001ce3e 0001ce3e f4274470 [508921.204490] 0001ce3e c1484ac0 f3ff8f04 c1484ac0 00000000 002744a4 f79c0ac0 f79c0ac0 [508921.204505] Call Trace: [508921.204513] [<c102e5dc>] ? pick_next_task_fair+0xa5/0xad [508921.204522] [<c102d2b9>] ? finish_task_switch+0x6d/0x94 [508921.204530] [<c12c4721>] ? __schedule+0x594/0x5a4 [508921.204538] [<c102adde>] ? test_tsk_need_resched+0xa/0x13 [508921.204547] [<c12c4eab>] ? __mutex_lock_common.isra.5+0xdd/0x12d [508921.204555] [<c12c4dc2>] ? mutex_lock+0x15/0x21 [508921.204565] [<f89265c0>] ? acm_write_bulk+0x5a/0x5a [cdc_acm] [508921.204574] [<c11d5af2>] ? tty_port_close_start+0xec/0x149 [508921.204584] [<f892773c>] ? acm_tty_close+0x2a/0x7b [cdc_acm] [508921.204592] [<c11d030a>] ? tty_release+0x169/0x3f7a [508921.204600] [<c102d2b9>] ? finish_task_switch+0x6d/0x94 [508921.204608] [<c12c4721>] ? __schedule+0x594/0x5a4 [508921.204615] [<c12c8674>] ? do_page_fault+0x32f/0x35e [508921.204625] [<c10ced03>] ? fput+0xd5/0x160 [508921.204634] [<c10ccb18>] ? filp_close+0x52/0x58 [508921.204641] [<c10ccb74>] ? sys_close+0x56/0x89 [508921.204649] [<c12c9fdf>] ? sysenter_do_call+0x12/0x12
Cela se traduit par un blocage des processus utilisant l'USB, une augmentation du load et finalement une pénurie de ressources.
J'ai atteint un load de 35 en 24h avec une charge CPU à ~0 et impossible de se connecter en ssh
.
Tuner
02/2018 : après 7 ans de bons et loyaux services ma carte double tuner TNT a rendu l'âme. Elle présentait déjà des signes de faiblesse depuis 2 ans car le changement de fréquence ne s'effectuait plus correctement : il fallait donner l'ordre 2 fois. À ce titre, j'avais modifié et recompilé le backend de MythTV pour ajouter un double changement de fréquence.
La fin de vie de cette carte a provoqué des plantages du noyau avec une augmentation du nombre de processus bloqués sur des ressources USB, j'ai eu un load de 164
. J'ai mis quelque temps à comprendre d'où ça venait…
Disques durs
10/2024 : depuis un bon moment, j'ai des erreurs de lecture SATA sur un de mes disques. Des blocs défectueux apparaissent sur le Western Digital Caviar Black de 1 To ce qui produit de temps en temps des reconstructions du raid.
Le graphe ci-dessous montre que la réallocation des secteurs sur ce disque, qui est la conséquence de ce défaut. Bien qu'un changement sda, sdb et sdc puisse être observé, c'est bien le même disque physique qui est concerné au final :
Je reçois également des mails de la forme :
Subject: SMART error (Health) detected on host: popeye This message was generated by the smartd daemon running on: host name: popeye DNS domain: [Empty] The following warning/error was logged by the smartd daemon: Device: /dev/sda [SAT], FAILED SMART self-check. BACK UP DATA NOW! Device info: WDC WD1002FAEX-00Y9A0, S/N:WD-WCAW30210816, WWN:5-0014ee-2054069c1, FW:05.01D05, 1.00 TB
Ce n'est pas très encourageant… Finalement, j'ai décidé de le changer. En consultant les statistiques smart, il apparait les données suivantes :
Vendor Specific SMART Attributes with Thresholds: ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE 1 Raw_Read_Error_Rate 0x002f 200 200 051 Pre-fail Always - 2164 3 Spin_Up_Time 0x0027 158 153 021 Pre-fail Always - 5066 4 Start_Stop_Count 0x0032 100 100 000 Old_age Always - 293 5 Reallocated_Sector_Ct 0x0033 133 133 140 Pre-fail Always FAILING_NOW 1265 7 Seek_Error_Rate 0x002e 188 188 000 Old_age Always - 145 9 Power_On_Hours 0x0032 001 001 000 Old_age Always - 116189 10 Spin_Retry_Count 0x0032 100 100 000 Old_age Always - 0 11 Calibration_Retry_Count 0x0032 100 100 000 Old_age Always - 0 12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 289 192 Power-Off_Retract_Count 0x0032 200 200 000 Old_age Always - 168 193 Load_Cycle_Count 0x0032 200 200 000 Old_age Always - 126 194 Temperature_Celsius 0x0022 102 089 000 Old_age Always - 45 196 Reallocated_Event_Count 0x0032 144 144 000 Old_age Always - 56 197 Current_Pending_Sector 0x0032 200 200 000 Old_age Always - 0 198 Offline_Uncorrectable 0x0030 200 200 000 Old_age Offline - 0 199 UDMA_CRC_Error_Count 0x0032 200 200 000 Old_age Always - 0 200 Multi_Zone_Error_Rate 0x0008 200 200 000 Old_age Offline - 13
Power_On_Hours indique 116189 heures ce qui correspond à 13.4 années !! Comme j'éteins cette machine très très rarement, cela fait donc plus de 13 ans que ce disque tourne en permanence… Belle performance !
05/2025 : un 2e disque est mort… Même mail que juste au-dessus : dès le mail reçu, le raid a perdu la synchronisation
. Il fait un “gratte-gratte”, il siffle et fait un drôle de bruit au démarrage, typique d'une agonie finale.
Ce disque est encore plus vieux que le précédent : les données SMART indiquent un nombre d'heures allumées incroyables : Power_On_Hours de 13613638 ce qui équivaut à 15.5 ans
06/2025 : loi des séries oblige, le 3e disque est décédé également… celui était beaucoup moins agé, il avait 5 ans.
Cela faisait 2 jours que les logs du noyau se remplissaient avec des traces de la forme suivante :
2025-06-22T10:39:12.435512+02:00 localhost kernel: [907791.358842] ata3.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x6 frozen
2025-06-22T10:39:12.435543+02:00 localhost kernel: [907791.358880] ata3.00: failed command: FLUSH CACHE EXT
2025-06-22T10:39:12.435548+02:00 localhost kernel: [907791.358889] ata3.00: cmd ea/00:00:00:00:00/00:00:00:00:00/a0 tag 21
2025-06-22T10:39:12.435550+02:00 localhost kernel: [907791.358889] res 40/00:01:00:00:00/00:00:00:00:00/00 Emask 0x4 (timeout)
2025-06-22T10:39:12.435552+02:00 localhost kernel: [907791.358913] ata3.00: status: { DRDY }
2025-06-22T10:39:12.435554+02:00 localhost kernel: [907791.358925] ata3: hard resetting link
2025-06-22T10:39:17.787370+02:00 localhost kernel: [907796.711053] ata3: link is slow to respond, please be patient (ready=0)
2025-06-22T10:39:22.467130+02:00 localhost kernel: [907801.391502] ata3: found unknown device (class 0)
2025-06-22T10:39:22.627347+02:00 localhost kernel: [907801.551514] ata3: found unknown device (class 0)
2025-06-22T10:39:22.627382+02:00 localhost kernel: [907801.551555] ata3: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
2025-06-22T10:39:27.743529+02:00 localhost kernel: [907806.667999] ata3.00: qc timeout after 5000 msecs (cmd 0xec)
2025-06-22T10:39:27.743561+02:00 localhost kernel: [907806.668032] ata3.00: failed to IDENTIFY (I/O error, err_mask=0x4)
2025-06-22T10:39:27.743566+02:00 localhost kernel: [907806.668045] ata3.00: revalidation failed (errno=-5)
ou bien
2025-06-22T10:47:01.938836+02:00 localhost kernel: [908260.908244] sd 2:0:0:0: [sdc] tag#31 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK cmd_age=0s 2025-06-22T10:47:01.938863+02:00 localhost kernel: [908260.908270] sd 2:0:0:0: [sdc] tag#31 CDB: ATA command pass through(16) 85 06 20 00 00 00 00 00 00 00 00 00 00 00 e5 00
Puis, en plein nuit, le disque s'est désynchronisé du raid
S'en est suivi un mail disant que c'est la fin :
Subject: Fail event on /dev/md0:popeye
This is an automatically generated mail message from mdadm
running on popeye
A Fail event had been detected on md device /dev/md0.
It could be related to component device /dev/sdc1.
Faithfully yours, etc.
P.S. The /proc/mdstat file currently contains the following:
Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10]
md0 : active raid5 sdd1[3] sdc1[1](F) sda1[0]
2147219456 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [U_U]
bitmap: 5/8 pages [20KB], 65536KB chunk
unused devices: <none>


