#raid6

[patricksu2021]

What is RAID and what are the different RAID modes?

About RAID

RAID is an acronym for Redundant Array of Independent Disks.

RAID is a data storage virtualization technology that combines multiple physical disk drive components into one or more logical units for the purposes of data redundancy, performance improvement, or both.

Data is distributed across the drives in one of several ways, referred to as RAID levels, depending on the required level of redundancy and performance. The different schemes, or data distribution layouts, are named by the word "RAID" followed by a number, for example RAID 0 or RAID 1. Each scheme, or RAID level, provides a different balance among the key goals: reliability, availability, performance, and capacity. RAID levels greater than RAID 0 provide protection against unrecoverable sector read errors, as well as against failures of whole physical drives.

RAID 0 - The fastest transmission speed

RAID 0 consists of striping, but no mirroring or parity.

The capacity of a RAID 0 volume is the same; it is the sum of the capacities of the drives in the set. But because striping distributes the contents of each file among all drives in the set, the failure of any drive causes the entire RAID 0 volume and all files to be lost.

The benefit of RAID 0 is that the throughput of read and write operations to any file is multiplied by the number of drives because, reads and writes are done concurrently. 

The cost is increased vulnerability to drive failures—since any drive in a RAID 0 setup failing causes the entire volume to be lost, the average failure rate of the volume rises with the number of attached drives.

RAID 0 does not provide data redundancy but does provide the best performance of any RAID levels.

  RAID 1 - Data protection is the safest

RAID1 is data protection mode (Mirrored Mode). Half of the capacity is used to store your data and half is used for a duplicate copy. RAID 1 consists of data mirroring, without parity or striping. Data is written identically to two or more drives,If one drive goes down your data is protected because it's duplicated. The array continues to operate as long as at least one drive is functioning.

 RAID 5 - Best fit Data protection and transmission

RAID 5 consists of block-level striping with distributed parity.

RAID 5 requires at least three disks. In systems with four drives we recommend that you set the system to RAID 5. This gives you the best of both worlds: fast performance by striping data across all drives; data protection by dedicating a quarter of each drive in a four drive system to fault tolerance leaving three quarters of the system capacity available for data storage.

Upon failure of a single drive, subsequent reads can be calculated from the distributed parity such that no data is lost.

The risk is that rebuilding an array requires reading all data from all disks, opening a chance for a second drive failure and the loss of the entire array.

 RAID 6 - Large-capacity secure storage RAID6 is more suitable

RAID 6 consists of block-level striping with double distributed parity. Double parity provides fault tolerance up to two failed drives.

RAID 6 requires a minimum of four disks. As with RAID 5, a single drive failure results in reduced performance of the entire array until the failed drive has been replaced.

With a RAID 6 array, using drives from multiple sources and manufacturers, it is possible to mitigate most of the problems associated with RAID 5. The larger the drive capacities and the larger the array size, the more important it becomes to choose RAID 6 instead of RAID 5.

RAID 10 - High reliability and performance

RAID 10, also called RAID 1+0 . RAID 10 is a stripe of mirrors.

Arrays of more than four disks are also possible. A system set to RAID 10 yields half the total capacity of all the drives in the array.

RAID 10 provides better throughput and latency than all other RAID levels except RAID 0. This RAID mode is good for business critical database management solutions that require maximum performance and high fault tolerance. Thus, it is the preferable RAID level for I/O-intensive applications such as database, email, and web servers, as well as for any other use requiring high disk performance.

  RAID 50 - High reliability and performance

RAID 50, also called RAID 5+0, combines the straight block-level striping of RAID 0 with the distributed parity of RAID 5. As a RAID 0 array striped across RAID 5 elements, minimal RAID 50 configuration requires six drives.

One drive from each of the RAID 5 sets could fail without loss of data; for example, a RAID 50 configuration including three RAID 5 sets can tolerate three maximum potential simultaneous drive failures (but only one per RAID 5 set).

RAID 50 improves upon the performance of RAID 5 particularly during writes, and provides better fault tolerance than a single RAID level does. This level is recommended for applications that require high fault tolerance, capacity and random access performance.

RAID 60 - High reliability and performance

RAID 60, also called RAID 6+0, combines the straight block-level striping of RAID 0 with the distributed double parity of RAID 6, resulting in a RAID 0 array striped across RAID 6 elements. It requires at least eight disks.

  RAID 100 - High reliability and performance

RAID 100, sometimes also called RAID 10+0, is a stripe of RAID 10s. This is logically equivalent to a wider RAID 10 array, but is generally implemented using software RAID 0 over hardware RAID 10. Being "striped two ways", RAID 100 is described as a "plaid RAID".

JBOD (Just a Bunch Of Disks)

JBOD (abbreviated from "Just a Bunch Of Disks",also is known as "None RAID") is an architecture using multiple hard drives exposed as individual devices. Hard drives may be treated independently or may be combined into one or more logical volumes using a volume manager like LVM or mdadm, or a device-spanning filesystem like btrfs; such volumes are usually called SPAN or BIG.

A spanned volume provides no redundancy, so failure of a single hard drive amounts to failure of the whole logical volume.

Concatenation (SPAN, BIG, LARGE)

Concatenation or spanning of drives is not one of the numbered RAID levels, but it is a popular method for combining multiple physical disk drives into a single logical disk. It provides no data redundancy.

Spanning provides another maximum capacity solution, which some call it as "Big/Large". Spanning combines multiple hard drives into a single logical unit. Unlike Striping, Spanning writes data to the first physical drive until it reaches full capacity. When the first disk reaches full capacity, data is written to the second physical disk. Spanning provides the maximum possible storage capacity, but does not increase performance.

 What makes a SPAN or BIG different from RAID configurations is the possibility for the selection of drives. While RAID usually requires all drives to be of similar capacity and it is preferred that the same or similar drive models are used for performance reasons, a spanned volume does not have such requirements. The advantage of using this mode is that you can add more drives without having to reformat the system.

Clone

CLONE consists of at least two drives storing duplicate copies of the same data. In this mode, the data is simultaneously written to two or more disks. Thus, the storage capacity of the disk array is limited to the size of the smallest disk.

RAID Level Comparison

https://www.terra-master.com/global/products.html

[yaasita]

RAIDレベルの話: 1+0と6はどっちが安全か？

仕事でちょっくら12台のHDDを使ったRAIDアレイを組むんだけど、その折にちょうどTwitterで「RAID-1+0にしないとRAID-6とか怖くて使えませんよ！」というウソ八百な内容のWebページのURLを見掛けたので、いいかげんそのような迷信が消え去ってもよかろうと思って書くことにした。

1重ミラー設定のRAID-1+0は安全性においてRAID-6に劣る。ただし、正しく運用されている場合に限る。*1

知っている人はずっと前から知っている事実ではあるんだけど、某巨大SIerなんかでも高い方が安全に決まってる的な残念な脳味噌の持ち主がいっぱいいて「いやあデータの安全性を考えるとRAID-1+0」とか考えもなしにクチにし、そっちの方がディスクがいっぱい売れて嬉しいストレージベンダーもニコニコしながら否定せず売りつけて去っていくといううわなにをす(ry まあそんな感じで。ちなみに正しくない運用状況にあるRAIDアレイはそもそもどう構成しても安全じゃないので論じても無駄です。

もう何年も前に目にしたNetAppが公開しているホワイトペーパーにディスクの故障率とかその他の数値仮定といっしょに計算式がちゃんと載ってて超わかりやすかったんだけど、いまググってみたらなんか見付からない……。NOW*2の中のドキュメントだったかなあ。誰か知ってたら教えてください。 見付かった範囲だと こんなの があるけど、計算式とか載ってなくて数値に信憑性がない。もっと怪しげで更に信憑性のないのだと こっち (笑)

しょうがないので自分であれこれ仮定の数字をおいて計算してみる。仮定の数字なんで現実と違うところはあっちこっちあるし、ざっくりと省略する要素もいっぱいあるんでそのへんはご勘弁ね。詳しくはNetAppの営業にでも聞くと何か出てくるんじゃないでしょうか。知らんけど。あと資料の調べ直しとかせずに記憶ベースで書いてるんで、あちこち間違ってる可能性も高いです。勘弁してね。

あともうひとつ、RAID-1+0はパフォーマンスにおいては確かにRAID-6より(たいていの場合において)優秀です。そこに言及する気は今回ありません。

前提: RAIDアレイの正しい運用 RAIDアレイの正しい運用とはなにか、を認識することがRAIDアレイの安全性の試算には重要です。ここがそもそもあんまり認識されてないように思うので、軽くまとめ。

ディスクのfail RAIDを構成するディスクそれぞれについて、RAIDコントローラは状態を監視しています。各ディスクへのI/Oの成功/失敗が常に監視され、特定のディスクについてI/Oの失敗が許容値を超えたと判断*3された場合に、ようやくfailしたとマークされ、そのディスクを構成するRAIDアレイの冗長度が下がったと判断される。

ここで大事なのは、ディスクがfailしたと判断されるのはあくまでI/Oの結果ベースだということ。ディスクは壊れたときにそれを勝手にRAIDコントローラに通知してくれるような機能は持ってません。書かれているはずのデータを読みに行く(そして失敗する)、もしくは書けるはずの場所にデータを書きに行く(そして失敗する)ことでしかディスクの故障というのは発見できない。 f:id:tagomoris:20110418190857p:image この図のように、特に最近の大容量HDDであれば昔に書かれたデータと最近読み書きしているデータが綺麗に分かれることは割とよくある。ディスクの特定の部分に(HDDの先頭セクタに)このディスクを使いはじめた頃のデータが多く書かれたとする。時間が経つにつれて古いデータへのアクセス頻度が減り、ディスクの別の部分に対して書いた新しいデータに頻繁に読み書きが行われるようになっていく。 この頃に古いデータが書かれている領域で劣化がありデータの読み書きが不可能になっても、このデータを読み込もうとすること自体が起きなければ、そのことに気付けない(真ん中の図)。長い期間が経てば、そのような箇所は当然増えていく。 そしてある日になんらかのきっかけで古いデータを読み込みに行こうとして、その時はじめてデータの読み込みが不可能であることに気付く。こうしてこのディスクが壊れた(failした)と判定されることになる。*4 RAIDアレイの故障 RAIDアレイはどのようなときに故障したとみなされるか。たとえば一番単純な2台構成でミラーリングのRAID-1について考えると？ ミラーを構成する2台のHDDが同時に故障したときにRAIDアレイも故障する、というのは間違い。厳密に同時に2台のHDDが故障する確率というのは極めて低く、基本的にはほとんど無視していい確率のはず。まあ絶対に無いとは言えないけど、あまり現実的じゃない。 もうひとつの場合は、1台のディスクがfailし、代替ディスクを手配している間にもう1台(もしくはそれ以上)のディスクもfailした、というケース。これは無くはない。無くはないが、そもそも代替ディスクの調達にそんなに時間をかける方が間違ってる。自宅でRAIDを組んでるという趣味人はともかく、お仕事でRAIDを使うような人ならすぐに抜いて挿せる位置に代替ディスクくらい置いておくべき。あるいはホットスペアを用意しましょう。RAID-1+0じゃないと嫌だとか言う人は当然やってることだよね？

じゃあ他にどういう場合があるかというと、1台のディスクがfailしたあと、リビルドをかけている間にもう1台(もしくはそれ以上)のディスクがfailする場合だ。これを「2台同時に壊れる」と表現する人がいるが、その人はほとんどの場合は正しく状況を認識していない。これは厳密に考えると、以下ふたつのケースがある。

ディスクのfailひとつめの瞬間までは「全ディスクの全ブロックが読み書き可能な状態」だった ひとつめのディスクのfailが起きてからリビルドをかけている時間のうちに、もうひとつのディスクがfailした ディスクひとつ(もしくはそれ以上)が「実質的には読み書きできないブロックを抱えており潜在的にはfail」だった ひとつめのディスクのfailが起きてからリビルドをかける際に全ブロックへのアクセスが発生し、他のディスクのfailに気付いた 後者のケースを図示してみると、こんな感じだ。 f:id:tagomoris:20110418190858p:image 頻繁にアクセスされるのは 4〜6あたりの領域だとすると、A4〜A6およびB4〜B6のあたりで不良セクタができればI/Oエラーで気付けるが、A1〜A3およびB1〜B3あたりで不良ブロックが出てもなかなか気付けない。このときにB2が不良ブロック化し、それに気付けないままの状態が一番左だ。その状態のまま使い続けていたが、A5に不良ブロックが出て読み込み不可能となり、ディスクAがfailしたと判定される。ディスクAを新品と交換しRAIDアレイのリビルドをかけると、ここで初めてアクセスが低頻度な領域も含めてディスク全体への読み込みが発生し、ディスクBの不良ブロックが発見され、ディスクBもfailしてしまう。全データを取り出す方法が無くなってしまい、RAIDアレイ全体が故障したとみなされる。

定期的なベリファイ しかし、これらRAIDアレイの故障のケースのうち、最後のものについては予防が可能だ。RAIDコントローラは各ディスクの記録内容を強制的に同期する機能を持っているものが数多くある。5 これらの機能は通常、RAIDアレイを構成するHDD上の全ブロックのデータをスキャンし、各ディスク間で矛盾が無いかどうかをすべてチェックする。HDD上のデータのアクセス頻度に関わらず全ブロックを走査するため、もうほとんど読んでいないようなデータが書かれているブロックにエラーがあった場合でも問題なく検出し、回復不可能であればそのディスクをfailさせてくれる。 これを頻繁に6実行していれば「読み込めないブロックがあるが気付けない」状況のことを気にしなくてよくなり、いざRAIDアレイのリビルドをかけようとしたときに生きていたはずのディスクがfailする確率が格段に減ることとなる。

で、こういう話をすると「ディスクの寿命が縮むから嫌だ」とか言う人が必ずいる。多少ディスクの寿命が延びたからといって、データ損失の危険と天秤にかけられるんですかー？ まあそういう人は好きにすればぁ？ 週1回くらい全走査したからってそんな寿命減りゃしねーよ。

ということで、RAIDアレイに対する定期的なベリファイは必須だ。必ずやろう。前提とします。

failディスクを発見したらすぐに交換・リビルド これはもう言うまでもない。放置は悪。そんな奴にデータの安全性を云々する資格はありません。

RAIDアレイ故障の起きる確率 さて、じゃあ定期的なベリファイとfailディスクはすぐ交換という前提を置いたとして、各RAIDレベルのアレイの故障確率を計算してみよう。ここではHDD8台分の論理容量がアレイに必要だということにして、RAID-1+0 および RAID-5/6 の各レベルを比較する。 1年間でHDD1台が故障する確率を 1/10 ということにしてみる。1年間は365日だから、1日あたりの故障確率を x とすると (1-x)^365 == (1-0.1) == 0.9 となるので x == 1 - 0.9^(1/365) == 1 - 0.99971138 == 0.00028862 == 2.8910^-4 くらい、となる。だいたい 0.0289% くらいですな。10,000台あったら2〜3台壊れる、だと、だいたいそんなもんかね？ ちょっと多いかな。 またRAIDアレイのリビルドに必要な時間を仮定する必要がある。たいてい数時間だと思うしディスクの容量とコントローラの性能(ソフトウェアRAIDの場合はCPUのパワー)、およびリビルドと並行して発生している通常のI/O負荷などによるので一概には言えないんだけど、ここでは長めを仮定し、あと計算の簡単のため、1日かかることにしよう。なおRAIDレベルによってもリビルドに必要な時間は異なるが、ここでは計算の簡単のため、等しいとする。7 2台1ペア(単純なミラー)のRAID-1+0 HDD 16台構成 前述「RAIDアレイの故障」に書いた内容から、確率を求めなければならないのは以下のケース。

(a): 完全に同時に複数台のディスクがfailしてRAIDアレイが故障する (b): 1台のディスクがfailし、それに対してリビルドをかけている間に他のディスクがfailしてRAIDアレイが故障する (a) は簡単で RAID-1+0 の場合はペアになっている2台が同時にfailする確率を求めればいい。16台構成の場合は8ペアだから、確率は1ペアの単純に8倍になる。「同時に」が難しいけど、簡単のため「同じ日に」としてしまおう。8 確率は x^28 == (2.8910^-4)^28 == 8.352110^-88 == 6.68168*10^-7 だそうだ。1年あたりで起きる確率に直してみると (1 - 0.999756148) となって、1万個のアレイがあれば3個は故障が起きるらしい。おおう、意外に高い！ ディスクのfailを1日放置しておくと、このくらいの確率で RAID-1+0 のアレイでも壊れる。

(a) やりなおし。「同時に」を「同じ日」はやめて、そうだなあ、1時間くらいにするか。ディスクひとつが1時間あたりでfailする確率 y を求めよう。1日は24時間なので (1 - y)^24 == (1 - x) を解けばいい。y == 1 - (1 - x)^(1/24) == 1 - 0.99971138^(1/24) = 1 - 0.999987973 == 1.202710^-5 だそうだ。 これを使って先程のように「ある1時間に複数台のディスクがfailしてRAIDアレイが故障する」確率を求めると y^28 == (1.202710^-5)^28 == 1.15718983*10^-9 となった。1年あたりの確率では (1 - 0.999989863) となるので、10万個のアレイがあると1個か2個で起きるくらいの確率となる。おおおお、安全！ ていうかもうこんなケース考えなくてよくね？ 絶対これより何桁も高い確率で世の中でデータ欠損起きてるじゃん。

(b) じゃあリビルド中に「ペアになっているもう1台」がfailする可能性を考えよう。ディスク1台のfailは既に起きてしまったものとするので、そこまでの確率は考えなくていい。条件付確率というやつだ。みんな中学校でやったよね？(高校だっけ？) リビルドに1日かかるとする。1重ミラーのRAID-1+0の場合、failしたディスクとペアになっているディスクがfailしたらアレイは故障するので、このディスクのfailする確率だけを考える。「正しい運用」が行われていれば1週間ごとにベリファイが実行されているはずなので、最長でもこの1週間 + リビルドに必要な1日の合計8日間にディスクが「実際には壊れてしまった」可能性を求めればいい9。 で、計算。リビルドの前後8日間で特定の1台のディスク(リビルド対象のHDDのペア)がfailする確率は 1 - (1-x)^8 == 1 - 0.99971138^8 = 0.0023066289 == 0.23% となった。おや、かなり高いですね？10 RAID-5 HDD 9台構成 RAID-5 はあんまり問題に出してなかったが、こっちでも同じように確率を出しておこう。

(a): 完全に同時に複数台(任意の2台)のディスクがfailしてRAIDアレイが故障する (b): 1台のディスクがfailし、それに対してリビルドをかけている間に他の任意の1台のディスクがfailしてRAIDアレイが故障する (a) ある1時間に、9台のうち任意の2台がfailする確率を求めればいい。9C2 * y^2 == 98/2 * y^2 == 36 * (1.202710^-5)^2 == 5.20735424*10^-9 となる。ああ、確かに RAID-1+0 の4倍くらい高い確率ですね。しかし1年あたりに直すと (1 - 0.999954385) ってことで、10万個のアレイのうち5個くらい起きるかも、ということでやっぱり小さい確率には違いないよなあ。

(b) RAID-5 の場合、リビルド中に他のどの1台がfailしてもアレイは故障する。さっきと同じようにリビルドの前後8日間で故障ディスク以外の8台のうち任意の1台がfailする確率を計算してみると 8 * (1 - (1 - x)^8) == 0.0184530312 == 1.85% だ。要するにRAID-1+0の8倍だよねってことで、RAID-5が危険な構成であることがわかる。

RAID-6 HDD 10台構成 (a) RAID-6 の場合はある1時間に、10台のうち任意の3台がfailする確率となる。10C3 * y^3 == (1098)/(32) * y^3 == 120 * (1.202710^-5)^3 == 2.08762832 * 10^-13 となった。この時点で RAID-1+0 のアレイに対してざっと4桁も安全だということがわかる。1年あたりに直しても (1 - 0.999999998) ってことで、まあもう壊れないじゃんコレ。

(b) こちらはリビルド前後8日間で、故障ディスク以外の9台のうち任意の2台がfailする確率になる。8日間で1台がfailする確率は (1 - (1 - x)^8) だから、求める確率は 9C2 * (1 - (1 - x)^8)^2 == 98/2 * (1 - 0.99971138^8)^2 == 0.000191539328 == 1.91510^-4 == 0.01915% となった。ざっと RAID-1+0 の1/10の確率になる。

試算から この簡単な試算の結果、以下のことがわかる。

本当に同時にディスクが複数台壊れる確率だけに注目すると RAID-1+0 の場合は年あたり 0.001% くらいの確率でデータロストする RAID-6 の場合は年あたり 0.0000002% くらいの確率でデータロストする 基本的にどちらも低過ぎてあまり考える意味はないけど、それでもRAID-6の方が何桁も安全 1台のディスクがfailしたあとのリカバリ中の故障の確率を見ると RAID-1+0 の場合は 0.23% の確率でデータロストする RAID-6 の場合は 0.019% の確率でデータロストする NetAppの試算とは数字がひと桁違うが、アレイの構成台数の前提やリビルド前後期間のとりかたなどで変わってくる 疑われる向きは自分のアレイ構成で計算してみればいいと思いますよ計算式は全部上にあるから 結論 単純な安全性だけ考えるならRAID-6はRAID-1+0(2重化)よりすぐれている。*11 もちろん実際の選択においては性能、要求容量に対するHDDあたり容量のトレンドと冗長性の兼ね合い、手に入るRAIDコントローラの機能および価格なども考慮の上で選択するべきであって、安全性だけを考えればいいというものではない。ただし性能要件が厳しいことというのは実際にはそんなに多くないはずなので、きちんと考えた上でならより安価で安全なRAID-6を選択するというのは現実的なものでしょう。

*1:3台以上のHDDが故障しているとき、データが助かる可能性があるのはRAID-1+0であってRAID-6では確実にデータが失われる。しかしそもそも3台以上のHDD故障を想定しなければならないケースは運用が間違っている。

*2:NetApp on the Web: 登録制でログインが必要なNetAppの技術サイト

*3:この判断基準はRAIDコントローラの実装によって異なり、またディスクの種類によっても異なるため、あまり一般化できません。ただし1つのセクタに対するI/O失敗だけでいきなりディスクをfail扱いするコントローラはほとんどないはず。通常はいくつかのbad blockが予備ブロックに置き換えられるなどした後、その回数や頻度が許容値を超えた場合などにようやくfail扱いとなります。まあ自分も詳しくないんでHW系の誰かに聞きましょう。

*4:この図ではI/Oの成功/失敗がものすごく単純化されているが、ブロック/セクタ単位でのread/writeの成功/失敗にはそれはそれであれこれある。らしいよ。

*5:Linux Software RAID(md) でも可能。

*6:といっても週1以上でかける意味はあんまり無いと思うけど……

*7:RAIDレベル毎にどれくらいリビルドの所要時間が異なるかはCPUやI/O負荷により以下略。

*8:これはつまり、ディスクがfailしてからリビルドを開始するまでの時間が必ず1時間ある、という前提だと思ってもいい。

*9:さっきまでは「ディスクがfailする確率」を扱っていたが、ここでは「実際には壊れていたがfailとしては見えていない」ケースも扱っている。ただし「ディスクがfailする単位時間あたりの確率」と「実際には壊れていたものを単位時間あたりでfailとして検出する確率」は数字としては等しいので、ここでは同じ数値をそのまま用いることができる。

*10:逆にこの数字を見て「もっと高い確率で失敗している！」と思った人は正しくない運用をしている疑いが強い。

*11:計算するまでもなく3重化以上のRAID-1+0であれば常にRAID-6よりも安全性において優る。なぜならRAID-6は任意の3台がfailした時点でRAIDアレイが故障するが、3重化ミラーなら組になった3台が同時にfailしない限りRAIDアレイ故障は起きない

https://tagomoris.hatenablog.com/entry/20110419/1303181958

[sonka]

Welcome!

[nexus-codes-blog]

Les différents niveaux de RAID existants

Le principe derrière le RAID est d’agréger d’une manière ou d’une autre plusieurs disques durs pour les regrouper en un seul volume. ce sont bien les différentes manières de créer un RAID que l’on va aborder aujourd’hui. Avec au programme, les grands principes, mais surtout la mise en pratique, avec les différences entre les implémentations matérielles et logicielles. Des indications que je pense utiles à ceux qui réfléchissent à un NAS, notamment. RAID, kézako ? (la théorie) C’est un acronyme signifiant Redundant Array of Independant Disks (ou Inexpensive Disks, ce qui était beaucoup plus vrai à une époque), qu’on pourrait traduire par “ensemble redondant de disques indépendants”. Il est donc question d’agréger plusieurs disques de différentes façons suivant la finalité du stockage créé : augmentation de performances, tolérance de panne, abstraction d’un tel stockage… Agrégation simple (ou JBOD) JBOD signifie Just a Bunch Of Disks, autrement dit “juste un ensemble de disques”. Il s’agit simplement d’ajouter les disques les uns à la suite des autres, et de “fusionner” l’espace disque disponible vu par le système d’exploitation. Si l’un des disques meurt, on ne perd que les données qui étaient écrites dessus (un poil plus quand on fait joujou avec NTFS qui est trop con pour éviter la fragmentation). Stripping, ou RAID0 Le RAID0 est un mode destiné à augmenter les performances en lecture-écriture, en “parallélisant” ces opérations sur les disques de la “grappe”. L’espace disque disponible est alors, comme pour le JBOD, l’addition de celui des disques. Gros inconvénient, si l’un des disques tombe, on perd la totalité du volume, et donc des données, vu qu’elles sont découpées et réparties sur chaque disque afin d’être lues en parallèle. Mirroring, ou RAID1 Ai-je vraiment besoin de vous traduire le terme mirroring ? Généralement utilisé avec deux disques, ce mode ne fait que gérer les disques en mode miroir : l’intégralité des données est lue et écrite sur les deux disques. Le gros inconvénient, c’est que l’on ne voit que l’espace disque de la plus petite des unités de la grappe. Le gros avantage, c’est que si l’un des deux vient à mourir, les données sont intactes, puisque présentes en double. On a donc une plus grande tolérance de panne. C’est généralement ce mode qu’on utilisera dans les NAS qui accueillent deux disques durs, bien que les précédents présentés sont aussi disponibles, ainsi que les serveurs dédiés, souvent livrés configuré en RAID1 par défaut quand ils contiennent deux disques. Agrégation par bandes avec parité répartie, ou RAID5 C’est violent comme description, mais ça correspond bien. Il est plus difficile à comprendre, certes, mais au final, on se rend compte que c’est puissant. On utilise ce mode avec au minimum trois disques. Les données sont découpées en deux parties, écrites en parallèle sur deux des disques, et une parité est calculée et écrite sur le troisième, et ça tourne en permanence (chaque disque accueille la parité d’un bloc à tour de rôle). L’idée, c’est que si un disque meurt, bien qu’on aie effectivement perdu une partie des données, elles peuvent être recalculées à partir des données restantes et des sommes de parités disponibles. L’espace disque perçu correspond donc à la totalité des disques moins un (puisqu’on consomme l’espace d’un disque pour stocker la parité), soit deux disques pour une grappe de trois. Les performances sont aussi augmentées par rapport à un seul disque, au final c’est donc, sur le papier, le meilleur des mondes : une meilleure tolérance aux pannes, comme sur le RAID1, et un volume plus rapide, comme en RAID0. Dans la pratique, le coût en calcul peut gommer l’aspect performance suivant la taille des blocs sélectionnée. Les autres modes Ces modes sont les plus répandus, et les plus utilisés. Il en existent d’autres, ayant plus ou moins d’intérêt, comme le RAID6, qui fonctionne sur le même principe que le RAID5, mais avec deux disques pour la parité au lieu d’un, augmentant d’autant les besoins de puissance de calcul nécessaires. Ou le RAID10 (ou RAID01), qui mixe en fait les modes 0 et 1 (par exemple, un miroir de RAID0, ou un RAID0 de miroirs). Couteux en disques durs, ils n’ont au final que peu d’intérêt. Les différentes implémentations de ces principes Matériel Sur les systèmes de stockage haut de gamme, et sur certaines stations de travail, la gestion de ces modes de RAID est confiée à des contrôleurs de stockages spécialisés, disposant de leur propres commandes pour la gestion, qui se fait avant même le démarrage du système d’exploitation; ils sont complètement indépendants. Pour nos bons vieux PCs, ou pour des serveurs au format tour, on les trouve souvent sous forme de carte d’extension au format PCI-Express (oui, le même que les cartes graphiques). D’un point de vue de l’OS, on ne voit qu’un seul “disque”, cette solution la rend compatible avec tous les systèmes, sans nécessairement besoin de pilotes spécialisés, l’accès pouvant se faire au moyen des protocoles habituellement utilisés, SATA en tête. Des outils en ligne de commande pour interroger les contrôleurs sont souvent disponibles et néanmoins nécessaires pour connaître en temps réel la santé des disques (et dans une certaine mesure intervenir sur le RAID sans avoir à couper la machine). FakeRAID Ces contrôleurs sont à mi-chemin entre le matériel et le logiciel (qu’on abordera juste après). Dans la pratique, si une partie du “câblage” matériel est présent, il faut toujours un logiciel et/ou pilote dédié au système d’exploitation pour les gérer. On les trouve presque exclusivement intégrés aux cartes-mères, et généralement seuls des pilotes pour Windows sont disponibles, rendant la solution peu portable. RAID logiciel Là encore, il faut distinguer deux cas de figures, que l’on se place au niveau du noyau du système d’exploitation, ou du système de fichiers. Système d’exploitation Notamment sous Linux, l’infrastructure md permet de définir une grappe RAID indépendamment du système de fichiers qu’on installe. On peut dès lors créer des volumes à partir de disques complets ou bien de partitions sur ces mêmes disques. La contrainte reste alors la même : la taille de la grappe correspondra à celle du volume le plus petit, ou d’un multiple de celui-ci dans le cas du RAID5 ou 6. Système de fichiers En effet, les aficionados de Solaris (et de certains BSD) vous le diront : rien ne vaut ZFS. Ce système de fichiers dispose d’atouts particuliers, dont la possibilité de gérer justement des volumes RAID à son propre niveau (le mode RAID-Z). Il permet d’implémenter la plupart des modes définis au début du billet, et ajoute ses propres caractéristiques et avantages. Ses inconvénients ? Sa licence le restreint à Solaris, aujourd’hui détenu par Oracle, et du coup certains BSD (il est notamment utilisable dans FreeNAS, une distribution pour construire votre propre… NAS). Bien que certains bricolages (à base de FUSE notamment) permettent d’y avoir accès sous Linux. Un module existe, mais il est maintenu en dehors de la branche principale du noyal. Moralité, il y a un certain btrfs (prononcez better FS) qui se veut un remplaçant natif pour le noyau Linux. Encore jeune, il permet lui aussi d’agréger du volume sous différentes conditions. Il est en grande partie développé par Oracle, qui pour une fois joue au bon élève quand au développement de logiciel libre. Windows aussi sait faire du RAID En dehors du RAID matériel, qui au final abstrait le stockage, Windows sait aussi créer des volumes dans les différents modes. Personnellement je n’ai jamais expérimenté (et comme c’est du Windows, j’évite de le conseiller parce que rien ne dit que ça marche d’un Windows à l’autre). J’aurais donc bien du mal à vous expliquer dans quel mode il travaille (système d’exploitation, ou système de fichiers, Microsoft ne travaillant pratiquement qu’avec du NTFS). Posez donc plutôt la question à Julien de Computerz.Solutions, il en sait certainement plus que moi sur l’univers Microsoft :) Y’a d’autres méthodes pour gérer ses volumes Si vous voulez avoir plus de détails sur tout ce que j’ai raconté à propos du RAID, vous pouvez vous tourner vers l’article de Wikipedia kivabien, il est très bien fait et en Français (pour une fois…). En dehors du JBOD et du RAID0, tous les modes de RAID servent au minimum un même objectif : augmenter la tolérance de panne du système de stockage d’une machine. Si cette notion vous importe peu, un autre mécanisme dépoussiérant le stockage pourrait vous intéresser : LVM. Mais ça sera pour un autre jour.

[sevennet-blog]

How to: Linux mdadm software RAID 6 - does it support bit corruption recovery? #computers #programming #solution

How to: Linux mdadm software RAID 6 – does it support bit corruption recovery? #computers #programming #solution

Linux mdadm software RAID 6 – does it support bit corruption recovery?

Wikipedia says “RAID 2 is the only standard RAID level, other than some implementations of RAID 6, which can automatically recover accurate data from single-bit corruption in data.”

Does anyone know if the RAID 6 mdadm implementation in Linux is one such implementation that can automatically detect and recover from single-bit…

View On WordPress

[sevennet-blog]

Fixed: Convert linux software raid from raid5 to raid6 #solution #fix #dev

Fixed: Convert linux software raid from raid5 to raid6 #solution #fix #dev

Convert linux software raid from raid5 to raid6

I currently have a file server with 3 1.5TB disks in a RAID5 array. Since it’s pretty much full, I got three additional disks (also 1.5TB each).

Now I’d like to switch to RAID6 since 6TB space is enough and I’d like to have the increased safety of raid6. While I do have a full backup – i.e. I could simply create a new array and restore the backup –…

View On WordPress

[sevennet-blog]

Fix: Convert a Smart Array RAID5 array to a RAID6 (ADG) variant #solution #programming #answer

Fix: Convert a Smart Array RAID5 array to a RAID6 (ADG) variant #solution #programming #answer

Convert a Smart Array RAID5 array to a RAID6 (ADG) variant

I have an HP MicroServer (N36L) with a SmartArray P410 controller, a 512MB BBWC unit and four (4) 2TB disks connected. Three of those disks are configured as a single RAID5 array and one is left alone.

I’d like to migrate the RAID5 array to a RAID6 array. Is it possible to migrate it “in place”, without the neet to copy the data to a…

View On WordPress

[sevennet-blog]

Answer: Which is better: RAID5 + 1 Hotspare / RAID6? #fix #it #computers

Answer: Which is better: RAID5 + 1 Hotspare / RAID6? #fix #it #computers

Which is better: RAID5 + 1 Hotspare / RAID6?

Just curious, I have 6 x 1TB 7200RPM Near Line SAS for my new server. I can either configure it as RAID5+1 Hot Spare or RAID6.

What should I choose?

Answer [by Ward]: Which is better: RAID5 + 1 Hotspare / RAID6?

I think RAID 5 vs. 6 (and vs. 10) comes down to performance and how much you trust the brand(s) of drives you use. We primarily use HP…

View On WordPress