[Xen-users] DRBD + Remus High IO load frozen

[agya naila <agya.naila@xxxxxxxxx>]

Dear all,

I have installed DRBD 8.3.11 compiled from sources. However the backend block will freeze if there is high IO load. I use Remus to support high availability and checkpointing is controlled by remus for each 400ms.

If I check the Iostat I got the idle CPU will decreasing extremely each checkpointing and when its reach 0% of idle cpu the local backing device will freeze and damage the replication.

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn

drbd1             0.00         0.00         0.00          0          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

           1.52    0.00    6.09    0.00    0.00   92.39

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn

drbd1             0.00         0.00         0.00          0          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

          41.24    0.00   12.37    0.00    0.52   45.88

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn

drbd1            55.15       131.96      1327.84        256       2576

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

          70.85    0.00   29.15    0.00    0.00    0.00

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn

drbd1            50.25       128.64       711.56        256       1416

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

          54.73    0.00   45.27    0.00    0.00    0.00

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn

drbd1             5.97       127.36        37.81        256         76

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

          39.50    0.00   60.50    0.00    0.00    0.00

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn

drbd1             2.50        68.00         0.00        136          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

          35.00    0.00   65.00    0.00    0.00    0.00

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn

drbd1            15.00       138.00        66.00        276        132

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

          32.50    0.00   67.50    0.00    0.00    0.00

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn

drbd1            77.50       138.00      1890.00        276       3780

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

          33.00    0.00   67.00    0.00    0.00    0.00

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn

drbd1            14.50       128.00       264.00        256        528

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

          27.64    0.00   72.36    0.00    0.00    0.00

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn

drbd1            31.66        72.36       470.35        144        936

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

          32.00    0.00   68.00    0.00    0.00    0.00

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn

drbd1             0.00         0.00         0.00          0          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

          26.37    0.00   73.63    0.00    0.00    0.00

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn

drbd1             6.47       127.36        33.83        256         68

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

          27.50    0.00   72.50    0.00    0.00    0.00

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn

drbd1             4.00       128.00         0.00        256          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

          27.50    0.00   72.50    0.00    0.00    0.00

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn

drbd1             4.00       128.00         0.00        256          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

          29.50    0.00   70.50    0.00    0.00    0.00

I am also considering drbd optimization but its came with no luck. Hopefully some one would shared his experience.

Best Regards,

Agya

_______________________________________________
Xen-users mailing list
Xen-users@xxxxxxxxxxxxx
http://lists.xen.org/xen-users