[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

[Xen-users] Slab memory usage on dom0 increases by 128MB/day



Hello.

I'm running Xen 3.0.1 on the following hardware:
Dell SC1425 Rack Server
1x Intel Xeon 2.8GHz (64bit on 32bit OS/Xen) Hyper-threading enabled
2GB memory
80+250GB SATA hard drives (sda, sdb)

Debian Sarge on dom0. Different Debian versions on virtual servers.

This is running as a virtualized web server. It's hosting four virtual servers. 256MB memory is reserved to dom0 and the reset to the four different virtual servers. Root filesystems on dom0 and all four virtual servers is separate software RAID1 arrays. (md0 -> md4). Each virtual servers and dom0 has access to different swap-partitions on sda. Two of the virtual servers has access to backup-partitions on sdb. All filesystems are running ext3 file system.

The problem:
I have to reboot dom0 once every other day because high "slab" memory usage. The server crashes ("Out of memory") when it reach aroind 210MB. I did move all data fra loopback-files to RAID-arrays because it seems this caused the issue. Now the slab-usage increases faster ever before.

I'm attaching a diagram showing the speed of the increasing slab-usage

Contents of /proc/meminfo 7 hours after last reboot:
MemTotal:       232448 kB
MemFree:         28796 kB
Buffers:         72756 kB
Cached:          20268 kB
SwapCached:          0 kB
Active:          41492 kB
Inactive:        66028 kB
HighTotal:           0 kB
HighFree:            0 kB
LowTotal:       232448 kB
LowFree:         28796 kB
SwapTotal:      506008 kB
SwapFree:       506008 kB
Dirty:              88 kB
Writeback:           0 kB
Mapped:          22724 kB
Slab:            83672 kB
CommitLimit:    622232 kB
Committed_AS:    43236 kB
PageTables:        468 kB
VmallocTotal:   696312 kB
VmallocUsed:       856 kB
VmallocChunk:   695416 kB

/dev/slabinfo
slabinfo - version: 2.1
# name <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata <active> rpc_buffers 8 8 2048 2 1 : tunables 24 12 8 : slabdata 4 4 0 rpc_tasks 8 15 256 15 1 : tunables 120 60 8 : slabdata 1 1 0 rpc_inode_cache 0 0 512 7 1 : tunables 54 27 8 : slabdata 0 0 0 bridge_fdb_cache 7 61 64 61 1 : tunables 120 60 8 : slabdata 1 1 0 UNIX 87 105 512 7 1 : tunables 54 27 8 : slabdata 15 15 0 tcp_tw_bucket 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0 tcp_bind_bucket 8 226 16 226 1 : tunables 120 60 8 : slabdata 1 1 0 tcp_open_request 0 0 64 61 1 : tunables 120 60 8 : slabdata 0 0 0 inet_peer_cache 18 122 64 61 1 : tunables 120 60 8 : slabdata 2 2 0 ip_fib_alias 16 226 16 226 1 : tunables 120 60 8 : slabdata 1 1 0 ip_fib_hash 16 119 32 119 1 : tunables 120 60 8 : slabdata 1 1 0 ip_dst_cache 451 720 256 15 1 : tunables 120 60 8 : slabdata 48 48 0 arp_cache 11 30 256 15 1 : tunables 120 60 8 : slabdata 2 2 0 RAW 3 7 512 7 1 : tunables 54 27 8 : slabdata 1 1 0 UDP 6 7 512 7 1 : tunables 54 27 8 : slabdata 1 1 0 TCP 8 8 1024 4 1 : tunables 54 27 8 : slabdata 2 2 0 flow_cache 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0 dm-snapshot-in 128 162 48 81 1 : tunables 120 60 8 : slabdata 2 2 0 dm-snapshot-ex 0 0 16 226 1 : tunables 120 60 8 : slabdata 0 0 0 dm_tio 0 0 16 226 1 : tunables 120 60 8 : slabdata 0 0 0 dm_io 0 0 16 226 1 : tunables 120 60 8 : slabdata 0 0 0 uhci_urb_priv 0 0 44 88 1 : tunables 120 60 8 : slabdata 0 0 0 scsi_cmd_cache 33 50 384 10 1 : tunables 54 27 8 : slabdata 5 5 0 blkif_cache 10 23 168 23 1 : tunables 120 60 8 : slabdata 1 1 0 cfq_ioc_pool 0 0 24 156 1 : tunables 120 60 8 : slabdata 0 0 0 cfq_pool 0 0 104 38 1 : tunables 120 60 8 : slabdata 0 0 0 crq_pool 0 0 52 75 1 : tunables 120 60 8 : slabdata 0 0 0 deadline_drq 0 0 48 81 1 : tunables 120 60 8 : slabdata 0 0 0 as_arq 127 195 60 65 1 : tunables 120 60 8 : slabdata 3 3 0 nfs_write_data 36 42 512 7 1 : tunables 54 27 8 : slabdata 6 6 0 nfs_read_data 32 35 512 7 1 : tunables 54 27 8 : slabdata 5 5 0 nfs_inode_cache 0 0 580 7 1 : tunables 54 27 8 : slabdata 0 0 0 nfs_page 0 0 64 61 1 : tunables 120 60 8 : slabdata 0 0 0 isofs_inode_cache 0 0 348 11 1 : tunables 54 27 8 : slabdata 0 0 0 ext2_inode_cache 0 0 432 9 1 : tunables 54 27 8 : slabdata 0 0 0 journal_handle 4 185 20 185 1 : tunables 120 60 8 : slabdata 1 1 0 journal_head 41 75 52 75 1 : tunables 120 60 8 : slabdata 1 1 0 revoke_table 2 290 12 290 1 : tunables 120 60 8 : slabdata 1 1 0 revoke_record 0 0 16 226 1 : tunables 120 60 8 : slabdata 0 0 0 ext3_inode_cache 29746 29752 468 8 1 : tunables 54 27 8 : slabdata 3719 3719 0 ext3_xattr 0 0 44 88 1 : tunables 120 60 8 : slabdata 0 0 0 reiser_inode_cache 0 0 400 10 1 : tunables 54 27 8 : slabdata 0 0 0 dnotify_cache 0 0 20 185 1 : tunables 120 60 8 : slabdata 0 0 0 eventpoll_pwq 0 0 36 107 1 : tunables 120 60 8 : slabdata 0 0 0 eventpoll_epi 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0 kioctx 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0 kiocb 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0 fasync_cache 0 0 16 226 1 : tunables 120 60 8 : slabdata 0 0 0 shmem_inode_cache 6 9 416 9 1 : tunables 54 27 8 : slabdata 1 1 0 posix_timers_cache 0 0 104 38 1 : tunables 120 60 8 : slabdata 0 0 0 uid_cache 3 61 64 61 1 : tunables 120 60 8 : slabdata 1 1 0 sgpool-128 32 33 2560 3 2 : tunables 24 12 8 : slabdata 11 11 0 sgpool-64 34 36 1280 3 1 : tunables 24 12 8 : slabdata 12 12 0 sgpool-32 32 36 640 6 1 : tunables 54 27 8 : slabdata 6 6 0 sgpool-16 36 40 384 10 1 : tunables 54 27 8 : slabdata 4 4 0 sgpool-8 86 135 256 15 1 : tunables 120 60 8 : slabdata 9 9 0 blkdev_ioc 35 135 28 135 1 : tunables 120 60 8 : slabdata 1 1 0 blkdev_queue 32 40 400 10 1 : tunables 54 27 8 : slabdata 4 4 0 blkdev_requests 149 216 148 27 1 : tunables 120 60 8 : slabdata 8 8 0 biovec-(256) 260 260 3072 2 2 : tunables 24 12 8 : slabdata 130 130 0 biovec-128 264 265 1536 5 2 : tunables 24 12 8 : slabdata 53 53 0 biovec-64 272 275 768 5 1 : tunables 54 27 8 : slabdata 55 55 0 biovec-16 315 315 256 15 1 : tunables 120 60 8 : slabdata 21 21 0 biovec-4 278 366 64 61 1 : tunables 120 60 8 : slabdata 6 6 0 biovec-1 377 678 16 226 1 : tunables 120 60 8 : slabdata 3 3 24 bio 365 527 128 31 1 : tunables 120 60 8 : slabdata 17 17 24 file_lock_cache 7 43 92 43 1 : tunables 120 60 8 : slabdata 1 1 0 xen-skb-65536 0 0 65536 1 16 : tunables 8 4 0 : slabdata 0 0 0 xen-skb-32768 0 0 32768 1 8 : tunables 8 4 0 : slabdata 0 0 0 xen-skb-16384 0 0 16384 1 4 : tunables 8 4 0 : slabdata 0 0 0 xen-skb-8192 0 0 8192 1 2 : tunables 8 4 0 : slabdata 0 0 0 xen-skb-4096 269 269 4096 1 1 : tunables 24 12 8 : slabdata 269 269 0 xen-skb-2048 0 0 2048 2 1 : tunables 24 12 8 : slabdata 0 0 0 xen-skb-512 54 64 512 8 1 : tunables 54 27 8 : slabdata 8 8 0 sock_inode_cache 115 140 384 10 1 : tunables 54 27 8 : slabdata 14 14 0 skbuff_head_cache 354 390 256 15 1 : tunables 120 60 8 : slabdata 26 26 0 proc_inode_cache 449 456 336 12 1 : tunables 54 27 8 : slabdata 38 38 0 sigqueue 27 27 148 27 1 : tunables 120 60 8 : slabdata 1 1 0 radix_tree_node 3508 3528 276 14 1 : tunables 54 27 8 : slabdata 252 252 0 bdev_cache 26 28 512 7 1 : tunables 54 27 8 : slabdata 4 4 0 sysfs_dir_cache 3389 3424 36 107 1 : tunables 120 60 8 : slabdata 32 32 0 mnt_cache 16 31 128 31 1 : tunables 120 60 8 : slabdata 1 1 0 inode_cache 978 1020 320 12 1 : tunables 54 27 8 : slabdata 85 85 0 dentry_cache 42325 42336 140 28 1 : tunables 120 60 8 : slabdata 1512 1512 0 filp 517 645 256 15 1 : tunables 120 60 8 : slabdata 43 43 0 names_cache 4 4 4096 1 1 : tunables 24 12 8 : slabdata 4 4 0 idr_layer_cache 110 145 136 29 1 : tunables 120 60 8 : slabdata 5 5 0 buffer_head 18944 18954 48 81 1 : tunables 120 60 8 : slabdata 234 234 0 mm_struct 60 60 640 6 1 : tunables 54 27 8 : slabdata 10 10 0 vm_area_struct 1266 1530 88 45 1 : tunables 120 60 8 : slabdata 34 34 0 fs_cache 50 122 64 61 1 : tunables 120 60 8 : slabdata 2 2 0 files_cache 51 63 512 7 1 : tunables 54 27 8 : slabdata 9 9 0 signal_cache 101 120 384 10 1 : tunables 54 27 8 : slabdata 12 12 0 sighand_cache 86 90 1408 5 2 : tunables 24 12 8 : slabdata 18 18 0 task_struct 97 102 1280 3 1 : tunables 24 12 8 : slabdata 34 34 0 anon_vma 480 870 12 290 1 : tunables 120 60 8 : slabdata 3 3 0 pgd 36 36 4096 1 1 : tunables 24 12 8 : slabdata 36 36 0 size-131072(DMA) 0 0 131072 1 32 : tunables 8 4 0 : slabdata 0 0 0 size-131072 0 0 131072 1 32 : tunables 8 4 0 : slabdata 0 0 0 size-65536(DMA) 0 0 65536 1 16 : tunables 8 4 0 : slabdata 0 0 0 size-65536 0 0 65536 1 16 : tunables 8 4 0 : slabdata 0 0 0 size-32768(DMA) 0 0 32768 1 8 : tunables 8 4 0 : slabdata 0 0 0 size-32768 0 0 32768 1 8 : tunables 8 4 0 : slabdata 0 0 0 size-16384(DMA) 0 0 16384 1 4 : tunables 8 4 0 : slabdata 0 0 0 size-16384 0 0 16384 1 4 : tunables 8 4 0 : slabdata 0 0 0 size-8192(DMA) 0 0 8192 1 2 : tunables 8 4 0 : slabdata 0 0 0 size-8192 88 88 8192 1 2 : tunables 8 4 0 : slabdata 88 88 0 size-4096(DMA) 0 0 4096 1 1 : tunables 24 12 8 : slabdata 0 0 0 size-4096 41 41 4096 1 1 : tunables 24 12 8 : slabdata 41 41 0 size-2048(DMA) 0 0 2048 2 1 : tunables 24 12 8 : slabdata 0 0 0 size-2048 85 86 2048 2 1 : tunables 24 12 8 : slabdata 43 43 0 size-1024(DMA) 0 0 1024 4 1 : tunables 54 27 8 : slabdata 0 0 0 size-1024 167 176 1024 4 1 : tunables 54 27 8 : slabdata 44 44 0 size-512(DMA) 0 0 512 8 1 : tunables 54 27 8 : slabdata 0 0 0 size-512 245 256 512 8 1 : tunables 54 27 8 : slabdata 32 32 0 size-256(DMA) 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0 size-256 161 165 256 15 1 : tunables 120 60 8 : slabdata 11 11 0 size-192(DMA) 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0 size-192 57 60 256 15 1 : tunables 120 60 8 : slabdata 4 4 0 size-128(DMA) 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0 size-128 723 744 128 31 1 : tunables 120 60 8 : slabdata 24 24 0 size-96(DMA) 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0 size-96 1581 1643 128 31 1 : tunables 120 60 8 : slabdata 53 53 0 size-64(DMA) 0 0 64 61 1 : tunables 120 60 8 : slabdata 0 0 0 size-64 818680 818681 64 61 1 : tunables 120 60 8 : slabdata 13421 13421 0 size-32(DMA) 0 0 32 119 1 : tunables 120 60 8 : slabdata 0 0 0 size-32 1796 1904 32 119 1 : tunables 120 60 8 : slabdata 16 16 0 kmem_cache 135 135 256 15 1 : tunables 120 60 8 : slabdata 9 9 0

Partition table sda:
Disk /dev/sda: 80.0 GB, 80000000000 bytes
255 heads, 63 sectors/track, 9726 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

  Device Boot      Start         End      Blocks   Id  System
/dev/sda1               1        9726    78124063+   5  Extended
/dev/sda5 1 3647 29294464+ fd Linux raid autodetect /dev/sda6 3648 7294 29294496 fd Linux raid autodetect /dev/sda7 7295 7902 4883728+ fd Linux raid autodetect /dev/sda8 7903 8145 1951866 fd Linux raid autodetect /dev/sda9 8146 8511 2939863+ fd Linux raid autodetect
/dev/sda10           8512        8574      506016   83  Linux
/dev/sda11           8575        8637      506016   83  Linux
/dev/sda12           8638        8700      506016   83  Linux
/dev/sda13           8701        8825     1004031   83  Linux
/dev/sda14           8826        8888      506016   83  Linux
/dev/sda15           8889        9013     1004031   83  Linux
/dev/sda16           9014        9726     5727141   83  Linux
sda10-16 i swap partitions.

Partition table sdb:
Disk /dev/sdb: 250.0 GB, 250000000000 bytes
255 heads, 63 sectors/track, 30394 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

  Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1       20303   163083816    5  Extended
/dev/sdb5 1 3647 29294464+ fd Linux raid autodetect /dev/sdb6 3648 7294 29294496 fd Linux raid autodetect /dev/sdb7 7295 7902 4883728+ fd Linux raid autodetect /dev/sdb8 7903 8145 1951866 fd Linux raid autodetect /dev/sdb9 8146 8511 2939863+ fd Linux raid autodetect
/dev/sdb10           8512       10944    19543041   83  Linux
/dev/sdb11          10945       13377    19543041   83  Linux
sdb10,11 is backup filesystems.

PNG image

_______________________________________________
Xen-users mailing list
Xen-users@xxxxxxxxxxxxxxxxxxx
http://lists.xensource.com/xen-users

 


Rackspace

Lists.xenproject.org is hosted with RackSpace, monitoring our
servers 24x7x365 and backed by RackSpace's Fanatical Support®.