forum.lissyara.su

andryu писал(а):Доброе время суток.
Стоит на сервере Freebsd 9.3, надо переставить на Centos. Чтобы высвободить сервер решил временно Freebsd перенести на виртуалку. Системные разделы dump/restore перенёс а пользовательские данные(сайты, посты, базы) rsync-ом решил скопировать. И тут такое началось...
Скорость переноса данных то 10кб, то пару мб. I/O на kvm сервере 100% постоянно, freebsd(которая на впс) тормозит неподетски, по ssh не зайти по 5 минут. Вобщем полтора дня мучал впс, пока всё не перенеслось.
Опытным путём определил, что такие тормоза только если ОС Freebsd, на Centos-ах копирование идёт на максимальной скорости(100мб свитч, около 11Мб скорость копирования) нагрузка по I/O вменяемая, тормозов не наблюдается.
Что в Freebsd надо подкрутить, чтоб она на KVM нормально с фс работала, какую недельку надо будет сервер перенастраивать.
Рассмотрю любые предложения

- ни в одной системе виртуализации не рекомендуют переносить ВМ c hardware или с другой системы
виртуализации на отличную от нее, путем переноса корневой FS с ядром и драйверами
- рекомендация везде проста, перенос с hardware или отличной системы виртуализации:

FS - что подкрутить, Вы хоть словом упомянули что у Вас в какчестве стораджа?
Локальный диск? LVM? NFS? iSCSI?

Идем далее, в VPS - один сетевой стек и что там используется ..? эмуляция сетевой карты + бридж с реальной
сетевой картой? эмуляция какой карты?
Что на хост сервере? В KVM эиуляция какой сетевой карты или virtio? и тд и тп...

Документацию хоть изучали по KVM? Лабы с тестами проводили на своем хостовом KVM сервере?

Хотите высечь проблему:
- запустите копирование с VPS/FreeBSD на хост с KVM и посмотрите результат
- используете rsync через ssh, уменьшите компрессию или отключите

Вот тогда, методом исключения, установите причину, зачастую, она в выборе эмулятора сетевой карты,
точнее в реализации и реализованных возможностей.

andryu писал(а):Так что если простое копирование/запись файла в раздел вызывает такую же нагрузку по I/O, то сетевухи тут не при чём..

Neus писал(а):andryu,
Эх...
dmesg и pciconf -lv давай с тормозилки

Copyright (c) 1992-2014 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
        The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 9.3-RELEASE-p49 #0: Fri Oct 21 21:01:08 UTC 2016
    root@amd64-builder.daemonology.net:/usr/obj/usr/src/sys/GENERIC amd64
gcc version 4.2.1 20070831 patched [FreeBSD]
CPU: QEMU Virtual CPU version (cpu64-rhel6) (2660.01-MHz K8-class CPU)
  Origin = "GenuineIntel"  Id = 0x6d3  Family = 0x6  Model = 0xd  Stepping = 3
  Features=0x783fbfd<FPU,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,MMX,FXSR,SSE,SSE2>
  Features2=0x80002001<SSE3,CX16,HV>
  AMD Features=0x20100800<SYSCALL,NX,LM>
  AMD Features2=0x1<LAHF>
real memory  = 8388608000 (8000 MB)
avail memory = 8047607808 (7674 MB)
Event timer "LAPIC" quality 400
ACPI APIC Table: <BOCHS  BXPCAPIC>
FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs
FreeBSD/SMP: 4 package(s) x 1 core(s)
 cpu0 (BSP): APIC ID:  0
 cpu1 (AP): APIC ID:  1
 cpu2 (AP): APIC ID:  2
 cpu3 (AP): APIC ID:  3
ioapic0 <Version 1.1> irqs 0-23 on motherboard
kbd1 at kbdmux0
acpi0: <BOCHS BXPCRSDT> on motherboard
acpi0: Power Button (fixed)
cpu0: <ACPI CPU> on acpi0
cpu1: <ACPI CPU> on acpi0
cpu2: <ACPI CPU> on acpi0
cpu3: <ACPI CPU> on acpi0
atrtc0: <AT realtime clock> port 0x70-0x71,0x72-0x77 irq 8 on acpi0
Event timer "RTC" frequency 32768 Hz quality 0
Timecounter "ACPI-fast" frequency 3579545 Hz quality 900
acpi_timer0: <24-bit timer at 3.579545MHz> port 0xb008-0xb00b on acpi0
pcib0: <ACPI Host-PCI bridge> port 0xcf8-0xcff on acpi0
pci0: <ACPI PCI bus> on pcib0
isab0: <PCI-ISA bridge> at device 1.0 on pci0
isa0: <ISA bus> on isab0
atapci0: <Intel PIIX3 WDMA2 controller> port 0x1f0-0x1f7,0x3f6,0x170-0x177,0x376,0xc000-0xc00f at device 1.1 on pci0
ata0: <ATA channel> at channel 0 on atapci0
ata1: <ATA channel> at channel 1 on atapci0
uhci0: <Intel 82371SB (PIIX3) USB controller> port 0xc020-0xc03f irq 11 at device 1.2 on pci0
usbus0: controller did not stop
usbus0 on uhci0
pci0: <bridge> at device 1.3 (no driver attached)
vgapci0: <VGA-compatible display> mem 0xf0000000-0xf1ffffff,0xf2000000-0xf2000fff at device 2.0 on pci0
vgapci0: Boot video device
em0: <Intel(R) PRO/1000 Legacy Network Connection 1.0.6> port 0xc040-0xc07f mem 0xf2020000-0xf203ffff irq 11 at device 3.0 on pci0
em0: Ethernet address: 52:54:00:b0:fe:b5
virtio_pci0: <VirtIO PCI Balloon adapter> port 0xc080-0xc09f irq 11 at device 4.0 on pci0
vtballoon0: <VirtIO Balloon Adapter> on virtio_pci0
virtio_pci0: host features: 0x71000002 <EventIdx,RingIndirect,NotifyOnEmpty,StatsVq>
virtio_pci0: negotiated features: 0
atkbdc0: <Keyboard controller (i8042)> port 0x60,0x64 irq 1 on acpi0
atkbd0: <AT Keyboard> irq 1 on atkbdc0
kbd0 at atkbd0
atkbd0: [GIANT-LOCKED]
psm0: <PS/2 Mouse> irq 12 on atkbdc0
psm0: [GIANT-LOCKED]
psm0: model IntelliMouse Explorer, device ID 4
fdc0: <floppy drive controller> port 0x3f2-0x3f5,0x3f7 irq 6 drq 2 on acpi0
fdc0: does not respond
device_attach: fdc0 attach returned 6
uart0: <Non-standard ns8250 class UART with FIFOs> port 0x3f8-0x3ff irq 4 flags 0x10 on acpi0
orm0: <ISA Option ROM> at iomem 0xc9000-0xc97ff on isa0
sc0: <System console> at flags 0x100 on isa0
sc0: VGA <16 virtual consoles, flags=0x300>
vga0: <Generic ISA VGA> at port 0x3c0-0x3df iomem 0xa0000-0xbffff on isa0
attimer0: <AT timer> at port 0x40 on isa0
Timecounter "i8254" frequency 1193182 Hz quality 0
Event timer "i8254" frequency 1193182 Hz quality 100
fdc0: No FDOUT register!
ppc0: cannot reserve I/O port range
Timecounters tick every 10.000 msec
usbus0: 12Mbps Full Speed USB v1.0
ugen0.1: <Intel> at usbus0
uhub0: <Intel UHCI root HUB, class 9/0, rev 1.00/1.00, addr 1> on usbus0
cd0 at ata0 bus 0 scbus0 target 1 lun 0
cd0: <QEMU QEMU DVD-ROM 0.12> Removable CD-ROM SCSI-0 device
cd0: Serial Number QM00002
cd0: 16.700MB/s transfers (WDMA2, ATAPI 12bytes, PIO 65534bytes)
cd0: cd present [297324 x 2048 byte records]
ada0 at ata0 bus 0 scbus0 target 0 lun 0
ada0: <QEMU HARDDISK 0.12.1> ATA-7 device
ada0: Serial Number QM00001
ada0: 16.700MB/s transfers (WDMA2, PIO 8192bytes)
ada0: 300000MB (614400000 512 byte sectors: 16H 63S/T 16383C)
ada0: Previously was known as ad0
SMP: AP CPU #1 Launched!
SMP: AP CPU #2 Launched!
SMP: AP CPU #3 Launched!
uhub0: 2 ports with 2 removable, self powered
Root mount waiting for: usbus0
ugen0.2: <QEMU 0.12.1> at usbus0
uhid0: <QEMU 0.12.1 QEMU USB Tablet, class 0/0, rev 2.00/0.00, addr 2> on usbus0
Trying to mount root from ufs:/dev/ad0p2 [rw]...
ipfw2 (+ipv6) initialized, divert loadable, nat loadable, default to deny, logging disabled

pciconf -lv
hostb0@pci0:0:0:0:      class=0x060000 card=0x11001af4 chip=0x12378086 rev=0x02 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '440FX - 82441FX PMC [Natoma]'
    class      = bridge
    subclass   = HOST-PCI
isab0@pci0:0:1:0:       class=0x060100 card=0x11001af4 chip=0x70008086 rev=0x00 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82371SB PIIX3 ISA [Natoma/Triton II]'
    class      = bridge
    subclass   = PCI-ISA
atapci0@pci0:0:1:1:     class=0x010180 card=0x11001af4 chip=0x70108086 rev=0x00 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82371SB PIIX3 IDE [Natoma/Triton II]'
    class      = mass storage
    subclass   = ATA
uhci0@pci0:0:1:2:       class=0x0c0300 card=0x11001af4 chip=0x70208086 rev=0x01 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82371SB PIIX3 USB [Natoma/Triton II]'
    class      = serial bus
    subclass   = USB
none0@pci0:0:1:3:       class=0x068000 card=0x11001af4 chip=0x71138086 rev=0x03 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82371AB/EB/MB PIIX4 ACPI'
    class      = bridge
vgapci0@pci0:0:2:0:     class=0x030000 card=0x11001af4 chip=0x00b81013 rev=0x00 hdr=0x00
    vendor     = 'Cirrus Logic'
    device     = 'GD 5446'
    class      = display
    subclass   = VGA
em0@pci0:0:3:0: class=0x020000 card=0x11001af4 chip=0x100e8086 rev=0x03 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82540EM Gigabit Ethernet Controller'
    class      = network
    subclass   = ethernet
virtio_pci0@pci0:0:4:0: class=0x050000 card=0x00051af4 chip=0x10021af4 rev=0x00 hdr=0x00
    vendor     = 'Red Hat, Inc'
    device     = 'Virtio memory balloon'
    class      = memory
    subclass   = RAM

Так как с переносом Вы заткнулись, и в FreeBSD 9.2 нет специфического софта, то очень рекомендую, как
минимум перейти на 10.3 (наличие virtio) или лучше на 11.0 - это раз, поддержка 9.2-RELEASE закончилась, это два.
То что нужно сейчас или вчера - это понятно...
С другой стороны, быстрей перенести и запустить, а далее можно будет создать вторую виртуалку с 11.0
и уже спокойно все настроить и перейти со старой 9.2 на новую... Вариант более быстрый для продакшн.

Ну а Ваша проблема - очевидна, VPS и настройки ее под FreeBSD - xавно, отсюда и проблемы.

undefined писал(а): запросто причем

Вы сами же ответили, проблема в VPS, какая - неизвестно, как и что в ней отдается под ВМ FreeBSD - неизвестно:
- эмулятор сети
- виртуальный носитель

Посему, по VPS сказать нечего, ибо троянский конь.

undefined писал(а): запросто причем

Вы сами же ответили, проблема в VPS, какая - неизвестно, как и что в ней отдается под ВМ FreeBSD - неизвестно:
- эмулятор сети
- виртуальный носитель

Посему, по VPS сказать нечего, ибо троянский конь.

andryu писал(а):

Neus писал(а):andryu,
Эх...
dmesg и pciconf -lv давай с тормозилки

dmesg

Код: Выделить всё

Copyright (c) 1992-2014 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
        The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 9.3-RELEASE-p49 #0: Fri Oct 21 21:01:08 UTC 2016
    root@amd64-builder.daemonology.net:/usr/obj/usr/src/sys/GENERIC amd64
gcc version 4.2.1 20070831 patched [FreeBSD]
CPU: QEMU Virtual CPU version (cpu64-rhel6) (2660.01-MHz K8-class CPU)
  Origin = "GenuineIntel"  Id = 0x6d3  Family = 0x6  Model = 0xd  Stepping = 3
  Features=0x783fbfd<FPU,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,MMX,FXSR,SSE,SSE2>
  Features2=0x80002001<SSE3,CX16,HV>
  AMD Features=0x20100800<SYSCALL,NX,LM>
  AMD Features2=0x1<LAHF>
real memory  = 8388608000 (8000 MB)
avail memory = 8047607808 (7674 MB)
Event timer "LAPIC" quality 400
ACPI APIC Table: <BOCHS  BXPCAPIC>
FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs
FreeBSD/SMP: 4 package(s) x 1 core(s)
 cpu0 (BSP): APIC ID:  0
 cpu1 (AP): APIC ID:  1
 cpu2 (AP): APIC ID:  2
 cpu3 (AP): APIC ID:  3
ioapic0 <Version 1.1> irqs 0-23 on motherboard
kbd1 at kbdmux0
acpi0: <BOCHS BXPCRSDT> on motherboard
acpi0: Power Button (fixed)
cpu0: <ACPI CPU> on acpi0
cpu1: <ACPI CPU> on acpi0
cpu2: <ACPI CPU> on acpi0
cpu3: <ACPI CPU> on acpi0
atrtc0: <AT realtime clock> port 0x70-0x71,0x72-0x77 irq 8 on acpi0
Event timer "RTC" frequency 32768 Hz quality 0
Timecounter "ACPI-fast" frequency 3579545 Hz quality 900
acpi_timer0: <24-bit timer at 3.579545MHz> port 0xb008-0xb00b on acpi0
pcib0: <ACPI Host-PCI bridge> port 0xcf8-0xcff on acpi0
pci0: <ACPI PCI bus> on pcib0
isab0: <PCI-ISA bridge> at device 1.0 on pci0
isa0: <ISA bus> on isab0
atapci0: <Intel PIIX3 WDMA2 controller> port 0x1f0-0x1f7,0x3f6,0x170-0x177,0x376,0xc000-0xc00f at device 1.1 on pci0
ata0: <ATA channel> at channel 0 on atapci0
ata1: <ATA channel> at channel 1 on atapci0
uhci0: <Intel 82371SB (PIIX3) USB controller> port 0xc020-0xc03f irq 11 at device 1.2 on pci0
usbus0: controller did not stop
usbus0 on uhci0
pci0: <bridge> at device 1.3 (no driver attached)
vgapci0: <VGA-compatible display> mem 0xf0000000-0xf1ffffff,0xf2000000-0xf2000fff at device 2.0 on pci0
vgapci0: Boot video device
em0: <Intel(R) PRO/1000 Legacy Network Connection 1.0.6> port 0xc040-0xc07f mem 0xf2020000-0xf203ffff irq 11 at device 3.0 on pci0
em0: Ethernet address: 52:54:00:b0:fe:b5
virtio_pci0: <VirtIO PCI Balloon adapter> port 0xc080-0xc09f irq 11 at device 4.0 on pci0
vtballoon0: <VirtIO Balloon Adapter> on virtio_pci0
virtio_pci0: host features: 0x71000002 <EventIdx,RingIndirect,NotifyOnEmpty,StatsVq>
virtio_pci0: negotiated features: 0
atkbdc0: <Keyboard controller (i8042)> port 0x60,0x64 irq 1 on acpi0
atkbd0: <AT Keyboard> irq 1 on atkbdc0
kbd0 at atkbd0
atkbd0: [GIANT-LOCKED]
psm0: <PS/2 Mouse> irq 12 on atkbdc0
psm0: [GIANT-LOCKED]
psm0: model IntelliMouse Explorer, device ID 4
fdc0: <floppy drive controller> port 0x3f2-0x3f5,0x3f7 irq 6 drq 2 on acpi0
fdc0: does not respond
device_attach: fdc0 attach returned 6
uart0: <Non-standard ns8250 class UART with FIFOs> port 0x3f8-0x3ff irq 4 flags 0x10 on acpi0
orm0: <ISA Option ROM> at iomem 0xc9000-0xc97ff on isa0
sc0: <System console> at flags 0x100 on isa0
sc0: VGA <16 virtual consoles, flags=0x300>
vga0: <Generic ISA VGA> at port 0x3c0-0x3df iomem 0xa0000-0xbffff on isa0
attimer0: <AT timer> at port 0x40 on isa0
Timecounter "i8254" frequency 1193182 Hz quality 0
Event timer "i8254" frequency 1193182 Hz quality 100
fdc0: No FDOUT register!
ppc0: cannot reserve I/O port range
Timecounters tick every 10.000 msec
usbus0: 12Mbps Full Speed USB v1.0
ugen0.1: <Intel> at usbus0
uhub0: <Intel UHCI root HUB, class 9/0, rev 1.00/1.00, addr 1> on usbus0
cd0 at ata0 bus 0 scbus0 target 1 lun 0
cd0: <QEMU QEMU DVD-ROM 0.12> Removable CD-ROM SCSI-0 device
cd0: Serial Number QM00002
cd0: 16.700MB/s transfers (WDMA2, ATAPI 12bytes, PIO 65534bytes)
cd0: cd present [297324 x 2048 byte records]
ada0 at ata0 bus 0 scbus0 target 0 lun 0
ada0: <QEMU HARDDISK 0.12.1> ATA-7 device
ada0: Serial Number QM00001
ada0: 16.700MB/s transfers (WDMA2, PIO 8192bytes)
ada0: 300000MB (614400000 512 byte sectors: 16H 63S/T 16383C)
ada0: Previously was known as ad0
SMP: AP CPU #1 Launched!
SMP: AP CPU #2 Launched!
SMP: AP CPU #3 Launched!
uhub0: 2 ports with 2 removable, self powered
Root mount waiting for: usbus0
ugen0.2: <QEMU 0.12.1> at usbus0
uhid0: <QEMU 0.12.1 QEMU USB Tablet, class 0/0, rev 2.00/0.00, addr 2> on usbus0
Trying to mount root from ufs:/dev/ad0p2 [rw]...
ipfw2 (+ipv6) initialized, divert loadable, nat loadable, default to deny, logging disabled

Код: Выделить всё

pciconf -lv
hostb0@pci0:0:0:0:      class=0x060000 card=0x11001af4 chip=0x12378086 rev=0x02 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '440FX - 82441FX PMC [Natoma]'
    class      = bridge
    subclass   = HOST-PCI
isab0@pci0:0:1:0:       class=0x060100 card=0x11001af4 chip=0x70008086 rev=0x00 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82371SB PIIX3 ISA [Natoma/Triton II]'
    class      = bridge
    subclass   = PCI-ISA
atapci0@pci0:0:1:1:     class=0x010180 card=0x11001af4 chip=0x70108086 rev=0x00 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82371SB PIIX3 IDE [Natoma/Triton II]'
    class      = mass storage
    subclass   = ATA
uhci0@pci0:0:1:2:       class=0x0c0300 card=0x11001af4 chip=0x70208086 rev=0x01 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82371SB PIIX3 USB [Natoma/Triton II]'
    class      = serial bus
    subclass   = USB
none0@pci0:0:1:3:       class=0x068000 card=0x11001af4 chip=0x71138086 rev=0x03 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82371AB/EB/MB PIIX4 ACPI'
    class      = bridge
vgapci0@pci0:0:2:0:     class=0x030000 card=0x11001af4 chip=0x00b81013 rev=0x00 hdr=0x00
    vendor     = 'Cirrus Logic'
    device     = 'GD 5446'
    class      = display
    subclass   = VGA
em0@pci0:0:3:0: class=0x020000 card=0x11001af4 chip=0x100e8086 rev=0x03 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82540EM Gigabit Ethernet Controller'
    class      = network
    subclass   = ethernet
virtio_pci0@pci0:0:4:0: class=0x050000 card=0x00051af4 chip=0x10021af4 rev=0x00 hdr=0x00
    vendor     = 'Red Hat, Inc'
    device     = 'Virtio memory balloon'
    class      = memory
    subclass   = RAM

Так как с переносом Вы заткнулись, и в FreeBSD 9.2 нет специфического софта, то очень рекомендую, как
минимум перейти на 10.3 (наличие virtio) или лучше на 11.0 - это раз, поддержка 9.2-RELEASE закончилась, это два.
То что нужно сейчас или вчера - это понятно...
С другой стороны, быстрей перенести и запустить, а далее можно будет создать вторую виртуалку с 11.0
и уже спокойно все настроить и перейти со старой 9.2 на новую... Вариант более быстрый для продакшн.

Ну а Ваша проблема - очевидна, VPS и настройки ее под FreeBSD - xавно, отсюда и проблемы.

Есть специфичный софт который работает под Freebsd 9, надо чтобы он поработал пока я на сервере не настрою всё на Centose. Если уж менять ос и настраивать всё по новой, то хотелось бы это сделать один раз, а не сначала на впс - чтоб туда перенести данные с сервера, а потом на сервере - чтоб вернуть данные с впс.
Хотел как легче, видно придётся два раза перенос делать

undefined писал(а): dmesg с VPS или откуда?

undefined писал(а): В нем ничего криминального, кроме:
- использование virtio balloon в 9.3 (не знаю как там реально оно работает?), забъем на это, не оно
- а вот это

ada0 at ata0 bus 0 scbus0 target 0 lun 0
ada0: <QEMU HARDDISK 0.12.1> ATA-7 device
ada0: Serial Number QM00001
ada0: 16.700MB/s transfers (WDMA2, PIO 8192bytes)
^^^-^^^^^^^^^^^^^^^^^^^^^^^^^^^^- режим WDMA2, примерный transfer rate 16.7/MB/s, как CD через PIO

ada0: 300000MB (614400000 512 byte sectors: 16H 63S/T 16383C)

представляете какой IO overhead?

Neus писал(а): Переключи ещё диск на virtio.

andryu писал(а): Для Freebsd почему-то автоматом IDE для диска выбиралось, На Сентосах сразу virtio.

Поменял диск на virtio, вывод iotop с хостового kvm в картинке - во время работы rsync на впске сFreebsd
iotop.PNG

ps. Сочуствую по поводу VPS. Может старая версия и старое ядро? У меня с FreeBSD 9.x под KVM+QEMU проблем
нет, по привычке проверяю работоспособность KVM+QEMU с установки на нее FreeBSD, затем Windoze, ну и уж
потом Linux.

andryu писал(а): Рассмотрю любые предложения