запись архива

[Aksel 0]

Это запись 60 камер на один каталог, верно?

 

 

Именно. Пишем все камеры в один каталог.

 

При копировании мелких файлов и постоянного обращения к базе ситуация не меняет, всё равно 900 Мбит/с? 

 

 

Нет, при копировании файлов размером 4к, результат плачевный. Поэтому хотелось бы понять, какими кусками сам сервер отправляет данные на хранилище?

 

 Пробовали разбить 50 ТБ  RAID 6 на 10 томов RAID 0 или RAID 10 (или вообще отказаться от RAID) по 5 ТБ и назначить на каждый том группу по 6 камер? Т.е. нужно заставить все HDD работать параллельно, что-бы каждый HDD или группа из HDD  обслуживали отдельные камеры или группы камер. 

 

 

Пока нет, но все к этому идет. Руководство пока против, нет RAID, нет гарантии сохранности видео.

 

 

 

Их каких HDD всё это собрано?

 

Уточню, сообщу.

[Aksel 0]

 

 

Из каких HDD всё это собрано?

HGST     HUS726060AL5214

[Станислав 0]

Здравствуйте!

 

Нет, при копировании файлов размером 4к, результат плачевный. Поэтому хотелось бы понять, какими кусками сам сервер отправляет данные на хранилище?

 

 

Разными - от 0 до 4 мб. Первый поток почти всегда максимальными. Второй и аудио надо писать чаще, иначе при выключении питания потеряем много данных, по факту - примерно по 1 мб.  База данных пишется ещё более малыми порциями, потому что данных в секунду очень мало.
Это более или менее  верно для записи на локальный HDD. При записи на сетевой каталог, Windows почти 100% не будет отсылать  данные как есть, где-то будет промежуточный буфер или несколько. Причем это всё может зависеть от версии и на сервере и на шаре.

 

HGST     HUS726060AL5214

HDD нормальные, значить, с большой степенью вероятности, проблема в организации хранилища.

Уточните, при конфигурации raidz сколько винтов в pool ?

Покажите  вывод zpool get all

[Aksel 0]

Добрый день! Вот сообщение от нашего специалиста по Raid.

 

В теле сообщения набор настроек сети, распределение прерываний, iSCSI,ZFS

На скриншотах синтетические тесты хранилища подключенного по iSCSI, на которое пишет линия.
Несмотря на неплохие показания синтетических тестов, "Линия" сейчас пишет максимум 50мбит.сек. при этом страшные "лаги" и чередующаяся нагрузка на HDD ZFS (утилита atop)
 

Размер кластера 4096 ставится на томе меньше 16 ТБ. От 16 ТБ 8к. От 32 16к. Не зависимо от того какой кластер я укажу при создании раздела.

На скрине видно, указал 4096, после форматирования 16к.

[root@nas01 /]# zpool status zstorage




  pool: zstorage
 state: ONLINE
  scan: none requested
config:


NAME        STATE     READ WRITE CKSUM
zstorage    ONLINE       0     0     0
 raidz2-0  ONLINE       0     0     0
   sda     ONLINE       0     0     0
   sdb     ONLINE       0     0     0
   sdd     ONLINE       0     0     0
   sde     ONLINE       0     0     0
   sdf     ONLINE       0     0     0
   sdg     ONLINE       0     0     0
   sdh     ONLINE       0     0     0
   sdi     ONLINE       0     0     0
   sdj     ONLINE       0     0     0
   sdk     ONLINE       0     0     0
   sdl     ONLINE       0     0     0


errors: No known data errors

[root@nas01 /]# zpool get all


NAME      PROPERTY                    VALUE                       SOURCE
zstorage  size                        60T                         -
zstorage  capacity                    7%                          -
zstorage  altroot                     -                           default
zstorage  health                      ONLINE                      -
zstorage  guid                        17872806316608763200        default
zstorage  version                     -                           default
zstorage  bootfs                      -                           default
zstorage  delegation                  on                          default
zstorage  autoreplace                 off                         default
zstorage  cachefile                   -                           default
zstorage  failmode                    wait                        default
zstorage  listsnapshots               off                         default
zstorage  autoexpand                  off                         default
zstorage  dedupditto                  0                           default
zstorage  dedupratio                  1.00x                       -
zstorage  free                        55.3T                       -
zstorage  allocated                   4.75T                       -
zstorage  readonly                    off                         -
zstorage  ashift                      12                          local
zstorage  comment                     -                           default
zstorage  expandsize                  -                           -
zstorage  freeing                     0                           default
zstorage  fragmentation               4%                          -
zstorage  leaked                      0                           default
zstorage  feature@async_destroy       enabled                     local
zstorage  feature@empty_bpobj         active                      local
zstorage  feature@lz4_compress        active                      local
zstorage  feature@spacemap_histogram  active                      local
zstorage  feature@enabled_txg         active                      local
zstorage  feature@hole_birth          active                      local
zstorage  feature@extensible_dataset  enabled                     local
zstorage  feature@embedded_data       active                      local
zstorage  feature@bookmarks           enabled                     local
zstorage  feature@filesystem_limits   enabled                     local
zstorage  feature@large_blocks        enabled                     local

<-----------------------
[root@nas01 /]# zfs list


NAME               USED  AVAIL  REFER  MOUNTPOINT
zstorage          3.61T  40.7T   219K  none
zstorage/iscsi    3.61T  40.7T  3.61T  -
zstorage/storage  1.70M  7.00T  1.70M  /storage

<--------------------- iSCSI eth ---------------
[root@nas01 /]# ifconfig vlan3110


vlan3110  Link encap:Ethernet  HWaddr 00:E0:ED:43:53:25  
          inet addr:10.11.15.10  Bcast:10.11.15.255  Mask:255.255.255.0
          inet6 addr: fe80::2e0:edff:fe43:5325/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:9000  Metric:1
          RX packets:45763406 errors:0 dropped:0 overruns:0 frame:0
          TX packets:29311106 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:394491639212 (367.3 GiB)  TX bytes:4871876333 (4.5 GiB)


<------------------------- IRQ

/############################# ZFS ################################################/


[root@nas01 /]# zpool create -m none -o ashift=12 zstorage raidz2 /dev/sda /dev/sdb /dev/sdd /dev/sde /dev/sdf /dev/sdg /dev/sdh /dev/sdi /dev/sdj /dev/sdk /dev/sdl
[root@nas01 /]# zfs create -s -V 39tb -o compression=off zstorage/iscsi
[root@nas01 /]# zfs set shareiscsi=on zstorage/iscsi

############################  iSCSI     #######################################
Target 1: iqn.2016-07.ru.nas01:dvr00
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
        I_T nexus: 2
            Initiator: iqn.1991-05.com.microsoft:win-343sjv5bc87
            Connection: 1
                IP Address: 10.11.15.12
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00010000
            SCSI SN: beaf10
            Size: 0 MB, Block size: 1
            Online: Yes
            Removable media: No
            Prevent removal: No
            Readonly: No
            Backing store type: null
            Backing store path: None
            Backing store flags: 
        LUN: 1
            Type: disk
            SCSI ID: IET     00010001
            SCSI SN: beaf11
            Size: 42880953 MB, Block size: 512
            Online: Yes
            Removable media: No
            Prevent removal: No
            Readonly: No
            Backing store type: rdwr
            Backing store path: /dev/zvol/zstorage/iscsi
            Backing store flags: 
    Account information:
    ACL information:
        ALL
        10.11.15.11
        10.11.15.12




MaxRecvDataSegmentLength=262144
MaxXmitDataSegmentLength=262144
HeaderDigest=None
DataDigest=None
InitialR2T=Yes
MaxOutstandingR2T=1
ImmediateData=Yes
FirstBurstLength=65536
MaxBurstLength=262144
DataPDUInOrder=Yes
DataSequenceInOrder=Yes
ErrorRecoveryLevel=0
IFMarker=No
OFMarker=No
DefaultTime2Wait=2
DefaultTime2Retain=20
OFMarkInt=Reject
IFMarkInt=Reject
MaxConnections=2
RDMAExtensions=Yes
TargetRecvDataSegmentLength=262144
InitiatorRecvDataSegmentLength=262144
MaxOutstandingUnexpectedPDUs=0

Пожалуйста, просим вас проанализировать данные, чтобы найти ошибку, т.к. у вас опыт настройки хранилищ под видео больше нашего.

 

irq.txt

[Станислав 0]

Это 11 HDD?
Нужно попробовать создать  raidz из 8 HDD и повторить тест.

[Aksel 0]

Добрый день.

Продолжаем мучаться с проблемой записи.

 

Убили Linux, на той машине которая была NAS поставили Windows Server, поставили Линию. Все жесткие диски теперь обычные винты в системе (не по Samba, не по SCSI).

При подключении к архиву пишет что не возможно подключиться к архиву - сетевая ошибка (???!!!).

 

Подскажите что делать?

Изменено 20 Сентября 2016 пользователем Aksel

[Станислав 0]

Здравствуйте!
Если к серверу возможен удалённый доступ  с помощью ПО TeamViewer 8|9 ( www.devline.ru/soft/ds.exe ) - укажите данные для подключения личным сообщением.

[Aksel 0]

Структура папок вся видна. Размер файлов обновляется. То есть запись идет.

Проблема напрямую с сервера.

 

Данные предоставлю чуть позже.

Изменено 20 Сентября 2016 пользователем Aksel