Aksel 0 Posted September 10, 2016 Это запись 60 камер на один каталог, верно? Именно. Пишем все камеры в один каталог. При копировании мелких файлов и постоянного обращения к базе ситуация не меняет, всё равно 900 Мбит/с? Нет, при копировании файлов размером 4к, результат плачевный. Поэтому хотелось бы понять, какими кусками сам сервер отправляет данные на хранилище? Пробовали разбить 50 ТБ RAID 6 на 10 томов RAID 0 или RAID 10 (или вообще отказаться от RAID) по 5 ТБ и назначить на каждый том группу по 6 камер? Т.е. нужно заставить все HDD работать параллельно, что-бы каждый HDD или группа из HDD обслуживали отдельные камеры или группы камер. Пока нет, но все к этому идет. Руководство пока против, нет RAID, нет гарантии сохранности видео. Их каких HDD всё это собрано? Уточню, сообщу. Share this post Link to post Share on other sites В
Aksel 0 Posted September 11, 2016 Из каких HDD всё это собрано? HGST HUS726060AL5214 Share this post Link to post Share on other sites В
Станислав 0 Posted September 11, 2016 Здравствуйте! Нет, при копировании файлов размером 4к, результат плачевный. Поэтому хотелось бы понять, какими кусками сам сервер отправляет данные на хранилище? Разными - от 0 до 4 мб. Первый поток почти всегда максимальными. Второй и аудио надо писать чаще, иначе при выключении питания потеряем много данных, по факту - примерно по 1 мб. База данных пишется ещё более малыми порциями, потому что данных в секунду очень мало.Это более или менее верно для записи на локальный HDD. При записи на сетевой каталог, Windows почти 100% не будет отсылать данные как есть, где-то будет промежуточный буфер или несколько. Причем это всё может зависеть от версии и на сервере и на шаре. HGST HUS726060AL5214 HDD нормальные, значить, с большой степенью вероятности, проблема в организации хранилища. Уточните, при конфигурации raidz сколько винтов в pool ? Покажите вывод zpool get all Share this post Link to post Share on other sites В
Aksel 0 Posted September 12, 2016 Добрый день! Вот сообщение от нашего специалиста по Raid. В теле сообщения набор настроек сети, распределение прерываний, iSCSI,ZFSНа скриншотах синтетические тесты хранилища подключенного по iSCSI, на которое пишет линия.Несмотря на неплохие показания синтетических тестов, "Линия" сейчас пишет максимум 50мбит.сек. при этом страшные "лаги" и чередующаяся нагрузка на HDD ZFS (утилита atop) Размер кластера 4096 ставится на томе меньше 16 ТБ. От 16 ТБ 8к. От 32 16к. Не зависимо от того какой кластер я укажу при создании раздела. На скрине видно, указал 4096, после форматирования 16к. [root@nas01 /]# zpool status zstorage pool: zstorage state: ONLINE scan: none requested config: NAME STATE READ WRITE CKSUM zstorage ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 sda ONLINE 0 0 0 sdb ONLINE 0 0 0 sdd ONLINE 0 0 0 sde ONLINE 0 0 0 sdf ONLINE 0 0 0 sdg ONLINE 0 0 0 sdh ONLINE 0 0 0 sdi ONLINE 0 0 0 sdj ONLINE 0 0 0 sdk ONLINE 0 0 0 sdl ONLINE 0 0 0 errors: No known data errors [root@nas01 /]# zpool get all NAME PROPERTY VALUE SOURCE zstorage size 60T - zstorage capacity 7% - zstorage altroot - default zstorage health ONLINE - zstorage guid 17872806316608763200 default zstorage version - default zstorage bootfs - default zstorage delegation on default zstorage autoreplace off default zstorage cachefile - default zstorage failmode wait default zstorage listsnapshots off default zstorage autoexpand off default zstorage dedupditto 0 default zstorage dedupratio 1.00x - zstorage free 55.3T - zstorage allocated 4.75T - zstorage readonly off - zstorage ashift 12 local zstorage comment - default zstorage expandsize - - zstorage freeing 0 default zstorage fragmentation 4% - zstorage leaked 0 default zstorage feature@async_destroy enabled local zstorage feature@empty_bpobj active local zstorage feature@lz4_compress active local zstorage feature@spacemap_histogram active local zstorage feature@enabled_txg active local zstorage feature@hole_birth active local zstorage feature@extensible_dataset enabled local zstorage feature@embedded_data active local zstorage feature@bookmarks enabled local zstorage feature@filesystem_limits enabled local zstorage feature@large_blocks enabled local <----------------------- [root@nas01 /]# zfs list NAME USED AVAIL REFER MOUNTPOINT zstorage 3.61T 40.7T 219K none zstorage/iscsi 3.61T 40.7T 3.61T - zstorage/storage 1.70M 7.00T 1.70M /storage <--------------------- iSCSI eth --------------- [root@nas01 /]# ifconfig vlan3110 vlan3110 Link encap:Ethernet HWaddr 00:E0:ED:43:53:25 inet addr:10.11.15.10 Bcast:10.11.15.255 Mask:255.255.255.0 inet6 addr: fe80::2e0:edff:fe43:5325/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:45763406 errors:0 dropped:0 overruns:0 frame:0 TX packets:29311106 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:394491639212 (367.3 GiB) TX bytes:4871876333 (4.5 GiB) <------------------------- IRQ /############################# ZFS ################################################/ [root@nas01 /]# zpool create -m none -o ashift=12 zstorage raidz2 /dev/sda /dev/sdb /dev/sdd /dev/sde /dev/sdf /dev/sdg /dev/sdh /dev/sdi /dev/sdj /dev/sdk /dev/sdl [root@nas01 /]# zfs create -s -V 39tb -o compression=off zstorage/iscsi [root@nas01 /]# zfs set shareiscsi=on zstorage/iscsi ############################ iSCSI ####################################### Target 1: iqn.2016-07.ru.nas01:dvr00 System information: Driver: iscsi State: ready I_T nexus information: I_T nexus: 2 Initiator: iqn.1991-05.com.microsoft:win-343sjv5bc87 Connection: 1 IP Address: 10.11.15.12 LUN information: LUN: 0 Type: controller SCSI ID: IET 00010000 SCSI SN: beaf10 Size: 0 MB, Block size: 1 Online: Yes Removable media: No Prevent removal: No Readonly: No Backing store type: null Backing store path: None Backing store flags: LUN: 1 Type: disk SCSI ID: IET 00010001 SCSI SN: beaf11 Size: 42880953 MB, Block size: 512 Online: Yes Removable media: No Prevent removal: No Readonly: No Backing store type: rdwr Backing store path: /dev/zvol/zstorage/iscsi Backing store flags: Account information: ACL information: ALL 10.11.15.11 10.11.15.12 MaxRecvDataSegmentLength=262144 MaxXmitDataSegmentLength=262144 HeaderDigest=None DataDigest=None InitialR2T=Yes MaxOutstandingR2T=1 ImmediateData=Yes FirstBurstLength=65536 MaxBurstLength=262144 DataPDUInOrder=Yes DataSequenceInOrder=Yes ErrorRecoveryLevel=0 IFMarker=No OFMarker=No DefaultTime2Wait=2 DefaultTime2Retain=20 OFMarkInt=Reject IFMarkInt=Reject MaxConnections=2 RDMAExtensions=Yes TargetRecvDataSegmentLength=262144 InitiatorRecvDataSegmentLength=262144 MaxOutstandingUnexpectedPDUs=0 Пожалуйста, просим вас проанализировать данные, чтобы найти ошибку, т.к. у вас опыт настройки хранилищ под видео больше нашего. irq.txt Share this post Link to post Share on other sites В
Станислав 0 Posted September 12, 2016 Это 11 HDD?Нужно попробовать создать raidz из 8 HDD и повторить тест. Share this post Link to post Share on other sites В
Aksel 0 Posted September 20, 2016 (edited) Добрый день. Продолжаем мучаться с проблемой записи. Убили Linux, на той машине которая была NAS поставили Windows Server, поставили Линию. Все жесткие диски теперь обычные винты в системе (не по Samba, не по SCSI). При подключении к архиву пишет что не возможно подключиться к архиву - сетевая ошибка (???!!!). Подскажите что делать? Edited September 20, 2016 by Aksel Share this post Link to post Share on other sites В
Станислав 0 Posted September 20, 2016 Здравствуйте!Если к серверу возможен удалённый доступ с помощью ПО TeamViewer 8|9 ( www.devline.ru/soft/ds.exe ) - укажите данные для подключения личным сообщением. Share this post Link to post Share on other sites В
Aksel 0 Posted September 20, 2016 (edited) Структура папок вся видна. Размер файлов обновляется. То есть запись идет. Проблема напрямую с сервера. Данные предоставлю чуть позже. Edited September 20, 2016 by Aksel Share this post Link to post Share on other sites В
