Topic: 12 GPU из под Ubuntu (Read 1054 times)

даже хз, что ещё можно попробовать, разве что другую ОС Linux. на просторах инета нашёл видео https://www.youtube.com/watch?v=UUM2GcidY08 там чел 10 карт подключал, так там есть комментарий, что у кого то 12 карт под линуксом работает, можешь попробовать у него спросить. или напрямую писать письмо тех поддержку ubuntu.

rig001@ubuntu:~$ sudo lshw -c video
  *-display
       description: VGA compatible controller
       product: Advanced Micro Devices, Inc. [AMD/ATI]
       vendor: Advanced Micro Devices, Inc. [AMD/ATI]
       physical id: 0
       bus info: pci@0000:01:00.0
       version: cf
       width: 64 bits
       clock: 33MHz
       capabilities: pm pciexpress msi vga_controller bus_master cap_list rom
       configuration: driver=amdgpu latency=0
       resources: irq:16 memory:e0000000-efffffff memory:f0000000-f01fffff ioport:e000(size=256) memory:f7e00000-f7e3ffff memory:c0000-dffff
  *-display
       description: VGA compatible controller
       product: Advanced Micro Devices, Inc. [AMD/ATI]
       vendor: Advanced Micro Devices, Inc. [AMD/ATI]
       physical id: 0
       bus info: pci@0000:03:00.0
       version: cf
       width: 64 bits
       clock: 33MHz
       capabilities: pm pciexpress msi vga_controller bus_master cap_list rom
       configuration: driver=amdgpu latency=0
       resources: iomemory:2f0-2ef iomemory:2f0-2ef irq:16 memory:2fe0000000-2fefffffff memory:2ff0000000-2ff01fffff ioport:d000(size=256) memory:f7d00000-f7d3ffff memory:f7d40000-f7d5ffff
  *-display
       description: VGA compatible controller
       product: Advanced Micro Devices, Inc. [AMD/ATI]
       vendor: Advanced Micro Devices, Inc. [AMD/ATI]
       physical id: 0
       bus info: pci@0000:05:00.0
       version: cf
       width: 64 bits
       clock: 33MHz
       capabilities: pm pciexpress msi vga_controller bus_master cap_list rom
       configuration: driver=amdgpu latency=0
       resources: iomemory:2f0-2ef iomemory:2f0-2ef irq:19 memory:2fc0000000-2fcfffffff memory:2fd0000000-2fd01fffff ioport:c000(size=256) memory:f7c00000-f7c3ffff memory:f7c40000-f7c5ffff
  *-display
       description: VGA compatible controller
       product: Advanced Micro Devices, Inc. [AMD/ATI]
       vendor: Advanced Micro Devices, Inc. [AMD/ATI]
       physical id: 0
       bus info: pci@0000:06:00.0
       version: cf
       width: 64 bits
       clock: 33MHz
       capabilities: pm pciexpress msi vga_controller bus_master cap_list rom
       configuration: driver=amdgpu latency=0
       resources: iomemory:2f0-2ef iomemory:2f0-2ef irq:16 memory:2fa0000000-2fafffffff memory:2fb0000000-2fb01fffff ioport:b000(size=256) memory:f7b00000-f7b3ffff memory:f7b40000-f7b5ffff
  *-display
       description: VGA compatible controller
       product: Advanced Micro Devices, Inc. [AMD/ATI]
       vendor: Advanced Micro Devices, Inc. [AMD/ATI]
       physical id: 0
       bus info: pci@0000:09:00.0
       version: cf
       width: 64 bits
       clock: 33MHz
       capabilities: pm pciexpress msi vga_controller bus_master cap_list rom
       configuration: driver=amdgpu latency=0
       resources: iomemory:2f0-2ef iomemory:2f0-2ef irq:18 memory:2f80000000-2f8fffffff memory:2f90000000-2f901fffff ioport:9000(size=256) memory:f7900000-f793ffff memory:f7940000-f795ffff
  *-display
       description: VGA compatible controller
       product: Advanced Micro Devices, Inc. [AMD/ATI]
       vendor: Advanced Micro Devices, Inc. [AMD/ATI]
       physical id: 0
       bus info: pci@0000:0a:00.0
       version: cf
       width: 64 bits
       clock: 33MHz
       capabilities: pm pciexpress msi vga_controller bus_master cap_list rom
       configuration: driver=amdgpu latency=0
       resources: iomemory:2f0-2ef iomemory:2f0-2ef irq:16 memory:2f60000000-2f6fffffff memory:2f70000000-2f701fffff ioport:8000(size=256) memory:f7800000-f783ffff memory:f7840000-f785ffff
  *-display
       description: VGA compatible controller
       product: Advanced Micro Devices, Inc. [AMD/ATI]
       vendor: Advanced Micro Devices, Inc. [AMD/ATI]
       physical id: 0
       bus info: pci@0000:0b:00.0
       version: cf
       width: 64 bits
       clock: 33MHz
       capabilities: pm pciexpress msi vga_controller bus_master cap_list rom
       configuration: driver=amdgpu latency=0
       resources: iomemory:2f0-2ef iomemory:2f0-2ef irq:18 memory:2f40000000-2f4fffffff memory:2f50000000-2f501fffff ioport:7000(size=256) memory:f7700000-f773ffff memory:f7740000-f775ffff
  *-display
       description: VGA compatible controller
       product: Advanced Micro Devices, Inc. [AMD/ATI]
       vendor: Advanced Micro Devices, Inc. [AMD/ATI]
       physical id: 0
       bus info: pci@0000:0c:00.0
       version: cf
       width: 64 bits
       clock: 33MHz
       capabilities: pm pciexpress msi vga_controller bus_master cap_list rom
       configuration: driver=amdgpu latency=0
       resources: iomemory:2f0-2ef iomemory:2f0-2ef irq:16 memory:2f20000000-2f2fffffff memory:2f30000000-2f301fffff ioport:6000(size=256) memory:f7600000-f763ffff memory:f7640000-f765ffff
rig001@ubuntu:~$


rig001@ubuntu:~$ lspci
00:00.0 Host bridge: Intel Corporation Sky Lake Host Bridge/DRAM Registers (rev 07)
00:01.0 PCI bridge: Intel Corporation Sky Lake PCIe Controller (x16) (rev 07)
00:14.0 USB controller: Intel Corporation Device a2af
00:16.0 Communication controller: Intel Corporation Device a2ba
00:17.0 SATA controller: Intel Corporation Device a282
00:1b.0 PCI bridge: Intel Corporation Device a2e7 (rev f0)
00:1b.4 PCI bridge: Intel Corporation Device a2eb (rev f0)
00:1c.0 PCI bridge: Intel Corporation Device a290 (rev f0)
00:1c.3 PCI bridge: Intel Corporation Device a293 (rev f0)
00:1c.4 PCI bridge: Intel Corporation Device a294 (rev f0)
00:1c.5 PCI bridge: Intel Corporation Device a295 (rev f0)
00:1c.6 PCI bridge: Intel Corporation Device a296 (rev f0)
00:1c.7 PCI bridge: Intel Corporation Device a297 (rev f0)
00:1d.0 PCI bridge: Intel Corporation Device a298 (rev f0)
00:1f.0 ISA bridge: Intel Corporation Device a2c5
00:1f.2 Memory controller: Intel Corporation Device a2a1
00:1f.3 Audio device: Intel Corporation Device a2f0
00:1f.4 SMBus: Intel Corporation Device a2a3
01:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
01:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
03:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
03:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
05:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
05:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
06:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
06:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
07:00.0 PCI bridge: ASMedia Technology Inc. Device 1184
08:01.0 PCI bridge: ASMedia Technology Inc. Device 1184
08:03.0 PCI bridge: ASMedia Technology Inc. Device 1184
08:05.0 PCI bridge: ASMedia Technology Inc. Device 1184
08:07.0 PCI bridge: ASMedia Technology Inc. Device 1184
09:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
09:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
0a:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
0a:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
0b:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
0b:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
0c:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
0c:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
0e:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)
rig001@ubuntu:~$

В общем чего я добился.

1. проблема с интернетом решена
- в grub внес следующие изменения GRUB_CMDLINE_LINUX="net.ifnames=0 biosdevname=0" 
- sudo nano /etc/network/interfaces изменил на следующие:
                      auto eth0
                      iface eth0 inet dhcp

2.проблема с определением расширителя тоже решена
- в grub внес следующие изменения sudo nano  GRUB_CMDLINE_LINUX="text pci=nomsi"


в итоге получилось GRUB_CMDLINE_LINUX="net.ifnames=0 biosdevname=0 text pci=nomsi"





ОСТАЛАСЬ 1 ПРОБЛЕМА: "Не видит карты подключенные через второй расширитель"

Количество карт определяемое max 9 шт. (5шт. в материнской плате + 4шт. через расширитель)

Выяснил следующие:
- если поменять расширитель на второй - работает - следовательно второй расширитель рабочий!
- вариации подключения расширителей к материнской плате - результат нулевой
- установил 5 разных ядер, включая последнее, не стабильное - результат нулевой
- если подключить 1 карту через расширитель, а не непосредственно в материнскую плату, тем самым сделать общее количество карт 9 шт. Видит только 8 шт.

Следовательно я делаю вывод, что "ubuntu server" не видит второй расширитель. Хотя на "ubuntu" два расширителя работали вместе на тех же ядрах, но максимально количество карт не превышало 7 шт. в любых комбинациях. Из чего следует, что два расширителя должны работать вместе !!!

ВОПРОС: почему "ubuntu server" не видит второй расширитель?

Практика критерий истины. попробуй, если что назад откатишь. хотя и сама ОСь рекомендует 4.4.96 (у меня Mint). хотя на сайте с ядрами ubuntu свежий реализ 4.4.89 (от 27.09.2017). замечал что на линейки 4.4 лучше работает чем на других, таких как 4.8 или 4.10   (линейка ядер 4.4 поддерживается разработчиками по сей день)

побывал на трех ядрах. последнее это 4.13.3
Есть смысл пробовать v4.14-rc2/ ? это вреде как последнее

побывал и с дровами и без результат не меняется...

если что то вот так я устанавливал драйвер:

Установка rocm AMD для блокчейн  https://bitcointalksearch.org/topic/m.21305411

--
параметры системы --> Программы и обновления --> Программное обеспечение Ubuntu --> Загрузить с: Основной сервер
параметры системы --> Программы и обновления --> Другое ПО --> Партнеры Canonical
параметры системы --> Программы и обновления --> Другое ПО --> Партнеры Canonical (исходный код)

--
wget -qO - http://repo.radeon.com/rocm/apt/debian/rocm.gpg.key | sudo apt-key add -
sudo sh -c 'echo deb [arch=amd64] http://repo.radeon.com/rocm/apt/debian/ xenial main > /etc/apt/sources.list.d/rocm.list'
sudo apt-get update
sudo apt-get install rocm

--
sudo nano  /etc/default/grub

Изменяем параметр
GRUB_CMDLINE_LINUX="amdgpu.vm_fragment_size=9"

--
sudo update-grub
sudo reboot

--
После перезагрузки выбрать новое ядро

_______________________________________
Установка драйвера AMD

--
Качаем нужный драйвер http://support.amd.com/ru-ru/download


для AMD RX 470
sudo wget https://www2.ati.com/drivers/linux/ubuntu/amdgpu-pro-17.30-465504.tar.xz


--
sudo apt update
sudo apt dist-upgrade
sudo reboot

--
Проверка установки драйвера
dpkg -l amdgpu-pro

--
Примечания: заменить «NNNNNN» в следующей командной строке с фактическим номером сборки загруженного файла

сd Загрузки
tar -Jxvf amdgpu-pro-17.30-NNNNNN.tar.xz
сd amdgpu-pro-17.30-NNNNNN
./amdgpu-pro-install -y
sudo reboot

драйвера на карты устанавливал ?

Практически на всех линуксах, если есть проблемма с железом, то 90% виновато ядро системы. обычно хватает обновиться до последнего "стабильного" ядра. или есть ваше оборудование совсем свежее (только появилось на рынке, то нужно ставить самое последние ядро, но оно бывает не стабильно). и для майнига стандартный видео драйвер Xorg, врят ли подойдёт, придется ставить проприетарные двайвера (ps/ серверные ос, бывают бажаные, хоть это и сервер, да как так, а вот так бажут и всё, на обычных пк с ними много гемороя).

Установил ubuntu setver 16.04.03 и обновил ядро до 4.13.3
Получилось следующие:

1. при подключении видеокарт в материнскую плату пропадает интернет, отключаю карты снова появляется (скрин на скрепке)
При загрузки, в тот момент когда появляются сообщения с зелеными крестиками, пролетает одно с красным, но так быстро что прочитать не удается.
Изначально установка была на интегрированной видеокарте, при подключение внешней, хотя бы одной, пропадал интернет, переустановил с одной внешней картой. Теперь при подключении следующих карт появляется эта проблема.
   
2. при подключении расширителя PCIe (с картами или без) система не загружается, по экрану быстро и бесконечно бегут строки "pcie bus error severity=corrected type=physical layer".

фото и скрины
https://yadi.sk/d/7bfKHFJW3NCU3q

rig001@ubuntu:~$ lspci
00:00.0 Host bridge: Intel Corporation Sky Lake Host Bridge/DRAM Registers (rev07)
00:01.0 PCI bridge: Intel Corporation Sky Lake PCIe Controller (x16) (rev07)
00:14.0 USB controller: Intel Corporation Device a2af
00:16.0 Communication controller: Intel Corporation Device a2ba
00:17.0 SATA controller: Intel Corporation Device a282
00:1b.0 PCI bridge: Intel Corporation Device a2e7 (rev f0)
00:1c.0 PCI bridge: Intel Corporation Device a290 (rev f0)
00:1c.7 PCI bridge: Intel Corporation Device a297 (rev f0)
00:1d.0 PCI bridge: Intel Corporation Device a298 (rev f0)
00:1f.0 ISA bridge: Intel Corporation Device a2c5
00:1f.2 Memory controller: Intel Corporation Device a2a1
00:1f.3 Audio device: Intel Corporation Device a2f0
00:1f.4 SMBus: Intel Corporation Device a2a3
01:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device67df (rev cf)
01:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
04:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)
rig001@ubuntu:~$

Зеленых нет совсем...

А с зелеными не пробовали поэкспериментировать? Увидит 12 шт или нет интересно.

Да контакты не очень плотно посажены, но думаю не в этом проблема, т.к. на windows идут 8 карт. Неужели Linux хуже windows... этого же не может быть...

В ютубе натыкался на видео, где в слот м2 втыкали переходник и он не работал, там оказалось что контакты не совсем совпадают. Возможно часть контактов у вас не совпадает вот и не видит видеокарты.

Bios обновил до последнего, 4g включил.
Так же побывал вариации с gen1,2,3 не помогло...

может есть что еще?

Насколько я знаю в этих материнских платах нужно делать манипуляции с биусом. Там нужно какое то расширение выставить. 

В общем я не понимаю что происходит абсолютно

- 4 карты через 1 расширитель работают, но не все. Те что не работают работаю на материнской плате.
- одинаковое количество карт на 2-х расширителях не работают, но работает разное. к примеру 2 и 1 или 3 и 1.
- больше 7 карт не работают в любых комбинациях, даже если 4 работают через расширитель.

-иногда не загружается grub
-иногда загружается grub, выбираю ubuntu, начинает мигать нижнее подчеркивание, но дальше ничего не проходит.
-иногда загружается ubuntu но карты определяются не все
-иногда после выбора ubuntu появляются сообщения, причем разные но дальше ничего не происходит... одно из них заканчивается "refused to change power state, currently in d3"


Вообще изначально была проблема:  При подключении расширителя PCI-e, вместо загрузки ubuntu по экрану бегут строчки быстро и бесконечно "pcie bus error severity=corrected type=physical layer"

но она была решена:
заменой строки в grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash pci=nomsi"

расширители заработали



 

Да, под windous работают 8 карт без проблем на этом же железе! Только на расширителях не пробовал. Кстати сейчас попробую, но 7 шт., одна должна быть в материнской плате.

Пробовали оставить только карты на расширителях? При таком раскладе должно видится 8 на таком количестве даже винда норм работает.

Не хочу привязывать себя к ethOS, да и зачем работать на кого то, если можно это исключить. Кстати на ethOS идут 12 видеокарт, а на windows с это материнской платой идут 8. Это говорит о том что как минимум 8 карт должны работать на ubuntu.

попробуй другую ось,  ethOS например

Да как я не пробовал уже...((
Такое ощущение, что в ОС что то не дописано или что то не установлено для определения карт. 3 из 7 определяемых видеокарт подключены через расширитель.   

Возможно проблема в расширителях, вентиляторы и будут крутиться так как вы подаёте питание на видеокарты. Попробуйте сначала с один расширителем, потом с другим.

Все железо рабочие! Работали две фермы по 8 и 4 видеокарты на Windows. Да и все вентиляторы крутятся... Скорее всего дело в ОС. 

не шарю в убунтах, но на ум приходит в первую очередь - перебор видюх на местах. Всё ли работает физически? Попереставлять видюхи, подобавлять постепенно. Так сказать отбросить "железный" фактор

Дорого всем времени суток!

Суть: Из установленных 12 видеокарт Ubuntu определяет только 7, но вентиляторы крутятся на всех.
Вопрос: В чем может быть проблема?

ОС: Ubuntu 16.04.03
ядро: 4.10.0-35
Материнская плата: Asus z270p (4 карты подключены через стандартные разъемы в материнской плате, 8 карт подключены через 2 расширителя по 4 шт. в каждом)
Видеокарта: AMD rx 470
Драйвер: не установлен