Author

Topic: Выбор сервера под ноду (Read 551 times)

newbie
Activity: 12
Merit: 1
December 04, 2019, 12:49:15 AM
#53
Почитаю, буду пробовать, спасибо за помощь.
legendary
Activity: 3108
Merit: 1359
December 04, 2019, 12:47:38 AM
#52
Спасибо, попробую, видимо нужно искать сервер, ставил для тестов на пк, но видимо 16гб РАМ мало
Не нужно тратиться, geth это вечная альфа, которая никогда не будет доработана и всегда будет потреблять кучу ресурсов непонятно для чего. Поставьте parity, ему вашего десктопа хватит более чем. По API обратная совместимость с geth, почти все написанное для geth работает и на parity.
newbie
Activity: 12
Merit: 1
December 04, 2019, 12:39:16 AM
#51
Спасибо, попробую, видимо нужно искать сервер, ставил для тестов на пк, но видимо 16гб РАМ мало
legendary
Activity: 3108
Merit: 1359
December 04, 2019, 12:36:31 AM
#50
Мда. Похоже, что вы правы, уже сто лет не пользовался geth. Roll Eyes

Насчет отправки транзакции, проще будет так:

const data = contract.methods.transfer(toAddress, amount).encodeABI();
web3.eth.sendTransaction({to:tokenAddress, from:fromAddress, data: data});

Но это если на сервере есть нужные ключи.
newbie
Activity: 12
Merit: 1
legendary
Activity: 3108
Merit: 1359
December 04, 2019, 12:28:53 AM
#48
А как объяснить то, что при на ноде infura все работает при таких же параметрах?
Понятия не имею. Версии демона одинаковые?

Вообще же не совсем понял, зачем вы себе создаете проблемы с RAW транзакциями там, где они не слишком-то нужны. Используйте простой sendTransaction и тогда не нужно будет ни nonce указывать, ни цену газа, клиент подставит всё сам. Или вы не доверяете серверу и на нем нет ключей?
newbie
Activity: 12
Merit: 1
December 03, 2019, 11:52:14 PM
#47
А как объяснить то, что при на ноде infura все работает при таких же параметрах?
Или подскажите какие параметры нужно выставить?
legendary
Activity: 3108
Merit: 1359
December 03, 2019, 11:50:22 PM
#46
Синхронизация ни при чем. У вас в транзакции потребляется слишком много газа, больше чем разрешено в блоке.

Таки при чем. См. ниже.
newbie
Activity: 12
Merit: 1
December 03, 2019, 11:01:24 PM
#45
Синхронизировал ноду с параметрами geth --rpc --rpcaddr localhost --rpcport 8545.
Get attach выдает следующую информацию:
currentBlock: 9047250,
highestBlock: 9047318,
knownStates: 74141394,
pulledStates: 74137457,
startingBlock: 9047228
Но при попытке совершить трансфер токена erc20, получаю ошибку: (node:10856) UnhandledPromiseRejectionWarning: Error: Returned error: exceeds bl
ock gas limit
Синхронизировал на пк, в коде указывал:
const Web3js = new Web3(new Web3.providers.HttpProvider("http://localhost:8545"));
Web3js.eth.getTransactionCount(fromAddress)
  .then((count) => {
    let rawTransaction = {
      'from': fromAddress,
      'gasPrice': Web3js.utils.toHex(20 * 1e9),
      'gasLimit': Web3js.utils.toHex(210000),
      'to': tokenAddress,
      'value': 0x0,
      'data': contract.methods.transfer(toAddress, amount).encodeABI(),
      'nonce': Web3js.utils.toHex(count)
    }
В чем проблема? Может все же нужно использовать полную ноду? Или же вот это отставание в <100 блоков так влияет?
При использовании ноды от infura транзакция выполняется.
legendary
Activity: 3108
Merit: 1359
December 03, 2019, 12:11:30 PM
#44
Ну это как сказать...
Если у меня приложение работает с файлами до 100 мегабайт и получает скорость работы с диском на компе с ХДД в разы лучше чем на компе с ССД, то мне в принципе уже не столь важно - с памятью реально идет работа или с диском.
Плюс один, сам довольно долго развлекался с 15к RPM HDD и непонимающе смотрел на "адептов" SSD, некоторое время. Для реального применения неважно, почему конкретная конфигурация работает быстрее другой конфигурации, или сравнимо с ней.
Но если хочется понять причины, то уже придется копать глубже. Smiley Потому что эти причины могут привести к совсем иному результату в чуть-чуть другом сценарии, не менее реальном.



Вообще-то не факт, что это идет бенчмарк только памяти.
Конечно. Тратится время процессора, тратятся циклы I/O на обновление метаданных ФС. Да и, в любом случае, данные оказываются на диске, по крайней мере большая их часть. А если и не оказываются на пластинах, то передаются диску по IDE/SATA или что там. Вот только контроллер, стоящий в диске - это не тупая железка, записывающая всё что ей скажут. Это целый компьютер с собственной ОС, снабженной довольно сложным набором программ, вся цель которых в предсказании действий хоста и планировании работы с головками, а также с локальным кэшем. Даже в ноутбучных сигейтах ставят чип DDR2 объемом 128мб, на энтерпрайзных дисках объем локального кэша ещё больше. Поэтому, запись 80мб данных - это нерепрезентативно.

kzv
legendary
Activity: 1722
Merit: 1285
OpenTrade - Open Source Cryptocurrency Exchange
December 03, 2019, 11:55:19 AM
#43
Получается, что рейд из двух HDD дисков не уделывает SSD на тестах с большими файлами. На тестах с маленькими файлами - уделывает.
Не получается. Потому что на маленьких файлах происходит тестирование оперативной памяти, а не дисков.

Ну это как сказать...
Если у меня приложение работает с файлами до 100 мегабайт и получает скорость работы с диском на компе с ХДД в разы лучше чем на компе с ССД, то мне в принципе уже не столь важно - с памятью реально идет работа или с диском.

Провайдер не может заниматься оверселлингом, потому что у меня выделенный сервер, а не виртуалка.
Значит, что-то не так с параметрами ядра, быть такого не может чтобы оперативная память на современном железе была медленнее SSD.

Вообще-то не факт, что это идет бенчмарк только памяти.
legendary
Activity: 3108
Merit: 1359
December 03, 2019, 11:50:40 AM
#42
Получается, что рейд из двух HDD дисков не уделывает SSD на тестах с большими файлами. На тестах с маленькими файлами - уделывает.
Не получается. Потому что на маленьких файлах происходит тестирование оперативной памяти и встроенного кэша, а не самих дисков.

Провайдер не может заниматься оверселлингом, потому что у меня выделенный сервер, а не виртуалка.
Значит, что-то не так с параметрами ядра. Надо разбираться.
kzv
legendary
Activity: 1722
Merit: 1285
OpenTrade - Open Source Cryptocurrency Exchange
December 03, 2019, 11:48:38 AM
#41
Ну как-то так )

Code:
dd if=/dev/zero of=/tmp/output bs=8k count=1000k; rm -f /tmp/output conv=fdatasync
Quote
1024000+0 records in
1024000+0 records out
8388608000 bytes (8.4 GB, 7.8 GiB) copied, 53.2715 s, 157 MB/s
То есть, получается что внешний SSD примерно так же производителен, как и дисковый кэш в решении, использованном ранее для тестов. Я бы задумался, потому что это может значить только одно - хостинг провайдер занимается жестким оверселлингом и у него нет столько физической памяти для виртуалок, сколько он продал своим клиентам.

Получается, что рейд из двух HDD дисков не уделывает SSD на тестах с большими файлами. На тестах с маленькими файлами - уделывает.
Провайдер не может заниматься оверселлингом, потому что у меня выделенный сервер, а не виртуалка.
legendary
Activity: 2317
Merit: 2318
December 03, 2019, 11:43:03 AM
#40
Под эксплорером вы понимаете ctrl shift i в браузере?

Под эксплорером имеется в виду блокчейн-эксплорер, где можно видеть перемещение токенов с одного адреса на другой.
legendary
Activity: 3108
Merit: 1359
December 03, 2019, 11:42:48 AM
#39
Ну как-то так )

Code:
dd if=/dev/zero of=/tmp/output bs=8k count=1000k; rm -f /tmp/output conv=fdatasync
Quote
1024000+0 records in
1024000+0 records out
8388608000 bytes (8.4 GB, 7.8 GiB) copied, 53.2715 s, 157 MB/s
То есть, получается что внешний SSD примерно так же производителен, как и дисковый кэш в решении, использованном ранее для тестов. Я бы задумался, потому что это может значить только одно - хостинг провайдер занимается жестким оверселлингом и у него нет столько физической памяти для виртуалок, сколько он продал своим клиентам.
kzv
legendary
Activity: 1722
Merit: 1285
OpenTrade - Open Source Cryptocurrency Exchange
December 03, 2019, 11:37:03 AM
#38
Ну как-то так )

Code:
dd if=/dev/zero of=/tmp/output bs=8k count=1000k; rm -f /tmp/output conv=fdatasync
Quote
1024000+0 records in
1024000+0 records out
8388608000 bytes (8.4 GB, 7.8 GiB) copied, 53.2715 s, 157 MB/s
newbie
Activity: 12
Merit: 1
December 03, 2019, 11:32:21 AM
#37
Под эксплорером вы понимаете ctrl shift i в браузере?
legendary
Activity: 3108
Merit: 1359
December 03, 2019, 10:41:53 AM
#36
С нодой я разобрался, я сейчас спрашиваю касательно моего решения по поводу транзакции токенов с адресов пользователей на адрес биржи, я чуть выше напитсал свои мысли.
Проще всего посмотреть, как делают биржи, и сделать так же. Благо в эксплорере все видно же.

Выглядит логично, но схему можно упростить, думаю. А именно, если контракт позволяет добавлять к транзакции дополнительные данные, можно все платежи принимать на один адрес. Просто просить юзеров добавлять в данные транзакции некий идентификатор, который потом позволит бирже понять, на чей аккаунт был этот платеж. И тогда не нужна будет куча адресов и пересылок с них. С обычными транзакциями эфира сделать такое можно, а вот можно ли с токенами - я, честно говоря, даже и не углублялся.
newbie
Activity: 12
Merit: 1
December 03, 2019, 10:34:19 AM
#35
С нодой я разобрался, я сейчас спрашиваю касательно моего решения по поводу транзакции токенов с адресов пользователей на адрес биржи, я чуть выше напитсал свои мысли.
legendary
Activity: 3108
Merit: 1359
December 03, 2019, 10:30:26 AM
#34
Может кто-нибудь ответить?
Infura использовать не следует ни для чего, кроме тестов и разработки. В реальной жизни не годится, там порой отставание доходит до нескольких тысяч блоков.
поставьте простую машинку с Core i5 и 256гб миддловым SSD, и будет счастье.
newbie
Activity: 12
Merit: 1
December 03, 2019, 10:24:20 AM
#33
Может кто-нибудь ответить?
legendary
Activity: 3108
Merit: 1359
December 03, 2019, 10:14:21 AM
#32
Я объединил два полуторатерабайтных иде диска в RAID10 и получил скорость лучше, чем на премиум тарифе амазоновского SSD

Code:
dd if=/dev/zero of=/tmp/output bs=8k count=10k; rm -f /tmp/output conv=fdatasync

Quote
bytes (84 MB, 80 MiB) copied, 0.0493326 s, 1.7 GB/s

Для примера, та же команда на хосте DigitalOcean (там тоже SSD причем по идее должны быть в рейде)

Quote
bytes (84 MB, 80 MiB) copied, 0.390871 s, 215 MB/s


Такой маленький файл гонять смысла не вижу, все влезет в буфер файловой системы и результат будет погодой на марсе. Так что немного усложним.

iMac Pro с минимальной конфигурацией дисковой системы:



Жаба задушила платить за массив 4 TB, предпочел побольше ядер и оперативки.

Та же система, внешний 2TB диск LaCie:



Диск отформатирован в NTFS и смонтирован левым драйвером. Думаю, если отформатировать в HFS+, то можно и переплюнуть ваш результат с 80мб данных.

Бенчмарк двумя постами выше. Попробуйте найти ssd который работает быстрее? Не найдете! А у меня иде!

А вообще же, вот это более интересный тест:

https://github.com/benschweizer/iops

Результат на внешнем диске:



Было бы интересно, что покажет супер-рейд от немцев.
hero member
Activity: 1358
Merit: 635
December 03, 2019, 09:28:20 AM
#31
Короче вырубил я эфир. Вывод сделан: на хдд он не синхронизируется никогда! Только ссд, только хардкор ((

Походу секретный код немцев, который наделяет сверхъестественными способностями  IDE HDD и делает их быстрее SSD не справился, печалька.  Grin
kzv
legendary
Activity: 1722
Merit: 1285
OpenTrade - Open Source Cryptocurrency Exchange
December 03, 2019, 09:17:50 AM
#30
Короче вырубил я эфир. Вывод сделан: на хдд он не синхронизируется никогда! Только ссд, только хардкор ((
newbie
Activity: 12
Merit: 1
December 02, 2019, 09:29:41 PM
#29
Еще вопрос по передаче токенов на мейн адрес при депозите, как это вообще реализуется? Т.е когда пользователь заводит токены на предложенный ему биржей адрес, нужно потом эти токены отправить на главный адрес биржи, но по дефолту адреса пользователей не имеют эфира на балансе для покрытия затрат на транзакцию, т.е необходимо отправлять как-то отправлять какое-то кол-во эфира на их адреса, при обнаружении баланса. Но как это реализуется? Вот мои мысли по этому поводу, поправьте если что-то не так: к каждому адресу, в БД, который был сгенерирован для конкретного токена при регистрации пользователя, приписывается смарт-контракт токена, для которого адрес был сгенерирован, и скрипт будет проверять каждые условно 2-3 мин наличие токенов на этом адресе по смарту, который принадлежит этому адресу, если на адресе окажется какое-то кол-во токенов, то нужно отправить туда эфир и после этого сделать транзакцию токенов с адреса пользователя, на мейн адрес биржи.
Хорошее ли это решение? И является ли это решением в принципе?
legendary
Activity: 3108
Merit: 1359
December 02, 2019, 05:24:20 PM
#28
Это короче или баг или фича, но currentBlock такими темпами никогда не успеет дойти до highestBlock. Если все еще идет синхронизация, значит пока один синхронизируется, сеть уже другой находит )))
Это просто жесткие тормоза i/o. Попробуй посмотреть в iotop, картина там страшная будет. Можно добавить ему кэша попробовать, если оперативки много.

P.S. Вообще же, экономически это бессмысленно. Поэтому именно в этой задаче даже USB флэшка за 500 рублей будет лучше любого, даже самого топового HDD. Без вариантов, если только не рассматривать объем кэша, сравнимый с размером базы.
kzv
legendary
Activity: 1722
Merit: 1285
OpenTrade - Open Source Cryptocurrency Exchange
December 02, 2019, 05:22:33 PM
#27
Это короче или баг или фича, но currentBlock такими темпами никогда не успеет дойти до highestBlock. Если все еще идет синхронизация, значит пока один синхронизируется, сеть уже другой находит )))
legendary
Activity: 3108
Merit: 1359
December 02, 2019, 04:56:07 PM
#26
Нет, наверное все еще синхронизаруется

Quote
{"jsonrpc":"2.0","result":{"currentBlock":"0x89c973","highestBlock":"0x89f179","startingBlock":"0x0","warpChunksAmount":null,"warpChunksProcessed":null},"id":1}


Блок #9030003. Оно что, за все это время только два блока обработало? Да ну нафиг, как хорошо что у меня давно нет HDD.  Shocked

Можете начинать вести дневник синхронизации в Твиттере. В этом году это модно:
https://twitter.com/ercwl/status/1159940020331040770
https://twitter.com/mskvsk/status/1166325983227654151
Это фигня. Вот человек решил полную ноду риппла поднять:

https://twitter.com/WietseWind/status/1027957804429193216

6 месяцев синхронизации и по итогу забито 8.4ТБ места на массиве из топовых самсунгов. Вот это я понимаю извращение, за это должна быть статья в УК. А всякие синхронизации эфира - это для детей на таком фоне.  Grin
kzv
legendary
Activity: 1722
Merit: 1285
OpenTrade - Open Source Cryptocurrency Exchange
December 02, 2019, 04:49:41 PM
#25
Нет, наверное все еще синхронизаруется

Quote
{"jsonrpc":"2.0","result":{"currentBlock":"0x89c973","highestBlock":"0x89f179","startingBlock":"0x0","warpChunksAmount":null,"warpChunksProcessed":null},"id":1}

legendary
Activity: 3108
Merit: 1359
December 02, 2019, 04:35:00 PM
#24
Закончил синхронизацию 2:25

Ну я так думаю, что закончил (процессор стал 50% жрать) )

Quote
{"jsonrpc":"2.0","result":"currentBlock":"0x89c971","highestBlock":"0x89f125","startingBlock":"0x0","warpChunksAmount":null,"warpChunksProcessed":null},"id":1}


Текущий блок в результате #9030001. В эфире сейчас текущий блок 9040194.

Думаю, что можно и вправду считать синхронизацию если не законченной, то почти законченной.


Пробую найти логи - хз, но их вроде не предусмотрено.
Вообще-то логи есть.

Code:
[misc]
log_file = "/var/log/parity.log"

По конфигурации можно почитать тут:

https://wiki.parity.io/Configuring-Parity-Ethereum

Че за школоло это написало вообщеHuh
Ну как сказать. Это школоло, которое его написало, нашло и отрепортило что-то около сотни уязвимостей в "родном" клиенте от Виталика. Самой разной степени критичности.

Как к этому говну можно серьезно относиться?
Веришь или нет, но адепты эфира 1:1 говорят ровно это же о битке.  Grin

Так что это вопрос очень субъективный.
kzv
legendary
Activity: 1722
Merit: 1285
OpenTrade - Open Source Cryptocurrency Exchange
December 02, 2019, 04:31:03 PM
#23
Закончил синхронизацию 2:25

Ну я так думаю, что закончил (процессор стал 50% жрать) )

Quote
{"jsonrpc":"2.0","result":"currentBlock":"0x89c971","highestBlock":"0x89f125","startingBlock":"0x0","warpChunksAmount":null,"warpChunksProcessed":null},"id":1}

legendary
Activity: 2317
Merit: 2318
December 02, 2019, 03:19:45 PM
#22
Начал синхронизацию в 21:48
Можете начинать вести дневник синхронизации в Твиттере. В этом году это модно:
https://twitter.com/ercwl/status/1159940020331040770
https://twitter.com/mskvsk/status/1166325983227654151

оказывается оно не умеет останавливаться никак кроме
killall -HUP parity
Должен корректно завершаться по Ctrl+C, но у меня он при этом зависал без всяких сообщений в консоль и не хотел завершаться. Возможно, у вас та же  ситуация.

Хочу узнать прогресс синхронизации - нет такой команды!
Здесь расшифровка белиберды, которую Parity выводит в консоль, в том числе, информация о процессе синхронизации.
kzv
legendary
Activity: 1722
Merit: 1285
OpenTrade - Open Source Cryptocurrency Exchange
December 02, 2019, 11:49:25 AM
#21
Начал синхронизацию в 21:48

Использует цпу на 100%

Какая-то свалка, а не документация (( Запустил это чудо как демон, оказывается оно не умеет останавливаться никак кроме
Code:
killall -HUP parity

Хочу узнать прогресс синхронизации - нет такой команды!
Пробую найти логи - хз, но их вроде не предусмотрено.

Че за школоло это написало вообщеHuh Как к этому говну можно серьезно относиться?

О нашел, можно через curl чего-то посмотреть

Code:
curl --data '{"method":"eth_syncing","params":[],"id":1,"jsonrpc":"2.0"}' -H "Content-Type: application/json" -X POST localhost:8545
legendary
Activity: 3108
Merit: 1359
December 02, 2019, 11:17:55 AM
#20
Кажись, эти 84MB были где-то закешированы, оттого и получились таки фантастические результаты.
Фантастические, но бессмысленные. Для синхронизации последовательные чтение и запись не имеют вообще никакого значения. Главное, чтобы на случайное чтение/запись 4к был нормальный результат, а что там на последовательном, ой, да пусть хоть в USB упирается.

Пользуясь случаем спрошу у вас: где нынче берут кошерные эфирные ноды? Посмотрим за какое время синхронизируется у меня.
https://github.com/paritytech/parity-ethereum/releases

Кошерных никаких особых не надо, само находит без проблем. Синхронизируется за 6-10 часов на среднем десктопе с SSD и нормальной сетью.

По этому параметру HDD сливают SDD, в результате чего эфирная нода на HDD обречена на вечную синхронизацию, при том что Биток легко синхронизируется на HDD.
Просто биток построен на UTXO, и все состояния влезают в 4гб оперативки, которые являются нормой для среднего ПК уже очень давно. На эфире ситуация другая, если хочется на битке сэмулировать поведение эфира, то нужно поднять ноду на 128мб RAM, скажем. Тогда точно так же будет зажевывать систему обращениями к диску. Ну и аналогично, если эфирной ноде скормить 10-20 гигабайт RAM и разрешить клиенту разрастание кэша до таких объемов, то и на HDD синхронизируется более-менее адекватно.

А быстрой синхронизации хватит, если говорить о бирже? Ну т.е у нее тот же функционал? И насколько сложнее её настраивать?
Точно такая же функциональность, никаких особых настроек не требуется.

И да, если вместо geth использовать parity, то будет шустрее и потребует еще меньше места. В зависимости от настроек формата БД, от 30 до 90гб.
Я на своем пуле в порядке эксперимента вообще в 25гб укладывался. Ни о каких терабайтах и речи нет, это же не риппл.
kzv
legendary
Activity: 1722
Merit: 1285
OpenTrade - Open Source Cryptocurrency Exchange
December 02, 2019, 05:49:34 AM
#19
Я объединил два полуторатерабайтных иде диска в RAID10 и получил скорость лучше, чем на премиум тарифе амазоновского SSD
Code:
dd if=/dev/zero of=/tmp/output bs=8k count=10k; rm -f /tmp/output conv=fdatasync
Quote
bytes (84 MB, 80 MiB) copied, 0.0493326 s, 1.7 GB/s

Кажись, эти 84MB были где-то закешированы, оттого и получились таки фантастические результаты.

Но в любом случае - это всё писькомерство и к реальным задачам имеет слабое отношение. Эфир чувствителен не столько к линейной скорости чтения-записи, сколько к количеству операций ввода-вывода в секунду (iops). По этому параметру HDD сливают SDD, в результате чего эфирная нода на HDD обречена на вечную синхронизацию, при том что Биток легко синхронизируется на HDD.

Пользуясь случаем спрошу у вас: где нынче берут кошерные эфирные ноды? Посмотрим за какое время синхронизируется у меня.
legendary
Activity: 2317
Merit: 2318
December 02, 2019, 05:05:00 AM
#18
Я объединил два полуторатерабайтных иде диска в RAID10 и получил скорость лучше, чем на премиум тарифе амазоновского SSD
Code:
dd if=/dev/zero of=/tmp/output bs=8k count=10k; rm -f /tmp/output conv=fdatasync
Quote
bytes (84 MB, 80 MiB) copied, 0.0493326 s, 1.7 GB/s

Кажись, эти 84MB были где-то закешированы, оттого и получились таки фантастические результаты.

Но в любом случае - это всё писькомерство и к реальным задачам имеет слабое отношение. Эфир чувствителен не столько к линейной скорости чтения-записи, сколько к количеству операций ввода-вывода в секунду (iops). По этому параметру HDD сливают SDD, в результате чего эфирная нода на HDD обречена на вечную синхронизацию, при том что Биток легко синхронизируется на HDD.
kzv
legendary
Activity: 1722
Merit: 1285
OpenTrade - Open Source Cryptocurrency Exchange
December 02, 2019, 03:30:08 AM
#17

Спрашиваеся зачем мне что-то покупать, если у меня дома на десктопе четыре ИДЕ на RAID 10 бегают и сам драйвер вшит в микрокод интелловского чипа а это априори намного надежнее и быстрее чем любая софтиновая реализация.  Моя практика совпадает с теорией, та что вам показывают нет.

Какие коварные немцы: пропатчили ядро своего линукса, чтобы никто не мог узнать реальную скорость их дисков ((
hero member
Activity: 1358
Merit: 635
December 02, 2019, 03:24:08 AM
#16
Это програмный рейд который делает установщик немцев. Я в этом учстия не принимал, только конфигу сказал raid10 дальше он сам все сделал.
Бенчмарк двумя постами выше. Попробуйте найти ssd который работает быстрее? Не найдете! А у меня иде!

 По большому счету  не верю.

Зеркалирование на четыре  раздела sda1 sdb1  sda2 и sdb2 всего двух дисков  может происходить только в два последовательных этапа а не в один как это происходит при нормальном RAID1 на четыре отдельных диска. Соответственно и скорость в два раза меньше чем для обычного ИДЕ. Для нормального зеркалирования скорость равна ИДЕ.  RAID 0 увеличивает скорость за счет расщепления. На сколько кусков расщепились  данные во столько раз и увеличилась скорость. RAID 10 это комбинация  зеркалирования и расщепления .


Если теория противоречит практике - тем хуже для теории ))
Купите себе такой же сервак и проверьте. Цена вопроса 30 баксов.

Спрашиваеся зачем мне что-то покупать, если у меня дома на десктопе четыре ИДЕ на RAID 10 бегают и сам драйвер вшит в микрокод интелловского чипа а это априори намного надежнее и быстрее чем любая софтиновая реализация.  Моя практика совпадает с теорией, та что вам показывают нет.
kzv
legendary
Activity: 1722
Merit: 1285
OpenTrade - Open Source Cryptocurrency Exchange
December 02, 2019, 02:42:34 AM
#15
Это програмный рейд который делает установщик немцев. Я в этом учстия не принимал, только конфигу сказал raid10 дальше он сам все сделал.
Бенчмарк двумя постами выше. Попробуйте найти ssd который работает быстрее? Не найдете! А у меня иде!

 По большому счету  не верю.

Зеркалирование на четыре  раздела sda1 sdb1  sda2 и sdb2 всего двух дисков  может происходить только в два последовательных этапа а не в один как это происходит при нормальном RAID1 на четыре отдельных диска. Соответственно и скорость в два раза меньше чем для обычного ИДЕ. Для нормального зеркалирования скорость равна ИДЕ.  RAID 0 увеличивает скорость за счет расщепления. На сколько кусков расщепились  данные во столько раз и увеличилась скорость. RAID 10 это комбинация  зеркалирования и расщепления .


Если теория противоречит практике - тем хуже для теории ))
Купите себе такой же сервак и проверьте. Цена вопроса 30 баксов.
hero member
Activity: 1358
Merit: 635
December 02, 2019, 02:34:17 AM
#14
Это програмный рейд который делает установщик немцев. Я в этом учстия не принимал, только конфигу сказал raid10 дальше он сам все сделал.
Бенчмарк двумя постами выше. Попробуйте найти ssd который работает быстрее? Не найдете! А у меня иде!

 По большому счету  не верю.

Зеркалирование на четыре  раздела sda1 sdb1  sda2 и sdb2 всего двух дисков  может происходить только в два последовательных этапа а не в один как это происходит при нормальном RAID1 на четыре отдельных диска. Соответственно и скорость в два раза меньше чем для обычного ИДЕ. Для нормального зеркалирования скорость равна ИДЕ.  RAID 0 увеличивает скорость за счет расщепления. На сколько кусков расщепились  данные во столько раз и увеличилась скорость. RAID 10 это комбинация  зеркалирования и расщепления .
kzv
legendary
Activity: 1722
Merit: 1285
OpenTrade - Open Source Cryptocurrency Exchange
December 01, 2019, 04:34:07 AM
#13
Это програмный рейд который делает установщик немцев. Я в этом учстия не принимал, только конфигу сказал raid10 дальше он сам все сделал.
Бенчмарк двумя постами выше. Попробуйте найти ssd который работает быстрее? Не найдете! А у меня иде!
hero member
Activity: 1358
Merit: 635
December 01, 2019, 04:23:12 AM
#12
Не помню, как я это сделал вот что могу увидеть сейчас

Code:
cat /proc/mdstat

Quote
Personalities : [raid10] [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4]
md3 : active raid10 sdb4[1] sda4[0]
      1847478272 blocks super 1.2 2 near-copies [2/2] [UU]
      bitmap: 8/14 pages [32KB], 65536KB chunk

md2 : active raid10 sdb3[1] sda3[0]
      1073610752 blocks super 1.2 2 near-copies [2/2] [UU]
      bitmap: 4/8 pages [16KB], 65536KB chunk

md1 : active raid1 sdb2[1] sda2[0]
      523712 blocks super 1.2 [2/2] [UU]

md0 : active raid1 sdb1[1] sda1[0]
      8380416 blocks super 1.2 [2/2] [UU]

Ну и намешали. У вас два диска, каждый из низ разбит на четыре раздела. По два из раздела из каждого диска работают в рейд 10 и по два в рейд 1. Головок то на каждом диске несколько, но все они двигаются синхронно, в разнобой не могут.   Жесть, это что за рейд драйвер позволяет такой микс сделать? Даже если такое и возможно, то скорость должна быть всего в 2 раза больше чем для обычного ИДИ. О надежности такого микса говорить не хочу, ее просто нет.
kzv
legendary
Activity: 1722
Merit: 1285
OpenTrade - Open Source Cryptocurrency Exchange
December 01, 2019, 03:46:55 AM
#11
Не помню, как я это сделал вот что могу увидеть сейчас

Code:
cat /proc/mdstat

Quote
Personalities : [raid10] [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4]
md3 : active raid10 sdb4[1] sda4[0]
      1847478272 blocks super 1.2 2 near-copies [2/2] [UU]
      bitmap: 8/14 pages [32KB], 65536KB chunk

md2 : active raid10 sdb3[1] sda3[0]
      1073610752 blocks super 1.2 2 near-copies [2/2] [UU]
      bitmap: 4/8 pages [16KB], 65536KB chunk

md1 : active raid1 sdb2[1] sda2[0]
      523712 blocks super 1.2 [2/2] [UU]

md0 : active raid1 sdb1[1] sda1[0]
      8380416 blocks super 1.2 [2/2] [UU]
hero member
Activity: 1358
Merit: 635
December 01, 2019, 03:43:27 AM
#10
Я объединил два полуторатерабайтных иде диска в RAID10 и получил скорость лучше, чем на премиум тарифе амазоновского SSD

Code:
dd if=/dev/zero of=/tmp/output bs=8k count=10k; rm -f /tmp/output conv=fdatasync

Quote
bytes (84 MB, 80 MiB) copied, 0.0493326 s, 1.7 GB/s

Для примера, та же команда на хосте DigitalOcean (там тоже SSD причем по идее должны быть в рейде)

Quote
bytes (84 MB, 80 MiB) copied, 0.390871 s, 215 MB/s



Походу фокусник? Как в  RAID10 два диска поставить если для такой конфигурации их минимум четыре надо

RAID 10, also known as RAID 1+0, is a RAID configuration that combines disk mirroring and disk striping to protect data. It requires a minimum of four disks and stripes data across mirrored pairs.

kzv
legendary
Activity: 1722
Merit: 1285
OpenTrade - Open Source Cryptocurrency Exchange
December 01, 2019, 03:28:39 AM
#9
Я объединил два полуторатерабайтных иде диска в RAID10 и получил скорость лучше, чем на премиум тарифе амазоновского SSD

Code:
dd if=/dev/zero of=/tmp/output bs=8k count=10k; rm -f /tmp/output conv=fdatasync

Quote
bytes (84 MB, 80 MiB) copied, 0.0493326 s, 1.7 GB/s

Для примера, та же команда на хосте DigitalOcean (там тоже SSD причем по идее должны быть в рейде)

Quote
bytes (84 MB, 80 MiB) copied, 0.390871 s, 215 MB/s

hero member
Activity: 1358
Merit: 635
December 01, 2019, 03:07:55 AM
#8

Я у немца взял с двумя иде хардами по 1.5 тб и объединил их в рейд. По скорости получилось не хуже чем хороший ссд. При этом в сто раз надежней, а по цене раза в полтора дешевле.

Налицо имеем алогизм, чтобы получить прирост в скорости для двух "иде"  надо их в RAID0 объединить, а чтобы сделать понадежнее то в RAID1. И еще походу, два "иде"  диска в  RAID0 не обгонят хороший SSD, для этого их надо с дюжину поставить.
legendary
Activity: 2317
Merit: 2318
November 30, 2019, 01:43:51 PM
#7
А быстрой синхронизации хватит, если говорить о бирже? Ну т.е у нее тот же функционал?

Хватит.

И насколько сложнее её настраивать?

--syncmode fast - это режим синхронизации geth по-умолчанию. Его не надо специально настраивать.
newbie
Activity: 12
Merit: 1
November 30, 2019, 01:14:54 PM
#6
А быстрой синхронизации хватит, если говорить о бирже? Ну т.е у нее тот же функционал? И насколько сложнее её настраивать?
legendary
Activity: 2317
Merit: 2318
November 30, 2019, 09:22:56 AM
#5
Полная нода уже весит больше 1тб, или я ошибаюсь?

В режиме fast sync 200ГБ должно хватить.
kzv
legendary
Activity: 1722
Merit: 1285
OpenTrade - Open Source Cryptocurrency Exchange
November 30, 2019, 09:21:39 AM
#4
1тб вроде по слухам эфирная нода весит. Биткоин что-то в районе 300 гб.
Я у немца взял с двумя иде хардами по 1.5 тб и объединил их в рейд. По скорости получилось не хуже чем хороший ссд. При этом в сто раз надежней, а по цене раза в полтора дешевле.
newbie
Activity: 12
Merit: 1
November 30, 2019, 07:56:49 AM
#3
Полная нода уже весит больше 1тб, или я ошибаюсь?
sr. member
Activity: 378
Merit: 252
November 30, 2019, 01:04:38 AM
#2
Здравствуйте, есть несколько вопросов, заранее благодарен за помощь. Насколько безопасно использовать infura вместо своей ноды, допустим для своего централизованного обменника? Если же лучше использовать свою ноду, то логичнее по идее ставить её на сервер, нежели на какой-то пк, т.к всегда есть шанс оказаться без света/интернета на какое-то время, или это не критично? И тогда какой сервер лучше выбирать под ноду? Понятно, что нужен хард с не менее чем 3тб памяти, а то и все 5, скорее вопрос о RAM и процессоре сервера, это если говорить о фул ноде, или же можно использовать ноду в лайт синхронизации? Но вопрос конфига остается открытым.

Можете посмотреть на hetzner там на аукционах есть довольно хорошие сервера за приемлемые деньги 30-50$ можно найти.
Насчет 3-5тб памяти я не знаю зачем вам столько я конечно не проверял но маловероятно что нода битка столько весит там и до 1TB наверное не дойдет еще долго а уж 3-5 и подавно.
8-16 рамы вам хватит если но за ту цену, что я указала там все серваки почти с 16-32 идут так что нормально, возьмите лучше с SSD быстрым и будет ноормально.
Сами используем с хетзнера на i7 32RAM + 1tb SSD NVME в рейде и все норм
newbie
Activity: 12
Merit: 1
November 29, 2019, 09:43:04 PM
#1
Здравствуйте, есть несколько вопросов, заранее благодарен за помощь. Насколько безопасно использовать infura вместо своей ноды, допустим для своего централизованного обменника? Если же лучше использовать свою ноду, то логичнее по идее ставить её на сервер, нежели на какой-то пк, т.к всегда есть шанс оказаться без света/интернета на какое-то время, или это не критично? И тогда какой сервер лучше выбирать под ноду? Понятно, что нужен хард с не менее чем 3тб памяти, а то и все 5, скорее вопрос о RAM и процессоре сервера, это если говорить о фул ноде, или же можно использовать ноду в лайт синхронизации? Но вопрос конфига остается открытым.
Jump to: