Topic: Вопр. по устойчивости стандартного софта (Read 2641 times)

Разумеется, я так и делаю. Бэкапы datadir выполняю строго при остановленном биткоине. Интересно, что если просто остановить биткоин и снова запустить в течение нескольких минут, то он запускается нормально. Но бэкап занимает довольно продолжительное время, а когда я запускаю биткоин уже после бэкапа (обратите внимание, что никаких изменений в datadir я при этом не вносил), уже говорит, что битая база и предлагает перегрузить её. Не понимаю в чём дело. Может быть, это происходит в том случае, если в сети успел появиться новый блок? К сожалению, не могу проделать достаточно много экспериментов, поскольку восстановление базы (даже при наличии бэкапа и при запуске с ключом -reindex) занимает не меньше суток.

Попробуйте перед выключением компьютера вручную ввести команду bitcoind stop и подождать, пока процесс выгрузится

Синхронизироваться (за сутки) у меня получается. У меня теперь не получается комп выключать, т.к. вся синхронизация оказывается насмарку...

Клиент Bitcoin QT синхронизируется меньше суток, у тебя уже не получается синхронизироваться дней 10. Testnet это просто другая сеть биткоина. Для тестов асиков(но их никто там не тестирует  ), пулов, ручных транзакций, настроек соло майнинга например, может ещё для чего. Там сложность почти всегда 1. Просто размер базы гораздо меньше. 376 МБ (394 401 365 байт).

Не пробовал и не знаю что это такое. Видел в описании настроек демона что-то про этот тестнет, но разобраться - руки не дошли, да и не понял пока зачем тратить на это время.

Характеристик более чем достаточно для Bitcoin QT.(тот арм гораздо слабее)
а тестнет работает?
или тоже не синхронизируется?

Да, я не из тех, кто каждые полгода бежит покупать "модный девайс". Однако ж двухядерный 3ГГц проц и 2.5 Гб оперативной памяти имеется. Что ж мы, не люди теперь? 

Самое поганое, это что после остановки мне не удаётся запустить демона с той же точки: Снова начинает считать с нулевого блока, а это - минимум сутки до выхода на текущий блок. По крайней мере, после восстановления базы из бэкапа ни разу ещё не удалось: Говорит, что битая база и начинает с нуля. Если запустить с параметром -reindex, то про битую базу ничего не говорит, но лишние сутки всё равно нужны. . От фатальных сбоев во время работы, вроде, пока спасает записанная в bitcoin.conf  строка par=1. Что здесь не так? Ведь по идее, если вся директория биткоина (включая подразделы blocks и chainstate) была скопирована (уже после остановки демона), а потом её восстановили из бэкапа, то при новом запуске демон должен был бы стартовать оттуда, где в прошлый раз остановился?

какой же у тебя компьютер древний должен быть чтобы так глючило
У людей на такой штуке bitcoind работает  
http://chipster.ru/catalog/cubie/2183.html

Сейчас вдруг перестал отвечать на "bitcoind getinfo": Ничего не выводит и для возврата в командный режим приходится нажимать ^C. Я уже испугался, что всё опять пропало. Однако команда  "tail debug.log" показала, что в лог в это время продолжают добавляться записи типа "SetBestChain: new best=...". Я подождал две минуты и демон снова начал отвечать на запросы.

Я не понимаю, как внешнее ПО может работать с продуктом, который вдруг на две минуты может прекратить отвечать на запросы? Я же не могу ответить веб пользователю, которому должен, например, проверить подпись: "подождите пару минут, мне тут биткоин что-то по непонятной причине перестал отвечать".

Нет, здесь я говорил именно о консольном запросе "bitcoind stop". В нормальной ситуации он должен останавливать демон. И в 95% случаев так и происходит. Но иногда  в демоне происходит какой-то сбой и после этого он не реагирует на "bitcoind stop" адекватно: Команда ps -ef показывает, что новые копии процесса порождаются и всё. В такой ситуации остановить их удаётся только посредством "kill -9 $pid".

Я заметил, что такая фигня возникает только после запуска демона командой "bitcoind -daemon". После запуска командой 'bitcoind &" такого ещё не замечал.

Да какой там линуксоид? Начинающий... И у меня не дофига лишнего времени, чтобы разбираться в деталях чужого софта и переписывать его. Мне бы со своим закончить... Я-то полагал, что это - "эталонный" софт биткоина и что его можно просто использовать как есть.

Проблема очевидно не уникальна, раз она встречалась ещё у кого-то (https://github.com/bitcoin/bitcoin/issues/2726 ). Просто наверняка она не слишком часто встречается. Может быть всё дело в том, что у меня оборудование не так надёжно работает, как у большинства. Но я имею то, что имею и у меня нет возможности сейчас потратиться на совершенно новый high-end комп. Да и неправильно это было бы: Разумеется, рабочую версию своего продукта я планирую эксплуатировать на надёжных компах, но если один из компонентов системы (bitcoind) не удаётся хоть как-то заставить работать на моём "не очень" надёжном оборудовании, то бесперебойность работы этого компонента и на надёжном оборудовании будет вызывать серьёзные сомнения... Должен же у софта быть какой-то "запас устойчивости". Допустим, что какие-то сетевые сбои или что-то ещё иногда имеет место, но нормальный софт не должен же из-за этого рушить всю базу?

Что-то я не пойму, вроде работает stop.
В списке API он есть https://en.bitcoin.it/wiki/Original_Bitcoin_client/API_calls_list
и если в консоли написать bitcoind stop, то если работал процесс bitcoind, то он закрывается(только что проверил на namecoind, но не суть)

del
Пардон, это я затупил. Про rpc же разговор. В rpc действительно есть stop

правьте исходники если у вас проблемы, вы же линуксоид  . Да и по этой теме, раз никто не может вам помочь, значит проблема уникальна, ищите что у вас не так как у других. Пробовали на других OS? На той же OS, но на другой машине?
Это OpenSource, тут нет отдела тех поддержки... Можете попробовать описать свою проблему тут https://github.com/bitcoin/bitcoin/issues?page=1&state=open, возможно со временем решат вашу проблему.
Сейчас посмотрел, вы уже написали пост тут https://github.com/bitcoin/bitcoin/issues/2726
Ну что же возможно кто-нибудь сможет решить вашу проблему... Это действительно что-то странное...
P.S. У меня bitcoind на windows 7 работает без сбоев уже 8 дней(с момента последней перезагрузки)....
P.P.S. Возможно твоя проблема решится в версии 0.8.6
https://github.com/bitcoin/bitcoin/commit/35ef6be9655a93dd4e67e19bf7a05e80d3411db8
(уже скоро будет релиз)
Или в версии 0.9...

Подскажите, а как хотя бы корректно забэкапить/восстановить  blockchain? Я  сохранил директории blockchain и chainstate, но после восстановления демон не хочет стартовать с того блока, на котором остановился раньше. Если запускать с параметром -reindex, то процесс восстановления getblockcount до ранее достигнутых значений тоже оказывается о-о-о-очень долгим.

И еще вопрос: Как всё-таки правильнее запускать демона: "bitcoind -daemon" или просто "bitcoind &". Я пробовал первый способ (как написано в хелпах), но всё время лезут какие-то глюки - вплоть до того, что после этого запрос "bitcoind stop" вместо остановки демона приводит к запуску новой копии процесса... Второй способ показался мне как-то более надёжным.

В общем, нестабильность этого софта просто ужасает...

Почитал, попробую перезапуститься с -par=1, хотя не понимаю что это значит.

Судя по количеству жалующихся на баг, дело не в аппаратных ошибках. Даже если бы и были какие-то аппаратные ошибки (а сетевые сбои наверняка у всех периодически возникают), софт не должен реагировать на них таким странным образом. Возможно, что такие глюки возникают только у тех, у кого 32-разрядная платформа (увы, я пока не могу себе позволить апгрейд). Возможно, только поэтому процент жалующихся на Bitcoin-Qt не достиг той критической отметки, после которой разработчиков растерзали бы.

Для меня теперь очевидно, что 1) проблема именно в исходном коде bitcoind, 2) в последней полудюжине версий она так и не была решена.

ХЗ, у меня со сборкой под дебианом никогда не было проблем. Да и с дебиана на убунту переходить это все равно что зеленый галстук менять на зеленый галстук, при идентичном наборе установленных пакетов это никак не повлияет на ситуацию.

Судя по этому топику не только у вас: https://github.com/bitcoin/bitcoin/issues/2726 ,где в качестве костыля предлагается использовать -par=1

Тем не менее, я проверил у себя. Взял бинарник (http://sourceforge.net/projects/bitcoin/files/Bitcoin/bitcoin-0.8.5/bitcoin-0.8.5-linux.tar.gz/download) bitcoind и запустил его на Debian wheezy. Все блоки скачались без ошибок.

Но есть нюансы:
1) у меня 64-битный Дебиан и, соответственно, 64-битный бинарник
2) Дебиан запущен в VirtualBox

Но, вообще, ситуация странная.
Либо это редкий баг, не обязательно bitcoind, может быть и какой-то либы.
Либо глючное железо.

За своё многолетнее использование Биткойна под Виндой такой ошибки не встречал.

Не думаю, что это - подходящее решение проблемы. Проблема ведь не в том, что  я не могу загрузить древнюю blockchain сейчас (может с пятидесятой попытки это вдруг и получится). Но принципиальная проблема в том, что в софте есть какой-то глюк, а значит потом, при обновлении blockchain, у меня может возникнуть та же ошибка: новые блоки перестанут подгружаться, а потом и blockchain снова сбросится.

вот bitcoin blockchain месячной давности http://sourceforge.net/projects/bitcoinblockchain/files/29-10-2013/
Но это не лучший способ, так как приходится доверять третьим лицам(каждый блок при загрузки через клиент проверяется заного, а тут приходится верить что блоки верные, но вроде по этой ссылке нормальная цепочка блоков, без изменений)

Как-то слишком радикально. Чем так уж плох именно Дебиан? Это один из старейших дистрибутивов и его стабильный релиз никто не треплет обновлениями каждый месяц, за что я его и выбрал.

Да, сейчас обнаружилось, что в стабильный релиз выложена битая версия пакета libboost1.49-dev. Я заменил её версией из тестового релиза, после чего мне удалось нормально скомпилировать бинарник bitcoind версии 0.8.5.

Но он оказался с теми же глюками, что и те бинарники, которые я ранее скачивал в готовом виде.

Да, я пробовал бинарник из нестабильного релиза: Все те же глюки. см. в этой теме подробно, с кусками логов. Фатальная проблема в том, что я никак не могу загрузить blockchain, ибо в некоторый момент возникает ошибка, после которой следующие блоки перестают приниматься, а потом getblockcounter обнуляется и загрузка начинается по новому кругу.

вот вроде биткоин для дебиана http://packages.debian.org/unstable/main/bitcoin-qt

В вашем случае правильным решением будет смена дистрибутива (на ubuntu или centos).

Народ, подскажите хоть как-нибудь куда рыть. Ну, нужен мне этот долбаный демон биткоин, из-за проблем с ним я уже почти неделю как не могу никуда продвинуться. Ладно, что все добытые бинарники оказываются с глюками, но и ни одну из версий исходных файлов не удалось скомпилировать. По совету поддержки Дебиан я обратился сюда в англоязычную ветку Bitcoin Forum > Bitcoin > Technical Support. Подробно там описал проблему, с вырезками из лога. Пока получил только банальную ссылку на инструкцию о том, как скомпилировать исходники, взятые с sourceforge.net. Вот последняя версия, выложенная там.

Но не компилируется она у меня!!! Поставил я все нужные пакеты, как указано в инструкции, запустил "make -f makefile.unix" и в ответ получил какие-то сообщения об ошибках в файле /usr/include/boost/thread/xtime.hpp.

Вот:

И вот:

И в конечном итоге вот:

Я посмотрел, что это за файл. Оказалось, часть библиотеки libboost1.49-dev. Это что же, значит библиотека что ли битая? И это у всех пользователей, у которых поставлен этот пакет? И что мне делать-то теперь?

Да GNU-сное оно все такое - удивляться тут не чему...

только у тебя видимо. Я проверял работоспособность на Windows 7x64 Home Premium и OpenSuse 12.1... У многих на этом форуме работает на Ubuntu разных версий...

Мне объяснили, как поставить версию из репозитория нестабильного релиза дебиана (v0.8.5.0-gef14a26-beta). Для чистоты эксперимента я удалил всё, кроме wallet.dat, из директории .bitcoin. На сей раз getblockcount досчитал аж до 205559. Однако потом вся эта фигня повторилась: Сначала getblockcount перестал увеличиваться, потом на запрос getinfo я начал получать сообщение об ошибке: "Warning: Displayed transactions may not be correct! You may need to upgrade, or other nodes may need to upgrade". Потом не установилось json соединение с демоном (наверное, он просто выгрузился). А после перезапуска getblockcount начал считать с нуля.

Я не понимаю, это только у меня одного такая ерунда? Я вижу, что продукт НЕ РАБОТОСПОСОБЕН. Как же так?

О, вот сейчас удалил лог и через некоторое время обнаружил в нём нечто интересное:

Это же сообщение (Warning: Displayed transactions may not be correct! You may need to upgrade, or other nodes may need to upgrade.) мне сейчас выдаётся в ответ на запрос getinfo. Счётчик getblockcount остановился на 169689. Вероятно, следующим этапом, как обычно, станет сброс счётчика getblockcount в нуль...

P.S. Так и есть. Сейчас перезапустил bitcoind, после чего счётчик сбросился в нуль и начал считать по-новому кругу.

Спасибо за ответы. Детали моих последних безуспешных попыток решения проблемы в моём сегодняшнем сообщении здесь: http://debianforum.ru/index.php?topic=6112.0

Я понял, что дело, оказывается, не в версии Berkeley DB.

Касательно чтения лога: Набежало уже более 53Мб, в основном что-то вроде:

Что здесь выискивать - мне непонятно.

Что касается бинарников с последней версией: Вроде бы, именно это я и сделал, взяв bitcoind из этого архива:  http://sourceforge.net/projects/bitcoin/files/Bitcoin/bitcoin-0.8.5/bitcoin-0.8.5-linux.tar.gz/download ? Или нет? Вот с ним и происходят все эти неприятные вещи.

Скачайте бинарники с последней версией, в чём проблема?
http://sourceforge.net/projects/bitcoin/files/Bitcoin/bitcoin-0.8.5/bitcoin-0.8.5-linux.tar.gz/download

Кстати, Новакоин для Linux собирается с Berkeley DB 5.1
https://bitcointalksearch.org/topic/m.3538732
epros, можешь спросить у Balthazar что поменять в исходниках Bitcoin, чтобы собрать с 5.1. Как у Balthazar будет время ,я думаю, он тебе ответит.

Какую версию биткоина собирали, из какой ветки и т.д.? Блоки хранятся в LevelDB, а не в BDB. Поэтому если сбрасываются блоки, то BDB скорее всего не при чем.
Исходники не "заточены" ни под какую версию BDB. Они прекрасно собираются и работают и с 4.8, и с 5.1. По крайней мере так было до недавнего времени, последние релизы не проверял.

Читать лог. Лежит тут ~/.bitcoin/debug.log

Стандартный клиент биткойн уже давно хранит данные в гугловской leveldb, а Berkeley DB в нём используется для храниения пар адрес:приватный ключ в wallet.dat.

Да по-моему быстрее будет с нуля нормальный софт написать, чем с этим разбираться...

PS  если там выкинуть нафиг не нужное - то он упрощается раз в 100, так что писать не долго.

PPS  будь это не финансы - еще можно было бы потрахаться...

Потребовалось мне поставить Bitcoin-Qt на линукс (стабильный дистрибутив дебиан). Сразу столкнулся с проблемой - почему-то пакет не вошёл в стандартный репозиторий. Начал разбираться почему, оказалось - неспроста: Биткоин хранит данные в Berkeley DB и стандартный пакет до сих пор использует версию 4.8 формата этой базы. В то время как нормальный софт, эксплуатируемый уже пару лет, давно использует версию 5.1 формата базы. В том числе, stable-релиз дистрибутива debian весь заточен под версию 5.1. А эти форматы несовместимы на бинарном уровне, вот ведь какая ерунда... Об этом написано в readme файлах к стандартному пакету Bitcoin-Qt. Я не могу сделать downgrade своей системы до формата 4.8, ибо половина системного софта заточена на работу с форматом 5.1. А стабильной версии биткоин, работающей с форматом 5.1, тоже нет. Т.е. имеется версия, входящая в репозиторий нестабильного релиза, но на стабильный релиз она не ставится.

Я попробовал тупо скомпилировать исходники стандартного bitcoind, взятые с GitHub (и заточенные под версию 4.8 формата базы). Демон запускается, работает и даже отвечает на JSON запросы. Но:
1) Иногда вдруг соединение с демоном по необъяснимой причине не устанавливается. Десятки попыток не дают результата. Потом вдруг через пять минут всё опять оживает.
2) Что ещё хуже: Несколько раз непонятно почему происходил ПОЛНЫЙ СБРОС БАЗЫ. Т.е. база заполнилась уже более чем до 100 тыс. блоков (а один раз - даже более чем до 200 тыс.), а потом вдруг, хоп, снова getblockcount возвращает 0 блоков и заполнение начинается сначала...

Не могу понять, что мне делать-то теперь?