Topic: bitcoin core ... une idiotie pour le téléchargement de la blockchain. (Read 17186 times)

Et le petit graphique habituel :



Comme on le constate par rapport aux autres graphiques identiques, les progrès au niveau du CPU (instructions SSE4 actives) sont très intéressants pour faire tourner des noeuds complets légers !

Voilà, c'est fini : le Bitcoin Core 0.15.0 a dû écrire 420Go de données et lire 8,1To de données pour recréer la blockchain locale.

Donc, c'est certain, il faut un bon support de stockage pour raccourcir le temps de recréation de la blockchain locale.

Les nouvelles instructions implémentées SSE4 (et le reste ...) font merveilles sur la gestion du CPU ...  avec la v0.15.0 de Bitcoin Core.

Tu veux qu'on détaille quoi ?

Merci de detailler plus j'arrive pas a suivre

Après tu a les HDD à 15000 tours/min 

Vu le prix c'est plus chère que SSD, mais c'est du matériel de pro.
Pensais que c'était moins chère depuis le temps que ça existe.

Je pense aussi ... mais comme je fuis ce type de solution, je ne saurais le confirmer (je préfère entièrement basculer en SSD ou rester en pure mécanique magnétique).

ça vaudrait aussi le coup de savoir si le Rapid Storage (Intel) permet une meilleur gestion de ce coté-là aussi ...

Un SSD me parais assez cher à l'heure actuelle pour ce type d'utilisation (surtout qu'il faut prévoir pas mal d'espace), je pense qu'un hybride (de 2 TO et de qualité) devrais faire l'affaire non ?

J'ai fini de recréer un noeud Bitcoin Core sur un PC portable de 5 ans, il a mis 8 jours allumé 24h/24.
Seul le disque dur mécanique magnétique est le composant pénalisant, pas la connexion et pas le CPU.

Donc ... mettez un SSD performant (oui, il existe des SSD daubés, j'en ai croisé quelqu'uns déjà) et vous aurez une recréation de la blockchain locale en moins de 2 jours.

Le noeud a lu 18 To de données et écrient 2 To.
Vitesse moyenne en lecture = 12Mo/s et en écriture = 4Mo/s.
La mémoire SWAP a été désactivée (sinon, ça aurait été pire ...).

En fait, c'est surtout le cumule des deux qui fait tout ramer ... un disque dur hybride (avec une énorme cache) doit avoir moins ce type de problème.

Bref, SSD et c'est tout.  

Je suis entrain de monter un noeud complet sur un vieux portable (Pentium B970 et disque dur mécanique 500Go) ... pour le moment, en 24h, j'ai récupérer 50Go et la vitesse diminue car le disque dur ne suit plus (le CPU, ça va encore, il est pas en restriction thermique).

Intéressant (pour comprendre pourquoi un SSD est utile).

Ah bon ? Même si on pars d'une installation à zéro ?
J'avais compris que si une partie de la blockchain locale était présente, là ... on utilisait des checkpoints générés.

progrès = checkpoint, c'est pas dur d'aller plus vite quand on saute une partie de la vérification...

Les progrès sont stupéfiants et donc continus sur Bitcoin Core : moins de CPU nécessaire et un taux plein en téléchargement ... ce qui me permet de boucler la blockchain de 115Go en moins de 24h maintenant (sur ma connexion 1Mo/s).

Le plus appréciable est donc qu'à partir de Bitcoin Core 0.14.0, le CPU sera moins sollicité et donc acceptable pour des machines portables bureautiques style i3.

Parfait, toujours très rapide pour la re-création de la blockchain locale.
Et plus de blockchain corrompue depuis les v0.12 

la v0.13.0 est diabolique en vitesse pour re-créer la blockchain local sur un vieux PC ... (ou un PC portable ?)
on ne peut vraiment plus se plaindre maintenant.

Moins de 36h ! Génial !

 
Une pruned node est une node. C'est déjà un but en soit.
On peut créer de nouvelles addresses et les utiliser pour faire des Tx sans problème.
On est connecté directement sur le réseau et on a pas à faire confiance à une autre node ou un service ou une entreprise.

on est d'accord mais la but premier de la fonction importée et de disposé des fonds sur cette addresse .
On peut chipoter mais pour 98% des utilisateur le comportement est insuffisant d'ailleurs tu as du désactivé une fonction pour la faire marcher .

Mais pour ce que tu propose de faire , une noeud bitcoin avec 0 block et pas connecter ferra aussi bien l'affaire .

T'appelles ça comment le fait d'utliser la commande "importprivkey" puis le fait de se retrouver après avec une nouvelle adresse dans tes adresses de reception ?

kcud_dab , importer une clef sans avoir les transaction passée n'est pas un import adresses.

Pour signer une TX pas besoin de bitcoin

C'est pas grave, je comprends la démarche. 

Excuse moi de douter de toi, mais il y a de quoi vu certaines affirmations passées...
Mais pour une fois tu as visiblement raison (par contre à part avoir demander d'autres source je ne pense avoir dit que j'avais essayé pas moi même si ?), j'ai essayé depuis et effectivement P2Pool a l'air d'avoir besoin de toute la blockchain (va savoir pourquoi...), pour info voici l'erreur : "p2pool.util.jsonrpc.NarrowError: -32603 Block not available (pruned data)"

Sinon l'import d'adresse fonctionne très bien au passage avec une node prunée, il suffit de désactiver le rescan derrière dans la commande importprivkey, ça peut être dérangeant si le but est de récupérer des transactions mais ça suffit pour signer une transaction avec signrawtransaction et la broadcaster. Bref 1-1

je ne pense pas que l'on puisse.

With 0.12 it is possible to use wallet functionality in pruned mode. This can reduce the disk usage from currently around 60 GB to around 2 GB.

https://bitcoin.org/en/release/v0.12.0

Franchement un PC bureautique avec 2 To de stockage coute ~500€ + 150€ par an d'électricité pour Run une node h24 si on en a l'utilité je ne voie pas le problème après le délai de synchro oui il est long et ça ne va pas s'améliore mais à priori sauf cas exceptionnel on le fait une fois. j'ai resynchro quand j'ai changé de local ma node j'en ai profité pour changer d'os et depuis j'y touche plus que pour upgrade Bitcoin Core. Pour tout ce qui n'ont pas la possibilité / l'envie / l'utilité ( raye les mentions inutiles ) il existe des wallet "lite" pour tout les os et support.

1) Oui, le serveur P2Pool indique en lisant le RPC-JSON qu'il ne peut pas miner car Bitcoin Core indique qu'il est en mode "pruning-élagage".
Je n'ai pas le message ... je prune pas comme ça pour le sport vu le temps (qu'il me faut) pour recréer la blockchain locale.
Je prune quand y'a une nouvelle version du Bitcoin Core qui parle d'un changement à ce niveau là uniquement (en lisant les modif. github entre le master et les RC).

2) Pareil, la dernière fois que j'ai fait le tutoriel de récupération d'une clé privée, j'étais entrain de re-tester le pruning à 50Go ... et quand j'ai fourni la clé à Bitcoin Core dans la console, il m'a dit qu'il ne peut pas faire cela en mode pruning-élagage (il doit scanner toute la blockchain locale à la recherche des fonds quand on amène une clé privée).

Inversement, je ne vois pas de capture de tes essais.

Car je reste surpris que tu ais réussi à mettre en place un serveur P2Pool aussi vite (mais je ne disais rien, admettons ... vu le temps que tu mets à re-créer la blockchain local justement) et réussi à récupérer les travaux de la sidechain P2Pool aussi vite qui ne dépend pas de la vitesse ni de la puissance (admettons aussi, peut-être que tu en as un derrière qui tourne).

Je comprends tes doutes.
Faut essayer (réellement sur sa machine).

Oui mais il y a un problème... à part toi il n'y a pas trop d'autres témoignages ni docs qui indiquent que le mode pruning ne fonctionne pas avec P2Pool (que ce soit sur leur site ou ailleurs).. plus d'autres personnes qui me confirment que ça ne pose pas de problème sur un autre canal de discussion..
Ça plus ton passé qui nous a montré plusieurs fois que tu affirmais vite des trucs sans forcément les comprendre ou sans être sur, tu peux comprendre qu'on ait des doutes !

Bref à part ton cas où ça ne fonctionne pas chez toi, c'est marqué ailleurs que ton problème vient bien du fait que tu sois en mode pruning ? Ou un message d'erreur plus explicite que "pruned data, le RPC de bitcoin core informe le serveur de minage"?

NB : tu n'as pas non plus répondu pour nous expliquer pourquoi on ne pouvait pas "dépenser les bitcoins" avec une node prunée...

https://bitcointalksearch.org/topic/m.14494088

Pardon ?

Pareil qu'en minant normalement, tu vérifie qu'une tx est valide avant de l'inclure dans la mempool !
Sinon, il faudrait p'tete regarder à nouveau ce qu'est le mode pruning..  Une mode prunée garde bien la base d'UTXO sinon elle n'aurait aucun moyen de vérifier qu'une tx est valide ou qu'un bloc respecte bien les regles (entre autre dépenser des bitcoins qui existent et ne pas faire de double spend).
Si une node prunée n'avait pas la base d'UTXO elle ne servirait pas à grand chose (en plus d'être pas sécurisée du tout).

Edit : bon visiblement ça fonctionne très bien le P2Pool avec une node prunée
@Meuh6879: tu la sors d'où cette histoire ?

Non en mode solo , tu peut accepter de miner sans fee ou que avec les TX des 10 derniers block a la limite

Mais en p2pool , tu dois miner avec les TX . Si tu le fait pas tu es disqualifié cat tu peut pas rentrer dans le consensus.

P2pool n'est que une blockchain intermédiaire a diff plus faible . Comment tu fait pour verifié les TX des block P2Pool des autre participant ?



Une node prunée ne garde pas la liste de toutes les TXNO . Juste les dernier block pour resoudre les fork et participer a la propagation des dernier blocks.

1) Visiblement on peut le faire... Avant on ne pouvait pas utiliser la fonction wallet mais c'est possible depuis un petit moment maintenant..
2) Hmm, je vais me renseigner pour le mode P2Pool, mais en tout cas tu peux miner "normalement" (ie en solo) avec une node prunée !

Bah justement, c'est le but d'une node prunée, de pouvoir quand même dire qu'une si une tx est valide ou pas !

Peut être que ça change qqchose... Mais si ça ne change rien celà veut dire qu'on devrait pouvoir miner en P2Pool avec une node prunée

Comment tu veux miner en incluant des transactions si tu peut pas savoir si elle sont valide ?

P2Pool ou pas cela change rien .

1) ben, dépenser les bitcoins dessus (au lieu d'utiliser un wallet virtuel).
2) parce que le P2Pool veut l'accès complet aux blocks locaux (si je prune, il le voit car Bitcoin Core l'informe de cela).

Pq pas prendre electrum ou multibit .

Ça veut dire quoi "récupérer l'utilisation d'une clé privée" ?
Sinon... pourquoi ne pourrait on pas miner avec une node prunée ??

Pas besoin d'espace disque pour le faire (le pruning se fait progressivement), juste du CPU et de la bande passante...

pour le faire
Il faut perdre ca node
Donc la sauvegarder , pruner et restaure .
Cela prend pas mal de temps

Toi qui a un node, voudrais-tu partager avec nous une blockchain pruned de 1Go ?
Je n'ai qu'un laptop contenant un SSD limité.

le pruning ne permet pas de :
- miner
- récupérer l'utilisation d'une clé privée

mais c'est vrai que depuis la v0.12 ... on peut utiliser son wallet.dat dedans.

 
La solution est le pruning. Je cherche à créer une blockchain de 1Go mais je n'ai pas d'ordinateur pour.
Je demande à mon entourage mais si vous pouvez le faire je veux bien...

C'est vrai que la synchronisation de Bitcoin Core est vraiment très longue, surtout en ce moment.
Les fichiers sont aussi très volumineux.
Pour l'instant, la seule solution est d'utiliser des wallets plus légers, en attendant que cela soit fixé ou pas.

la blockchain n'est pas l'intégralité du dossier blocks.
la blockchain ne se compose que des fichiers blk00xxx.dat à proprement parler.
les autres éléments, les fichiers rev00xxx.dat et les fichiers du dossier index, ne sont que des dérivées des blk. ils permettent respectivement d'accélérer le rollback et la recherche de blocs.

je n'ai pas d'install de bitcoin à dispo, mais je pense que la stat blockchain.info ne doit qu'additionner la taille des fichiers blk.

Pointage.

Je suis entrain de recomposer ma blockchain locale ... et je constate qu'arrive à 50% de recréation, on obtient plus que 1 an et 8 semaine ... alors que le début commence à 7 ans et 20 semaines.

C'est impressionnant.

30Go couvrent les prémices de Bitcoin sur 6 ans !
Et 30Go ... pour l'année qui suit seulement !!!!!! 

  ma réponse est sous forme d’interrogation générale : dans l'informatique, la taille de quelque chose dépend du nombre de clusters physiques du disque dur et de la taille d'allocation lors du premier formatage.

Les système RAID/SAS des serveurs externalisés sont encore différents en terme d'occupation "virtuellement dispatchée" entre plusieurs unités de stockage physique.

réponse simple : c'est trivial et inutile car tu n'as pas accès à ce paramètre.

bon, j'élargie l'auditoire à qui je pose ma question puisque meuh ne peut/veut pas répondre.
je trouve des chiffres différents entre https://blockchain.info/fr/charts/blocks-size et la capture d'écran de meuh ci dessus.
de quoi parle t'on ? est ce la même chose ou autre chose ?

meuh, si je pose une question, c'est que je ne connais pas la réponse. alors être laconique et répondre comme si c'était trivial, ben ça ne m'apporte pas grand chose.

je sais que 1 000 est différent de 2 puissance 10 = 1 024...
mais aujourd'hui, https://blockchain.info/fr/charts/blocks-size indique 50 589 mo comme taille de blockchain, donc je ne comprends toujours pas.
50,5 d'un coté, 58,2 ou 62,5 de l'autre...
donc : d'où vient la différence ?

Go =/= Gb










Yes, no ?

meuh, peux tu m'expliquer une chose : le 12 octobre, tu disais que la blockchain pesait 51 go.
blockchain.info n'est donc pas fiable ? il indique 50,5 go pour aujourd'hui. d'où vient cette différence ?

C'est là que l'on se rend compte que la partie soft a encore beaucoup de progrès à faire.

Dans une telle situation, c'est quand même surprenant que Bitcoin Core ne puisse pas "retrouver ses petits" et reprendre la main à hauteur du problème (c'est à dire les quelques derniers blocs).

Un peu moins de 3 jours pour la dernière synchro. complête (c'est la partie à 100% CPU en bas).
J'ai dû le faire à cause d'une coupure d'électricité qui a corrompu l'indexation Bitcoin.

54,8Go de Blockchain locale.

Dernière synchro sur un vieux portable sauvé de la déchetterie : 5 jours  

je vais tenter ça alors, merci pour les réponses précises !

Oui, et Oui.

Il suffit d'indiquer dans le raccourci de lancement de Bitcoin que tu veux utiliser un autre dossier "blockchain".
dans mon cas, je l'ai nommé "block-bitcoin" et il est sur le G:\ alors que les programmes Bitcoin sont dans un autre dossier et un autre lecteur (comme ça, je sais ce que je fais pour les upgrades -bin- ou les modif. de fonctionnement du noeud -bitcoin.conf- ).

Je ne savais pas qu'utiliser une clé USB posait problème.
C'est bien dommage.

ah oui effectivement je ne suis plus vraiment au gout du jour...

je pense que le problème vient du fait que je dl la blockchain sur une clef usb (64go usb 3)

car sinon pc core i7 8go DDR 256go SSD ça me parait convenable !

Faudrait-il mieux que je dl d'abord sur mon SSD pour ensuite la copier sur la clef usb ? est-ce possible ?

merci

La synchro par torrent est obsolète depuis environ 1 ann (depuis l'introduction de cette feature.
D'ailleurs le fichier n'est plus maintenu :
-> https://bitcoin.org/bin/block-chain/README.txt


Tu as quoi comme config (CPU, RAM, SSD?, connexion internet) ? Parce que 2 semaine pour synchroniser c'est long... (ça prend moins de 24h chez moi)

hello

Question bête, à une époque lointaine (très lointaine) il me semble qu'on pouvait télécharger la blockchain en torrent

est-ce encore possible ? auriez vous un lien fiable ?

ça fait 2 fois que je relance la synchro depuis bitcoin core, une mise à jour Windows m'a planté au bout de 2 semaines de DL et j'en ai marre de recommencer à chaque fois c'est beaucoup trop long...

merci

La blockchain fait 51 Go aujourd'hui. 

C'est bien, y'a des progrès sur cette version 0.11.0 ... le debug.log est maintenant très indicatif sur ce que fait bitcoin core en interne (c'est-à-dire quand la fenêtre principale ne bouge pas mais que le CPU et le HDD tournent à mort).

A noter que durant l'indexation des blocs, la taille de la cache (de Bitcoin Core) a une grande influence (entre 150Mb et 500Mb) si on a un disque dur mécanique ou un SSD.

Pour les visiteurs, la BLOCKCHAIN fait 47,1Go à la date d'aujourd'hui.

Etude comparative du poids des jeux 3D : http://www.clubic.com/jeu-video/article-712875-4-30-40-50-pourquoi-jeux-video-gros.html

Comme quoi, c'est pas si lourd, un système de monnaie décentralisé.  

La dernière synchro. de la blockchain depuis la v0.11 RC2 donne 3 jours de mon coté.
Aucun problème de téléchargement, c'est juste le CPU qui suit plus (le SSD attend derrière). 

ça doit être épique sur un PC portable ... 

Oué, la blockchain devrai être répartie chez tout le monde avec un auto balance. A la façon du raid ou de metadisk.
Et marché correctement comme les autre clients p2p (débit, connexion).

+1

  il n'empêche que ça pousse.
Merci pour le détail de la config. utilisée.

Pour être tout à fait honnête, en relisant les logs, j'ai la blockchain fully synchro et prête à l'emploi à 16h50 en commençant à 14h34. Donc pas 45 minutes comme préalablement énoncé.
j'ai du perdre quelque précieuses minutes à valider les 100000 derniers blocks

  mais alors, il a fini dans le temps que tu indiquais ?

Serveur Dedibox LT 2014    Xeon E3 1230v2    16 Go    2 x 1 To    1Gbit/sec

Bon par contre 100%cpu aussi

Et ça a commencé à bien ralentir aux environs du 240000ieme bloc.

... si c'est une vrai synchro. ... la vitesse du téléchargement (j'ai du 14 méga) n'est que la moitié du travail pour reconstituer la blockchain.

Le reste, c'est le CPU et le disque dur.

La reconstitution demande la lecture de plus de 320 To ... (lecture primaire, traitement secondaire, lecture du block fermé, re-lecture pour le chainage de la blockchain jusqu'à la fin).

Et plus on se rapproche de la date actuelle, et plus c'est long.

---

Je rappelle que c'est une synchro. pas une réindexation ... ça sous-entend de supprimer totalement le dossier Blockchain dans les installations de bitcoin core.

C'est pour ça que j'ai séparé le dossier blockchain du dossier bitcoin core par une ligne de commande spécifique.

Et combien de peers chez Online ont été utilisés pendant la synchro aussi  

https://getaddr.bitnodes.io/nodes/?q=62.210
https://getaddr.bitnodes.io/nodes/?q=195.154
https://getaddr.bitnodes.io/nodes/?q=212.83

celà dit ouais, leurs serveurs roxent du poney(telecom) 

Propre (voire incroyable..?)
C'est quoi comme CPU / disques ton serveur chez online pour arriver à faire une synchro si rapide ?

45 minutes hier sur un server online.fr et une fresh compile du github repo

Pareil chez moi, avec les dernières version de bitcoin core, ma dernière synchro a pris une 10aine d'heure

Le problème de lenteur de téléchargement et de téléchargement de pleins d'ORPHAN est rêglé ... j'ai refait une synchronisation du client bitcoin core et il a pris 3 jours non-stop de travail (téléchargements et CPU).

ma machine n'a pas été modifiée ou réinstallée depuis le premier message du sujet.

Plus de soucis, le déploiement à forte échelle du 0.9.3 avec le upload head block first a joué son rôle.

  plus besoin du boostrap sur le torrent.

Ah c'est le client torrent que j'utilise sur Linux depuis peu.
C'est largement le meilleur client torrent que j'ai jamais vu. Je n'ai trouvé aucun défaut. Et il est dispo sur Linux et MAC OS contrairement à cette merde de uTorrent !
Voilà c'est dit.

Oui, il est safe puisque c'est des développeurs bitcoin qui le contrôlent (y'a des vérifications chaque fois que le fichier torrent évolue sur bitcoin.org).

Ah, tu parlais du client bitorrent : oui, aucun problème ... je l'ai trouvé lorsque je voulais une alternative à µtorrent et à bitcomet.
Le développeur est très compétent lorsque certains lui renvoient un bug, il le corrige généralement 1 semaine plus tard.
J'ai suivi tout son travail depuis le début du qbittorrent.

---

Là, j'ai commencé le travail d'import (3-4h en principe à attendre le temps qu'il dépiaute le fichier bootstrap.dat et écrit tous les blocks sur le disque).

Cette phase demande un processeur de 2,0GHz dual core pour ne pas trop trainer dans les calculs nécessaire à cette tâche.
J'ai un 2,9GHz dual core (pas mobile, hein ...) pour faire cela.

Ah j'avais lu trop vite :/

c'est pas un wallet c'est juste un client torrent

Il est "safe" ce wallet ? (dsl mais c'est la première fois que j'en entends parler)

BREF,

Vous téléchargez un client torrent : http://www.qbittorrent.org/
Et vous cliquez sur le fichier .TORRENT ici : https://bitcoin.org/bin/blockchain/

Et 21Go dans le sac ... sans utiliser le client bitcoin core.  
Ils pouvaient pas intégrer un client léger de seed P2P compliant ... dés le début ?

Autant quand j'ai démarré en décembre (1 jour) puis que j'ai re-téléchargé en avril (2 jours), je n'ai pas eu un seul problème ... mais là, c'est chiant, ça fait 4 jours que j'attends que le bitcoin core récupère ce qu'il faut et ça tourne pas en download.

Le pire, c'est qu'une astuce permet d'améliorer le débit : restreindre le nombre de connexion (si tu mets 8 connexions, ça plante et ça reste bloqué ... alors que si t'en met 2 ou 3, ça tourne en continu à 100-200ko/s).
https://bitcointalksearch.org/topic/m.9020683

Purée, y'a 7200 (ok, 6000 qui possèdent les blocks) nodes qui peuvent au moins donner à 10ko/s en upload ... et quoi ?
Le réseau bitcoin est même pas apte à travailler comme n'importe quel client de fichier P2P (genre 64 connexion, ça sature ma connexion 10MBits/s).

Le pire, c'est encore que certains (en désespoir de cause) ... ont mis la blockchain (26Go ...) en fichier torrent.
Y'a des lacunes que je comprends dans ce système ... c'est comme les ORPHAN blocks.

Expliquez-moi ce que font des ORPHAN blocks encore éloignés de 1 an et 0 semaine du point de synchronisation ?
Si ça c'est pas un sérieux problème d'overhead et de pollution du réseau lorsque les nouveaux clients veulent se connecter ...