Pages:
Author

Topic: Bot pour vérifier automatiquement les signatures. - page 2. (Read 766 times)

legendary
Activity: 2590
Merit: 2348
Tu parle bien archivés sur des sites tel archive.fo ?
Si oui, oui c'est sur qu'il ne faut pas commencer à vérifier ça manuellement Grin

Pour ces sites, je ne sais pas s'il y a des API, je n'ai pas vraiment fait de recherche à ce sujet Roll Eyes
Ah pardon, j'ai cru que tu avais utilisé une API pour archiver les signatures dessus.

Hum, c'est pas tellement compliqué Wink

Disons que pour moi, ça va, je n'ai "que" +/- 10 000 messages à traiter, donc c'est franchement rapide ( 2 à 3 secondes je crois ).

Pour faire simple, je compare deux bases de données, à savoir : Une première contenant tous les messages archivés ( Les messages de cette base ne sont jamais mise à jour après enregistrement ), et une deuxième, qui elle se met à jour toutes les 6h ( Paramétrable dans la config ).

Après je compare les deux, et si un message n'est plus dans la deuxième, ça veut dire que le message est supprimé Tongue

Ça c'est une méthode qui fonctionne quand il n'y a pas trop de messages à traiter, mais je ne pense pas que ça soit très efficace ( Niveau vitesse ) pour des milliers ( Voir millions ? ) de messages ^^
Ben je comprends pas bien comment tu fais puisque l'index c'est juste un entier qui est incrémenté pour chaque nouvel élément du tableau non? C'est pas une clef?
Donc comment  allUpdatablesMessages[index] peut ne rien retourner (ou un false)?
Le seul cas oú ça marche c'est pour les derniers éléments du tableau, si ils ont été supprimés alors effectivement ça renverra un null oú je sais pas quoi puisque le tableau sera plus court.
eg allMessages a 5000 éléments,  allUpdatablesMessages n'en a plus que 4998 => ça trouvera rien pour allUpdatablesMessages[5000]

Code:
// Function for check message is removed
const checkIfMessageRemoved = function () {

    // Return promise
    return new Promise(function (resolve) {

        // Get all messages
        const allMessages = db.get('messages').value();

        // Get all updatables messages
        const allUpdatablesMessages = dbUpdatable.get('messages').value();

        // Loop in all messages
        for(const index in allMessages) {

            // If message is not in updatables messages
            if(!allUpdatablesMessages[index] && !allMessages[index].removedAlertSent) {

                // Set message
                const message = allMessages[index];

                // Log
                console.log('Alert | A message has been removed : '+message.link);

                // Update message alert status
                db.get('messages').get(index).set('removedAlertSent', true).write();

                // If email is enable
                if(config.email.enable) {

                    // Send alert email
https://github.com/luluwebmaster/bitcointalk-auto-verify-signatures-archive-and-alert/blob/master/app.js
sr. member
Activity: 709
Merit: 335
You need someone to develop your Web project ?
Désormais, le bot détecte aussi les messages supprimés, et vous en alerte si vous le voulez ! Wink

C'est compliqué/lourd à gérer la détection des messages supprimés ? Je sais que LoyceV ne sait pas le faire ou ne peut pas le faire car il scrape tout le forum je crois (cf ici, et toi tu surveilles qu'un seul topic. Mais si jamais tu as trouvé une formule magique pour le faire, ça pourrait l’intéresser.

Hum, c'est pas tellement compliqué Wink

Disons que pour moi, ça va, je n'ai "que" +/- 10 000 messages à traiter, donc c'est franchement rapide ( 2 à 3 secondes je crois ).

Pour faire simple, je compare deux bases de données, à savoir : Une première contenant tous les messages archivés ( Les messages de cette base ne sont jamais mise à jour après enregistrement ), et une deuxième, qui elle se met à jour toutes les 6h ( Paramétrable dans la config ).

Après je compare les deux, et si un message n'est plus dans la deuxième, ça veut dire que le message est supprimé Tongue

Ça c'est une méthode qui fonctionne quand il n'y a pas trop de messages à traiter, mais je ne pense pas que ça soit très efficace ( Niveau vitesse ) pour des milliers ( Voir millions ? ) de messages ^^
staff
Activity: 2366
Merit: 2013
I find your lack of faith in Bitcoin disturbing.
Désormais, le bot détecte aussi les messages supprimés, et vous en alerte si vous le voulez ! Wink

C'est compliqué/lourd à gérer la détection des messages supprimés ? Je sais que LoyceV ne sait pas le faire ou ne peut pas le faire car il scrape tout le forum je crois (cf ici, et toi tu surveilles qu'un seul topic. Mais si jamais tu as trouvé une formule magique pour le faire, ça pourrait l’intéresser.
sr. member
Activity: 709
Merit: 335
You need someone to develop your Web project ?
Ok mais c'est à quel moment qu'il faut prévenir Theymos? Dès qu'on voit qu'un message de stack d'adresse ou de quote de stack d'adresse a été modifié ou supprimé?

Tu pose une bonne question Grin
Comme je dis, c'est +/- à chacun de juger, personnellement si par exemple je suis alerté qu'une ancienne signature à été supprimé / modifié, que c'est un gros compte ( Full Member / Plus ), a ce moment la, je pense alerter Theymos et ou un modo Wink

Il t'a dit qu'il était ok pour ça?

Je n'ai pas spécialement parlé de ça avec lui, mais je pense qu'il n'y a pas de soucis ( Ce n'est pas tous les jours qu'il y aura une update / suppression ^^ ).

Bon sinon vérifier à la main que les 500 pages ont été archivées ça me semble infaisable, mais tu as dit qu'il existait une API non? Il faudra que je regarde ça.

Tu parle bien archivés sur des sites tel archive.fo ?
Si oui, oui c'est sur qu'il ne faut pas commencer à vérifier ça manuellement Grin

Pour ces sites, je ne sais pas s'il y a des API, je n'ai pas vraiment fait de recherche à ce sujet Roll Eyes
legendary
Activity: 2590
Merit: 2348
Ok mais c'est à quel moment qu'il faut prévenir Theymos? Dès qu'on voit qu'un message de stack d'adresse ou de quote de stack d'adresse a été modifié ou supprimé? Il t'a dit qu'il était ok pour ça?
Bon sinon vérifier à la main que les 500 pages ont été archivées ça me semble infaisable, mais tu as dit qu'il existait une API non? Il faudra que je regarde ça.
sr. member
Activity: 709
Merit: 335
You need someone to develop your Web project ?
Genial. Par contre si jamais on est alerté qu'est-ce qu'il faut faire? Est-ce que tu sais si toutes les pages ont déjà été archivées sur achive.is, webarchive ou autre?

Humm, disons que c'est a chacun de faire la part des choses je pense ^^

Genre si c'est un message de ce genre qui est modifié / supprimé, ce n'est pas forcement très important.

Maintenant si c'est un message de signature, de quote avec signature par ex, la ça devient important je pense de le dire sur le topic en question par ex, ou même avertir modo / admin ( A chacun après d'adapter j'ai envie de dire Tongue ).

Je pense pas que chaque page est indexé ( Quoi que ), dans tous les cas, le bot enregistre les liens, donc après c'est facile d'utiliser ce lien pour faire une recherche ( Sur les sites d'archives ), ou même en le fournissant à Theymos, il sera en mesure de retrouver le message supprimé / édité Wink

Parce que bon si quelqu'un vient dire qu'un message a été supprimé ou modifié et qu'il sort un fichier local json comme preuve de l'adresse originale, ça ne va pas convaincre grand monde.  Undecided

Comme j'ai dis, il est possible de consulter les messages dans une page web ( Même si en soit ça ne change pas grand chose Roll Eyes ) Wink

Edit : J'ai mis à jour le premier post du coup !
legendary
Activity: 2590
Merit: 2348
Hello à tous !

Petite update du projet Smiley

Aujourd'hui, j'ai plus ou moins terminé le bot public ( Dispo sur Github ).

Si vous l'avez installé, je vous invite donc à effectuer la mise à jour de celui-ci ( A noter que la DB sera reset étant donné la modification structurelle de celle-ci pour les messages ).

J'aimerais rappeler un point important, si vous avez un VPS ou un machine qui tourne H24, n'hésitez pas à l'installer, et partager le lien des messages archivés, ce serait un gros plus pour la sécurité du projet !
Et si vous avez installé le script, pareil, n'hésitez pas à partager le lien, ce serait top Wink

Désormais, le bot détecte aussi les messages supprimés, et vous en alerte si vous le voulez ! Wink

J'en ai profité pour détailler un peu plus le README du Github, afin que ce soit plus compréhensible ( Si vous avez une question, n'hésitez pas ).

Aussi, cette nuit, je vais m'occuper de mettre à jour le premier post de ce sujet afin d'y fournir toutes les infos manquantes depuis le lancement ^^
Genial. Par contre si jamais on est alerté qu'est-ce qu'il faut faire? Est-ce que tu sais si toutes les pages ont déjà été archivées sur achive.is, webarchive ou autre? Parce que bon si quelqu'un vient dire qu'un message a été supprimé ou modifié et qu'il sort un fichier local json comme preuve de l'adresse originale, ça ne va pas convaincre grand monde.  Undecided
sr. member
Activity: 709
Merit: 335
You need someone to develop your Web project ?
Hello à tous !

Petite update du projet Smiley

Aujourd'hui, j'ai plus ou moins terminé le bot public ( Dispo sur Github ).

Si vous l'avez installé, je vous invite donc à effectuer la mise à jour de celui-ci ( A noter que la DB sera reset étant donné la modification structurelle de celle-ci pour les messages ).

J'aimerais rappeler un point important, si vous avez un VPS ou un machine qui tourne H24, n'hésitez pas à l'installer, et partager le lien des messages archivés, ce serait un gros plus pour la sécurité du projet !
Et si vous avez installé le script, pareil, n'hésitez pas à partager le lien, ce serait top Wink

Désormais, le bot détecte aussi les messages supprimés, et vous en alerte si vous le voulez ! Wink

J'en ai profité pour détailler un peu plus le README du Github, afin que ce soit plus compréhensible ( Si vous avez une question, n'hésitez pas ).

Aussi, cette nuit, je vais m'occuper de mettre à jour le premier post de ce sujet afin d'y fournir toutes les infos manquantes depuis le lancement ^^

sr. member
Activity: 709
Merit: 335
You need someone to develop your Web project ?
Petite rectification, les messages sont bien enregistrés dans un "fichier plat", en effet ils sont tous retrouvables sous le format JSON dans le fichier "db.json" ( Après premier lancement du bot ) Wink

Je ne l'ai pas bien expliqué dans le post, mais le script intègre un "serveur web" ( Sur le port 4269 par défaut ) permettant de consulter tous les messages archivés ( Je ne suis pas super clair sur ça dans le README du Git, faudra que j'améliore ça ^^ ).
legendary
Activity: 2590
Merit: 2348
Salut interessant ton script pour archiver de manière décentralisée les posts du thread mais par contre tu archives ça dans une bdd et non un fichier plat. Quel logiciel permet de consulter la bdd?
sr. member
Activity: 709
Merit: 335
You need someone to develop your Web project ?
Hello à tous,

Un petit point sur le bot s'impose ( Dans ce post, je vais faire référence à des points évoqués sur le sujet FR et EN ) !

J'ai donc eu l'occasion de discuter avec Theymos sur la sécurité du bot.
Au final, il ne voit pas l’intérêt d’empêcher le bot de supprimer ses messages.
Dans le sens, ou, il y a déjà des personnes qui s'occuper d'archiver les posts.
En plus de ça, si besoin, il est capable de restaurer un message supprimé jusqu'à deux ans en arrière.

Donc partant de la, il faut savoir que désormais, j'archives tous les messages du sujet en question.
Cet archive est retrouvable facilement ici : https://signatures.bitcointalk.luc-mergault.fr/
En plus de servir d'archive, ce site permet donc d’effectuer une recherche très basique parmi tous les messages enregistrés sur le sujet.

Histoire d'assurer un peu plus la fiabilité du bot et plus globalement de tous les messages du sujet, je propose désormais un petit script très simple, qui permet à celui qui souhaite l'utiliser d'être alerté par mail en cas de supression / éditon du sujet ou sont postés les adresses.
Ce script permet donc à n'importe qui d'aider à garantir la fiabilité des messages de ce sujet ( L'idée étant que si vous recevez une alerte, il est de bon sens d'en alerter le forum ).

A noter que la détection des messages supprimé n'est pas encore en place sur le script.

En plus de servir comme script d'alerte, il permet aussi d'archiver tout les messages, et si vous le souhaitez rendre cet archive public ! Wink

Pour ceux qui souhaitent l'installer ( Très simple ) : https://github.com/luluwebmaster/bitcointalk-auto-verify-signatures-archive-and-alert
Si vous installez le script, n'hésitez pas à fournir le lien permettant de consulter les messages archivés, je me ferais un plaisir de le répertorier dans le premier post !

D'ailleurs j'en ai profité pour l'installer sur la machine de Cryptos-Currencies.Com :
- https://signatures.bitcointalk.cryptos-currencies.com/

A noter que ce script n'est pas figé, et des améliorations doivent encore êtres effectuées ( Notamment sur chargement des messages archivés ).

Il est désormais possible de ne pas faire vérifier ses messages par le bot, simplement en ajoutant "no-bot" quelque par dans votre post.

En plus de ça, le bot prend en charge les adresses Bech32 en utilisant cette méthode :
- https://bitcointalksearch.org/topic/how-to-verify-segwit-signature-with-brainwallet-5198585

Les adresses P2SH elles, ne le sont pas encore, mais le bot les détectes.
Il s'occupe de citer et archiver les messages contenant des messages signé a partir de ce type d'adresse.

Voilà pour ce "petit" point !

Si vous avez d'autres propositions, n'hésitez pas !
sr. member
Activity: 709
Merit: 335
You need someone to develop your Web project ?
@lulucrypto

Comme déjà indiqué sur le thread de staking, le lien archive n'est pas fonctionnel.

Le message est complètement inutile, ainsi que le screen, en l'absence de ce lien.

Belle réalisation sinon.

Oui, merci pour la précision, je n'ai pas encore su la raison exact de pourquoi il n'y avait pas le lien, mais si ça vient à recommencer, je pourrais cette fois-ci la connaitre Wink

Je ne sais pas si c'est la raison du plantage de l'archive, mais pour archiver souvent https://archive.is/ ou https://archive.fo/ rame/plante quand même assez souvent, il faut parfois s'y reprendre plusieurs fois.
Est-ce qu'il y a une autre alternative valable ?

C'est une idée, il faudrait que l'erreur se reproduise afin que je puisse confirmer ça Wink
staff
Activity: 2366
Merit: 2013
I find your lack of faith in Bitcoin disturbing.
le lien archive n'est pas fonctionnel.

Je ne sais pas si c'est la raison du plantage de l'archive, mais pour archiver souvent https://archive.is/ ou https://archive.fo/ rame/plante quand même assez souvent, il faut parfois s'y reprendre plusieurs fois.
Est-ce qu'il y a une autre alternative valable ?
legendary
Activity: 1484
Merit: 1489
I forgot more than you will ever know.
@lulucrypto

Comme déjà indiqué sur le thread de staking, le lien archive n'est pas fonctionnel.

Le message est complètement inutile, ainsi que le screen, en l'absence de ce lien.

Belle réalisation sinon.
sr. member
Activity: 1078
Merit: 340
Je vais regarder ça, même si j'avoue que j'aime bien regarder les signatures, je lisais des posts intéressants (des fois )  Roll Eyes
Plus sérieusement merci du partage  Wink
sr. member
Activity: 709
Merit: 335
You need someone to develop your Web project ?
En tous cas t'as intérêt à faire gaffe à tous les mails et messages que tu reçois dorénavant car tu vas vite devenir une cible de choix lorsque ton bot aura archivé plusieurs dizaines d'adresses. Il suffira aux hackers de supprimer les messages de ton bot ou de les corrompre en les éditant pour que des dizaines de comptes se retrouvent sans preuve de possession d'adresse fiable.

Oui c'est pour ça que je suis entrain de voir avec Theymos s'il est possible de changer un peu les perm's du compte justement.

A suivre Wink
legendary
Activity: 2590
Merit: 2348
Hum, disons au cas ou le site ne fonctionne plus quoi Tongue
Après oui c'est loin d'être d'une grande utilité ( Déjà le cas pour le post ) ^^
En tous cas t'as intérêt à faire gaffe à tous les mails et messages que tu reçois dorénavant car tu vas vite devenir une cible de choix lorsque ton bot aura archivé plusieurs dizaines d'adresses. Il suffira aux hackers de supprimer les messages de ton bot ou de les corrompre en les éditant pour que des dizaines de comptes se retrouvent sans preuve de possession d'adresse fiable.
legendary
Activity: 1484
Merit: 1489
I forgot more than you will ever know.
Hum, disons au cas ou le site ne fonctionne plus quoi Tongue

Parce que tu crois qu'on fait confiance a l'ancienne signature de toutes façons ? -> non. On revérifie a chaque fois
sr. member
Activity: 709
Merit: 335
You need someone to develop your Web project ?
Hum, disons au cas ou le site ne fonctionne plus quoi Tongue
Après oui c'est loin d'être d'une grande utilité ( Déjà le cas pour le post ) ^^
legendary
Activity: 1484
Merit: 1489
I forgot more than you will ever know.
D'ailleurs c'est vrais que je n'y avais pas pensé, je vais voir pour faire une archive du lien Brainwallet en plus de tout ça ^^

Inutile. Toutes les infos sont dans le lien.

C'est une archive du post qu'il faut faire.
Pages:
Jump to: