Mas ele não precisa olhar todos os milhões de posts. O scraper só verifica o post em alguns casos específicos, como quando o post é criado e 5 minutos logo depois (para verificar um possível edit). Como eu fiz com que ele respeitasse o limite de 1 request/segundo do fórum, ia ser literalmente impossível ficar acompanhando tudo.
Quer dizer então que se eu fizer uma edição após esses 5 minutos você não vai me flagrar? bom saber
Hum... legal, eu não sabia disso. Além de entregar um ferramenta super bacana tu ainda abre o código da mágica, tu é o cara.
E btw, o fórum tem mais de 47kk de posts (que também podem ser vistos no archive), e não 5kk.
Sim, eu olhei o número de tópicos, agora que percebi.
Na verdade eu tentei buscar essa info parando por cima de um tópico recente.
Esse seu post por exemplo tem a seguinte url:
https://bitcointalk.org/index.php?topic=5247023.msg58593765#msg58593765
O número no final é o ID da postagem, que creio ser único e incremental. Porém não representa o número real de posts porque muitos aí no meio que já foram excluídos.