Author

Topic: [SHARE] Sumber Data Forum Bitcointalk (Read 522 times)

legendary
Activity: 2450
Merit: 1140
duelbits.com
February 18, 2021, 06:15:38 PM
#20
Daripada scraping sendiri (butuh skill dan resource), mending agan PM LoyceV saja. Dia bisa bikin cepat karena sudah punya databasenya.
Betul. Mending kontak langsung LoyceV, DdmrDdmr, atau tranthidung. Mereka jelas sudah punya database nya. Scraping perlu keahlian khusus dan butuh waktu. Kalau tujuannya hanya untuk mencari bahan thread tentang keaktifan member-member SFI, kontak yang sudah punya data jadi saja. Toh jauh lebih efektif dan hemat juga dari segi waktu.

Udah dapat om, kayanya sih cocok datanya menurut saya... Wait and see ajalah untuk thread keaktifan member board indo.
Cool. Semoga data nya sesuai dengan judul threadnya gan. Ditunggu launching threadnya.  Wink
hero member
Activity: 1694
Merit: 787
February 18, 2021, 10:25:53 AM
#19
Sudah saya buka data yang kiranya ada keterkaitan dengan apa yang mau saya buat, tapi memang belum bisa juga om, apa LoyceV ga bisa ya cari data postingan Board Local :v
Beberapa waktu lalu saya lihat agan @skarais pernah re-post tentang data-data semisal: Aktivitas Posting Lokal Board Selama Januari 2021, Daftar Pengguna Paling aktif di Lokal Board Sepanjang Januari 2021 (https://bitcointalksearch.org/topic/m.56276013).

Di sana saya lihat data per-local board dicantumkan secara umum, kalau agan mau lebih spesifik lagi khusus ke Board Indonesia, mungkin bisa mengambil data awalnya dari sana (data sumbernya dari @DdmrDdmr).
Ok om, tar aku chat dulu DdmrDdmr
legendary
Activity: 2296
Merit: 2892
#SWGT CERTIK Audited
February 18, 2021, 09:55:06 AM
#18
Sudah saya buka data yang kiranya ada keterkaitan dengan apa yang mau saya buat, tapi memang belum bisa juga om, apa LoyceV ga bisa ya cari data postingan Board Local :v
Beberapa waktu lalu saya lihat agan @skarais pernah re-post tentang data-data semisal: Aktivitas Posting Lokal Board Selama Januari 2021, Daftar Pengguna Paling aktif di Lokal Board Sepanjang Januari 2021 (https://bitcointalksearch.org/topic/m.56276013).

Di sana saya lihat data per-local board dicantumkan secara umum, kalau agan mau lebih spesifik lagi khusus ke Board Indonesia, mungkin bisa mengambil data awalnya dari sana (data sumbernya dari @DdmrDdmr).
hero member
Activity: 1694
Merit: 787
February 18, 2021, 08:19:45 AM
#17
Daripada scraping sendiri (butuh skill dan resource), mending agan PM LoyceV saja. Dia bisa bikin cepat karena sudah punya databasenya.
Kecuali kalau agan memang tertarik di dunia per-scraping-an, okelah scrape sendiri.

PS: ini kerjaan yang gak gampang (dan gak murah) klo agan newbie.

Sudah saya buka data yang kiranya ada keterkaitan dengan apa yang mau saya buat, tapi memang belum bisa juga om, apa LoyceV ga bisa ya cari data postingan Board Local :v
copper member
Activity: 2324
Merit: 2142
Slots Enthusiast & Expert
February 18, 2021, 07:24:37 AM
#16
Daripada scraping sendiri (butuh skill dan resource), mending agan PM LoyceV saja. Dia bisa bikin cepat karena sudah punya databasenya.
Kecuali kalau agan memang tertarik di dunia per-scraping-an, okelah scrape sendiri.

PS: ini kerjaan yang gak gampang (dan gak murah) klo agan newbie.
hero member
Activity: 1694
Merit: 787
February 18, 2021, 02:53:31 AM
#15
Melihat topik ini, saya pribadi ingin buat versi Indonya... tapi bukan merit.

Tentang keaktifan orang-orang di Board indo dalam artiannya menanggapi postingan-postingan (bukan hanya sekedar silent reader).

Ada yang bisa nge-provide bagaimana cara mendapatkan datanya kah om?
Dengan Scrab Data website forum Bitcointalk, semisal menggunakan Octoparse, Scrapy (Python);
Beberapa Web Scraping Tool lainnya: https://www.scrapehero.com/top-free-and-paid-web-scraping-tools-and-software/

Atau kalau mau, coba hubungi LoyceV atau DdmrDdmr untuk izin menggunakan data-nya.
Udah dapat om, kayanya sih cocok datanya menurut saya... Wait and see ajalah untuk thread keaktifan member board indo.
legendary
Activity: 2296
Merit: 2892
#SWGT CERTIK Audited
February 18, 2021, 12:42:39 AM
#14
Melihat topik ini, saya pribadi ingin buat versi Indonya... tapi bukan merit.

Tentang keaktifan orang-orang di Board indo dalam artiannya menanggapi postingan-postingan (bukan hanya sekedar silent reader).

Ada yang bisa nge-provide bagaimana cara mendapatkan datanya kah om?
Dengan Scrab Data website forum Bitcointalk, semisal menggunakan Octoparse, Scrapy (Python);
Beberapa Web Scraping Tool lainnya: https://www.scrapehero.com/top-free-and-paid-web-scraping-tools-and-software/

Atau kalau mau, coba hubungi LoyceV atau DdmrDdmr untuk izin menggunakan data-nya.
hero member
Activity: 1694
Merit: 787
February 17, 2021, 08:01:16 AM
#13
Melihat topik ini, saya pribadi ingin buat versi Indonya... tapi bukan merit.

Tentang keaktifan orang-orang di Board indo dalam artiannya menanggapi postingan-postingan (bukan hanya sekedar silent reader).

Ada yang bisa nge-provide bagaimana cara mendapatkan datanya kah om?
legendary
Activity: 2366
Merit: 2054
March 24, 2020, 07:00:51 PM
#12
Ada yang baru dan tergolong cepat untuk melihat aktiftas merit yang dikirim dan diterima menggunakan Merit API yang dibuat oleh @PrimeNumber7

https://bitcointalk-merit-api.herokuapp.com/
  • /api/v0.1/number_received/[uid]
  • /api/v0.1/received_recent/
  • /api/v0.1/number_sent/[uid]
  • /api/v0.1/between/[uid_from]/[uid_to]
  • /api/v0.1/received/[uid]
  • /api/v0.1/sent/[uid]

Klik link ini: https:// bitcointalk-merit-api.herokuapp.com/api/v0.1/number_received/[uid] (untuk melihat index merit yang diterima)[/li][/list]
contoh: https://bitcointalk-merit-api.herokuapp.com/api/v0.1/number_received/938833
Code:
[{"Total Received Merit":654,"uid":938833}]

Klik link ini: https:// bitcointalk-merit-api.herokuapp.com/api/v0.1/received_recent/[uid] (untuk melihat index merit yang diterima)
contoh: https://bitcointalk-merit-api.herokuapp.com/api/v0.1/received_recent/938833
Code:
[{"Recent_Received_Merit":482,"uid":938833}]

Klik link ini: https:// bitcointalk-merit-api.herokuapp.com/api/v0.1/received/[uid] (untuk melihat index merit yang diterima)
contoh: https://bitcointalk-merit-api.herokuapp.com/api/v0.1/received/938833
Code:
[{"Sent_to":938833,"Total_Received_Merit":654,"Transactions":[{"Day_of_Week":"Wednesday","Month":"March","Post":"5197078.msg52922347","Sent_from":1170966,"number_of_merit":1,"time":"2020-03-18 13:36:26"},

Dan seterusnya...

legendary
Activity: 2450
Merit: 1140
duelbits.com
March 17, 2020, 09:30:05 PM
#11
Update / baru ditambahkan pada thread OP.

_____________________________________________________________________________________________________________
PenulisLinkDeskripsiThread ANNStatus
_____________________________________________________________________________________________________________
LoyceVLinkPostingan yang tidak diedit/dihapus (per post/ user/ topik)LinkAktif
_____________________________________________________________________________________________________________
hero member
Activity: 1456
Merit: 567
January 15, 2020, 03:14:58 AM
#10
Banyak faktornya dari segi website ataupun tools yang dipakai. Kalau gak mendukung script atau kode tertentu bisa aja datanya ga kebaca, kalau websitenya sendiri menutupi data yang mau dicari ya kemungkinan ga kescrap.

Kalau mau lebih detail bisa didiskusikan di forum tentang tech atau reddit gan, karena topiknya udah mulai beririsan dengan sub pengetahuan lain.
Wah mohon maaf, saya kurang jelas nulis postingan sebelumnya.
Saya sebelumnya juga bermaksud ingin tahu dalam artian untuk contoh kasus scraping data dari bitcointalk ini, tentang seberapa lengkap data-data tersebut.
Khususnya mungkin agan @roycilik tau seberapa lengkap / akurat hasil scraping dari DdmrDdmr yang pakai octoparse itu, siapatau ada infonya juga.
legendary
Activity: 2170
Merit: 1789
January 14, 2020, 11:59:04 PM
#9
Kalau scrap data ini tingkat akurasi nya seberapa tinggi ya gan? Apakah pasti akan 100% tertangkap semua datanya? Atau akan selalu ada kemungkinan ada data yang terlewat?

Banyak faktornya dari segi website ataupun tools yang dipakai. Kalau gak mendukung script atau kode tertentu bisa aja datanya ga kebaca, kalau websitenya sendiri menutupi data yang mau dicari ya kemungkinan ga kescrap.

Kalau mau lebih detail bisa didiskusikan di forum tentang tech atau reddit gan, karena topiknya udah mulai beririsan dengan sub pengetahuan lain.
hero member
Activity: 1456
Merit: 567
January 14, 2020, 08:24:22 PM
#8
-snip-

Kalau scrap data ini tingkat akurasi nya seberapa tinggi ya gan? Apakah pasti akan 100% tertangkap semua datanya? Atau akan selalu ada kemungkinan ada data yang terlewat?
legendary
Activity: 2618
Merit: 1990
1% Skill 99% Luck :v
January 14, 2020, 05:53:26 PM
#7
untuk melakukan scrap data mereka juga menggunakan VPS, karena untuk scrap data kisaran 40k profile saja membutuhkan waktu 12 jam Cheesy
Scraping banned dan nuked user sepertinya, soalnya data mentah dari theymos gak ada.
Saya pernah PM menanyakan langasung kepada DdmrDdmr:
legendary
Activity: 2744
Merit: 1878
Rollbit.com | #1 Solana Casino
January 14, 2020, 12:41:23 AM
#6
-snip- karena untuk scrap data kisaran 40k profile saja membutuhkan waktu 12 jam Cheesy
iya gak kebanyang sih om, hanya melakukan scrap data untuk 40k profile saja membutuhkan 12 jam, bagaimana jika seluruh profile yang mencapai 2jt profile yang ada di bitcointlak di scarp smua. bisa berhari-hari.
kita cuman terima jadinya aja dari LoyceV, tinggal di analisa, dikelola dan di presentasikan.

-snip- untuk melakukan scrap data si DdmrDdmr menggunakan Octoparse
Ane masih awam tentang teknik scrap data , ternyata bisa di aplikasi pada website apapun.
Octoparse kalo gak salah tool Web scrapping untuk melakukan scrap data dengan mudah dan lebih efisien.
legendary
Activity: 2366
Merit: 2054
January 13, 2020, 07:06:36 PM
#5
Mungkin di antara kita masih banyak yang belum tau mengenai dari mana saja data yang diperoleh oleh beberapa orang yang membuat informasi statistik terkait forum Bitcointalk. Jika teman-teman pernah melihat postingan LoyceV, DdmrDdmr atau tranthidung contohnya,
Ini sudah masuk dalam ilmu statistika.
ane juga belum paham bagaimana cara pengumpulan data yang benar, tapi sumber data ini bisa menjadi acuan utama untuk sebuah analisa.

Sumber data dari 1 orang yaitu theymos:

merit data

jadi, thread populer seperti:

1. Bitcointalk Merit Dashboard
2. Announcing BPIP - The Bitcointalk Public Information Project!
3. LoyceV's Merit data analysis (full data since Jan. 24, 2018; not just 120 days)

Baru ada setelah theymos dump merit data tersebut.

contoh merit data dari theymos

Code:
1577414383 1 5114925.msg50734306 337097 1282057
1577414026 1 178336.msg53446597 1027694 479624

ada unix time, merit, post yang dimerit, UID user pemberi dan penerima. saya kira data segitu cukup lengkap, dikolaborasikan unix time dan post maka didapat kapan, di board mana user transaksi merit.


Modlog dipake buat scraping data user yang dibanned dan dinuked.

Updates
I'll update the lists daily, using data from modlog.

https://bitcointalk.org/modlog.php?all



untuk melakukan scrap data mereka juga menggunakan VPS, karena untuk scrap data kisaran 40k profile saja membutuhkan waktu 12 jam Cheesy
Scraping banned dan nuked user sepertinya, soalnya data mentah dari theymos gak ada.
legendary
Activity: 2618
Merit: 1990
1% Skill 99% Luck :v
January 13, 2020, 04:59:41 PM
#4
ane juga belum paham bagaimana cara pengumpulan data yang benar, tapi sumber data ini bisa menjadi acuan utama untuk sebuah analisa.
Jika mengetahui detail prosesnya, saya yakin sampean akan mengurungkan niat untuk melakukan scrap data Grin
untuk melakukan scrap data mereka juga menggunakan VPS, karena untuk scrap data kisaran 40k profile saja membutuhkan waktu 12 jam Cheesy

Loycev dan tranthidung adalah member yang selalu membuat thread dengan analisa berupa data-data valid tentang perolehan merit, data tentang member bitcointalk dan lainnya.
Informasi yang saya dapat tranthidung itu hanya ambil data dari Loycev, yang memiliki DB itu sebenarnya si Loycev,
kalau DdmrDdmr dia sama seperti Loycev, melakukan scrap data dan menyimpan di DB, untuk melakukan scrap data si DdmrDdmr menggunakan Octoparse
legendary
Activity: 2744
Merit: 1878
Rollbit.com | #1 Solana Casino
January 13, 2020, 12:22:00 PM
#3
Ini sudah masuk dalam ilmu statistika.
ane juga belum paham bagaimana cara pengumpulan data yang benar, tapi sumber data ini bisa menjadi acuan utama untuk sebuah analisa.
Loycev dan tranthidung adalah member yang selalu membuat thread dengan analisa berupa data-data valid tentang perolehan merit, data tentang member bitcointalk dan lainnya.
bahkan kemarin saat kontes 10th anniversary bitcoitalk, tranthidung memberikan data tentang perolehan merit untuk setiap anggota yang masuk dalam  100 besar perolehan merit terbanyak, analisa yang di lakukan juga sangat detail.

legendary
Activity: 2450
Merit: 1140
duelbits.com
January 13, 2020, 05:43:37 AM
#2
Catatan:
>Thread OP merupakan hasil proses translasi + penyesuaian bahasa dari thread aslinya (global).
>Tujuan utama adalah untuk berbagi informasi dengan member Indonesia.
>Berkomentarlah dengan bijak dan santun. Mari kita jaga budaya Indonesia. 
>Saya lupa set "self-moderate", harap jangan spam atau OOT ya.  Cheesy
legendary
Activity: 2450
Merit: 1140
duelbits.com
January 13, 2020, 05:42:55 AM
#1
Sumber Data Forum Bitcointalk


Mungkin di antara kita masih banyak yang belum tau mengenai dari mana saja data yang diperoleh oleh beberapa orang yang membuat informasi statistik terkait forum Bitcointalk. Jika teman-teman pernah melihat postingan LoyceV, DdmrDdmr atau tranthidung contohnya, mereka memposting tentang statistik distribusi merit atau statistik member-member yang berhasil rank up saat ini. Nah, berikut adalah daftar dari beberapa sumber data yang bisa ditemukan pada forum Bitcointalk.

_____________________________________________________________________________________________________________
PenulisLinkDeskripsiThread ANNStatus
_____________________________________________________________________________________________________________
ForumLinkPusat statistikn/aSebagian tidak aktif
ForumLinkPusat statistik Meritn/aAktif
ForumLinkPusat statistik periklanann/aAktif
ForumLinkKumpulan data Merit mingguann/aAktif
ForumLinkKumpulan data Trustn/aAktif
ForumLinkKumpulan data Tambahan (theymos)LinkPerlu pengamatan
_____________________________________________________________________________________________________________
LoyceVLinkNama-nama user (keseluruhan - file besar)LinkAktif
LoyceVLinkUser Autobanned*LinkAktif
LoyceVLinkUser Nuked**LinkAktif
LoyceVLinkNama-nama user yang diban*LinkAktif
LoyceVLinkUser Autobanned & NukedLinkAktif
LoyceVLinkUser aktif & poster terbaik (1 jam)LinkAktif
LoyceVLinkUser aktif & poster terbaik (24 jam)LinkAktif
LoyceVLinkUser aktif & poster terbaik (7 hari)LinkAktif
LoyceVLinkTopik aktif (1 jam)LinkAktif
LoyceVLinkTopik aktif (24 jam)LinkAktif
LoyceVLinkTopik aktif (7 hari)LinkAktif
LoyceVLinkPemantau Trust FlagLinkAktif
LoyceVLinkData mentah theymos (dibuat oleh LoyceV)LinkAktif
LoyceVLinkData theymos (termasuk nama user dan judul post)LinkAktif
LoyceVLinkMerit yang diperoleh: nama userLinkAktif
LoyceVLinkID User, Merit terkirim dan Merit yang diperolehLinkAktif
LoyceVLinkPostingan yang tidak diedit / dihapus (per post/ user/ topik)LinkAktif
LoyceVLinkUntuk data lebih lanjut di loyce.clubn/aAktif
LoyceVLinkData berguna LoyceV pada BitcointalkLinkAktif
_____________________________________________________________________________________________________________
DdmrDdmrLinkDasbor MeritLinkAktif
Vod dan tim BPIPLinkBPIP (situs utama penyedia data forum)yang dulu; yang sekarangSedang diperbaiki
hatshepsut93LinkUntuk alat statistik Merit berdasarkan APIn/aBaru saja diperbaiki
tranthidungLinkThread statistik tranthidung di bitcointalkLinkAktif
1miauLinkDaftar statistik Bitcointalk *LinkAktif
tvplus006LinkJumlah total profil/ diarsipkan / tidak aktif / diban, dll.LinkAktif
tranthidungLinkPerkiraan statistik bulanan untuk akun yang terdaftarLinkAktif
ptrkLinkKumpulan data Merit yang dapat dibaca untuk evaluasi pribadiLinkAktif
_____________________________________________________________________________________________________________

*User yang diban otomatis
**User diremove permanen

*: List terkait statistik forum tersebut mengandung banyak thread.
*: Menunggu konfirmasi dari LoyceV apakah daftar ini ditujukan untuk "autobanned & nuked user" atau hanya untuk "autobanned user" saja.


1. Sumber: https://bitcointalksearch.org/topic/unofficial-pages-that-store-forum-data-5214233
2. Izin translate + pembuatan thread versi Indonesia via PM.


Special thanks untuk bro @tranthidung atas informasi penting ini + izin yang diberikan.
Jump to: