[SHARE] Sumber Data Forum Bitcointalk

kawetsriyanto

legendary

Activity: 2198

Merit: 1086

Free Bitcoins Every Hour!

Quote from: mu_enrico on February 18, 2021, 08:24:37 AM

Daripada scraping sendiri (butuh skill dan resource), mending agan PM LoyceV saja. Dia bisa bikin cepat karena sudah punya databasenya.

Betul. Mending kontak langsung LoyceV, DdmrDdmr, atau tranthidung. Mereka jelas sudah punya database nya. Scraping perlu keahlian khusus dan butuh waktu. Kalau tujuannya hanya untuk mencari bahan thread tentang keaktifan member-member SFI, kontak yang sudah punya data jadi saja. Toh jauh lebih efektif dan hemat juga dari segi waktu.

Quote from: MAAManda on February 18, 2021, 03:53:31 AM

Udah dapat om, kayanya sih cocok datanya menurut saya... Wait and see ajalah untuk thread keaktifan member board indo.

Cool. Semoga data nya sesuai dengan judul threadnya gan. Ditunggu launching threadnya. Wink

MAAManda

hero member

Activity: 1484

Merit: 706

Quote from: Husna QA on February 18, 2021, 10:55:06 AM

Quote from: MAAManda on February 18, 2021, 09:19:45 AM

Sudah saya buka data yang kiranya ada keterkaitan dengan apa yang mau saya buat, tapi memang belum bisa juga om, apa LoyceV ga bisa ya cari data postingan Board Local :v

Beberapa waktu lalu saya lihat agan @skarais pernah re-post tentang data-data semisal: Aktivitas Posting Lokal Board Selama Januari 2021, Daftar Pengguna Paling aktif di Lokal Board Sepanjang Januari 2021 (https://bitcointalksearch.org/topic/m.56276013).

Di sana saya lihat data per-local board dicantumkan secara umum, kalau agan mau lebih spesifik lagi khusus ke Board Indonesia, mungkin bisa mengambil data awalnya dari sana (data sumbernya dari @DdmrDdmr).

Ok om, tar aku chat dulu DdmrDdmr

Husna QA

legendary

Activity: 2254

Merit: 2852

#SWGT CERTIK Audited

Quote from: MAAManda on February 18, 2021, 09:19:45 AM

Sudah saya buka data yang kiranya ada keterkaitan dengan apa yang mau saya buat, tapi memang belum bisa juga om, apa LoyceV ga bisa ya cari data postingan Board Local :v

Beberapa waktu lalu saya lihat agan @skarais pernah re-post tentang data-data semisal: Aktivitas Posting Lokal Board Selama Januari 2021, Daftar Pengguna Paling aktif di Lokal Board Sepanjang Januari 2021 (https://bitcointalksearch.org/topic/m.56276013).

Di sana saya lihat data per-local board dicantumkan secara umum, kalau agan mau lebih spesifik lagi khusus ke Board Indonesia, mungkin bisa mengambil data awalnya dari sana (data sumbernya dari @DdmrDdmr).

MAAManda

hero member

Activity: 1484

Merit: 706

Quote from: mu_enrico on February 18, 2021, 08:24:37 AM

Daripada scraping sendiri (butuh skill dan resource), mending agan PM LoyceV saja. Dia bisa bikin cepat karena sudah punya databasenya.
Kecuali kalau agan memang tertarik di dunia per-scraping-an, okelah scrape sendiri.

PS: ini kerjaan yang gak gampang (dan gak murah) klo agan newbie.

Sudah saya buka data yang kiranya ada keterkaitan dengan apa yang mau saya buat, tapi memang belum bisa juga om, apa LoyceV ga bisa ya cari data postingan Board Local :v

mu_enrico

copper member

Activity: 2310

Merit: 2133

Slots Enthusiast & Expert

Daripada scraping sendiri (butuh skill dan resource), mending agan PM LoyceV saja. Dia bisa bikin cepat karena sudah punya databasenya.
Kecuali kalau agan memang tertarik di dunia per-scraping-an, okelah scrape sendiri.

PS: ini kerjaan yang gak gampang (dan gak murah) klo agan newbie.

MAAManda

hero member

Activity: 1484

Merit: 706

Quote from: Husna QA on February 18, 2021, 01:42:39 AM

Quote from: MAAManda on February 17, 2021, 09:01:16 AM

Melihat topik ini, saya pribadi ingin buat versi Indonya... tapi bukan merit.

Tentang keaktifan orang-orang di Board indo dalam artiannya menanggapi postingan-postingan (bukan hanya sekedar silent reader).

Ada yang bisa nge-provide bagaimana cara mendapatkan datanya kah om?

Dengan Scrab Data website forum Bitcointalk, semisal menggunakan Octoparse, Scrapy (Python);
Beberapa Web Scraping Tool lainnya: https://www.scrapehero.com/top-free-and-paid-web-scraping-tools-and-software/

Atau kalau mau, coba hubungi LoyceV atau DdmrDdmr untuk izin menggunakan data-nya.

Udah dapat om, kayanya sih cocok datanya menurut saya... Wait and see ajalah untuk thread keaktifan member board indo.

Husna QA

legendary

Activity: 2254

Merit: 2852

#SWGT CERTIK Audited

Quote from: MAAManda on February 17, 2021, 09:01:16 AM

Melihat topik ini, saya pribadi ingin buat versi Indonya... tapi bukan merit.

Tentang keaktifan orang-orang di Board indo dalam artiannya menanggapi postingan-postingan (bukan hanya sekedar silent reader).

Ada yang bisa nge-provide bagaimana cara mendapatkan datanya kah om?

Dengan Scrab Data website forum Bitcointalk, semisal menggunakan Octoparse, Scrapy (Python);
Beberapa Web Scraping Tool lainnya: https://www.scrapehero.com/top-free-and-paid-web-scraping-tools-and-software/

Atau kalau mau, coba hubungi LoyceV atau DdmrDdmr untuk izin menggunakan data-nya.

MAAManda

hero member

Activity: 1484

Merit: 706

Melihat topik ini, saya pribadi ingin buat versi Indonya... tapi bukan merit.

Tentang keaktifan orang-orang di Board indo dalam artiannya menanggapi postingan-postingan (bukan hanya sekedar silent reader).

Ada yang bisa nge-provide bagaimana cara mendapatkan datanya kah om?

Chikito

legendary

Activity: 2366

Merit: 2054

Ada yang baru dan tergolong cepat untuk melihat aktiftas merit yang dikirim dan diterima menggunakan Merit API yang dibuat oleh @PrimeNumber7

https://bitcointalk-merit-api.herokuapp.com/

/api/v0.1/number_received/[uid]
/api/v0.1/received_recent/
/api/v0.1/number_sent/[uid]
/api/v0.1/between/[uid_from]/[uid_to]
/api/v0.1/received/[uid]
/api/v0.1/sent/[uid]

Klik link ini: https:// bitcointalk-merit-api.herokuapp.com/api/v0.1/number_received/[uid] (untuk melihat index merit yang diterima)[/li][/list]
contoh: https://bitcointalk-merit-api.herokuapp.com/api/v0.1/number_received/938833

Code:

[{"Total Received Merit":654,"uid":938833}]

Klik link ini: https:// bitcointalk-merit-api.herokuapp.com/api/v0.1/received_recent/[uid] (untuk melihat index merit yang diterima)
contoh: https://bitcointalk-merit-api.herokuapp.com/api/v0.1/received_recent/938833

Code:

[{"Recent_Received_Merit":482,"uid":938833}]

Klik link ini: https:// bitcointalk-merit-api.herokuapp.com/api/v0.1/received/[uid] (untuk melihat index merit yang diterima)
contoh: https://bitcointalk-merit-api.herokuapp.com/api/v0.1/received/938833

Code:

[{"Sent_to":938833,"Total_Received_Merit":654,"Transactions":[{"Day_of_Week":"Wednesday","Month":"March","Post":"5197078.msg52922347","Sent_from":1170966,"number_of_merit":1,"time":"2020-03-18 13:36:26"},

Dan seterusnya...

kawetsriyanto

legendary

Activity: 2198

Merit: 1086

Free Bitcoins Every Hour!

Update / baru ditambahkan pada thread OP.

____________________	______	_____________________________________________	_____________________	_________________
Penulis	Link	Deskripsi	Thread ANN	Status
____________________	______	_____________________________________________	_____________________	_________________
LoyceV	Link	Postingan yang tidak diedit/dihapus (per post/ user/ topik)	Link	Aktif
____________________	______	_____________________________________________	_____________________	_________________

turkandjaydee

hero member

Activity: 1456

Merit: 567

Quote from: joniboini on January 15, 2020, 12:59:04 AM

Banyak faktornya dari segi website ataupun tools yang dipakai. Kalau gak mendukung script atau kode tertentu bisa aja datanya ga kebaca, kalau websitenya sendiri menutupi data yang mau dicari ya kemungkinan ga kescrap.

Kalau mau lebih detail bisa didiskusikan di forum tentang tech atau reddit gan, karena topiknya udah mulai beririsan dengan sub pengetahuan lain.

Wah mohon maaf, saya kurang jelas nulis postingan sebelumnya.
Saya sebelumnya juga bermaksud ingin tahu dalam artian untuk contoh kasus scraping data dari bitcointalk ini, tentang seberapa lengkap data-data tersebut.
Khususnya mungkin agan @roycilik tau seberapa lengkap / akurat hasil scraping dari DdmrDdmr yang pakai octoparse itu, siapatau ada infonya juga.

joniboini

legendary

Activity: 2170

Merit: 1789

Quote from: turkandjaydee on January 14, 2020, 09:24:22 PM

Kalau scrap data ini tingkat akurasi nya seberapa tinggi ya gan? Apakah pasti akan 100% tertangkap semua datanya? Atau akan selalu ada kemungkinan ada data yang terlewat?

Banyak faktornya dari segi website ataupun tools yang dipakai. Kalau gak mendukung script atau kode tertentu bisa aja datanya ga kebaca, kalau websitenya sendiri menutupi data yang mau dicari ya kemungkinan ga kescrap.

Kalau mau lebih detail bisa didiskusikan di forum tentang tech atau reddit gan, karena topiknya udah mulai beririsan dengan sub pengetahuan lain.

turkandjaydee

hero member

Activity: 1456

Merit: 567

Quote from: roycilik on January 14, 2020, 06:53:26 PM

-snip-

Kalau scrap data ini tingkat akurasi nya seberapa tinggi ya gan? Apakah pasti akan 100% tertangkap semua datanya? Atau akan selalu ada kemungkinan ada data yang terlewat?

roycilik

legendary

Activity: 2394

Merit: 1971

1% Skill 99% Luck :v

Quote from: Chikito on January 13, 2020, 08:06:36 PM

Quote from: roycilik on January 13, 2020, 05:59:41 PM

untuk melakukan scrap data mereka juga menggunakan VPS, karena untuk scrap data kisaran 40k profile saja membutuhkan waktu 12 jam Cheesy

Scraping banned dan nuked user sepertinya, soalnya data mentah dari theymos gak ada.

Saya pernah PM menanyakan langasung kepada DdmrDdmr:

taufik123

legendary

Activity: 2464

Merit: 1703

airbet.io

Quote from: roycilik on January 13, 2020, 05:59:41 PM

-snip- karena untuk scrap data kisaran 40k profile saja membutuhkan waktu 12 jam Cheesy

iya gak kebanyang sih om, hanya melakukan scrap data untuk 40k profile saja membutuhkan 12 jam, bagaimana jika seluruh profile yang mencapai 2jt profile yang ada di bitcointlak di scarp smua. bisa berhari-hari.
kita cuman terima jadinya aja dari LoyceV, tinggal di analisa, dikelola dan di presentasikan.

Quote from: roycilik on January 13, 2020, 05:59:41 PM

-snip- untuk melakukan scrap data si DdmrDdmr menggunakan Octoparse

Ane masih awam tentang teknik scrap data , ternyata bisa di aplikasi pada website apapun.
Octoparse kalo gak salah tool Web scrapping untuk melakukan scrap data dengan mudah dan lebih efisien.

Chikito

legendary

Activity: 2366

Merit: 2054

Quote from: kawetsriyanto on January 13, 2020, 06:42:55 AM

Mungkin di antara kita masih banyak yang belum tau mengenai dari mana saja data yang diperoleh oleh beberapa orang yang membuat informasi statistik terkait forum Bitcointalk. Jika teman-teman pernah melihat postingan LoyceV, DdmrDdmr atau tranthidung contohnya,

Quote from: taufik123 on January 13, 2020, 01:22:00 PM

Ini sudah masuk dalam ilmu statistika.
ane juga belum paham bagaimana cara pengumpulan data yang benar, tapi sumber data ini bisa menjadi acuan utama untuk sebuah analisa.

Sumber data dari 1 orang yaitu theymos:

merit data

Quote from: theymos on March 01, 2018, 07:07:16 AM

Here you go: https://bitcointalk.org/merit.txt.xz

jadi, thread populer seperti:

1. Bitcointalk Merit Dashboard
2. Announcing BPIP - The Bitcointalk Public Information Project!
3. LoyceV's Merit data analysis (full data since Jan. 24, 2018; not just 120 days)

Baru ada setelah theymos dump merit data tersebut.

contoh merit data dari theymos

Code:

1577414383 1 5114925.msg50734306 337097 1282057
1577414026 1 178336.msg53446597 1027694 479624

ada unix time, merit, post yang dimerit, UID user pemberi dan penerima. saya kira data segitu cukup lengkap, dikolaborasikan unix time dan post maka didapat kapan, di board mana user transaksi merit.

Modlog dipake buat scraping data user yang dibanned dan dinuked.

Quote from: LoyceV on January 04, 2019, 04:03:06 AM

Updates
I'll update the lists daily, using data from modlog.

https://bitcointalk.org/modlog.php?all

Quote from: roycilik on January 13, 2020, 05:59:41 PM

untuk melakukan scrap data mereka juga menggunakan VPS, karena untuk scrap data kisaran 40k profile saja membutuhkan waktu 12 jam Cheesy

Scraping banned dan nuked user sepertinya, soalnya data mentah dari theymos gak ada.

roycilik

legendary

Activity: 2394

Merit: 1971

1% Skill 99% Luck :v

Quote from: taufik123 on January 13, 2020, 01:22:00 PM

ane juga belum paham bagaimana cara pengumpulan data yang benar, tapi sumber data ini bisa menjadi acuan utama untuk sebuah analisa.

Jika mengetahui detail prosesnya, saya yakin sampean akan mengurungkan niat untuk melakukan scrap data Grin

untuk melakukan scrap data mereka juga menggunakan VPS, karena untuk scrap data kisaran 40k profile saja membutuhkan waktu 12 jam Cheesy

Quote from: taufik123 on January 13, 2020, 01:22:00 PM

Loycev dan ~~tranthidung~~ adalah member yang selalu membuat thread dengan analisa berupa data-data valid tentang perolehan merit, data tentang member bitcointalk dan lainnya.

Informasi yang saya dapat tranthidung itu hanya ambil data dari Loycev, yang memiliki DB itu sebenarnya si Loycev,
kalau DdmrDdmr dia sama seperti Loycev, melakukan scrap data dan menyimpan di DB, untuk melakukan scrap data si DdmrDdmr menggunakan Octoparse

taufik123

legendary

Activity: 2464

Merit: 1703

airbet.io

Ini sudah masuk dalam ilmu statistika.
ane juga belum paham bagaimana cara pengumpulan data yang benar, tapi sumber data ini bisa menjadi acuan utama untuk sebuah analisa.
Loycev dan tranthidung adalah member yang selalu membuat thread dengan analisa berupa data-data valid tentang perolehan merit, data tentang member bitcointalk dan lainnya.
bahkan kemarin saat kontes 10th anniversary bitcoitalk, tranthidung memberikan data tentang perolehan merit untuk setiap anggota yang masuk dalam 100 besar perolehan merit terbanyak, analisa yang di lakukan juga sangat detail.

kawetsriyanto

legendary

Activity: 2198

Merit: 1086

Free Bitcoins Every Hour!

Catatan:
>Thread OP merupakan hasil proses translasi + penyesuaian bahasa dari thread aslinya (global).
>Tujuan utama adalah untuk berbagi informasi dengan member Indonesia.
>Berkomentarlah dengan bijak dan santun. Mari kita jaga budaya Indonesia.
>Saya lupa set "self-moderate", harap jangan spam atau OOT ya. Cheesy

kawetsriyanto

legendary

Activity: 2198

Merit: 1086

Free Bitcoins Every Hour!

Sumber Data Forum Bitcointalk

Mungkin di antara kita masih banyak yang belum tau mengenai dari mana saja data yang diperoleh oleh beberapa orang yang membuat informasi statistik terkait forum Bitcointalk. Jika teman-teman pernah melihat postingan LoyceV, DdmrDdmr atau tranthidung contohnya, mereka memposting tentang statistik distribusi merit atau statistik member-member yang berhasil rank up saat ini. Nah, berikut adalah daftar dari beberapa sumber data yang bisa ditemukan pada forum Bitcointalk.

____________________	______	_____________________________________________	_____________________	_________________
Penulis	Link	Deskripsi	Thread ANN	Status
____________________	______	_____________________________________________	_____________________	_________________
Forum	Link	Pusat statistik	n/a	Sebagian tidak aktif
Forum	Link	Pusat statistik Merit	n/a	Aktif
Forum	Link	Pusat statistik periklanan	n/a	Aktif
Forum	Link	Kumpulan data Merit mingguan	n/a	Aktif
Forum	Link	Kumpulan data Trust	n/a	Aktif
Forum	Link	Kumpulan data Tambahan (theymos)	Link	Perlu pengamatan
____________________	______	_____________________________________________	_____________________	_________________
LoyceV	Link	Nama-nama user (keseluruhan - file besar)	Link	Aktif
LoyceV	Link	User Autobanned*	Link	Aktif
LoyceV	Link	User Nuked**	Link	Aktif
LoyceV	Link	Nama-nama user yang diban*	Link	Aktif
LoyceV	Link	User Autobanned & Nuked	Link	Aktif
LoyceV	Link	User aktif & poster terbaik (1 jam)	Link	Aktif
LoyceV	Link	User aktif & poster terbaik (24 jam)	Link	Aktif
LoyceV	Link	User aktif & poster terbaik (7 hari)	Link	Aktif
LoyceV	Link	Topik aktif (1 jam)	Link	Aktif
LoyceV	Link	Topik aktif (24 jam)	Link	Aktif
LoyceV	Link	Topik aktif (7 hari)	Link	Aktif
LoyceV	Link	Pemantau Trust Flag	Link	Aktif
LoyceV	Link	Data mentah theymos (dibuat oleh LoyceV)	Link	Aktif
LoyceV	Link	Data theymos (termasuk nama user dan judul post)	Link	Aktif
LoyceV	Link	Merit yang diperoleh: nama user	Link	Aktif
LoyceV	Link	ID User, Merit terkirim dan Merit yang diperoleh	Link	Aktif
LoyceV	Link	Postingan yang tidak diedit / dihapus (per post/ user/ topik)	Link	Aktif
LoyceV	Link	Untuk data lebih lanjut di loyce.club	n/a	Aktif
LoyceV	Link	Data berguna LoyceV pada Bitcointalk	Link	Aktif
____________________	______	_____________________________________________	_____________________	_________________
DdmrDdmr	Link	Dasbor Merit	Link	Aktif
Vod dan tim BPIP	Link	BPIP (situs utama penyedia data forum)	yang dulu; yang sekarang	Sedang diperbaiki
hatshepsut93	Link	Untuk alat statistik Merit berdasarkan API	n/a	Baru saja diperbaiki
tranthidung	Link	Thread statistik tranthidung di bitcointalk	Link	Aktif
1miau	Link	Daftar statistik Bitcointalk *	Link	Aktif
tvplus006	Link	Jumlah total profil/ diarsipkan / tidak aktif / diban, dll.	Link	Aktif
tranthidung	Link	Perkiraan statistik bulanan untuk akun yang terdaftar	Link	Aktif
ptrk	Link	Kumpulan data Merit yang dapat dibaca untuk evaluasi pribadi	Link	Aktif
____________________	______	_____________________________________________	_____________________	_________________

*User yang diban otomatis
**User diremove permanen

*: List terkait statistik forum tersebut mengandung banyak thread.
*: Menunggu konfirmasi dari LoyceV apakah daftar ini ditujukan untuk "autobanned & nuked user" atau hanya untuk "autobanned user" saja.

1. Sumber: https://bitcointalksearch.org/topic/unofficial-pages-that-store-forum-data-5214233
2. Izin translate + pembuatan thread versi Indonesia via PM.

Special thanks untuk bro @tranthidung atas informasi penting ini + izin yang diberikan.

Topic: [SHARE] Sumber Data Forum Bitcointalk (Read 500 times)