Pages:
Author

Topic: Парсинг форума (Read 1021 times)

sr. member
Activity: 624
Merit: 260
November 27, 2019, 11:28:46 PM
#45
У одного легендарного ака с англ ветки видел в подписи разработанное неофициальное API форума с помощью которого можно получить различную инфу ники, айдшники, подпись да и вообще всю полную инфу по профилю единсвтенное, что написано оно на С# было поэтому не знаю на сколько будет удобно с ним работать
Наверное вы про это: https://bitcointalksearch.org/topic/unofficial-bitcoin-talk-forums-api-154131
Очень оно старое. Точно не помню что там у меня было, но мне оно не подошло, пришлось писать свое приложение. Я делала парсинг последних созданных тем в разных ветках, в первую очередь для ветки Альткоины, что бы не пропустить новую монету для майнинга. А то там каждый день по 15-20 новых тем(иной раз и больше) создавалось и их быстро "угоняли" на следующие страницы, где они терялись и всплывали лишь тогда, когда монету уже поздно было майнить )
full member
Activity: 1246
Merit: 138
Hodl DeepOnion
November 26, 2019, 10:28:36 AM
#44
У одного легендарного ака с англ ветки видел в подписи разработанное неофициальное API форума с помощью которого можно получить различную инфу ники, айдшники, подпись да и вообще всю полную инфу по профилю единсвтенное, что написано оно на С# было поэтому не знаю на сколько будет удобно с ним работать
А чем С# неудобен  Huh Если только не консольное приложение - тогда просто неудобно.
А так просто парсятся страницы на любом языке программирования. Ничего сложного.
sr. member
Activity: 378
Merit: 252
November 26, 2019, 01:25:51 AM
#43
У одного легендарного ака с англ ветки видел в подписи разработанное неофициальное API форума с помощью которого можно получить различную инфу ники, айдшники, подпись да и вообще всю полную инфу по профилю единсвтенное, что написано оно на С# было поэтому не знаю на сколько будет удобно с ним работать
sr. member
Activity: 624
Merit: 260
November 25, 2019, 10:29:13 AM
#42
Может кому-нибудь нужно приложение парсинга сайта или сайтов - обращайтесь. Готова написать за небольшую сумму, ибо только получаю навыки и опыт в программировании.
Пишу на Джаве.
Также пишу несложные приложения на Андроид.
legendary
Activity: 2221
Merit: 1122
Altcoinlog
September 18, 2019, 02:58:51 AM
#41
С парсерами и постерами вы ошиблись форумом, юзайте более профильный форум с готовыми решениями https://zennolab.com

За "зенку" надо платить,... Есть бесплатный софт с таким же функционалом, называется BrowserAutomationStudio. Вот их форум: https://community.bablosoft.com/category/7/browserautomationstudio

jr. member
Activity: 71
Merit: 3
September 16, 2019, 11:22:33 PM
#40
С парсерами и постерами вы ошиблись форумом, юзайте более профильный форум с готовыми решениями https://zennolab.com
sr. member
Activity: 377
Merit: 282
Finis coronat opus
September 16, 2019, 02:54:23 PM
#39
..... проблема в том, что через мейл нужно и страницу с мылом держать открытой, обновлять ее постоянно,....

И эта задачка тоже легко решается,... Существует много расширений для браузеров, которые мониторят почту.  Я, к примеру, пользуюсь "Checker Plus for Gmail", но есть и другие...


Расширениям не очень доверяю, кто его знает что туда записали девы. Проще написать свой небольшой скрипт, загрузить на свой сервер и быть спокойным.
legendary
Activity: 2221
Merit: 1122
Altcoinlog
August 05, 2019, 03:10:40 AM
#38
..... проблема в том, что через мейл нужно и страницу с мылом держать открытой, обновлять ее постоянно,....

И эта задачка тоже легко решается,... Существует много расширений для браузеров, которые мониторят почту.  Я, к примеру, пользуюсь "Checker Plus for Gmail", но есть и другие...
sr. member
Activity: 377
Merit: 282
Finis coronat opus
July 31, 2019, 02:04:02 AM
#37
Делать парсер новых тем на БТТ нет необходимости. Достаточно оформить подписку и сообщения о новых темах будут автоматом отправляться на вашу почту.
В правом вернем углу есть строчка команд " new topic  |  post new poll  |  mark read  |  notify " Достаточно нажать на " notify " и Вы в курсе всех новых тем.

Благодарю за помощь, но проблема в том, что через мейл нужно и страницу с мылом держать открытой, обновлять ее постоянно, да и телефона хорошего для оповещения тогда не имел. А бот раз два, и прислал уведомление на компьютер. И быстродействие у него повыше, я ведь пробовал и ваш вариант.
legendary
Activity: 2221
Merit: 1122
Altcoinlog
July 26, 2019, 01:58:15 PM
#36
....

Я давно еще писал парсер новых тем, по баунти. Я писал на Шарпе, проблем не возникало. Серверную часть делал на Питоне.

Форум довольно простой, думаю любой язык подойдет.

Делать парсер новых тем на БТТ нет необходимости. Достаточно оформить подписку и сообщения о новых темах будут автоматом отправляться на вашу почту.
В правом вернем углу есть строчка команд " new topic  |  post new poll  |  mark read  |  notify " Достаточно нажать на " notify " и Вы в курсе всех новых тем.
sr. member
Activity: 377
Merit: 282
Finis coronat opus
July 26, 2019, 07:15:03 AM
#35
Может у кого есть опыт парсинга подобно этому форуму,  ибо сам форум далеко не совершенен для отслеживания нужной информации. Какой язык программирования можете порекомендовать для этих целей? Понятно дело что практически любой язык может это делать, но делать это быстро и удобно не всякий.

Я давно еще писал парсер новых тем, по баунти. Я писал на Шарпе, проблем не возникало. Серверную часть делал на Питоне.

Форум довольно простой, думаю любой язык подойдет.
newbie
Activity: 1
Merit: 0
July 24, 2019, 06:29:00 PM
#34
Если нужно по мелочи сделать - сделаю. Опыт в парсинге огромен.

Ищем народ на парсинг различных источников, оплата сдельная, либо возможно постоянная.
[email protected]
member
Activity: 278
Merit: 15
August 07, 2018, 08:02:20 AM
#33
Что он сделает? Пиши свои идеи.

Давно хочу приложение на мобайл с форумом. Адаптивное. Например. Или отслеживание постов, набирающих тренд. 
member
Activity: 980
Merit: 48
August 07, 2018, 12:57:04 AM
#32
Чувак, если ты это сделаешь, то дай знать. Я тоже такой хочу - есть парочка идей.

Что он сделает? Пиши свои идеи.
member
Activity: 278
Merit: 15
August 06, 2018, 08:20:33 AM
#31
У меня для поверхностного изучения языка, чтобы уже начать писать что-то полезное, обычно уходит около месяца. Лучше подучу язык, сам напишу, тем более что возможно придется что-то постоянно дописывать, плюс получу полезный навык.

Чувак, если ты это сделаешь, то дай знать. Я тоже такой хочу - есть парочка идей.
member
Activity: 980
Merit: 48
July 11, 2018, 06:51:49 AM
#30
Тоже через пыху парсил. Работаю в конторе, которая парсит с ~6000 сайтов интернет-магазинов товары для последующей выгрузки в соц сети типа вк, ок и в файлы эксель, цсв
а зачем чужие товары с чужих магазинов выкладывать в свой ВК ?

В линках на товар, если есть рефки, разница между диллером и тобой идет тебе в карман.
И порой чистая прибыль может составлять миллионы рублей за месяц.
sr. member
Activity: 613
Merit: 256
July 09, 2018, 09:57:35 AM
#29
Всем спасибо за советы. В итоге написал парсер на VBA Excel, неделя на изучение, 3 недели на написание кода. Самый большой плюс VBA Excel это не нужно заморачиваться с базами данных, когда нужно что то быстро написать на "коленке" и структурировать информацию, тем более что Excel хорошо знаю, но не был знаком с VBA. Парсинг немного тормознутый, но недавно узнал что есть поддержка selenium. Для более серьезного парсинга, надо будет изучать что то посерьезней.
IMHO, в общем случае более целесообразно парсить и сохранять в базу данных, а не в Excel.
newbie
Activity: 46
Merit: 0
July 09, 2018, 03:25:28 AM
#28
Тоже через пыху парсил. Работаю в конторе, которая парсит с ~6000 сайтов интернет-магазинов товары для последующей выгрузки в соц сети типа вк, ок и в файлы эксель, цсв

а зачем чужие товары с чужих магазинов выкладывать в свой ВК ?
sr. member
Activity: 1316
Merit: 420
KTO EC/\U HUKTO?
June 29, 2018, 01:41:35 PM
#27
Все кто тебе здесь ответил - первый раз слышат слово парсинг и тем более в этом не шарят
да и ты сам не шиша не шаришь раз так вопрос ставишь
Доброго времени суток! А как надо ставить вопрос? И чем плох nodejs с модулем puppetteer? Если Вы в этом разбираетесь может просветите?


Не обращайте внимания это бот-флудер. Его высер подойдет к любой теме с вопросом.
Кстати, можете заработать мерит от модератора если будете искать таких долбоебов и репортить на них.

Чё-то мне нихуа не накидывают мерита. Cool
member
Activity: 107
Merit: 10
June 29, 2018, 12:58:50 PM
#26
Как уже выше ответили парсить можно чем угодно, главное регулярки или удобные фреймворки.
Node.js мне например нравится тем, что он асинхронен. Парсить в несколько потоков как по мне удобнее указывая concurrency у промисов нежели руками создавать потоки в синхронных языках.
Pages:
Jump to: