Парсинг форума - page 2.

kzv

legendary

Activity: 1722

Merit: 1285

OpenTrade - Open Source Cryptocurrency Exchange

Quote from: TheMadman1992 on June 27, 2018, 08:10:31 PM

Quote from: Skorpo on June 06, 2018, 12:31:16 PM

Все кто тебе здесь ответил - первый раз слышат слово парсинг и тем более в этом не шарят
да и ты сам не шиша не шаришь раз так вопрос ставишь

Доброго времени суток! А как надо ставить вопрос? И чем плох nodejs с модулем puppetteer? Если Вы в этом разбираетесь может просветите?

Не обращайте внимания это бот-флудер. Его высер подойдет к любой теме с вопросом.
Кстати, можете заработать мерит от модератора если будете искать таких долбоебов и репортить на них.

TheMadman1992

newbie

Activity: 70

Merit: 0

Quote from: Skorpo on June 06, 2018, 12:31:16 PM

Все кто тебе здесь ответил - первый раз слышат слово парсинг и тем более в этом не шарят
да и ты сам не шиша не шаришь раз так вопрос ставишь

Доброго времени суток! А как надо ставить вопрос? И чем плох nodejs с модулем puppetteer? Если Вы в этом разбираетесь может просветите?

crypt0pank

newbie

Activity: 3

Merit: 0

Quote from: ronaldinio on June 23, 2018, 07:07:03 PM

Всем спасибо за советы. В итоге написал парсер на VBA Excel, неделя на изучение, 3 недели на написание кода. Самый большой плюс VBA Excel это не нужно заморачиваться с базами данных, когда нужно что то быстро написать на "коленке" и структурировать информацию, тем более что Excel хорошо знаю, но не был знаком с VBA. Парсинг немного тормознутый, но недавно узнал что есть поддержка selenium. Для более серьезного парсинга, надо будет изучать что то посерьезней.

Изучай C#, сможешь парсить всё что угодно, там куча библиотек, часто нужны управляемые браузеры, чтобы кликнуть куда-то, чтобы popup открылся, или прокрутить вниз, чтобы страничка прогрузилась, там можно подключить несколько управляемых браузеров (тот же селениум есть на C#, мозилла, хромиум, он же хром, стандартный IE - на нём вообще свой рабочий браузер можно за 2 минуты наваять - я это на ютубе увидел, с тех пор дружу с C#, хотя я на GeckoFX лучше за 5 минут сделаю), конечно ещё лучше C или C++, это прям вообще круто, но мне вот лень их изучать, я C# знаю, там плюшек много слишком.

ronaldinio

newbie

Activity: 26

Merit: 0

Всем спасибо за советы. В итоге написал парсер на VBA Excel, неделя на изучение, 3 недели на написание кода. Самый большой плюс VBA Excel это не нужно заморачиваться с базами данных, когда нужно что то быстро написать на "коленке" и структурировать информацию, тем более что Excel хорошо знаю, но не был знаком с VBA. Парсинг немного тормознутый, но недавно узнал что есть поддержка selenium. Для более серьезного парсинга, надо будет изучать что то посерьезней.

kzv

legendary

Activity: 1722

Merit: 1285

OpenTrade - Open Source Cryptocurrency Exchange

Клауд это маркетинговое говно для веб школоты.
Все что делает клауд это запускает при первом заходе простейший яваскрипт с таймером. Типо проверка, что заходит браузер, а не робот лол. Все остальные вызовы проходят через чутка допиленный нгинкс.

#Cryptoman

member

Activity: 980

Merit: 48

Quote from: Xtc on June 19, 2018, 05:00:19 PM

Я не уверен что Cloudflare даст просто так парсить большие объемы

А кто запрещает вам использовать прокси сервера и эмуляторы браузера с поддержками кук?

Xtc

legendary

Activity: 1972

Merit: 1028

;u

Я не уверен что Cloudflare даст просто так парсить большие объемы

kzv

legendary

Activity: 1722

Merit: 1285

OpenTrade - Open Source Cryptocurrency Exchange

Quote from: aldorexxx on June 18, 2018, 06:47:24 AM

Расскажите писал кто нибудь ботов для парсинга?
И если писали то на чем писали JavaScript?

А второе сообщение в топике прочитать не але?

aldorexxx

jr. member

Activity: 152

Merit: 1

Расскажите писал кто нибудь ботов для парсинга?
И если писали то на чем писали JavaScript?

flashdix

newbie

Activity: 79

Merit: 0

Quote from: KsaAZaks on June 14, 2018, 08:47:16 AM

php или python. Вообще python для такой работы лучше всех подходит, но php легче в освоении

Питон легче в освоении на порядок

.

Мой набор для парсинга на никсах:python beautifulsoap, wget, curl, grep. Можно вообще без питона, только баш и последние три программы.

KsaAZaks

newbie

Activity: 219

Merit: 0

php или python. Вообще python для такой работы лучше всех подходит, но php легче в освоении

Joe1987

jr. member

Activity: 175

Merit: 1

Quote from: #Cryptoman on June 07, 2018, 12:24:02 PM

Quote from: Skorpo on June 06, 2018, 12:31:16 PM

Все кто тебе здесь ответил - первый раз слышат слово парсинг и тем более в этом не шарят
да и ты сам не шиша не шаришь раз так вопрос ставишь

Как-то делал сложный парсинг, это скан форума, с перекидыванием сообщений в другой форум, с сохранением бб тэгов и имен пользователей (префикс к именам добавлял). Более того, парсер отслеживал и свежие сообщения, и их тоже перекидывал.
Если задаться целью, можно спарсить и этот форум, в другой форум, будет полная копия. (это конечно сложно, но возможно)

Code:

загоняем в гугл - php query парсинг

Если с пхп знаком, научиться делать парсинг сайтов с несложной разметкой можно за один день.

Так же писал сканер книг, помнится было книг на жестком диске где-то на пол терабайта, сканер должен был по некоторым признакам найти автора книги, название книги, и обложку если есть, ну и если попался дубль, убрать его. Разметка была не одинаковой, была масса адаптаций сканера.

Парсить можно всё, включая сайты где автоподгрузка через аякс(например твиттер) запросы или "вебсокеты" (например вконтакте).

Тоже через пыху парсил. Работаю в конторе, которая парсит с ~6000 сайтов интернет-магазинов товары для последующей выгрузки в соц сети типа вк, ок и в файлы эксель, цсв

unixty

jr. member

Activity: 168

Merit: 1

ImmVRse | Disrupting the VR industry

Quote from: ronaldinio on May 30, 2018, 02:12:31 AM

Quote from: Joker007 on May 29, 2018, 08:41:04 AM

python фреймворки scrapy, grab. Но если вам просто мониторить пару веток то достаточно воспользоваться готовыми сервисами

Много слышал положительного о Питоне, не никогда не смотрел. Вот сейчас стоит делема JavaScript или Python ) Скорее всего JavaScript т.к. puppetteer заточен на управление браузером, соответственно можно автоматизировать кое-какие вещи, не знаю может ли Питон делать это так же хорошо.

Если нужна автоматизация, то для питона, да в принципе и для йавы есть selenium, недавно наткнулся, библиотека для тестеров, но возможна реализация автоматизации. Подскажите, если еще есть такого же рода библиотеки под пайтон, которыми удобнее пользоваться.

Jaga-Jaga

sr. member

Activity: 613

Merit: 256

Quote from: ronaldinio on May 28, 2018, 04:46:25 PM

Может у кого есть опыт парсинга подобно этому форуму, ибо сам форум далеко не совершенен для отслеживания нужной информации. Какой язык программирования можете порекомендовать для этих целей? Понятно дело что практически любой язык может это делать, но делать это быстро и удобно не всякий.

Парсить можно на любом языке, но выбирать лучше тот язык который используется в проекте чтобы сделать парсер модулем проекта. Если нужно для веб проекта то скорее всего вам больше подойдет PHP или Java.

#Cryptoman

member

Activity: 980

Merit: 48

Quote from: Skorpo on June 06, 2018, 12:31:16 PM

Все кто тебе здесь ответил - первый раз слышат слово парсинг и тем более в этом не шарят
да и ты сам не шиша не шаришь раз так вопрос ставишь

Как-то делал сложный парсинг, это скан форума, с перекидыванием сообщений в другой форум, с сохранением бб тэгов и имен пользователей (префикс к именам добавлял). Более того, парсер отслеживал и свежие сообщения, и их тоже перекидывал.
Если задаться целью, можно спарсить и этот форум, в другой форум, будет полная копия. (это конечно сложно, но возможно)

Code:

загоняем в гугл - php query парсинг

Если с пхп знаком, научиться делать парсинг сайтов с несложной разметкой можно за один день.

Так же писал сканер книг, помнится было книг на жестком диске где-то на пол терабайта, сканер должен был по некоторым признакам найти автора книги, название книги, и обложку если есть, ну и если попался дубль, убрать его. Разметка была не одинаковой, была масса адаптаций сканера.

Парсить можно всё, включая сайты где автоподгрузка через аякс(например твиттер) запросы или "вебсокеты" (например вконтакте).

soniclord

legendary

Activity: 1134

Merit: 1002

Если нужно по мелочи сделать - сделаю. Опыт в парсинге огромен.

Skorpo

newbie

Activity: 86

Merit: 0

Все кто тебе здесь ответил - первый раз слышат слово парсинг и тем более в этом не шарят
да и ты сам не шиша не шаришь раз так вопрос ставишь

#Cryptoman

member

Activity: 980

Merit: 48

Quote from: ronaldinio on May 30, 2018, 02:12:31 AM

Много слышал положительного о Питоне, не никогда не смотрел. Вот сейчас стоит делема JavaScript или Python ) Скорее всего JavaScript т.к. puppetteer заточен на управление браузером, соответственно можно автоматизировать кое-какие вещи, не знаю может ли Питон делать это так же хорошо.

Что бы парсить форум, ни управление браузером, ни сам браузер не нужен...

ronaldinio

newbie

Activity: 26

Merit: 0

Quote from: Joker007 on May 29, 2018, 08:41:04 AM

python фреймворки scrapy, grab. Но если вам просто мониторить пару веток то достаточно воспользоваться готовыми сервисами

Много слышал положительного о Питоне, не никогда не смотрел. Вот сейчас стоит делема JavaScript или Python ) Скорее всего JavaScript т.к. puppetteer заточен на управление браузером, соответственно можно автоматизировать кое-какие вещи, не знаю может ли Питон делать это так же хорошо.

ronaldinio

newbie

Activity: 26

Merit: 0

Quote from: #Cryptoman on May 29, 2018, 01:02:12 AM

Quote from: ronaldinio on May 28, 2018, 04:46:25 PM

Какой язык программирования можете порекомендовать для этих целей? Понятно дело что практически любой язык может это делать, но делать это быстро и удобно не всякий.

Любой, какой вы знаете. Ну и изучение языка программирования занимает некоторое время (от нескольких месяцев, лет, вся жизнь), возможно проще заказать парсер...

У меня для поверхностного изучения языка, чтобы уже начать писать что-то полезное, обычно уходит около месяца. Лучше подучу язык, сам напишу, тем более что возможно придется что-то постоянно дописывать, плюс получу полезный навык.

Topic: Парсинг форума - page 2. (Read 1021 times)