Как парсить данные с гугл таблиц

LiluSG

full member

Activity: 588

Merit: 199

Quote from: Yury1 on June 21, 2018, 02:20:11 AM

Случайно наткнулся на этот топик и оказалось, что как раз инфу по этой теме я и искал. Спасибо автору топика за напряги при аккумулировании инфы по этой теме.

Quote from: ValdemarPitun on July 18, 2018, 12:42:51 PM

Полезная вещь, если у тебя много кампаний и других проектов. В будущем воспользуюсь. Wink

Quote from: andrej_pavlov92 on July 18, 2018, 12:16:59 PM

Информация очень полезна.Спасибо

Спасибо, рад что вам это помогло, не зря значит писал и оформлял Wink

ValdemarPitun

newbie

Activity: 69

Merit: 0

Полезная вещь, если у тебя много кампаний и других проектов. В будущем воспользуюсь. Wink

andrej_pavlov92

newbie

Activity: 6

Merit: 0

Quote from: LiluSG on March 19, 2018, 07:58:47 PM

Всем привет

Продолжу свои начинания о таблицах и поделюсь ещё одной фишечкой, которую для себя недавно открыл.
Прошлая история нашла некоторый отклик и была полезна, хоть и не массово - https://bitcointalksearch.org/topic/excel-coinmarketcap-api-v2-2867672

В этой раз я расскажу про гугл таблицы, как парсить данные в них, с чужих таблиц (или со своих в том числе)
Оказалось всё просто и удобно, более того она имеет реал-тайм обновление, что весьма удобно

Зачем это нужно?
- Во-первых, можно разные данные собрать в одной таблице. Это может касаться баунти-spreadsheets, например. Или баунти списков, которых сейчас появляется много
- Во-вторых, вы можете, как минимум красить ячейки, ставить метки. Это удобно, если вы следите за 8–10 десятками строчек или онлайн страниц
- В-третьих, при подключении доп функций и настроек, можно быстро оперировать данными, фильтровать их под себя
- И последнее. Это может быть рабочий, информационный элемент сложных таблиц, в которых ведут баунти, со всеми ссылками и работой

Как и в прошлый раз, весь процесс разложен в картинках и пояснениях к ним

https://cdn-images-1.medium.com/max/1600/1*Wj7OwCXZhNMrf5E4yrJEeA.jpeg

https://cdn-images-1.medium.com/max/1600/1*sbhlj-rsX4bwYuo9-X22CA.jpeg

Как видите, всё оказалось просто и удобно. Спасибо за внимание Wink

Статья так же продублирована на steemit и medium в поддержку блог-начинаниям, так что буду рад
https://steemit.com/@lilusg
https://medium.com/@SergeyL

Информация очень полезна.Спасибо

Yury1

sr. member

Activity: 560

Merit: 257

Случайно наткнулся на этот топик и оказалось, что как раз инфу по этой теме я и искал. Спасибо автору топика за напряги при аккумулировании инфы по этой теме.

LiluSG

full member

Activity: 588

Merit: 199

Quote from: bratuha on April 28, 2018, 12:40:15 PM

https://docs.google.com/spreadsheets/d/e/2PACX-1vQ173fZ281f4UOTjyHWTZ0gHPbY8fRMj2kqIZTxs-PANZ9d1MZ8CAgJmBMaFPm5AfYWGAEva2zoE9KS/pubhtml
А с этой таблицей как быть, мб знаешь, а то использовал все способы и не чего не получилось

Там другая чуть функция, но принцип почти тот же. Твоя строчка должна выглядеть так:
=IMPORTHTML("https://docs.google.com/spreadsheets/d/e/2PACX-1vQ173fZ281f4UOTjyHWTZ0gHPbY8fRMj2kqIZTxs-PANZ9d1MZ8CAgJmBMaFPm5AfYWGAEva2zoE9KS/pubhtml#"; "table"; 2)

Где идёт название функция, далее именно полная ссылка на html страницу, table говорит о том что ты копируешь таблицу и в конце номер листа. У нас например это твиттер

Как парсить с html одну строчку к себе, я сходу не знаю, это нужно посмотреть. Скорей всего, что-то на этот счёт, да есть
Но точно можно спарсить весь лист в гугл таблицу и с него уже снять нужную строчку себе отдельно в другую таблицу классически "через координаты". Либо скрыть лишние строчки в спаресенной странице

bratuha

full member

Activity: 420

Merit: 100

BRINGING MAGIC

https://docs.google.com/spreadsheets/d/e/2PACX-1vQ173fZ281f4UOTjyHWTZ0gHPbY8fRMj2kqIZTxs-PANZ9d1MZ8CAgJmBMaFPm5AfYWGAEva2zoE9KS/pubhtml
А с этой таблицей как быть, мб знаешь, а то использовал все способы и не чего не получилось

Zedxxx

member

Activity: 364

Merit: 22

А как спарсить данные из таблицы get запросом? У меня постоянно выдаёт ошибку permissoins denied.

telnova5331

member

Activity: 280

Merit: 11

Сделала себе табличку , туда внесла все баунти компании в которых участвую, очень удобно зайти в 1 раз вдень и про мониторить все сразу , данный мануал уже находила на просторах интернета ,
А так очень развернуто, Автору гц

LiluSG

full member

Activity: 588

Merit: 199

Quote from: ivanpavluk9999 on March 26, 2018, 03:47:41 PM

Очень удобно и информативно, спасибо за труд! Как я понимаю, теперь я могу скопировать любую таблицу с баунти (которую ведет мой наставник например) в свое владение и распоряжение, и синхронизировать их Huh

Наставник будет менять условия, следить за изменениями и вносить правки в свою таблицу, и изменения будут происходить в моей личной копии Huh

Это круто!

Да, это как один из вариантов

Удобно ещё, когда сводишь много источников, в одно место

ivanpavluk9999

newbie

Activity: 53

Merit: 0

Очень удобно и информативно, спасибо за труд! Как я понимаю, теперь я могу скопировать любую таблицу с баунти (которую ведет мой наставник например) в свое владение и распоряжение, и синхронизировать их Huh

Наставник будет менять условия, следить за изменениями и вносить правки в свою таблицу, и изменения будут происходить в моей личной копии Huh

Это круто!

mambA98427

newbie

Activity: 196

Merit: 0

Можно попробовать зенкой спарсить или BAS(бесплатный аналог)

LiluSG

full member

Activity: 588

Merit: 199

Quote from: gimpo on March 22, 2018, 03:11:27 PM

Не совсем так. Попробуйте у такой таблицы выделить ячейки и скопировать их, у вас ничего не получится и получите предупреждение, что это запрещено. Там пишет, что даже распечатать нельзя. Копировать можно только по одной ячейке, если выделить ее и скопировать ее содержимое из строки формул.
То что вы предлагаете это и есть самый настоящий экспорт, только он при этом сохраняет связь с исходной таблицей. Поэтому на мой взгляд это баг со стороны гугл, раз он позволяет утягивать данные из таких таблиц.

Возможно и баг, в любом случае что не запрещено, то можно юзать Roll Eyes

Даже если это и прям экплойт, он всё равно не критичный, так как влиять на таблицу мы не можем, а значит ничего страшного

gimpo

member

Activity: 252

Merit: 25

Quote from: LiluSG on March 21, 2018, 04:37:28 PM

Это не совсем экспорт прям, скорей это онлайн-слепок. Т.е. если мы можем открыть таблицу по ссылке, то мы можем взять с неё данные)
Вот с закрытой, спокойно спарсились данные - https://c2n.me/3SPNvXV
По html пока не нашёл способ, надо разбираться, сходу не получилось утянуть, пишет что пытаюсь вытянуть большой объём данных, но это точно куда-то в сторону importhtml )

Не совсем так. Попробуйте у такой таблицы выделить ячейки и скопировать их, у вас ничего не получится и получите предупреждение, что это запрещено. Там пишет, что даже распечатать нельзя. Копировать можно только по одной ячейке, если выделить ее и скопировать ее содержимое из строки формул.
То что вы предлагаете это и есть самый настоящий экспорт, только он при этом сохраняет связь с исходной таблицей. Поэтому на мой взгляд это баг со стороны гугл, раз он позволяет утягивать данные из таких таблиц.

LiluSG

full member

Activity: 588

Merit: 199

Quote from: gimpo on March 21, 2018, 12:35:15 PM

Так во всех или большинстве таблиц баунти экспорт запрещен, вот пример https://docs.google.com/spreadsheets/d/1i0L4_Unvkivsa9Bu9LHSvAoNAQR1pA0wosY7z575CSE/edit#gid=2012223782
По логике ваш способ работать в них не должен, иначе это баг со стороны гугла. Спросил чиста из интереса, так гугло таблицами не пользуюсь и парсить их мне не требуется.
Вот пример таблицы в HTML виде https://docs.google.com/spreadsheets/d/e/2PACX-1vS_H7bVbyEgT4kVJ49iOj4_uBLEtaK1LTT-CzwaB65rkaOXrFeFR05rth-HkNLZ2tJy27p35Qo26c0z/pubhtml

Это не совсем экспорт прям, скорей это онлайн-слепок. Т.е. если мы можем открыть таблицу по ссылке, то мы можем взять с неё данные)
Вот с закрытой, спокойно спарсились данные - https://c2n.me/3SPNvXV
По html пока не нашёл способ, надо разбираться, сходу не получилось утянуть, пишет что пытаюсь вытянуть большой объём данных, но это точно куда-то в сторону importhtml )

Quote from: Mr.Midas on March 21, 2018, 01:06:54 PM

т.е. если я откуда то стянул что то себе в таблицу, то у меня инфа обновится в моей самостоятельно, как только ее изменят там откуда я ее утянул? если так то это очень даже полезненько получается.

Да, всё правильно, она будет обновляться автоматически. Более того помимо того что вы можете красить ячейки, вы можете скрывать строчки или столбцы. Данные будут писаться новыми строчками, а скрытые вы не будете видеть

Mr.Midas

jr. member

Activity: 238

Merit: 4

B~>$ ┐(︶▽︶)┌

т.е. если я откуда то стянул что то себе в таблицу, то у меня инфа обновится в моей самостоятельно, как только ее изменят там откуда я ее утянул? если так то это очень даже полезненько получается.

gimpo

member

Activity: 252

Merit: 25

Quote from: LiluSG on March 20, 2018, 04:06:46 PM

Quote from: gimpo on March 20, 2018, 01:24:34 PM

Способ работает прямо для совсем любой таблицы? Как насчет таблиц в которых запрещен экспорт или они представлены в html виде?

Можете дать ссылку на любую такую таблицу? Глянем, что там
Скорей всего, действия аналогичны, просто функция будет, аля "=IMPORTHTML", которая так же есть в гугл таблицах

Так во всех или большинстве таблиц баунти экспорт запрещен, вот пример https://docs.google.com/spreadsheets/d/1i0L4_Unvkivsa9Bu9LHSvAoNAQR1pA0wosY7z575CSE/edit#gid=2012223782
По логике ваш способ работать в них не должен, иначе это баг со стороны гугла. Спросил чиста из интереса, так гугло таблицами не пользуюсь и парсить их мне не требуется.
Вот пример таблицы в HTML виде https://docs.google.com/spreadsheets/d/e/2PACX-1vS_H7bVbyEgT4kVJ49iOj4_uBLEtaK1LTT-CzwaB65rkaOXrFeFR05rth-HkNLZ2tJy27p35Qo26c0z/pubhtml

LiluSG

full member

Activity: 588

Merit: 199

Quote from: Tuareg33rus on March 20, 2018, 12:59:14 PM

Век живи - век учись. Спасибо что поделились! Ушло закладки.

Вам скоро можно будет "подшивку" топиков с рецептами делать.

Спасибо

До подшивки конечно рано, я просто рассказываю о своих рабочих находках, но их не так и много)

Quote from: gimpo on March 20, 2018, 01:24:34 PM

Способ работает прямо для совсем любой таблицы? Как насчет таблиц в которых запрещен экспорт или они представлены в html виде?

Можете дать ссылку на любую такую таблицу? Глянем, что там
Скорей всего, действия аналогичны, просто функция будет, аля "=IMPORTHTML", которая так же есть в гугл таблицах

gimpo

member

Activity: 252

Merit: 25

Способ работает прямо для совсем любой таблицы? Как насчет таблиц в которых запрещен экспорт или они представлены в html виде?

Tuareg33rus

jr. member

Activity: 82

Merit: 2

Век живи - век учись. Спасибо что поделились! Ушло закладки.

Вам скоро можно будет "подшивку" топиков с рецептами делать.

LiluSG

full member

Activity: 588

Merit: 199

Quote from: Telepat on March 19, 2018, 10:57:59 PM

Строка в моей таблице обновляется, если обновляется строка в таблице исходной, я правильно понял?

Да, всё правильно. Все данные у вас обновляются в то же время, что и в таблицах с которых мы тянем "слепок"

Topic: Как парсить данные с гугл таблиц (Read 632 times)