Pages:
Author

Topic: Форк для хранения файлов - page 2. (Read 4407 times)

legendary
Activity: 1468
Merit: 1102
September 17, 2014, 06:50:39 AM
#27
я исхожу из малого, биткоин рассчитывался для работы на отдельно взятом компе а не в составе пулов и асиков. Пулы и асики - это его путь развития. Как вы предлагаете убеждать   первых участников попробовать если надо качать 1 терабайт? А тех кто хочет сохранить файлы сохранять их без первых майнеров? Глобально вы описали нормально. Старта не вижу проекта? Начинать нужно по моему мнению с небольшого хранилища и небольшого кол-ва файлов. потом устранять возможные косяки в новых релизах. Например я не стану скачивать 1 террабайт для теста ещё неизвестного какого будущего приложения.

Дело не в майнерах. Успешное привлечение большого их количества не даст ничего, если не будет пользователей. На первом этапе 10-и с довольно большим общим количеством дискового пространства будет достаточно.
Самая главная задача- это привлечь пользователей. Будут пользователи-будут майнеры.
Но не наоборот.
А для этого нужно сделать очень удобный интерфейс сохранения и доставания файлов.
Например, для win чуть ли не стандартом является подключение клиента в виде диска.
sr. member
Activity: 280
Merit: 250
September 16, 2014, 08:22:22 AM
#26
я исхожу из малого, биткоин рассчитывался для работы на отдельно взятом компе а не в составе пулов и асиков. Пулы и асики - это его путь развития. Как вы предлагаете убеждать   первых участников попробовать если надо качать 1 терабайт? А тех кто хочет сохранить файлы сохранять их без первых майнеров? Глобально вы описали нормально. Старта не вижу проекта? Начинать нужно по моему мнению с небольшого хранилища и небольшого кол-ва файлов. потом устранять возможные косяки в новых релизах. Например я не стану скачивать 1 террабайт для теста ещё неизвестного какого будущего приложения.

 
legendary
Activity: 1468
Merit: 1102
September 16, 2014, 04:57:09 AM
#25
Думаю вы не подумали о размерах облачного диска, я думаю что с развитием такого сервиса не один и даже не сотня майнеров не смогут держать 100% полный архив, если речь не идет о каких то специализированных компаниях для хранения файлов.
моё видение процесса такое, что чем больше участников с мелкими объемами диска, тем надежнее система. Чем меньше майнеров и более крупнее у них хранилища тем меньше стабильности и надежности хранения. (аналог асики в биткоине).
Я то оцениваю размеры в петабайтах. Десятки, сотни.
А Вы считаете, что майнер с 1 гигом может что-то заработать.
При размере архива в петабайты такой майнер имеет шанс в миллионы раз меньше,
чем крупный майнер со 100% архива. И заработок будет копейки.

Надежность архива не зависит от количества майнеров. Она зависит от такого показателя, как среднее количество копий и средней надежности каждого майнера.
Система с 10 майнерами и с 10-ю копиями надежнее, чем система из 1000 майнеров
при количестве копий 5, причем на несколько порядков.

Потом это естественное развитие системы, против которого Вы не сможете побороться.
Никак. Если себестоимость хранения у крупного майнера будет дешевле, то мелкие майнеры не выживут.

p/s/
И я не считаю, что асики уменьшают надежность биткоина.По моему, только увеличивают.

Quote
И чтоб сутками качать том... не поворотливая система будет и потом в томе файлы разные и срок хранения у них разный, а ещё пользователи могут удалить файлы с хранения добавить новые и процесс скачивания тома никогда не остановиться, в общем канал инета будет забит если будет система основана на томах, а не на конкретных файлах с указанным временем хранения.
 
Подождите. Майнер получает деньги за то, что хранит архив. Для этого надо хотя бы
скачать его на свой носитель. Без этого никак.  При нормальном канале 1ТБ качается за сутки.
При удалении файлов нет необходимости качать том по новой.Достаточно удалить его из тома.  А новые файлы добавляются в новый том. Майнеры должны брать новые файлы, иначе они не могут создать новый блок. И брать быстро, и отдавать быстро. Иначе никто не будет пользоваться хранилищем.

Вполне возможно, что будут пулы. Где созданием блока и созданием тома занимается пул,а участники пула занимаются только вычислением хеша. Но для этого они должны хранить у себя часть архива.



legendary
Activity: 1468
Merit: 1102
September 16, 2014, 02:41:16 AM
#24
вроде storj.io скоро подобное сделает, и их монетка сейчас набирает обороты кстати

Я потыкался с ними, правда немного. Не понравилось, что покупать нужно было только у одного источника и по фиксированной цене. Где же рынок? Smiley
А когда не получилось считать файл, потому что нулевой баланс, интерес пропал.

Похоже, что все взаимодействие идет с одним центром. Возможно он потом распределяет хранение. Это все-таки не совсем децентрализованная система.
Но может я ошибаюсь, глубоко не разбирался.
sr. member
Activity: 280
Merit: 250
September 16, 2014, 02:40:00 AM
#23
Если у майнеров будет экономическая выгода, то почти 100% вероятностью будут майнеры которые имею полный архив. Потому как, если экономически выгодно на 50% архива , зачем останавливаться и не держать 100%, и не удвоить выгоду.

Думаю вы не подумали о размерах облачного диска, я думаю что с развитием такого сервиса не один и даже не сотня майнеров не смогут держать 100% полный архив, если речь не идет о каких то специализированных компаниях для хранения файлов.
моё видение процесса такое, что чем больше участников с мелкими объемами диска, тем надежнее система. Чем меньше майнеров и более крупнее у них хранилища тем меньше стабильности и надежности хранения. (аналог асики в биткоине).

Quote
Потом, я думаю, что размер тома надо делать максимально большим, которые со временем должен увеличиваться. Где-то на уровне размера топового винта.
И чтоб сутками качать том... не поворотливая система будет и потом в томе файлы разные и срок хранения у них разный, а ещё пользователи могут удалить файлы с хранения добавить новые и процесс скачивания тома никогда не остановиться, в общем канал инета будет забит если будет система основана на томах, а не на конкретных файлах с указанным временем хранения.
 

hero member
Activity: 666
Merit: 500
September 15, 2014, 06:59:38 PM
#22
вроде storj.io скоро подобное сделает, и их монетка сейчас набирает обороты кстати
legendary
Activity: 1468
Merit: 1102
September 15, 2014, 11:36:54 AM
#21
Вообще в таком форке первый вопрос встает об экономической целесообразности. Много ли людей готовы платить деньги за такое хранение? И сколько готовы платить? Я вот облачными хранилищами пользуюсь, там куча гигов бесплатно предоставляется. А тут в чем преимущество?

ИМХО  меня в такой системе привлекает бОльшая надежность, независимость , отсутствие регистрации.

У меня лично почему-то нет уверенности, что если я кину свои файлы в существующие облачные  хранилища, то через 10 лет возьму их в целости и сохранности. Может, конечно, я предвзято отношусь.Smiley
legendary
Activity: 1468
Merit: 1102
September 15, 2014, 11:26:56 AM
#20

Quote
если это кусок файла к примеру размером 1 МГб от архива (может быть для надежности ещё и зашифрованного). И нет информации кроме как у создателя как собрать исходный файл например в 10 ГИГ из этих кусков, в каком порядке и главное под каким именем искать другие куски? Пусть лежат у любого юзера вот и защита данных не нужно более что то шифровать.  Ещё в пользу того что лучше сделать куски это стандарт минимальная ячейка хранения за которую есть установленная цена
Не вижу никаких удобств в делении на куски:
если для защиты - то ничего лучше шифрования все равно не придумать
пользователь должен еще держать информацию о кусках,
то есть если я сделал резервную копию, а после этого должен думать, где мне еще,
кроме своего компьютера, держать информацию о кусках.
Потом, любой пользователь, если захочет, может реализовать это сам, нет никакой необходимости грузить этим протокол.

Quote
В вашей схеме не понятно мне как будет гарантироваться сохранность файлов если их нужно сохранить скажем террабайты, а майнер выделяет для майнинга 1 гиг? какие файлы он примет на хранение а какие отвергнет? при чем файлы нужно продублировать на максимально возможном количестве манеров что бы обеспечить сохранность если вырубиться скажем 50 % майнеров?
Я же предлагаю сделать например куски в 1 мегабайт и в текущем блокчейне информацию о майнерах  которые в онлайн и хранят этот кусок.  Каждое приложение майнера обрабатывает блок и вносит в него информацию о хранимых у него кусках. Таким образом блокчейн будет содержать информацию кто из майнеров в сети и сколько копий имеют те или иные куски файлов, для того чтобы если ушел майнер в офлайн куски которые имеют меньшее количество копий были продублированы другими майнерами который например только формирует заполнение своего выделенного пространства. Как мне кажется, так можно обеспечить надежную сохранность файлов при текучести майнеров.
Гарантию сохранности файла будут нести майнеры, потому что для этого есть экономические причины. Том, который имеет мало копий, дает больший выигрыш для майнера. Поэтому такой том сразу же будет скопирован другим майнером.
Я думаю, такого равномерного распределения копий в жизни больше нигде не увидите.Smiley   И будут следить за этим лучше всякого блокчейна.
Потом, потеря тома это большой удар по имиджу системы, который сразу может уронить цену форка.


Также на нашей стороне теория вероятности. Какой катаклизм должен случиться, чтобы одновременно вырубились 50% майнеров во всем мире?
Если майнеров сотни-тысячи. Какая вероятность, что все копии попадут к этим 50% майнеров.

Если у майнеров будет экономическая выгода, то почти 100% вероятностью будут майнеры которые имею полный архив. Потому как, если экономически выгодно на 50% архива , зачем останавливаться и не держать 100%, и не удвоить выгоду.

Потом, я думаю, что размер тома надо делать максимально большим, которые со временем должен увеличиваться. Где-то на уровне размера топового винта.
На данный момент несколько ТБ.
Такое хранилище по идее должно вырасти до петабайтов. И делить на миллионы томов
нет никакой необходимости.

hero member
Activity: 994
Merit: 502
September 15, 2014, 01:01:18 AM
#19
Вообще в таком форке первый вопрос встает об экономической целесообразности. Много ли людей готовы платить деньги за такое хранение? И сколько готовы платить? Я вот облачными хранилищами пользуюсь, там куча гигов бесплатно предоставляется. А тут в чем преимущество?
sr. member
Activity: 280
Merit: 250
September 14, 2014, 01:37:08 PM
#18
под флайлинком я имел ввиду приложение очень похожее на торрент, вот https://ru.wikipedia.org/wiki/FlylinkDC++
А чем вас нынешний флайлинк не устраивает? Все работает, причем бесплатно.
Вообще, какой смысл делать платным то, что уже итак доступно бесплатно?
насколько я понял топик стартера с первого поста речь шла о гарантированном и безопасном хранении личных файлов на неограниченно большой оплаченный срок, если я ошибся то конечно, хранить файлы с общим доступом нет никакого смысла, тем более за деньги.
hero member
Activity: 994
Merit: 502
September 14, 2014, 11:51:46 AM
#17
под флайлинком я имел ввиду приложение очень похожее на торрент, вот https://ru.wikipedia.org/wiki/FlylinkDC++
А чем вас нынешний флайлинк не устраивает? Все работает, причем бесплатно.
Вообще, какой смысл делать платным то, что уже итак доступно бесплатно?
sr. member
Activity: 280
Merit: 250
September 14, 2014, 11:23:14 AM
#16

Если файлы лежат в общем доступе, то никакой защиты данных от системы требовать невозможно.
если это кусок файла к примеру размером 1 МГб от архива (может быть для надежности ещё и зашифрованного). И нет информации кроме как у создателя как собрать исходный файл например в 10 ГИГ из этих кусков, в каком порядке и главное под каким именем искать другие куски? Пусть лежат у любого юзера вот и защита данных не нужно более что то шифровать.  Ещё в пользу того что лучше сделать куски это стандарт минимальная ячейка хранения за которую есть установленная цена

Quote
Ваша схема распределения очень сложна в реализации. И там есть один большой минус, кто и как в децентрализованной системе будет контролировать,  что майнер выполняет свои обязательства.
зачем контролировать? нужно в приложении привязать возможность получения монет за майнинг, с возможностью отдавать файлы для скачивания. например анализ предыдущего блока и текущего - у id майнера было 1000 кусков файлов и осталось столько же в текущем значит майнер с предудущего блока до текущего в сети и не изменил свое хранилище размером в  1 гиг.

Quote
Если еще раз вникнуть в идею, то видно, что ничего этого делать не надо.


Майнинг на основе содержимого архива гарантирует, что у майнера есть архив.
Значит он выполняет основную обязанность - хранение. Вторую обязанность -
отдавать файлы,  его должен подстегнуть рыночный механизм.
В вашей схеме не понятно мне как будет гарантироваться сохранность файлов если их нужно сохранить скажем террабайты, а майнер выделяет для майнинга 1 гиг? какие файлы он примет на хранение а какие отвергнет? при чем файлы нужно продублировать на максимально возможном количестве манеров что бы обеспечить сохранность если вырубиться скажем 50 % майнеров?
Я же предлагаю сделать например куски в 1 мегабайт и в текущем блокчейне информацию о майнерах  которые в онлайн и хранят этот кусок.  Каждое приложение майнера обрабатывает блок и вносит в него информацию о хранимых у него кусках. Таким образом блокчейн будет содержать информацию кто из майнеров в сети и сколько копий имеют те или иные куски файлов, для того чтобы если ушел майнер в офлайн куски которые имеют меньшее количество копий были продублированы другими майнерами который например только формирует заполнение своего выделенного пространства. Как мне кажется, так можно обеспечить надежную сохранность файлов при текучести майнеров.

Quote
Если майнер вычисляет хеш следующего блока, то он получает вознаграждение за блок и все комиссии с транзакций. Все! Больше никаких распределений делать не надо.
Это практически стандартная схема распределения вознаграждения для майнеров.
И эта схема уже работает.
С этим не спорю, для более справедливого распределения можно идти по принципу совместного пула.



legendary
Activity: 1468
Merit: 1102
September 14, 2014, 08:43:52 AM
#15
sr. member
Activity: 280
Merit: 250
September 14, 2014, 08:04:14 AM
#14
под флайлинком я имел ввиду приложение очень похожее на торрент, вот https://ru.wikipedia.org/wiki/FlylinkDC++

нагрузка будет распределена так и так если куски файлов будут храниться у множества майнеров.
вот насчет популярного файла тут засада, я думал речь идет о защите вложенных файлов от других пользователей.
если так то тут о популярных файлах речи быть не может.
заплатил за хранение в том числе за защиту данных, думаю надо идти по такому принципу.
вычислять паразитов не надо.

на какое то расчетное время например час/сутки  приложения которые майнят договариваются принять новый блок в котором имеются списки названий кусков файлов с датой их необходимого хранения и суммой хранения за расчетное время и идентификационный номер майнера который хранит данный кусок.
Каждое приложение майнера будет обрабатывать блок вписывать дополнительно свой ID в таблицу к названию куска файла обозначать тем самым что он у него храниться в данный момент и что майнер в сети и готов принять блок в котором указан и его ID. Как только придут к согласию все приложения майнеров в сети новый блок будет принят и сумма в данном блоке распределиться по каждому майнеру согласно сохраняемым у него кускам файлов.
legendary
Activity: 1468
Merit: 1102
September 14, 2014, 06:36:25 AM
#13
Я тоже думаю, что раздачу файлов майнерами можно организовать через torrent-протокол.
Например, все майнеры выкладывают файлы из архива на раздачу через торрент.
а через клиент пользователь может быстро сгенерировать торрент-файл для любого файла из архива.

1. Это дает достаточно удобный способ получения файлов пользователями.
2. Можно передать кому-то торрент-файл.
3. Это позволяет распределить нагрузку скачивания между майнерами.
4. Если какой-то пользователь сохранит  в архиве очень популярный файл,
и будет много скачиваний, то можно будет уменьшить нагрузку на майнеров за счет того, что скачивать будут уже у тех, кто скачал и оставил на раздаче.
5. можно оценить, как майнеры раздают. Вычислить так сказать "паразитов". Что с ними делать, пока непонятно. Smiley
6. В сети вроде уже есть сервисы, которые дают файлинки на файлы, закачиваемые
через торрент.

sr. member
Activity: 280
Merit: 250
September 14, 2014, 05:29:52 AM
#12
Да, думаю самый оптимальный вариант это когда отправил файлы на хранение и оплатил один раз когда цена установлена за определенный период. Но можно сделать и дополнительную возможность списывать с кошелька ежесуточно. И в любое время забрал когда нужны, скачивание файла должно быть я думаю реализовано на примере торента или даже флайлинка, флайлинк фактически готовый код только подправить чтоб к чужим файлам не было доступа и привязать коин.
Сумма майнерам должна определяться на единицу времени хранения, например сутки или час. Сумма всех денег за объемы файлов за сутки/час и будут средствами  к распределению. Чтобы майнер получил монеты ему надо предоставлять свое дисковое пространство минимум единицу времени хранения сутки/час а кол-во монет пропорционально всем майнерам в зависимости от предоставленного места при условии что они в сети.


Такая логика думаю обеспечить постоянную возможность вернуть файлы когда это необходимо, и с ростом пользователей удешевление дискового пространства.
 
что касается логики облачного диска, то думаю что все файлы должны быть разбиты на куски, небольшого размера. При отправки файлов на хранение он разбивается на куски, названием кусков становится произвольный набор символов. Все названия кусков файлов заносятся в текстовый файл пользователя в стогом порядке кто за кем и храниться например вместе с кошельком. не имея этот текстовый файл не возможно собрать исходный файл. Куски файлов хранятся у майнеров причем у кусков есть метки сколько он имеет копий у майнеров. Дисковое пространство у нового майнера стремиться собрать у себя куски с наименьшим количеством копий.

Блокчейн имеет список кусков и дату конца хранения файла, как только дата истекла кусок удаляется, блокчейн очищается от него.
Ну как то так  Smiley

legendary
Activity: 1468
Merit: 1102
September 14, 2014, 04:21:04 AM
#11
Хранение мало. У потребителя этой услуги должна быть возможность получить хранящийся файл по требованию.
Хранилище данных без возможности получения данных это не хранилище данных .
Это черная дыра. Smiley
Quote
Я бы предложил майнинг в виде распространения файлов.
 Майнер  предоставляет зашифрованные файлы. Потребители подписывают хеши этих файлов своим закрытым
ключом (красивым) и  доставляют майнеру. Майнер за это предоставит ключ для расшифровки.
Набор подписанных хеший необходим для формирования блока транзакций.


Оплата при получении файлов - это крайне неудобная вещь для пользователя,
которая на корню убивает всю идею:
1. это ограничивает возможность пользователя получить файл , то есть противоречит вашему же пожеланию выше.
2. пользователь не знает, во сколько ему обойдется в итоге услуга, неизвестно какая цена будет на момент получения файлов.
(Вы бы начали пользоваться услугой, если не знаете, в какую цену в итоге она выльется.)
3. Пока не проверишь, нет уверенности , что файл хранится. А за проверку надо платить денежку.
4. Нельзя просто передать ссылку на файл другому пользователю.Ведь он должен будет заплатить.
5.Технически довольна сложная реализация. В каком-то смысле противоречит идее децентрализованности. Пользователь должен договариваться с конкретным майнером.  А если не договорится ?

и т.д. Это соображения, которые сразу приходят в голову.

Да, вроде кажется, что оплата при получении это более справедливая вещь для майнеров.  Но если подсчитать, то  экономически это невыгодно.

Если предположить, что 50% файлов никогда не будут востребованы,что вполне возможно. Тогда за хранение этих файлов майнер не получит ничего.
Стоимость за хранение таких файлов переложится на тех, кто захочет забрать свой файл.Практически при считывании файла пользователь будет платить двойную цену.


Весь смысл идеи в том, что файлы хранятся гарантированно. Пользователю не надо проверять сохранность файлов. Пользователь платит один раз.И имеет неограниченный доступ к своим файлам.

А майнеры заинтересованы, чтобы отдавать файлы.
Чем быстрее и лучше будут отдавать, тем больше пользователей. Тем больше спрос на монеты, тем больше они стоят.
И наоборот.
Если майнеры не будут отдавать файлы, то никто не будет пользоваться этой услугой, соответственно  цена монет скатится к нулю.

Есть нормальный рыночный механизм. И придумывать какие-то дополнительные костыли нет никакой необходимости.
sr. member
Activity: 280
Merit: 250
September 13, 2014, 09:37:35 AM
#10
Идея шикарная имеет право на жизнь. Организовать нужно грамотно.
Думаю нужно создать некий отказоустойчивый RAID массив образуя общее дисковое пространство, но каждый пользователь видит только свои файлы, майнером становиться тот кто выделяет часть диска для этого массива и от размера диска и от времени онлайн получает монеты.
кто посылает файлы тот платит за хранение и на некий срок, срок истек файлы уничтожились.
монеты распределяются пропорционально предоставленному пространству и тем майнерам кто в сети.
Если увеличивается массив больше майнеров и мало файлов соответственно смысл майнинга уменьшается и на оборот если места мало цена пространства дороже.
Можно сделать что если у участника хранятся файлы и есть монеты на кошельке то идет списание автоматом, пока есть средства.

Вот принципе о таких проектах я и говорил вот если бы сейчас была реализована эта идея https://bitcointalksearch.org/topic/m.8791662 была бы возможность обсудить и финансировать большим количеством народа имея инструмент для этого.
 
legendary
Activity: 1442
Merit: 1016
September 12, 2014, 12:13:56 PM
#9
Подписывать хэши подписью адресом по которому можно отправить деньгу чтобы быстрее скачать было бы неплохо наверно?
Держать это в блокчейне ерунда конечно, но в меморипуле всех собравшихся вполне ничего.
А в блокчейне уже сами переводы денег.
То есть соответственно можно делать и вывод о благонадежности получателя монет когда хочешь ему отправить денег для быстрого скачивания файлов.
legendary
Activity: 1554
Merit: 1008
September 09, 2014, 01:19:22 PM
#8
Ага, прямо так и внедрят - заставят всех пользователей дружно дисциплинированно обновить кошельки  Grin

халявы ради народ сам обновит - или 0 на счет или % будет халявно падать

только скажут что можно ПОС или ПОМ или еще как кроме ПОВ монеты копать - все сразу кинутся такой кошель качать
Pages:
Jump to: