Topic: Сервис бекапов (Read 1966 times)

http://ru.wikipedia.org/wiki/Список_файловых_систем
раздел: Распределенные параллельные файловые системы с защитой от сбоев

p.s. А майкрософт, когда-нибудь и докуда-нибудь дойдет, может быть...

Это приводит нас в потребности совсем другого рынка (Бизнес) где есть деньги....
Кстати Microsoft уже сделал первые шаги в этом направлении.
В серверах 2012 Кластера теперь можно создавать не имея общего хранилища.
Правда я еще на пробовал.

Отдельно разрабатывать такое приложение слишком затратно при малой отдаче...
(хотя вроде что-то там в торрентах придумали для синхронизации)

Проще будет в CRU тупо запустить "майнинг", и использовать стандартный софт,
который разрабатывается уже более универсальным(а значит в него можно и вложить больше)...
(и кстати надежнее будет тк сбои всех компов в 1 организации обычно сильно коррелированы,
через CRU же можно будет арендовать место хоть на другом континенте чтобы даже метеорит среднего
размера ничего не мог уничтожить, не говоря уже о копирастах )

Хорошая идея. Ведь у меня такая задача тоже стоит.
причем я решил просто перекрестным копированием.

Но чтобы:
1.автоматически
2.на многих компьютерах
3. во многих копиях 
4.с учетом свободного пространства
5.с учетом доступности компьютера
6. с шифрованием
это было бы почти идеальное решение.

идея распределенного хранилища меня посещала относительно следующей задачи
В офисе например стоит 100 компов с дисками по 1 тб. На каждом диске используется, как правило, не более 10%
А у меня, сисадмина, порнуху бекапы класть некуда!
Необходима технология которая позволит использовать это свободное место

Даже как-то страшно стало.
Насколько одинаково думаем.

Месяц назад написал своему сыну (привожу без купюр):

"Привет Слава

Зацени идею.

Резервные копии.
p2p технология.
создается диск. (наподобие truecrypt)
все данные с него дублируются на компьютерах других участников
при создании часть резервируется для даннных от других участников
в зависимости от пропорции твои данные дублируются многократно
например, если часть для твоих данныих и для данных других участников 1:8, то твои данных можно дублировать 8-кратно.(примерно)
все данные шифруются
основная идея- ты хранишь чужие данные, тебе за это расплачиваются баллами (внутренней валютой)
если у тебя есть баллы, то ты можешь платить за хранение своих файлов.
если у кого-то получается излишки баллов, то можно передавать/продавать тем , кому не хватает балллов.
система должны быть децентрализованной и саморегулируемой.


Пока на уровне идеи.

П."

Берем следующие технологии:
* микроплатежи - сеть взаимных долговых обязательств, хотя бы тот же ripple (тут кроется много подводных камней, но для этого сервиса решаемых)
* torrent - слегка модифицируем клиент
 - вводим GPG авторизации пиров
 - пир напрямую связан со своим ripple пользователем (адресом)
 - доступ пира к данным определяется наличием на его ripple-счете денег (прямая зависимость - сколько трафика было отдано/получено столько денег должно быть затребовано/отдано, но цены можно определять при публикации)
 - файлы пира складываются в его личную папку, одноименные файлы замещаются
* создаем трекер с дополнительным API для torrent клиентов, на котором публикуются новые клиенты и публикуются их файлы
 - сохранить совместимость с клиентами без API
 - rss-лента выложенных файлов (клиенты самостоятельно настраивают фильтры, для выбора, какие файлы загружать, и какие удалять, например дающие наименьшую прибыль)
 - дополнительная оплата за наличие файла в доступе (периодическая проверка случайных частей файла на доступность), цены могут быть заявлены при публикации
p.s. желающие выложить файл самостоятельно его шифруют

Достоинства:
* не нужно изобретать ключевые технологии (раздача файлов, работа с сетями, трекер), и не сильно сложные изменения в коде имеющихся клиентов.
* возможно развитие до полностью p2p-варианта, когда даже публикация новых файлов происходит через DHT или аналоги
* у пользователей/хранителей данных будет прямая заинтересованность держать файлы доступными на высокоскоростных нодах, они сами самостоятельно допилят автоматизированные средства выбора какие файлы загружать и сколько хранить
* благодаря системам типа ripple подобный сервис будет обеспечивать оплату на грани себестоимости, и может быть удобен не только как возможность для резервного копирования, но и вообще как замена любым существующим онлайн хранилищам с на порядок большим качеством предоставления услуг
Недостатки:
* ???

---

О таком сервисе я размышляю уже давно, с появления ripple я о нем вспомнил, так как он очень удобно ложится на данную задачу оформления микроплатежей (оплата может быть разделена на очень маленькие части и проходить в момент закачки).
Тут всплывает еще один небольшой залоговый сервис, в разработке которого я участвую.. его можно использовать для обеспечения залога на размер взаимного траст..-ования участников.

Если сервис залогов точно будет разработан, то на распределенное онлайн хранилище у меня времени/денег нехватает (всегда находятся отмазки). Прямую выгоду от проекта тут получить сложно, в лучшем случае это может быть комиссия у залогового траста, но никто не заставляет использовать какой то определенный. Может есть какие-нибудь идеи, может донатом деньги собрать, так как разработчиков, желающих писать такое за бесплатно я не нашел.

а это будет очень вредно для кармы

Конечно если система оплаты это учитывает...

как идея вроде бы круто  По крайней мере основные риски у такого p2p проекта такие же как и у частных сервисов предоставляющих хранение:
1) Кто-то может взломать данные которые мы бекапим. Хотя шифрование нам поможет, но всё  же есть вероятность что любой метод могут взломать в будущем...
2) Все пользователи у которых мы расположили файлы могут разом удалить все эти файлы...

Но как я сказал ранее любой частный сервис(тот же гугл диск)
1) тоже возможно просматривает наши файлы
2) Все их сервера с данными могут тоже разрушиться (несмотря на трёх-четырёхкратное резервирование)

Посмотрим, может в будущем и будет нечто подобное реализовано.

Уже все придумано до нас. http://selectel.ru/services/cloud-storage/ например.

гы, где это я хамил?..   Ты там не перегрелся случаем?
(но смотрю пора уже называть ваши децкие проекты по-хамски - потому как полит-корректно вы ж не понимаете
что фигню лепите что и на 1% не тянет того что уже придумано давно и предложено как проект...)

Vladimir
PS  кстати, а ты случайно не "нянькой"(манагер по персоналу или начальник мелкой команды) работал?..
А то что-то для топ-менеджера элементарные вещи сильно туго до тебя доходят...

Вот как человек в одном посте может сделать два действия:
1) нахамить
2) предложить сотрудничество
где логика? (с) Жириновский

Не напрягайся - подобный(и гораздо круче) сервис можно будет легко организовать в рамках проекта новой комп. валюты(и еще тысячи других сервисов покруче)

http://sites.google.com/site/crucurrency/home/tmp
http://sites.google.com/site/crucurrency/faq/faq1
http://sites.google.com/site/crucurrency/donate

Кстати яндексу и даже гуглю можно будет тоже легко составить конкуренцию - имея миллионы серверов это теперь вполне реально...


Да, еще важная фишка - возможность "платить бесплатно" так сказать.  Все эти сервисы(даже дешевые) требуют денег, которые как ты понимаешь в регионах с з/п 200$/мес большая проблема(а именно столько стоит аренда сервера в россии, и при этом примерно такой-же "сервер" у каждого без дела простаивает дома!)...


То есть, например, если тебе надо надежно забэкапить 1 гиг данных, то ты можешь сделать это фактически бесплатно - "сдаешь в майнинг" скажем 4 гига своего диска и зарабатываешь за это CRU валюту, и за нее за эту-же сумму сам арендуешь у системы по 1 гигу в 3-4 местах, что абсолютно надежно...


Ну и, конечно-же, система управления автоматически подберет эти места по указанной тобой стратегии(для бэкапа это - макс. надежность) - то есть, с учетом страны, провайдера, города, статистики работы, конфигурации сетей передачи данных в этом районе(нет смысла выделять 2 сервера если они зависят от одного узла или канала данных - traceroute будут проанализированы автоматически) и тд и тп...
(скорее всего будут автоматически выбраны сервера физически на разных континентах - то есть даже в случае падения метеорита, ядерной войны или цунами при таком алгоритме распределения данные уцелеют)

Для других задач могут быть выбраны другие стратегии выделения места - например размещать информацию на "серверах" с широкими каналами связи поближе к потребителям траффика...   У многих же тарифы интернета <= 1 мбит/c (больше платить просто смысла нет - и так скорости хватает), тогда как локальная скорость провайдера по всему городу или даже региону до 100 мбит/с - то есть сеть частных "серверов" гораздо круче любого датацентра тк траффик из датацентров будет резаться у таких клиентов до 1 мбит, а тут сразу выдаем его как локальный прямо в сеть провайдера...
(то есть даже яндекс с его прямыми договорами с провайдерами пролетает - моя сеть получается круче.
Я уже молчу что например с США у меня качает 4 м/с, а с канадой почему-то больше 10-15 кбайт/с никак не поднимается...
Думаю врядли яндекс будет строить датацентр в Канаде - а "майнеров" будет везде полно и быстрее чем строить датацентр,
то есть даже godaddy можно составить серьезную конкуренцию и продавать траффик или место шароварщикам и тп)


Ну и, конечно-же, если лень "майнить", то новую валюту можно будет купить на бирже - причем как видите вложения в нее это не пустой инвестиционный пузырь как биткоин и его форки, а уже имеет реальное обеспечение комп. ресурсами и проектами, что гораздо надежнее... 
(скорее всего сразу будет дешевле чем в датацентрах, но потом набегут инвесторы и валюта будет стоить дороже - я потому и считаю "бесплатный" вариант очень важным тк по мере роста цены аренда опять для нас может стать не доступна, как и сервера в датацентрах по 200$ при такой-же зарплате)

Vladimir
PS  лучше бы занялся для кикстартера написал текст про проект - с русских я чую фиг что соберем...

PPS  можешь заняться собрать в список идеи что можно сделать и с кем конкурировать имея скажем всего миллион "серверов"...

Бекапы обычно имеют большой размер и могут не влезать на обычные облачные диски типа disk.yandex.ru

Можно сделать сервис, который будет:
1) собирать деньги с пользователей (предоставляя им интерфейс к p2p-диску)
2) конвертировать в биткоины
3) выплачивать поставщикам дискового пространства
4) ...
5) профит

Почему это должно "взлететь" (для критики от tvv):
1) не надо регистрировать множество почтовых аккаунтов, чтобы получить достаточно дискового пространства
2) не надо нарушать лицензионное соглашение хранением зашифрованных файлов
3) достаточно прозрачная схема распределения средств (кому и за что)
4) можно управлять параметрами надежности, пересчитывая их исходя из аптайма поставщиков