Я не так давно начал вникать в блокчейн технологии и их общие принципы, и не зря задал вам эти вопросы. Спасибо за быстрый ответ, теперь мы можем двигаться дальше исходя из описанной вами логикии фактов. Не претендую на 100% достоверность приведенных ниже данных, но общий смысл, думаю, будет верен. Итак:
Про размещение спарсенных данных с чужих сайтов - это НЕЛЕГАЛЬНО. Ссылка на источник не является легализацией этого права, это работает только в случае, если владелец данных добровольно об этом заявляет. Поверьте, ни один из онлайн магазинов не заинтересован в том чтобы материалы с его сайта были использованы кем то еще. Подумайте над этим очень серьезно, ответственность может быть настолько серьезной, что продолжать работу не захочется. Почитайте например хорошую статью на хабре
https://habrahabr.ru/post/284738/. Это то, с чего вам нужно начинать.
Теперь давайте углубимся в сам блокчейн и ваше желание использовать его для записи информации о товаре, истории цен и т.п.
Проблема номер раз - вы полагаетесь на безошибочную работу вашего парсера и полную автоматизацию без участия человека и записи всех данных в собственный блокчейн. Автоматизация очевидна, поскольку 1.000.000.000 заявленных вами товаров через полгода невозможно мониторить с помощью рук и глаз. Но поверьте мне, как человеку успешно реализовавшему аналогичный движок 6 лет назад - ошибки неизбежны. А вы пишите это сразу в БЧ, то есть будь готовы к тому, что определенный процент данных будет испорченным, но изменить это вы уже никогда не сможете, так и будете жить с битыми данными всегда (причем их объем будет расти каждый день). Стоит магазину изменить шаблон выдачи товара или подключить дополнительный защитный скрипт, или изменить структуру взаимодействия с REST API - у вас тысячами в минуту появляются битые записи. Тут использование БЧ - скорее во зло, чем во благо, поскольку обычную БД всегда можно откатить, почистить и подлатать.
Второе, вы говорите паук сам парсит цену при первом посещении. Я не случайно задал этот вопрос. Вы говорите, что полагаетесь на достоверность цены (и других данных, неважно) - исходя из несложного алгоритма сверки работы тремя разными майнерами. Типа один результат от трех разных источников = истинный результат. И это неплохо. но как же тогда относится к первой цене, спарсенной вашим пауком? Она же получается не достоверна с точки зрения чистой логики и может быть вами подменена в угоду чьим то коммерческим интересам. А именно достоверность данных вы ставите выше всего в проекте насколько я понял. Логичнее было бы сделать запуск парсинга тремя майнерами непосредственно в тот момент, когда покупатель впервые заходит на карточку товара. И тут мы опять упираемся в ограничения БЧ - на запись достоверного блока (а след и получени достоверной цены) вам понадобится минимум 20 секунд для записи блока + время на сам парсинг цены тремя майнерами. Покупатель не будет в восторге, перебирая каталог товаров, цену на каждый их которых приходится ждать более 20 секунд. Использованик блокчейна в данном случае - опять же во вред идее проекта.
Третье и самое не продуманное - собственный форк етериума. Очевидно, что блокчейн существующий в рамках одной организации это не блокчейн а dev платформа. К ней нет доверия и у нее нет будущего. Следовательно нужны майнеры со стороны, люди, которые будут на коммерческой основе делать форк ваших данных и работать на вас за вознаграждение. Именно поэтому я и задал вопрос про то чем и сколько вы собираетесь платить майнерам? В вашем WP четко написано - выпускаем 100М токенов, для оплаты майнерам оставляем 20М. Для отправной точки будем считать что 1 AHT = 1 ETH (это заоблачная величина, но примем ее для простоты рассчетов).
Чтобы быть конкурентными (чтобы майнеры хотели тратить свои мощности на ваш БЧ) - вы должны платить на конкурентном уровне, сейчас в етериуме оплата за блок - 5 ATH, за простую транзакцию перевода денег 0.015 ATH. То есть один блок, содержащий 333 самых простых транзакции обойдется вам в 5 ATH. Идем дальше - смарт контракт и парсинг (вопросы были заданы не случайно). Сейчас будет весело:
Я не буду вдаваться в стоимость контракта на парсинг цены. Мало тото, что сам парсинг невозможен кодом контарка - EVM закрытая система и никаких инструментов для подгрузки страниц из веба или поиск данных регулярками в статическом HTML у него нет. Мало того, что сейчас более 50% магазинов используют сложные движки, и чтобы получить статический HTML для парсинга надо создать УНИКАЛЬНЫЙ, ОЧЕНЬ СЛОЖНЫЙ И РЕСУРСОЕМКИЙ парсер (поверьте, он у меня под рукой и я знаю о чем говорю). То есть вам в нагрузку нужно майнерам давать сложный софт, пожирающий их мощности в сотни и то и тысячи раз большие, чем исполнение простого контракта. И даже не это главная проблема, давайте думать что вы пишиты в БЧ просто цену, и стоимость этой операции будет как минимальный перевод - 0.015 ATH.
Получается:
а) вы можете записывать в БЧ 333 * (20 * 3) товаров в минуту. Итого 20.000 товаров в час, 480.000 в сутки. На запись одного ярда товаров вам понадобится 2083 дня (почти 6 лет). И это только первоначальная запись
б) вы потратите на запись данных (5 ATH * 3) итого 15 ATH в минуту. Несложно подсчитать, что за ярд товаров вы заплатите майнерам 3003003 ATH что с учетом текущего курса ефира (не забываем что 1ATH = 1ETH = ~$200)
$600.600.600 БАКСОВ.
с) я не зря спросил про частоту изменения цен для всех товаров в вашем поисковике. Возьмем любую, даже самую бредовую и неактуальную проверку цены на каждый товар - раз в месяц. По сути это будет тоже самое, что записать все товары в БЧ заново. По деньгам это теже $600M каждый месяц, а технически просто нереально поскольку
превышает пропускную способность блокчейна на базе етериума в 70 раз!
Блокчей в вашем случае - неприменимая технология, вы ошиблись в корне, посколько не произвели базовых рассчетов. Я понимаю что вы будуте фантазировать с обхединением сотен товаров в один блок данных, делать хеширование однородных структур и по всякому извращаться чтобы влезть в указанные вами рамки, но парни, это только усложнит всю вашу жизнь, не имея под собой реального смысла.
Я искренне жделаю успеха вашему проекту, именно поэтому решил обсудить с вами эти детали в русской ветке, а не в английской. Мне импонирует ваша идея, поскольку я делал чтото похожее много лет назад и это работало. И мне приятно когда наша команда реализует успешный проект в сети. Подумайте над очевидными ляпами в вашем WP, исправьте их до проведения первого этапа ICO если претендуете на серьезные инвестиции. Уделите больше внимания именно описанию деталей использования блокчейна в вашем проекте, сейчас это бред.
Удачи!