Pages:
Author

Topic: Сжать несжимаемое, впихнуть невпихуемое (Read 452 times)

legendary
Activity: 2058
Merit: 1256
⭐⭐⭐⭐⭐⭐
Не знаю в тему или нет, но был вот файл на работе и нужно было его сжать до определенного значения. И что я только не делал, и винрар, и 7 зип, и сервисы различные, сжать не смог. Даже пытался сжать уже сжатый файлик  Grin Вопрос собсна, чем можно сжать сильнее чем винрар?
этим попробуй  Grin: https://github.com/iamtraction/ZOD/blob/master/42.zip
Пароль 42
legendary
Activity: 2310
Merit: 4313
🔐BitcoinMessage.Tools🔑
Не знаю в тему или нет, но был вот файл на работе и нужно было его сжать до определенного значения. И что я только не делал, и винрар, и 7 зип, и сервисы различные, сжать не смог. Даже пытался сжать уже сжатый файлик  Grin Вопрос собсна, чем можно сжать сильнее чем винрар?
Интересный факт: сжатие уже сжатого файла может привести к увеличению его размера, а не к уменьшению, так что этот вариант можно сразу отбросить. К примеру, не стоит пытаться всякие jpeg, mp3, mp4 привести к определенному размеру с помощью архиватора, эти форматы уже представляют собой скомпрессированные данные. Но всегда их можно передать частями побайтово или уменьшить размер (и качество) специальными утилитами. Что касается архиваторов, то в них тоже нельзя выбрать желаемый размер файла, но можно выбрать уровень компрессии. В WinRar вроде аж шесть уровней, от самого быстрого до самого лучшего, и все они по-разному влияют на размер конечного файла. Естественно, нужно выбирать формат .rar и ни какой не .zip или 7z, так можно добиться наиболее эффективных результатов. Ну и еще интересная фишка есть у WinRar: разбивка архива на части. Вы можете вместо одного большого файла сделать несколько определенного размера, а потом собрать его заново той же программой.
hero member
Activity: 1610
Merit: 879
#SWGT CERTIK Audited

Так она же имеется в бесплатном исполнении. Для андрюхи, когда открываешь его всегда читаешь небольшое напоминание типа, а не хочешь ли помочь малость девам сего проекта?

Иногда из благодарности даже возникает такое желание, Smiley ,
Да влом этим заниматься,  да и светить какие-то проплаты это всегда по жизни явно  лишнее.
Им надо быть в тренде и начать принимать оплату в криптовалюте, тогда может и заинтересованных будет больше и адопшен самих криптовалют будет быстрее. Можно начать предлагать услуги по надежному шифрованию файлов кошельков, паролей,  приватных ключей и сид-фраз, благо задатки для этого уже имеются. Того глядишь и схему архивации блокчейна предложат.
Мне кажется, что многие широко распространенные проекты боятся связываться с криптовалютными платежами.
Поэтому кстати и относительно мало кто из них декларирует даже и донат в крипте.
И это понятно, из-за того непонятно, что еще там напридумают амеровские власти с налогообложением, с грязными биткоинами, и со всякими обменами на фиат и прочее.
А придумать что-то полезное пиплу и хорошее для бизнеса они в принципе не могут. От них жди только гадости какой новой.
newbie
Activity: 24
Merit: 0
Не знаю в тему или нет, но был вот файл на работе и нужно было его сжать до определенного значения. И что я только не делал, и винрар, и 7 зип, и сервисы различные, сжать не смог. Даже пытался сжать уже сжатый файлик  Grin Вопрос собсна, чем можно сжать сильнее чем винрар?
legendary
Activity: 2310
Merit: 4313
🔐BitcoinMessage.Tools🔑
Ну, первое что приходит в голову — хранить в инпутах транзакции не 256-битный txid, а сократить вдвое. Понятно о чем я говорю? Сейчас txid хранится целиком и при верификации транзакции мы ищем неизрасходованный выход предыдущей транзакции. Вероятность что во множестве предыдущих транзакций с неизрасходованными выходами найдутся две, чей txid совпадает в 16 из 32 байтов околонулевая (да и на этот случай можно сделать костыль).
Смысла в этом большого нет, сокращение размера блокчейна процентов на 10 (навскидку) не существенно. Кто знает понятие «О-большое», тот поймет
Костылей в блокчейне еще не хватало, опять найдут лазейку и наштампуют ординалов или NFT: начнут зарабатывать на транзакциях с похожими хэшами или что-нибудь подобное. Гораздо эффективнее будет вообще отказаться от полной верификации старых блоков и использовать вместо них дерево Меркла и просто отдельный хэш для части блокчейна.

Так она же имеется в бесплатном исполнении. Для андрюхи, когда открываешь его всегда читаешь небольшое напоминание типа, а не хочешь ли помочь малость девам сего проекта?

Иногда из благодарности даже возникает такое желание, Smiley ,
Да влом этим заниматься,  да и светить какие-то проплаты это всегда по жизни явно  лишнее.
Им надо быть в тренде и начать принимать оплату в криптовалюте, тогда может и заинтересованных будет больше и адопшен самих криптовалют будет быстрее. Можно начать предлагать услуги по надежному шифрованию файлов кошельков, паролей,  приватных ключей и сид-фраз, благо задатки для этого уже имеются. Того глядишь и схему архивации блокчейна предложат.
hero member
Activity: 1610
Merit: 879
#SWGT CERTIK Audited
Мне шутка понравилась.
Альберт Эйнштей видимо  хорошо  знал о том для чего нужен  WinRar и его сорокадневный пробный период , даже вот сравнил его с Вселенной, которую он очевидно полностью все-таки  не осознал, так как ее вообще никто пока еще не смог осознать.   Smiley

Я кстати на бытовом уровне изредка  пользуюсь WinRar просто для того чтобы слегка запаролить файлик или пачку файликов.
Довольно удобно, привык уже.

Шутки шутками, но подобные мемы хорошо продвигают продукт и обеспечивают ему известность. Кто-то захочет скачать и попробовать программу, а потом купит "шутки ради". А организации так вообще обязаны это делать, поэтому мемность WinRar очень помогает монетизации разработки этого приложения. Помимо скомпрессовывания нескольких файлов и даже целой системной структуры в один файл, WinRar и правда можно использовать для защиты информации от несанкционированного доступа. По утверждению самих разработчиков WinRar https://www.win-rar.com/password-recover.html RAR шифрование очень надежное и не содержит бэкдоров, единственный способ взломать его - это брутфорс. Теоретически, можно использовать архивы для хранения сид-фраз, паролей, файлов кошельков и другой важной информации, во всяком случае это будет намного надежнее, чем хранить их в открытом виде. Разумеется, для подобных целей нужно использовать официальную версию приложения, а не крякнутую.
Так она же имеется в бесплатном исполнении. Для андрюхи, когда открываешь его всегда читаешь небольшое напоминание типа, а не хочешь ли помочь малость девам сего проекта?

Иногда из благодарности даже возникает такое желание, Smiley ,
Да влом этим заниматься,  да и светить какие-то проплаты это всегда по жизни явно  лишнее.
sr. member
Activity: 770
Merit: 305
Выход? Придумать технологию сжатия данных из блокчейна, чтобы отсечь нерелевантные данные и при этом сохранить целостность и верифицируемость.
Ну, первое что приходит в голову — хранить в инпутах транзакции не 256-битный txid, а сократить вдвое. Понятно о чем я говорю? Сейчас txid хранится целиком и при верификации транзакции мы ищем неизрасходованный выход предыдущей транзакции. Вероятность что во множестве предыдущих транзакций с неизрасходованными выходами найдутся две, чей txid совпадает в 16 из 32 байтов околонулевая (да и на этот случай можно сделать костыль).
Смысла в этом большого нет, сокращение размера блокчейна процентов на 10 (навскидку) не существенно. Кто знает понятие «О-большое», тот поймет
legendary
Activity: 2310
Merit: 4313
🔐BitcoinMessage.Tools🔑
А зачем сжимать? В чем смысл?
Сжимать можно по разным причинам и несколько из них уже были перечислены в этой теме, также стоит учесть, что технологий сжатия довольно много и каждая из них может иметь отдельную сферу применения, может использоваться для сжатия конкретного формата или структуры данных. Но возьмем более реальную причину, которая напрямую связана с тематикой этого форума. Блокчейн Биткоина растет из года в в год, в случае положительной динамики и массового адопшена, этот рост будет только ускоряться и ускоряться, потому что с ростом спроса блоки будут забиваться и возможно потребуется увеличение их размера. Для запуска ноды потребуется много дискового пространства и их количество постепенно будет уменьшаться, потому что для отдельных пользователей покупка несколько терабайтных-петабайтных жестких дисков или тем более SSD может быть нерентабельной. Выход? Придумать технологию сжатия данных из блокчейна, чтобы отсечь нерелевантные данные и при этом сохранить целостность и верифицируемость.
member
Activity: 147
Merit: 83
А зачем сжимать? В чем смысл?
В чем смысл жизни, брат?

lossless data compression а то-есть сжатие файла без потери качества это целая наука алгоритмов.
Во тебе фулл гайд по этой теме, почитай, интересно.
newbie
Activity: 31
Merit: 0
А зачем сжимать? В чем смысл?
legendary
Activity: 2310
Merit: 4313
🔐BitcoinMessage.Tools🔑
Мне шутка понравилась.
Альберт Эйнштей видимо  хорошо  знал о том для чего нужен  WinRar и его сорокадневный пробный период , даже вот сравнил его с Вселенной, которую он очевидно полностью все-таки  не осознал, так как ее вообще никто пока еще не смог осознать.   Smiley

Я кстати на бытовом уровне изредка  пользуюсь WinRar просто для того чтобы слегка запаролить файлик или пачку файликов.
Довольно удобно, привык уже.

Шутки шутками, но подобные мемы хорошо продвигают продукт и обеспечивают ему известность. Кто-то захочет скачать и попробовать программу, а потом купит "шутки ради". А организации так вообще обязаны это делать, поэтому мемность WinRar очень помогает монетизации разработки этого приложения. Помимо скомпрессовывания нескольких файлов и даже целой системной структуры в один файл, WinRar и правда можно использовать для защиты информации от несанкционированного доступа. По утверждению самих разработчиков WinRar https://www.win-rar.com/password-recover.html RAR шифрование очень надежное и не содержит бэкдоров, единственный способ взломать его - это брутфорс. Теоретически, можно использовать архивы для хранения сид-фраз, паролей, файлов кошельков и другой важной информации, во всяком случае это будет намного надежнее, чем хранить их в открытом виде. Разумеется, для подобных целей нужно использовать официальную версию приложения, а не крякнутую.
hero member
Activity: 1610
Merit: 879
#SWGT CERTIK Audited
Естественно я периодически довольно часто пользуюсь WinRar.
И вполне себе доволен, но конечно иногда не сильно много сжимает, а хотелось бы чтобы поплотне упаковала бы.

 А почему вы советуете использовать платную версию программы.
Разве есть какие-то существенные отличия от бесплатной общедоступной ?
Это была шутка с отсылкой на известный мем: “Альберт Эйнштейн однажды сказал: есть две бесконечные вещи: Вселенная и сорокадневный пробный период WinRAR, хотя касательно Вселенной я не совсем уверен”. И если приобрести платную версию, то вы выйдете за рамки действия законов физики и станете сжимать даже несжимаемое. Но если серьезно, то лично у меня никогда не возникало потребности сжимать данные ради экономии места, обычно это либо наоборот распаковка архива, либо запаковка нескольких файлов и папок в один файл для передачи куда-то дальше. Если нужно что-то более серьезное, то как я описал выше, можно использовать совсем другие, современные структуры данных, которые позволяют не только переводить данные в более компактный формат, но и получать к ним доступ в разы быстрее.
Мне шутка понравилась.
Альберт Эйнштей видимо  хорошо  знал о том для чего нужен  WinRar и его сорокадневный пробный период , даже вот сравнил его с Вселенной, которую он очевидно полностью все-таки  не осознал, так как ее вообще никто пока еще не смог осознать.   Smiley

Я кстати на бытовом уровне изредка  пользуюсь WinRar просто для того чтобы слегка запаролить файлик или пачку файликов.
Довольно удобно, привык уже.
legendary
Activity: 2310
Merit: 4313
🔐BitcoinMessage.Tools🔑
Естественно я периодически довольно часто пользуюсь WinRar.
И вполне себе доволен, но конечно иногда не сильно много сжимает, а хотелось бы чтобы поплотне упаковала бы.

 А почему вы советуете использовать платную версию программы.
Разве есть какие-то существенные отличия от бесплатной общедоступной ?
Это была шутка с отсылкой на известный мем: “Альберт Эйнштейн однажды сказал: есть две бесконечные вещи: Вселенная и сорокадневный пробный период WinRAR, хотя касательно Вселенной я не совсем уверен”. И если приобрести платную версию, то вы выйдете за рамки действия законов физики и станете сжимать даже несжимаемое. Но если серьезно, то лично у меня никогда не возникало потребности сжимать данные ради экономии места, обычно это либо наоборот распаковка архива, либо запаковка нескольких файлов и папок в один файл для передачи куда-то дальше. Если нужно что-то более серьезное, то как я описал выше, можно использовать совсем другие, современные структуры данных, которые позволяют не только переводить данные в более компактный формат, но и получать к ним доступ в разы быстрее.
hero member
Activity: 1610
Merit: 879
#SWGT CERTIK Audited
Не понимаю, как сжать? Винраром или как? Можно поконкретнее пжлст.
Можно сжать данные и WinRar, но это нужно делать только на платной версии программы, то есть физически невыполнимо для большинства уверенных пользователей ПК. .
Естественно я периодически довольно часто пользуюсь WinRar.
И вполне себе доволен, но конечно иногда не сильно много сжимает, а хотелось бы чтобы поплотне упаковала бы.

 А почему вы советуете использовать платную версию программы.
Разве есть какие-то существенные отличия от бесплатной общедоступной ?
full member
Activity: 319
Merit: 132
На мой взгляд, в ближайшем будущем возникнет тренд по алгоритмам архивирования с потерями.

алгоритм сжатия с потерями, который работает в человеческом мозге,
позволяет очень неплохо восстановить даже почти полностью забытые данные.
А если надо сжать тонны шифра, который содержит крипторандом?
Например бекап целого дата-центра, но - зашифрованный...

Случайные, рандомные данные, в том числе и крипторандом - они содержат,
равномерное распределение вероятности встречаемости разных бит,
потому это несжимаемые данные.
У них информационная энтропия - максимальна.

Поэтому я и смотрю в сторону снижения информационной энтропии,
чтобы попытаться, какими-то манипуляциями,
сделать из несжимаемых данных - сжимаемые.


Чисто теоретически должна существовать математическая система с таким состоянием, которое позволяет сделать из максимальной энтропии - минимальную. Т.е. эта система будет по сути алгоритмом расшифровки. Когда этим делом займутся полноценные квантовые компьютеры достаточной разрядности и точности, можно будет даже получить алгоритм расшифровки данных в исходный вид с даже меньшей энтропией, чем было в исходных данных. Вроде того, что будут найдены более эффективные методы сжатия, шифрования и дешифрования. Например можно будет расшифровать за доли секунды любое шифрованное сообщение и пойти дальше этого - получить исходное сообщение с более меньшей энтропией - уже разбитое на токены или типа того. Пока даже в голове слабо укладывается, какие чудесные вещи можно будет делать  Shocked

Пообщался с ИИ на эту тематику и после уточнений пришли к заключению:

Quote
В теоретическом предположении о существовании абсолютно идеального квантового компьютера с неограниченными вычислительными мощностями - да, в принципе, перед ним не существовало бы непреодолимых математических сложностей для взлома любых криптосистем.

Однако нужно четко понимать, что это чисто гипотетическая ситуация, не имеющая практического воплощения в обозримом будущем по ряду причин:

1. Невозможно построить абсолютно идеальный квантовый компьютер из-за накопления ошибок и шумов.

2. Требуемые вычислительные мощности недостижимы в реальности.

3. С ростом сложности алгоритмов шифрования требования к компьютеру возрастают экспоненциально.

4. Существуют фундаментальные ограничения скорости передачи и обработки квантовой информации.

5. Криптосистемы могут использовать квантовые принципы для защиты.

Так что на практике вопрос взлома любого шифра квантовым компьютером не стоит - криптография постоянно совершенствуется, опережая технический прогресс. Но теоретические пределы полезно изучать, чтобы понимать принципиальные возможности технологий.

И по поводу проблемы сжатия несжимаемых данных о которой говорит ТС:

Quote
Да, идеальный квантовый компьютер мог бы помочь сжать большие объемы зашифрованных случайных данных. Вот несколько способов, которыми он мог бы это сделать:

Использование квантовых алгоритмов для взлома шифрования и получения исходных незашифрованных данных. Это позволило бы применить стандартные алгоритмы сжатия к незашифрованным данным.

...

Остальные варианты считаю уже бредом и галлюцинациями ИИ
full member
Activity: 1484
Merit: 133
можно использовать звездное небо как один из словарей
legendary
Activity: 2310
Merit: 4313
🔐BitcoinMessage.Tools🔑
Не понимаю, как сжать? Винраром или как? Можно поконкретнее пжлст.
Можно сжать данные и WinRar, но это нужно делать только на платной версии программы, то есть физически невыполнимо для большинства уверенных пользователей ПК. Вообще сейчас с развитием BigData важно не только оптимально сжимать данные, но также и обеспечивать при этом оптимальную скорость доступа. Такие форматы как CSV, JSON очень удобны и просты в использовании, но вот вышерепечисленным требованиям не всегда соотвествуют. В свое время тут была тема с вопросом про способы хранения информации из блокчейна и мне на глаза попалась эта статья: https://bigdataschool.ru/wiki/parquet В ней рассказывается об Apache Parquet - "это бинарный, колоночно-ориентированный формат хранения больших данных, изначально созданный для экосистемы Hadoop, позволяющий использовать преимущества сжатого и эффективного колоночно-ориентированного представления информации." Этот формат не только позволяет быстро считывать информацию, но и очень сильно экономит место. CSV-файл размером 200 гб при переводе в формат Parquet будет весить всего 5 гб. Вот пример хорошего сжатия, которое еще и позволяет быстро работать с большими объемами данных.
ai8
jr. member
Activity: 67
Merit: 2
Предлагаю плотно заняться поиском способов сжатия несжимаемых данных.
Несжимаемые данные - данные с максимальной информационной энтропией (распределение бит в них биномиальное, число единичных бит 50%, как и число нулевых бит). Негация не изменяет энтропию таких данных.
ИИ решает энтропию за 4-7% брут форса
но кто в это поверит ?
выж лотохи пихаете

 пример www.seo8ceo.com/effectiveness-AI-forecasts-2023.htm
newbie
Activity: 27
Merit: 1
Не понимаю, как сжать? Винраром или как? Можно поконкретнее пжлст.
legendary
Activity: 2534
Merit: 1510

Как туда вкатиться, по хардкору? Чтобы чисто лютый матан видеть, весь?

Тут не подскажу, но ведь и Вам всё не нужно, что там есть, а какие-то общие принципы нужны.
Pages:
Jump to: