Давно ничего не писал на форуме. А вот этой темой тоже интересовался: куда теперь все это оборудование от майнинга. Видел в телеграмм, например, такой "бизнес" - делают бота к чатГПТ через свой API, и канал (пофиг чем заполнен, ну, допустим, околотехнические новости или что-то другое), а доступ к боту дается подписчикам, пока есть подписка на канал. Кол-во подписчиков чем больше, тем выгодней продают рекламу.
Однако тут есть такие подводные камни - это скорей всего нарушает лицензию против коммерческого использования сетки, а стало быть может быть легко и просто все хозяйство снесено телеграмом по обращению из органов западных или российских смотря чтоза лицензия. Чему примеры уже были. Кто-то сам запускает сетку на своем оборудовании, ну это другое, хотя там тоже в основном лицензии запрещают коммерческое использование, а значит не только телега, но и любая другая платформа, на которой будет предоставляться услуга может дело зарубить.
С другой стороны можно сделать свою гибридную сеть или даже самому обучить, если только лицензия основы не наследуется "форками" - этот вопрос не знаю. А можно и хрен положить на лицензии (наверное). Ну вот как то так. На гитхабе куча проектов и картиночных и текстовых, которые можно запустить самому. Запускать в общем-то можно и на процессоре и на картах. Вопрос в том, что на процессоре медленно и надо много оперативки, на картах быстро, но ТОЖЕ надо много оперативки т.к. вот так вот просто без ухищрений большую модель на обычных картах не запустить, все равно часть скинет в оперативку и причем это будет не часть, а ЧАСТИЩЕ в половину, а то и скорее всего больше половины модели (там сама по себе и контрольные точки вроде как).
Квантованные модели типа ламы, альпаки или других можно засунуть целиком в карту, это да. Смотря какую скорость надо и качество вывода и смотря для чего. Вот если на карте 24 гига памяти, наверное край - это 13B параметров влезет 16-битной с плав. точкой, или квантованная до 4 бит в целых числ. 30B альпака, например влезет. Это если вообще не влазить в оперативку - чисто на карте. А сколь стоит такая карта? - да уж немало. Для обучения надо 40-48 гиговые. Это там наверно по пол-лимона р., ну 400 штук может. На том, что осталось от майнинга можно попробовать обучать, скорее всего намного медленней, ну или скроить гибрид из родственных по основе моделей. И таким образом на фоне конкуренции этих ботов, можно предоставлять специализированный ассортимент сеток: писатель сочинений, решатель задач школьных, научный справочник, картинки (в принципе есть модели не сильно хуже миджорни), профессор медицины из Стенфорда и т.д. А не как чатГПТ - и швец, и жнец, и на дуде игрец, а поглубже копнешь, так может и ошибок серьезных наделать, а школьнику потом двоек наставят))
А то, что пишут в СМИ - вот ГПТ-4 сделал сайт по накарябанной бумажке, написал диплом, решил то, решил это, или вот недавно "письмо от деятелей культуры" с призывом остановить разработки ИИ - это все хайп ровно такой же, как было с дефаем или хайп НФТ. Но хайп только на руку, если надо как-то применить оборудование. Что касается сдать мощность в аренду, то это как-то сомнительно. Вот майнинг никому не принадлежал, майнер был сам себе хозяин (до того момента когда не оказалось что хозяин Бутерин) так что-то похожее можно сделать, если самостоятельно заниматься, а не в аренду. С другой стороны по-любому услуга эта на чужой платформе - телеграм или там дискорд, но ведь и крипту продавали тоже на централизованных биржах. Тут уж гарантий нет, что не забанят бота вдруг.
Стало быть какие оптимальные варианты подешевле можно слепить из того, что есть после майнинга: несколько ферм по запущенной специализированной модели на каждой. Допустим оперативки мало и проц. так себе там, но карта хорошая (жирно памяти, а чип это уже второе). Или насобирать жирно оперативки, проц. ну какой-то, и карта какая уж есть - тогда запускаем с ухищрениями. По себе решил сделать потом так (мне скорость не критична, т.к. для себя, а не для чат-бота): самый жирный процессор и предельно памяти - это один хрен дешевле нормальной карты, которую надо. Однако, такой конфиг подходит для генераторов текста, а мне того и надо, а вот кому нужно картинки - для картинок надо все-таки карту. Для дипфейков или видео тоже карты нужны (или если делать что-то типа фильмов полностью сгенерированных сеткой) - кстати тоже разновидность бизнеса. Уже встречал такие идеи как услуга. Или вот встречал что-то вроде диафильма в видеоформате. Там все генерируется и текст субтитров и голос и видео, для всего есть сетки.
Еще образец бизнеса: Через свой арi бот подключен якобы к ГПТ-4 (со слов рекламы, а по мне так к 3 версии, очень похожие выводы) и пользователь загружает ему текст, например книжки, тот выдает рецензию или аннотацию плюс может ответить на вопросы по содержанию. Что-то вроде дайджеста книги. Однако спустя пару обращений просит 5 баксов на подписку. Ну чтобы просить бабки надо не три предложения писать в виде реферата. Тут есть конкурентное преимущество вот какое: они порезали параметры (например, max_new_tokens или max_length) чтобы через их апи не долбали слишком бота, имея же свою сетку, можно как угодно сделать, на фоне чего школьники будут писать сочинение тут. Например закинул книжку Гоголя и дал инструкцию - а вот и готовое сочинение по плану. Так что, даст школьник 5 баксов на подписку? за 5ку в четверти?))
Просто поделюсь субъективными впечатлениями, может пригодится:
По некоторым популярным сеткам, которые в свободном доступе согласно своей лицензии на hugging face (основная модель как база семейства):
Которые продолжают текст (как бы очень умный T9 из телефона):
GPT-neo - ну скажем так, нормально в общем, писать может
GPT-J - получше, даже очень хорошо
OPT - хорошая модель
LLaMA - как-то сыровато, но жирные параметрами модели нормально (30B)
Если говорилки специально обучить, то они уже могут общаться:
Обученные отвечать на вопросы или следовать инструкции (обученные например на инструкциях Стенфорда или инструкт-ГПТ)
alpaca - очень даже ничего (это LLaMA дообученная Стенфордскими умниками), особенно 30B. Альпаку и ламу пробовал только 4 битные, что там теряется и насколько изменяется качество - вопрос неисследованный пока что. Но вроде на глаз как говорят, немного.
Новая модель, которую выложили сегодня databricks - это GPT-J обученный как альпака: Dolly - весьма даже неплохо (И еще вчера одна баба умная выложила самодельную Долли, которую сама и обучила по их документации, а у датабрикс это оригинал.)
Некоторые популярные специализированные модели:
Медицина - у майкрософт и стенфорда (найти легко по названию организации) субъективно у стенфорда получше, но в обоих случаях это просто говорилки, чисто для информации и то скорее для узких специалистов.
код - у salesforce, тут есть много чего, отмечу codegen - разные модели по числу параметров, а также по охвату языков, например mono - только питон или мульти - несколько языков, вроде 6.
попиздеть - Pigmalion, может кстати быть язвой как баба, но это его надо гнобить))
наука - galaktica от фейсбук (на базе OPT, еще фейсбуковая модель это лама) - пока удалось заставить лишь как справочник, хотя в доках написали, что и решать может и рассуждать, чет не верится, не похоже..
всензнайка - pithia это скорей для обучения других моделей,хотя
все для сочинителства или игр в текстовые истории - модели от Kobold
Это все были с архитектурой трансформера. У них размер контекста жестоко 2048 токенов и ни токеном больше (пока что по крайней мере), то есть это то, что модель помнит. Тем не менее это самая современная и модная архитектура, и чатГПТ, и ГПТ-4 - трансформеры.
RWKV - нечто между рекуррентной и трансформерной архитектурой, здесь контекст ого-го, так называемый "бесконечный контекст", на huggung face есть модели с контекстом до 8196 токенов, ну это уже серьезный разговор, а так оптимально 4096. Токен в грубом приближении - это 3/4 английского слова. На других языках больше, поэтому на них сетка помнит меньше контекста.
Всякие проги для запуска найти легко на гитхабе, например:
https://github.com/oobabooga/text-generation-webuihttps://github.com/antimatter15/alpaca.cpphttps://github.com/tloen/alpaca-lorahttps://github.com/KoboldAI/KoboldAI-Clienthttps://github.com/ggerganov/llama.cpp - тут надо иметь в виду, что это слишком умный и активный кодер, задолбал своими коммитами каждый час, и после каждого формат модели меняется и надо конвертировать. Еще и искать токенизатор, а хер знает какой он имеет в виду и стало быть лезть искать в вопросах там. Ну нахрен, если сишник вылизывает свой код, ну ему нравится, а мне гораздо интереснее изучать как сэмплеры действуют на результат определенной модели, это то вот и очень мало изученная тема, а от этого вывод может отличаться как небо и земля. А не заниматься конвертированием по 5 раз на день (утрированно конечно)
https://github.com/AUTOMATIC1111/stable-diffusion-webui - это миджорни на своей видеокарте. И не только. В этой оболочке можно запускать разные модели, в том числе похожие на миджорни, или ориентированные на портреты или другие жанры. И эти модели неплохие.
или вот тут все ссылки на все разом:
https://2ch.hk/ai/Ну вот, в общих чертах как-то так будет выглядеть мир после крипты. А все. Больше десятка лет хайповали, теперь новый хайп. Интересно что будет вместо этого афоризма - "биток никогда не падал ниже предыдущего хая"
апдейт
Midjourney прикрыла бесплатный тестовый доступ: в компании не рады «чрезвычайному спросу и злоупотреблениям»Халява с кучей акков видимо кончилась, так что есть место для тех, кто подешевле будет брать. Многие штуки не нуждаются в таком качестве, типа эмблем, реклам, постеров и др. а к хорошему уже пристрастились. С месяц назад была даже статья на этом же сайте, где маркетинго-рекламщики спортмастера хвастались, что свалили всю работу на миджорни задарма, а т.к. зарплату им никто не снизил, текст производил впечатления бурного веселья халявщиков, которые "смогли наепать начальника")) может это субъективно, но всякий текст имеет ауру настроения, и почему-то пришло вот такое. Так что спрос в этой области имеется. Опять таки на этом же сайте тоже недели три-4 назад была статья в стиле "плач Ярославны" где описывались в сгущенных красках страдания страдальцев, сделавших бота к чатГПТ и канал к нему, набрали подписчиков, уже продавали рекламу, как вдруг все хозяйство забанили. Но ор на весь интернет или еще какая причина помогли и бизнес телеграм разбанил.
