Ребята, всем привет!
Позвольте мне представить одного человека, который
полгода локальную модельку на домашней 4080 на LLM 3H.
И у него получилось.
Чуть-чуть о себе.
Почему эта тема? Ну, потому что так сложилось, что на собеседование я обманулся.
Я вот скачал себе ЭВЛ-нку, я немножечко потряживал, мне понравилось.
Вообще, видео покупалось для того, чтобы играть в Кибербанк.
Ну, а сейчас я отвечаю на вопрос, можно ли устроить с ее помощью Кибербанк в реальной жизни.
Ну, и у меня все это получается.
Немножечко о Цезарусе и о нашей боли.
Цезарусу в целом слегка просто прояснить, чтобы уточнить некоторые термины.
Статический анализ, он обычно производится автоматизированы статическими анализаторами,
они ходят по году, по колду, и говорят, что вот здесь у нас подозрение на такой трикос, здесь такой трикос.
И все это складывают в концентратор.
Ну а в концентраторе необходимо понять, что реально ли это срабатывание? Скорее всего нет.
И до этого этим занимаются в основном чисто люди, местные люди, которые такие, ну ты врешь, ну просто по статистике, то есть любой статистике, у кого не спрашивать, от 95 до 98% срабатывания со сна, оно ложное.
Мы не хотим, чтобы у нас кровоточили глаза, поэтому эта тема в целом сейчас достаточно востребована, и поэтому мы как раз в нее погружаемся.
Что, собственно, немного спойлеров, и что вы узнаете, и что потом вполне можно будет забрать с собой.
Это базовые тейки, которым стоит руководство при работе с LLM-правдами и на небольших моделях точно.
Как минимум стоит сказать, что идея с доработкой небольших правдов для малых моделей, у меня на 4080, дома поднимается контекст до 8000 токенов.
Это не так много. Вы туда полный трассу можете не загнать при каком-то суперпроедайности.
Поэтому приходится изобретать, и я этим занимаюсь. И мы в том числе.
Соответственно, будет несколько тейков, к которым я пришел. Скажу, как я к ним пришел, это тоже возительно.
И как я приходил к этим фейкам, потому что есть одна статья
на Тиму Зира Фоллс конца 25 октября 25-го года, естественно
китайцев, про то, как они неправдали, донастраивали
большие модели.
И у них тоже получалось.
Я такой, ну у меня малая модель, у меня, конечно,
меньше, чем у них, но почему вы не попробовали, как
это получилось.
Соответственно, я расскажу в ближайшие 15 минут, я расскажу,
я пришел к этим дыкам, ну и немножечко покажу результат.
Значит, да, немножечко опять же от теста в онстенде,
к чему пришли.
Ну, на видео я сказал, откуда взялась в LLM, было выбрано
потому что, ну, я когда начинал все это изучать, я спрашивал
на чат-наприк, чатчик, у меня вот такая конфигурация,
как мне в капли, не в капуктер поиграть, а LLM, наверное,
запустить, он такой, ну вот, делает так, я так, ну окей.
Ну, так начиналось, так, друг говоря, год назад. Полгода назад я уже понимал, как устраивать инфиренс у себя.
Другое дело в том, что мне были нужны специфические штуки.
И специфические штуки я собрал ансамбль с 10 моделей и подавал какие-то бэч задачи, которые я отравливал.
И дальше просто эвристически, статистически оценивал. Оно норм, не норм, вообще заходит, не заходит.
Ну, то есть, для начала так, оно вообще работает.
И к этой модели на своем железе я пришел, ну, эвалистически.
Было еще сравнение с квеном на три, но почему-то всегда на тех же задачах показывают хуже.
И это, кстати, наверное, потому, что как раз, заберем я чуть вперед,
общий подход, есть руководящие какие-то направления, которые стоит брать,
но конкретные промты под разные модели, они могут уже отличаться.
Поэтому, если вы меняете модель, то тоже надо, скорее всего, маленькую модель.
То есть про маленькую модель речь.
Вот, ну, приблизительно такое значение.
Секунду походило на одно решение, ну, один акт тряжа.
И, ну да, ну и почему небольшие модели в целом используются?
Потому что выход за периметр, ну нельзя всякое такое, не что еще сказать.
Ну и снизу слайда представлен наш текущий pipeline.
Мне организаторы скидывали одну идейку, как его расширить.
Ну в общем, будем расширять и потенциально будет здорово.
Но пока работает достаточно тривайно.
Взять лишние загребраторы, выстроить чек регулярками.
Это, кстати, важно, потому что повышает где-то на 30% продуктивность, по крайней мере, юристиками разбирать половину уязвимости.
Не уязвимости, дефекты.
Ну, буду оговаривать.
Это работа с какими-то корректарными секретами.
И очень часто там просто, во-первых, регулярно позволяют формировать input еще и для локальной небольшой модели,
по уточнять, я про это расскажу.
Ну и, эгоистики помогают зачастую просто отсеивать какую-то такую базовую базу,
типа Yala Token, которые идут в тигурных кавычках,
и сразу фигняют где-то там, кстати, как влажалось.
Дальше LLM тряжет, то есть принимает на вход промп из трассы из галригатора,
плюс, возможно, хьюристик причек, плюс удар.
Ну и обязательно все с джейсоном. Это отдельный момент, потому что, короче говоря,
если модель не умеет работать с джейсонами, а так и есть, они вроде и думают хорошо, и тебе что-то рассказывают,
Но в итоге ты каши с ней не сваришь, потому что, думаю, что ты будешь делать с ее философией на месте строительства.
Ну и дальше принимаем вердикт и отправляем его назад на герегату.
Собственно, эволюция. С чего начиналось? С декады. Как раз я прицеливаюсь к первому...
Как раз почему короткие промпты, давайте об этом скажем.
То, что модель – это быстрый, но баншевоуздающий джун.
А промп – это как раз он обогащает контекст, и
в целом за счет обогащения контекста можно добиваться
от его реальных решений задач.
Просто формирование конкретных контекстов для
конкретной модели, это получается у нас немножечко такое искусство-ремесло, потому что каждая модель
индивидуальна в этом плане, даже если она конерская. И что еще хотелось бы здесь добавить,
как раз вы расширяете эту тему, то что абсолютно общего, универсального подхода к формированию
конкретных промплов, его нет. В общем случае задачи, скорее, не разрешимы. То есть вы можете в целом
споследовать каким-нибудь подходом, работа не заканчивается.
Ну а дальше уже, вот, ну это как раз первая версия, что происходило.
Опять же, с хардкодами начинали работать, и модель, когда она вообще, ну, то есть,
ты отдаешься ролдату, она любые, там, какие-то большие числа, все это хардкод и прочее,
то есть она распознавалась. Здесь как раз начались небольшие промты.
Ну и дальше потихонечку как раз можете наблюдать эволюцию.
Это как раз первый слайд, первый из двух, которые идут к уточнению тейка о том, что очень полезны
при чеке хевристические для моделей. Второе, структура. Опять же, можно помогать моделям на
основании херистик, причеков и в целом ролл дата, который
в нее передается, то есть трассы вот этого всего, чтобы
срабатывание не было.
То есть не давать им, а что ты об этом думаешь,
а передавать только там, когда есть какие-то эмкеры.
И на основании их строить логику, что ты должна думать
так в данном случае, дорогушек.
Ну и вот, соответственно, как на основании этих человек
принимать решение.
качество получается. Так, вот следующее. Значит, в марте случился большой косяк, вроде как модель
работает качественно, однако в какой-то момент я говорю, ну вроде качественно, оказалось не очень
качественно, и вот этот секрет оказалось со статусом полос-позитив, когда они были, потому что там
еще одно важное замечание,
как бы допустим, если вы меняете
политику, либо
меняете часть правдов
и часть правдов придется
выкидывать. У нас был момент,
когда сначала вы говорили,
ну если это не правд, то фикс-им,
то фонс-позит, а правд и поэтому поймали.
Не поймали, как выяснилось.
Поэтому сейчас у нас просто
идет понижение
критичности нового приоритета
с прорабатывания.
Что еще добавить?
Соответственно, из-за этого мы как раз натолкнулись
на следующее изменение.
Ну вот как раз про downgrade я сказал, то, что про анолн
я не упоминал, но есть такой момент, что модели зачастую,
если сомневаются, если у них недостаточно в картных
данных, то даже большие модели, просто не ссвятая
большая модель, она не горела, она такая на 90% чего
Я не знаю, этому не училась. Поэтому даже большим моделям нужно как минимум...
Системный проф, понятно, но даже на его основе она не сильно не может вывозить.
Обязательный момент – это регулярная, скажем так, децентрация больших моделей на то, что вы можете.
Типа какую-то дату изнутри вещь, и вы не можете отдавать.
А вот давай подумаем, что у нас были такие результаты срабатывания,
то мы можем просто поправить в системе квен или чатик, а можно подумать, как улучшить наши промты.
Потому что у нас есть такие срабатывания.
И что еще здесь стоит добавить, то что стоит иметь какой-то размеченный ground truth,
размеченный, то есть это тоже вот тряженный, а ground truth – это истинный срабатывание,
то, что мы считаем истиной.
Человек есть мера всех вещей, и только то, что мы называем истиной, является истиной.
И если модель начинает с этим соглашаться с результатами треажа, значит мы считаем, что она ведет себя хорошо.
Дальше. Тут мы переходим как раз к тому, что я говорил.
Разделяем классы. То, что для принятия решений по CSS SQL, Ninja и Xe зачастую
Роу дата много, то есть кода из...
Ну вот, в общем, кода, который передавался в качестве трассы,
какие-то симки не доходят, или наоборот, в коды не доходят,
и, соответственно, модель начинает сомневаться.
Поэтому создаём какая-то эвристика на основании кода.
видишь и x, y, z, и вот они в подобной форме, то тогда мы склоняем решение в сторону confirmed или на вам от фолза.
И значение вот этих результатов, они получены не от балды. Это как ретриаж на ground truth, то есть повторный анализ того, что истинное срабатывание,
И потихоньку качество VHS вообще ничего не знает постоянно, а «ноу», до уверенных совпадений.
Ну и вот здесь как раз эволюция кейса как раз по «ноу», «в-кэшу» — это одновременный гибрид того, что мы как раз не проследили за политиками,
и некоторые изменения правдов в соответствии для того, чтобы получить требуемый результат.
Потому что политики и организации могут отличаться от политиков вас.
И типа, ну, да, а нам там, на КТТП юсиш побуг, и еще что-то.
И вот за счет этого приходится докручивать правды, чтобы
разгребать обе конюшни.
Ну и за правдами, в данном случае, политиками нужно
следить и совмещать.
Ну и да, в итоге получилось, ну, Крикому это то, что, ну,
корректно распознавала истинность на наборе истинных срабатываний, в данном случае мы их суммируем, и фаузов,
то есть проект, который рекорд считает. Ну и независимая проект, не знаю почему так назвался.
Так, вы можете видеть согласие agreement.
Здесь 40 случаев, то есть у нас набор из 88 решений,
половина из них фалзы, половина из них конференда,
и вы видите вот такие сравнения с грандтургом человеческим.
Вы получились вот такие показатели, когда вначале они были совсем печальные.
Есть, конечно, расхождения, но это как примеры того,
что, например, модель была права, а не я.
Или человек, ну может это было и я.
Или вот, короче говоря, необходимо как раз еженедельно
это респотер про авто, про копание, докапывание
машин, это такая рутина, с которой предстоит взаимодействие.
Есть у меня видос того, как происходит тряж, но у нас не красивые гуи, а не красивые все лайки.
Здесь можно в целом наблюдать, как запуск команды, начало фрации и дополнительного проекта, который передается модель.
соответственно, дальше она какое-то время думает, вращается библок, и потом она выдаёт ответ,
который будет, ну, то есть она выдаёт не только там confirm, но и то, что она надумала, то есть статус,
который присвоит этому issue, с этим, то есть автоматизация описания для разраблений,
а что делать. Потенциально мы думаем, как это потом, дополнительно. Ну и как в целом выглядит
результат сессии, даты, токены считаются.
Вот тут все необходимое.
Сбор статов отправляются в базы, то есть не наблюдаем
за этим, чтобы потенциально можно было перетарять.
Обязательно обратная связь должна присутствовать
в таких процессах.
Давайте еще раз повторим то, что я в целом рассказала,
Зачем трогать задачу для того, чтобы в целом можно было на меньшее количество юристиков не кормят модель у лишней информации.
То есть, у лишней информации, она реально лишней.
В целом, рассказал, зачем используются схемы увеличения качества мышления моделей.
В частности, они строятся на тех же эвристиках для ЛН, которые позволяют ускорить процесс самоутриажа,
откидывая некорректные срабатывания на причеке.
Ну и как раз как раз обязательно нужно обладать каким-то эталоном, которому вы доверяете,
которые считаете истиной, которые можно разгонять, и потом, то есть,
приотраживать человеком за моделью можно, и потом, когда вы его выбираете,
то у вас получается более как бы solid base для того, чтобы обучать, ну, в данном случае,
да, вы что не говорите, да, раскачивайте, прокачивайте промо. Вот. Ну а, да, ну и что в целом,
Я общался с начальством, и в целом кое-чем я смогу поделиться.
Потому что есть система про революции, про то для некоторых СМЭ,
ну и какую-то более интересную выкладку получился создать.
В целом что-то постараюсь, ну и потом, если кому будет интереснее, есть контакты, можно будет со мной поменяться.
И что как раз я вначале сказал, на основании чего, во-первых, я эти деки сформулировал, и в целом, иногда вы за деревьями теряете лес.
А я, опять же, без влезания в какую-то приватную дату, я дал модели посмотреть, что получилось с пулами, ушами, прантов на дождь лав.
И Матвей мне сказал, смотри, чувак, ты добился вот этого. И перечислил как бы, что и почему. Я говорю, что я это сделал. Мне так плохо.
Потому что я ежедельно эту раутину делал, потому что видел, что она с числовых значения повышает качество.
Ну а так и от некоторых причинственных связей все успевало задуматься.
И если у вас есть какие-то вопросы, здесь должно было быть видео, но... да ладно.
Ну ладно, там...
Ну, поскольку мы столько говорили про Киберпанк,
то основной Джонни, правда, мне нет.
В общем, вы поняли. Спасибо еще раз за внимание.
Спасибо.
Если вы хотите работать, то вы хотите работать.
Я, конечно, что-то не услышал издания, прошу прощения.
Я так понимаю, здесь в его презентации речь шла о локальном разворачивании.
Да, да, да. Он на локальном разворачивании 40-80 я поднимал к военному.
Хорошо. Тогда вопрос в следующем.
Как лучше обучать модель?
Смотрите, я прошу прощения, что вы понимаете, как обучать?
На этот вопрос я не готов сразу ответить, потому что я ее не обучал.
Я выбирал из присутствующих на рынке.
Мне интересно покупаться с обучением и реком,
и это у меня есть моё таз-клистья.
Я надеюсь, что посмотреть, и раз увидимся.
Очень симпатичный.
Да, но, другой того, что на эти вопросы я пока не готов ответить, потому что у меня нет компетентных данных.
Хорошо, спасибо.
Спасибо за вопрос.
Спасибо за доклад.
Был вопрос, пробовали ли ты аналогичные модели, которые обеспечили?
Да, да, да.
Говно.
Говно, потому что и лайнер, и условно, и на деле?
потому что они выдают галлы.
Они по метрикам, то есть нужно...
Я пробовал их для генерации...
Сейчас...
Короче говоря, ну...
Эксплойт.
На генерации эксплойтов.
И дальше я шел, вот локальный модель, я шел на тот же самый Венеция.
Вайли Саи, который нормально к этому относится, спрашивал, что это говно, я шел к чату,
ну это вообще полный парашют, здесь есть какая-то логика, но оно не будет запуститься.
Поэтому да, я рассматривал модели и тут, по моему опыту, не знаю, может быть нужно более депсики,
думающие всякие думающие штуки, логика у них присутствует, но их нужно именно обучать,
работают с туманом джейсона то есть обязаны такие здесь здесь развиваться текущий
— Спасибо.
— Абезцензурные модели — это такая же штука, что они
зачастую сломанные и очень сложно найти хоть что-то
рабочее.
— Просто дело в том, что обезцензурную модель необходимо сразу
проектировать безцензурной.
Потому что наличие модели сейфгардов делает ее тупее.
Но когда ты убираешь эти сейфгарды, у тебя состояние
весов нарушается.
потому что это все в год они оказывают влияние на висай
спасибо большое
вопрос какой
как начальство относилось к тому, что закрытую инфраструктуру, критическая информация, она передается модели, которые в принципе просто неизвестно что так
Модель разворачивается локально.
Да, но что там в этой модели?
С точки зрения безопасности.
Что в этой модели?
Когда вы запускаете, у нее нет сториджа.
Модель – это просто веса.
Она не обучается вам варшебным образом на данных, которые
вы мне передаете.
Чтобы обучать модель, ей хотя бы low-ranked adaptation
попровести.
К моему железу могут быть гипотетические вопросы.
Одна как это, другое.
А в рамках модели, ну ей передаются данные.
Она тут как, фильм какой-нибудь, не приходит на ум, но она
подумала, подумала, она выключилась, инференция
остается, все, ладно.
Нет, здесь вопрос скорее, как объяснить начальству.
Мое непосредственное начальство мне это санкционировало.
Я вот на работу не строился, потому что типа я тряжу на локальных моделях.
Это интересно, давайте это пусть слева.
Здравствуйте.
Такой вопрос.
Сколько вообще это обнимает памяти для локальных моделей,
потому что, допустим, это был Собсенопад на многих задачах
оскорнивлазиям. Соответственно, может быть, я помню про Фуперпан,
почему Собсенопад получился, может, посмотреть на сторону Этласа и Железа.
Сейчас идет сбор репрезентационных данных, на которых можно будет купить мне Apple, купите мне 50-80, купите мне классно.
Но сейчас дело в том, что кое-кто собирается выявлять трафик телеграмма лн-н-ками.
Я тогда чуть...
Если бы на Байкалах собрались,
имфиренс проводить,
который тоже тайваньский.
Ну, ребят, ну как...
Железный стоит космос,
его покупку нужно обосновывать.
И...
Хорошо, спасибо. И тогда
второй вопрос.
Получается, сессия...
Насколько длинные были сессии?
Например, когда мы запускаем
Секрептим.
здесь отсутствует накапливаемый гром, то есть это inference на fast-op, на VLVN.
То есть каждый новый запрос – это новый запрос, возможно, это не столь быстро получается.
А так я оставил комплектом включенном на ночь, и там пять тысяч тряжей проводилось.
Ну, сейчас в последнее время, ну, то есть медленнее, потому что обвес пошел, они стали там не только, ну, больше проктов, и опять же, не зависит от длинной контекста.
А контекст у меня там максимум, я сумел на лугу, ну, на хронтование растянуть на 8192.
Вот это вот максимум, что у меня вот взлетает, потому что у меня, смотри, такая жизнь.
а макер минут у меня калибрая на 30 миллиардов параметров до изделка
спасибо