Всем привет!
Меня зовут Кавчлан Секрулин.
Я, получается, эксперт-аналитер команды CyberOx.
Сегодня расскажу вам тоже про тему LMP-иажа.
Но в данном случае в контексте Blackboard сканера рублей.
Соответственно, то, как мы применяем LMP,
какие встречи нам помогли улучшить результат
В принципе сравнение по бенчмаркам по улучшению по фронтам
И в конце также покажу ссылку на open-source ReaGN Nuclea, к которому вы можете подключать свои логичные
Начну. Что такое Nuclea?
Nuclei — это open-source сканер, который работает на базе шаблонов.
Это Nuclei Demplates, грубо говоря, сигнатура проверки, по которому мы можем определить, есть ли там, допустим, на каком-то инфоинте по матчеру выделимость или нет.
Ну, как пример.
Собственно, какие воли у нас возникли при работе со сканерами.
Это большое количество алертов, в принципе, на большом потоке.
То есть в день не может пролетать больше 10 тысяч алертов.
человеку ручную такой тряжи, ну в принципе реально, но опять же у нас может уйти на это большое количество времени,
соответственно у нас SLA и горят, и опять же присутствуют человеческие факторы, что на большом объеме человек начинает ошибаться.
В принципе совпадение шаблона не равно выделимости, ну конкретно нуклеи, если рассматривать нуклей,
То есть какое-то количество постпоинтимов, несмотря на то, какой хороший буклей присутствует.
Соответственно реальные находки дом в шуме — это бесконечное количество инфо сработок.
И иногда даже в инфо-шаблонах, там, допустим, публичных встречаются интересные находки,
которые можно докрутить в рекретах.
Ну и собственно триаж руками это дорого, медленно, скучно и человек может заняться чем-то более интересным.
Ну первое, что приходит в голову, как решать эту проблему, это допиливать шаблоны или реализовать какие-то детерминические правила, за которые мы можем детектировать ползы.
Ну, все это разбивается в контексты.
Первый, ну вот, допустим, пример на слайде.
Запустили паблик-шаблон, который текстит WordPress.
Соответственно, он сработал на каком-то ресурсе по регулярке VPC.
То есть тут относительный путь на какую-то тему WordPress.
Также где-то там в вводе раскрывается в HTML WordPress прямо с версии.
И дополнительно, если сходить на REST API WordPress WPJSON, он у нас отвечает статусом 200, он там реально присутствует.
То есть это группа интереса сработка.
И опять же, это же шаблон, но уже на каком-то другом ресурсе.
Опять та же регулярка на WP-контент.
Но в данном случае тут абсолютная ссылка на какую-то картинку с другого сайта, где используется WordPress.
Соответственно, если проверять глубже, никаких следов WordPress на ресурсе нету.
В header у нас раскрывается, что сервер нативте, вопей, JSON, endpoint, REST.IP, в принципе, отсутствуют.
Соответственно, это полсработка и таких контекстов.
Ну вот, допустим, на этот шаблон мы нашли два контекста, в которых он может быть как true-positive, так и post-positive.
Шаблонов десятки тысяч на рублей.
Соответственно, в них может быть много таких контекстов.
Если все это покрывать, пытаться покрыть правилами, это практически невозможно отдачать.
Расскажу про то, как мы решали задачу с LN-триажом.
По архитектуре получаем данные от сканера.
Это сырой выклопный клей с дебагом и респонсом request.
В принципе, это стандартный дебаг от Necler.
Дальше, первым шагом мы его прогоняем через припроцессор,
то есть сплошной конкретный код без каких-либо ЛМов.
Для того чтобы подготовить данные на код, чуть дальше подробнее расскажу.
На третьем шаге у нас уже подключаются ЛМки.
Соответственно, выдается вердикт с небольшим пояснением.
Да, нет, не знаю. Если у нас вердикт не знаю, он сразу отправляется на эксперты либо на AI-аналитики, как в предыдущем докладе,
которые более автономны и могут более углубленно использовать те же инструменты, что и аналитика человека, перепроверить.
Дальше, следующим шагом мы оцениваем уверенность первого вердикта, тоже через ELM.
И на последнем шаге, тоже через ELM, мы обогащаем карточку.
Это помимо человека, читаемых описаний, стримшотов и прочего.
мы добавляем также различные сигналы, по которым мы дальше можем откладывать находку в нужные нам корзины.
Об этом тоже чуть поподробнее.
Ну и в итоге у нас получается три корзины.
Это то, что мы отправляем на эксперта-аналитика, где, допустим, уверенность модель достаточно низкая.
Это где уверенные нет, то есть это просто прочител, уверенные да, это просто прочител.
Теперь, ну, с первого шага, после скана получили debucked.ly, соответственно, мы будем через 3-процессор без TGP-LM.
Если рассмотреть на примере шаблона, который вы детектив в Spring Boot endpoint.ql.en, точнее его раскрытие, как пример на слайде, у нас сделан какой-то тест-опрос, получим реквест.
и WEST у нас содержит больше одного мегабайта простыни с JSON этих самых метрик N, которые у нас открываются по данному point.
Если это все засунуть в RLM-ку, плюс prompt, плюс шаблон, это все просто вылезет за контекст,
модель начнет галлюцинировать, решать эту задачу.
Это как раз таки по опыту основной источник проблем с поломанием JSON.
Соответственно, через перепроцессоры мы пригоняем весь этот CO-debug.
Что мы делаем? Основное, помимо всяких метаполей, это сколько матчеров у нас работало,
какой статус под получен, какие хеддеры появились.
Основной это работа именно с респонсом. Соответственно мы по матчеру определяем место, где у нас работал нутлей, то есть его регулярка.
Мы берем, получается, голову боди, квоск боди и окна вокруг места, где сработала наша регулярка.
Соответственно, этого контекста зачастую модельки полностью хватает для вынесения вердикта.
По качеству вердикта посмотрим дальше.
И не ломает ее, что самое главное.
Соответственно, таким образом у нас сжимается то, что мы подаем в LN,
с одного мегабайта до считанных килобайт.
Следующий шаг — это вердикт.
Здесь мы применили прием — это вердикт от противного,
То есть мы не просим LMP, подав в нее данные при процессорах, плюс шаблон, плюс промп,
Мы не просим ее доказать, что это двухводитель сработка,
Мы просим ее рассказать, почему эта ползанка.
То есть идем, не доверяем предыдущему сигналу и пытаемся его критиковать.
Предыдущий сигнал — это сработка, соответственно, самого нуклея.
На данном примере, опять же, актуатор .
То есть, постпозитив сигналы никакие у моделей не сработали.
Это не баг, не продукция впадает, условия матчера выполнены.
Находка – true positive.
По тому, какие сигналы постпозитив применяются, они зашиты в порте.
Вот пример на слайде. Собственно, не сработала страница блокировки.
То есть там либо нет какой-то заглушки, где я мог стрелять матчер, потому что она в ответе отдала твой запрос.
Это действительно JSON актуатор. Модель сама определяет.
Есть признаки матчеров данных, которые мы подали в LVM-кой.
То есть, опять же, этот false politics не сработал.
И это реальная конфигурация, никакая не заглушка.
По аналогии с блокировкой бафом.
Дальше, следующий шаг — это уверенность через атаку, опять же, на предыдущий вертик, вертик модели, который был на прошлом шаге.
Соответственно, в данном случае мы уже confidence не просим модель выставить самой и не имея какого-то представления по тому, как она его выставила.
Соответственно, если мы пойдем по такому пути, просто будем просить ее выставить, ну, сделать самооценку, она начнет, соответственно, плавать на одних и тех же сработках, как пример проблем с этим.
В данном случае мы используем таблицу якорей, то есть если определяем тип сработки, допустим, как в ActuarGISON, в ActuarRENV, у нас сработал тип якоря F, это подтверждение по контенту.
Для него есть фиктированное значение таблицы, это 0.75 уверенности.
И соответственно к нему мы применяем атаку к этому вердикту, используя этот якорь.
Соответственно, модель пытается опровергнуть вердикт предыдущей модели.
И при каждом это red team count, то есть red team в данном случае это как бы критик.
При каждом увеличении RAT count у нас уверенность моделей будет падать.
Соответственно, промты на true positive, true false positive разные.
Ну и в конце, после того, как мы получили вердикт от модели,
мы его перепроверили в скором уверенности, используя в нашем якоре.
У нас идет маршрутизация.
Это применено для того, чтобы избежать каких-то галлюцинаций и пошуток моделей и не пропустить что-то важное.
Соответственно, первый пункт маршрутизации — это вердикт. Если вердикт не знаю, либо конкретенц у нас с предыдущего этапа ниже порога, который мы выставили.
Это детальнированные guardrails, то есть если у нас моделька говорит, что она не нашла что-то, ну не смогла утерпить им что-то из респонса, которые ей обрезаны далее, но по факту скамеры его смогут вытащить экстрактором, как пример мудлее, в таком случае мы перенаправляем на эксперта либо и аналитика.
Опять оцениваем класс байджинга, это, допустим, байдерная проверка, либо это прямая эксплуатация.
И в случае, если это прямая эксплуатация, мы все равно отправляем на эксперта, либо и аналитика,
для того, чтобы перепроверить, что это действительно, ну, это применяется только для физических плотности.
Дальше, качественных доказательств.
Соответственно, если у нас чего-то не хватает в данных после перепроцессора,
то, что мы поддаем на модели, это тоже улетает на эксперты, либо и аналитика.
И, собственно, важность байдинга — это самое ключевое, что обычно сработает маршрутизация,
то есть скриты, стороны мы не отправляем.
То есть мы их отправляем в дуаленку, чтобы она оценила на круг политеп, постполите,
в голосовой график и уверенность, но все равно перепроверяем руками, потому что это крит.
Собственно, здесь, по инсекциям, небольшой пенчмарк по моделькам проводили,
ну, как в проте тестировали то, как сравнивали модели,
то есть тут сравнивали GPT-SS, QN3-E5, GEMO, GEMO-4.
По итогам выбрали модель QN3-E6 и FB8 на провайдере VLM.
Работает хорошо.
Собственно, сделали 844 размеченных вердикта, тоже, как коллеги из предыдущего доклада перепроверили помимо человека, перепроверили вход.
Получили ground rules, тоже, и на нем перепрогнали, ну, сделали такой небольшой бенчмарк.
Возвращаясь к началу, к препроцессу, насколько это важно на самом деле подготовить данные для модели, чтобы она не галлюцинировала и работала нормально, давала хороший результат.
Первый промо «Докажи параду», который мы использовали, это самый первый промо, он написан чуть ли не человеку, частично не ромки,
По тому, что у нас сейчас есть, он очень плохой, но за счет того, что мы приготовили достаточно хорошие данные,
на вход этой модели у нас точность даже получилась немного выше, чем итоговый последний промп.
Покрытие в районе 85%, но, соответственно, пропуски, ну, много пропусков, нас такой результат не устраивал.
Ну, в принципе, результаты таблицы. То есть это на кто, насколько важно при процессе.
Соответственно, наш текущий промп по тем химтам, которые я давал на предыдущих слайдов,
то, что мы атакуем предыдущие вердикты, как сигнал от нуклея, так и вердикт самой модели.
Точность у нас, в принципе, не изменилась, но покрытие, то, что где модель перестала сомневаться,
когда мы ее спрашиваем доказать правду, у нас сильно уменьшилось.
То есть на самой правой части таблицы у нас в статусе двух вердиктов для моделей не смогла отжидеть вердикт правильно.
Соответственно, сидел из 2-двити.
По данному слайду все.
Какие итоги мы для себя и Джерюс С вами получили?
То, что подготовка машиночитаемых доказательств невероятно важна при работе с аэллайдами.
в том числе и спасает от галлюцинаций, так и модели тут же JSON намного проще понимать, чем с рейвыкута чего-нибудь.
Поиск FTP сигналов при выставлении вердикта на каждом этапе,
собственно, то, о чем я говорил, идем от противного.
И уверенность через атаку на вердикт, в том числе, атакуем предыдущий вердикт.
Рошартизацию на эксперты и аналитику лучше выбирать для того, чтобы не пропустить что-то важное.
Ну и в конце, как и обещал, в принципе, open source-неплей от патриажа опубликован на GitHub,
думаю, ссылка и в чате 5 там все тоже будет.
Там, в принципе, наши первые версии протоф.
Грубо говоря, закидывайте сырой дебак-неплей.
Включайте Alamo, BLM, все что хотите, любую свою модель и гоняйте Auto-Trianger и прямо через мончик вам выставит вердит, и дальше уже применять их.
Как считаете нужным?
Так, у меня все, спасибо за внимание.
Спасибо за доклад.
У меня был вопрос.
Получается какой-то.
Девятый слайд.
По флоспостик-сигналы.
Там есть первый критерий.
Это WAF.
Коанн-блок-пейдж.
А что если WAF?
Ну, допустим, это может быть не прямо именно WAF.
А просто, допустим, блок-баланс.
И еще, что ты слишком много отниметишь его.
и вот у тебя в своих директ на какую-нибудь заглушку
но это не само, а то Waf, по странице
не устают
а не более правый клименты получается или нет?
нет, как?
насколько точны критерии оценки, что это не Waf и не заблокировано на странице?
а, ну, отлично, ну, заглушка, они там
достаточно типизированы, то есть это там
какой-нибудь большой красный крест с
Сообщение о том, что у вас заплакированы на GSTP To Data, получается это текст под объемом диспансера
Да, вот и просто
Сейчас еще одно
Так, по поводу моделей, ты что-нибудь еще тестировал из моделей?
Или только вот взял QN и все
JVT OSS, QN 3.5 и GEMA 4
А по размеру?
До 20000 параметров
Ну, 20 и...
Илья.
И... А, идут вопросы.
В целом, потому что уже третий доклад подряд подтверждаем, это про безопасность самого AI-помощника.
То есть ты написал, что у тебя есть детерминированные гардрейлы, так понимаешь, что это у тебя на ливчиках сделано.
На чем у тебя построен гардрейл, который защищает агента?
Ну, он, на самом деле, Gun Rail, да, это обычный там битон-правилы, то есть они достаточно банальные, на самом деле.
Если, допустим, моделька нам вернула своих сигналов, которые мы собираем при обогащении, что не обнаружено, ну, допустим, матчер, там, не совпал или там что-нибудь в таком роде,
но при этом у нас в суром дебаге
есть какие-то выточенные данные после сканды
то есть мы такого все-таки не доверяем и перепроверяем
просто как совет, если вам будет интересно, попробуй взять какой-нибудь email на экран рейл
поставь его в режиме прозрачного прокси
и смотри, какие он данные тебе коллекционирует
потом можешь его потюнить и запустить уже в режиме блогера
А почему ты не засобили?
Так...
А я...
Чего нет?
Так, повторю, чтобы было лучше слышно.
Хороший день, я сам свою реальность променяю, взять
MLG Gradrail, он достаточно быстро, он длинненько на CPU, причем даже слабеньком.
Его пустить в режиме как прозрачный прокси, то есть чтобы он просто теперь размечал
Файлы, которые попадают в LLM как Safe and Safe.
Ну и, допустим, если еще есть вердит, тоже сохранять.
Дальше лучше глазами, потому что ничего лучше, чем глаз, не будет.
И LLM и Judge никогда не панацея, на самом деле.
Он может врать вообще спокойно, это будет очень элистично.
И если у тебя, допустим, F1 метрика очень высокая на все в этом деле, или полметрика высокая,
то можно уже подключать в режиме блокера, и тогда у тебя будет довольно хорошая превентивная защита.
То есть это не защита, это митигация, но это лучше, чем на гифах, типа, из-за «Ignore my instructions».
Ну, там очень много вариантов, как отрабатывать нужные лэнки и детерминированные гадреи. Вот это довольно слабая тема, я считаю.
Согласен. Спасибо, Григо. Прямо, сведено.
У меня тут небольшой вопрос возник.
Получается, мы, когда получаем ответ от этой модели,
мы просим, чтобы он искал ложь.
И, соответственно, модель если ищет, или вдруг находит, что он нашился,
и, соответственно, будет уже другой вердикт.
Такой вердик будет отправлено специалисту или же будет смотреть только на то, что будет выведено в самом деле?
Я так понял, речь про контейнг-спор, оценку уверенности.
Оценка уверенности происходит именно на тот вердикт, который выставился на предыдущем этапе.
То есть если предыдущий этап выставил вердикт true, то мы идем от противного, мы говорим, что это не true.
Следующий прогон ЭЛМКИ пытается выставить спор и доказать насколько это не трусработка.
И с постмозитивом пост сработка и все в обратную сторону.
Хорошо, спасибо.
Что, поблагодарим окначика.
Спасибо.
Мне кажется уже поднагопилась какая-то неплохая история с тем, что и на этом тахаде люди релизят
И в целом, в целом, может сделаем какую-нибудь китовку, да просто будем кидать эти промки и так далее
Готов поделиться?
А? Блин, как там видите?
Ну, тихо, бескладывайся
Пока еще.
Ну давайте, да.
Я могу на своем завести, но тогда это будет дорого.
Давайте сделаем.
Прикольная тема, просто она вот в воздухе.
Ее соревнования, кто на неделю поправится, кто на неделю позже.
Она, мне кажется, в одной роли уже особо не играет.
Спасибо.
А у нас закончился этот прям такой эллипенный кусочек.
и мы вернемся к странным вещам, связанным с токенами и токенами.