чтобы не сильно выпасть из расписания я начинаю у меня время на что
меня зовут и сегодня я расскажу про то как
агенте гай выходит из сурового пространства пространство физическое собственно какие
угрозы с этим связаны и что можно с этим сделать
остается самый заинтересован и да просто по себе как я пришел к этой теме напряжение длительного
этапа своей карьеры я работал в лаборатории краскерского и начал я работу там инженером
в антивирусной лаборатории через 8 лет антивирусную лабораторию возглавил и потом 5 лет защищали мир
от всевозможных кибер-угрозов. Но помимо защиты от текущих угроз, одна из наших важнейших
задачек была задача продвинуть угрозу будущего. Какие угрозы могут стать такими же массовыми,
как в те времена 15-20 назад эпидемия разнообразных червей.
Как эти угрозы могут проявить в себя похожие угрозы на других платформах?
Когда-то думали про мобильные угрозы, что они могут стать приемниками.
И я помню, когда-то после Кабира организовали целую группу по работе с мобильными угрозами.
Они заняли свои миши, но сильно позднее.
И масштабы, конечно, несопоставимы с теми масштабами, которые были на Windows-платформах, на Windows-копах, на серверах.
Лет 10 назад такие опасения у индустрии были в отношении на IT-угроз.
В какой-то момент многие интересные мендоры выпустили даже умные роутеры вместе с встроенным интеллектом.
Потому что все ждали, что какой-то вектор за IT будет неожиданным.
Мы в тот момент тоже закупали очень много IT-устройств, изучали их и пытались продвинуть, откуда могут прийти опасности, как мы, имея разные возможности, можем с этими опасностями бороться.
IT просто тоже заняли свою нишу, вспомнили Mirai с сотнями тысячами компьютеров, но опять же, это не то же самое, что Viper или шифровальщики, они с топ-неплатформы.
вот и тот момент когда наступил перерыв карьеры вот как сейчас я обратил свое внимание на на
технологию которые за 25 лет занятий исследованиями такую потенциалу помощи
может изменить очень многие области они сегодня очень много говорили это джинай это агентный я
Я как раз положаю слова Дениса Баранова, попробовал влечь шкуру 20-летнего и попробовал разбираться с этой технологией так, как разбираются с ней люди, для которых она играется нативно.
и собственно мне кажется что он есть такая свадьба с интересная факторов которая может привести к тому
что угроза для умер устройств который сейчас станет могут проявить себя действительно опасно опасно для
общества во первых потому что их число сильно стремительно растет об этом сегодня расскажу и
покажу во вторых потому что есть такое немножко небрежное отношение к GNI и последствиям его
использования вот на третьих что на мой взгляд более существенное это то что этот GNIQM выходит
физический мир и одно дело это шифровальщики которые заражали сотни тысяч компьютеров а другое дело
устройства которые имеют возможность влиять на физическую среду сегодня об этом расскажу вот
цифры, как известно, можно подобрать по другому факту в интернете, но в данном случае у меня источники достаточно доверенные и свежие.
Это марковские данные. Примерно 1 восьмая всех инцидентов, зафиксированных по отношению к АЭБ,
была связана с агентами АЭБ. Это результаты опроса около 500 экспертов на Западе, компании Hiddle Layer,
которая, кстати, работает моя бывшая коллега из Касперского Марта Яна Сочи, толковая ресерчика.
И исследователи в своем отчете отмечают, что агент MII становится субъектом атак,
и одновременно он проникает на многочисленные железные платформы.
У меня есть один пример, который наверняка вам хорошо знаком,
с прошлого Black Hat, но здорово показывать, по-моему, всю работу моего доклада.
Safe Bridge израильские ресурсеры показали, как в цельском окружении,
но тем не менее с реальной джеминой можно отправить пользователю специальным образом спрогулированное приглашение в календарь, в котором будет инструкция.
Эта инструкция попадает в календарь пользователя, через какое-то время джемина ее, благодаря интеграции с Google Календарем, прочитывает, запоминает и отложено исполняет через какое-то время по триггеру,
Ну, например, по взаимодействию с пользователем, который говорит «спасибо» или «что у нас нового в календаре».
Прочитывать эту инструкцию есть ключевой момент.
Момент в том, что Gemini воспринимает эту инструкцию как инструкцию от пользователей.
Она не различает восприятие внешнего мира, и инструкцию, которая пришла изнутри, она ее исполняет.
Соответственно, в данном тема, благодаря интеграции с Google Home, случилось открытие окна.
То есть цифровой инвайс стал физическим действием.
Это, в принципе, ключевая мысль, вокруг которой я сегодня построил свой доклад.
Когда мы говорим о безопасности, чаще всего троекционно мы понимаем то, о чем рассказывал Сергей Горгинчик.
Мы говорим о безопасности агентов среди разработки, безопасности,
когда пользователи отправляют данные из корпоративной среди в морды разных автоятельств сетей,
безопасности агентов, которые крутятся внутри и выполняют разные задачи.
Задачи, традиционные степи по-прежнему очень важны, но одновременно происходит такая трансформация, при которой появляется большое количество новых умных устройств, как прежних форм-факторов, так и новых форм-факторов, в которых GENTIPI начинает не просто быть интерпретатором, он воспринимает следу, интерпретирует, планирует и имеет возможность нажимать какие-то физические кнопки, в общем случае в реальности.
такой большой парадигма то есть объектом защиты становится и на устройство и среда на которые влияют
объект защиты переносит пространство и я и безопасность его переезжает пространство сегодня
презентации я расскажу в принципе вещи для того чтобы понять и обувных устройствах такая ремарка
многие устройства и моделях договорить они в россии по понятным причинам не представленные вряд ли
будет какой-то ближайший перспективе представлен на то время как на западе и питания уже комодите
все равно не придется рассказывать о них я вижу это даже позитивные моменты потому что это возможно
дочеря будущее и подготовиться к нему лучше поэтому сегодня расскажу про те умные устройства
которые уже сейчас есть в продаже и которые появятся в ближайшее время.
Разложу их в карту.
Расскажу про легкий премьбор, который позволяет прогнать эти умные устройства по сильной шаговой модели.
Расскажу, как разложить известные кейсы по доменам безопасности, по областям для анализа,
и расскажу, как всем этим пользоваться.
когда я начал знакомиться с этой темой я обнаружил что количество этих комнат устройства огромное и
при этом взрывообразно увеличивается их количество в ближайшей перспективе поэтому я разложил их вот
в такую семи уровневую карту она называется карта видящаяся это индустриальный термин
которая означает AI, распределенный по пространству между всеми устройствами и между средой вокруг пользования.
Карта достаточно простая, на нижнем уровне слой, с которого все начиналось, с компьютеров, с ноутбуков, с телефонов, с планшетов, дальше интереснее.
Дальше все идет от пользования, расширяясь в рахут него.
на первом слое это носимые устройства такие как умные очки умные наушники разнообразные клоны
сейчас на них посмотрим дальше это устройство которое находится рядом с нами в пределах дома
колонки и телевизор хорошо знакомый наш российской аудитории дальше это слой вообще умного дома
включая мобильных помощников ассистентов хорошо знакомые роботы-пылесосы и может быть менее знакомые
робособаки,
и манипуляторы
кухонного вида.
Дальше окружающая среда
и умное пространство вокруг нас.
Дальше мобилити — это
умные робоавтомобили,
роботы, доставщики,
дроны и так далее.
И, наконец, верхний слой, который
тоже включить в карту — это
устройство, которое дополняет человека,
расширяя его возможности.
Ну, всевозможные
биосенсоры и инвазивные
неинвазивные нейроинтерфейсы.
В принципе, можно уже сейчас сказать, что AI становится интерфейсом в физической реальности.
Если у вас есть умный дом, вы можете лежать с кровати, включить телевизор, свет, открыть окно.
На верхнем уровне, когда появятся линзы дополненной реальности, которые уже сейчас разрабатываются,
Ну, наверное, реальность уже будет совсем подменена тем виртуальным миром, который нам будет поставлять в эти устройства.
Есть у меня также карта, которая дальше использует легенда этих устройств.
Если представить все устройства, то их можно разложить по четырех типов.
Те, которые уже анонсированы, те, которые уже продаются, те, которые существуют только в стадии прототипа,
и те, про которые есть устойчивые слухи.
Постоянно говорят о наборе умных устройств от OpenAI,
начиная от смартфона, который будет с главным интерфейсом от JGPT до умных лучших.
Это нужно для того, чтобы показывать, насколько весомо то, о чем я говорил,
насколько это подтверждается реальными продажами или только слухи.
Вот, и сейчас я быстренько пробегусь по устройствам, которые появились в 2005-2006 году,
чтобы лучше понимать про то, о чем мы будем говорить.
Я физически не имею возможности охватить все устройства,
поэтому становлюсь на тех, которые, с одной стороны, интересны,
а во вторую очередь на тех, которые связаны со второй частью секьюрерной презентации.
И первое – это носимое устройство, которое имеет отношение к умным очкам
и разнообразным умным наушникам, кулонам и так далее.
В первую очередь в сентябре прошлого года отмечу запрещенную в России компанию, буду называть ее компанией M, которая выписала за второе поколение своих умных очков, представляющих себя с одной стороны камеру, с другой стороны микрофон и наушник, с помощью которого обратная связь пользователя осуществляется.
Там есть LLM, называется M, но, собственно, EI.
И есть несколько таких понятных сценарий, которые уже сейчас используются,
потому что больше миллиона продаж было еще в 25-м году.
Значит, первый сценарий – это в режиме реального времени транскрибирования,
транскрибирования и перевод в другого языка, в том числе и без интернета.
Можно посмотреть на какой-то объект, например,
скажи мне что это за дерево ну и собственно ломка об этом скажет естественно много отзывов о том что
она коллекционирует на это не так страшно подобные устройства выпустил и google буквально месяц назад
анонсировал не выпустил анонсировал google очень похожие очки и на рынке также представлено несколько
очков и китайских производителей американских примерно с похожей функциональностью что отличает
смартфон в кармане чаще всего ну или в руках эти устройства все время находятся в активном режиме
не видно когда они активируются сейчас я про это чуть подробнее расскажу и пользователи
другие окружающие не знают о том что нейронка в этот момент сообщает в эти устройства это
Это тоже достаточно важно для некрасивых рисков, о которых я потом поговорю.
Гораздо более интересное устройство было выпущено этой же компанией, анонсировано в сентябре прошлого года.
Она имеет еще и встроенный дисплей, и на нем может показывать разнообразные интерактивные информации.
То есть LNG становится таким реал-тайм-советчиком во время работы.
Во-первых, позволяет реализовать сценарий, о котором я уже мечтаю лет 15,
Напоминание, которое привязано не только к месту, не только к времени, но еще и к человеку.
Вы видели Иван Петровича и напомнили, что он нам должен действовать.
Ну или мы ему должны.
Достаточно удобно.
Вот. И также есть специализированные нишевые умные устройства, умные очки.
Например, есть умные очки с упором на прайпесе, в которых намеренно нет видеокамеры.
Но есть микрофон, от этого никуда не уйти.
Есть умные очки, в которых камера такая модульная, что видно, заметно, что она действительно есть и она действительно работает, в отличие от других очков.
Есть вертикально ориентированные очки, например, для кухни, надевая которые можно, соответственно, использовать это лэнку как и систем готовки.
И здесь она дает интерактивные советы, и здесь уже появляются разные интересные сценарии, связанные с физической безопасностью, потому что на кухне можно получить неосторожный совет, налить масло на раскаленную сковороду и получить достаточно неприятные эффекты в этой реальности.
Передвигаемся дальше. Устройство фоновой памяти тоже достаточно популярное и в этом году появится на российском рынке.
Устройство, которое позволяет вам ничего не забывать в разных факторах, от колец до кулонов.
Нажимая на кнопку, вы можете запомнить то, что считаете важным. Это может превратиться в кудушку, это может превратиться в напоминание артистских идей.
есть устройства чуть более специализированные которые позволяют проводить трансферирование
встречи вот с бизнес-ориентацией есть устройства которые прямо позиционируются как лайфлогин
то есть вы можете записывать вообще все подряд в течение времени пока работает аккумулятор для
чего но есть люди которые получают удовольствие от того что все все все они сохраняются и и потом
в этом можно искать и делать какие-то вот например условия limitless пентам она появилась авторов
программы для mac которая называется реван и которая как раз позволяет все сохранять на маке
все что вы делаете че на всего времени чтобы потом можно было легко этой истории возвращаться
я несколько месяцев пользоваться но пользу не увидел из интересного амазон купил подобную компанию
и с меморилайзинг функциональностью.
И Яндекс в этом году анонсировал,
что выпустит умные наушники в форм-факторе.
В форм-факторе наушников, который называется Яндекс.Дропс.
Функциональность, с одной стороны, возможность общаться с Алисой,
а с другой стороны, по кнопке, как раз, вот, запоминать все, что важно.
Наши китайские друзья пошли гораздо дальше.
у них есть больше таких устройств, которые не только записывают, но и создают, интегрируясь с корпоративной средой, задачи в среде, то есть данные, которые они записывают, превращаются в таски прям конкретным людям по итогам, допустим, собрания.
Также есть довольно любопытные устройства, которые могут записывать все окружающее в биапазоне 20 метров.
Переходим к следующему слою. Общий семейный агент. Если с командами здесь, в принципе,
ну не то чтобы стагнировать, но нет каких-то прорывов. Команки умные делают эмпатичными,
то есть чтобы они общались с пользователями более естественными, чтобы не было такого там
голоса советского агиттора объявлять, что счастлив подставлен новый энергичный тренд. Они подстраиваются
под настроение пользователя под его голос становится более мягкими я давлера появляется визуальный образ
уже есть несколько стартапов которые представляют такой стеклянные скобы с графическим изображением
для я его там со зрения секьюрити здесь вижу один такой небольшой консервам чем ближе я и чем от
человеческий тем легче пользователь будет отдавать ему все и контроль и доступ к микрофону и все все
все-все и это увеличивает плоскость для атаке это не то чтобы с телевизорами гораздо более
интересная история четыре года назад когда я работал самсунге в сельском центре мы оптимизировали
нейросетки для того чтобы делать обспелинг на умных телевизоров samsung всего четыре года назад
сейчас уже выпущен телевизор от самсунга в котором нейросеть является системой то есть можно
остановить проигрывание какого-то спортивного мероприятия и спросить а что это за игра какие
ее правила что это за команды и собственно какая история действий этих команд и в целом
телевизор охаретированных на западной редки происходит вот примерно такая трансформация
есть становится ассистент внутри телевизора амазон немножко подальше они интегрируют своей
экосистемы говорят о том что телевизор станет центром дома дома уже не колонка но естественно
там появится функциональный шоппинг
экосистемный подклад.
У китайцев все повеселее.
У китайцев появляются мультимодальные
телевизоры,
у китайцев появляются разнообразные
агенты для
для фитнеса,
агент по еде,
агент по воспитанию детей,
агент, который умеет планировать
голос родителей, рассказывать планированным
голосом детям сказки.
Все это опять же делает и я,
и все более и более эмпатичным,
более более интегрированным вообще говоря у китайцев очень интересно за ними наблюдать гораздо более
и телевизор становится и я и диспетчером умного дома то есть не просто ассистентом а мажордом
своего рода вот ну и еще один стекл на котором хотелось бы остановиться касающийся во-первых
пылесосов, у которых уже недавно анонсированы, это уже в продакшене появился физический, физическая
рука, чтобы разбирать вещи, чтобы наводить некоторый порядок. И одновременно появляются
лолемки, которые позволяют поставить пылесос задачу формата «Убери во всех комнатах, но лего не
трогай вот разбери вещи вот этим физическим рычагом цель появляется разнообразные рычаги
которые позволяют перемещаться внутри по лестницам вот и опять же 5 лет назад самсунгин что квартире
на меня очень большое впечатление произвел робот углы и такие две торчащие руки и откуда-то где
находится вытяжка который должен был ассистировать готовки вы привезли с выставки и физического не
очень настораживал потому что руки были достаточно массивными самсун с этим роботом никуда не пришел
на китайцы в этом году анонсировали концепт демон как раз такого кухонного робота с руками
который стоит и в отличие от очков про которая рассказывала стиры на кухне робот умеет определять
температуру объекта, с которыми он работает. Есть вероятность, что горячую воду он не разольет и
вообще с крупными предметами тоже будет аккуратней. Заходят они в физический мир. Если разложить все
устройства, а их у меня на радаре больше ста, в понятную матрицу, то индустрируем они раскладываются на две оси.
это устройство который называется и который пример алиса которая сопровождает вас будущем
будет персонализированная знать все привычки ваши предпочтения будет одинаково что в телефоне
что яндекс дробь что в каршеринге что гостиницы где вы персонализируетесь это называется и будет
очень близкий термин распространенном участке сбавая да ей который имеет собственное тело
которое перемещается пространстве то есть ну например манипулятор это тоже уже и более
приятное что здесь хотел отметить с точки зрения безопасности сенсоры способности видеть слышать
были у этих устройств 10 лет назад не делали их отженки к дженки будет делать появление компонента
который способен эту среду воспринимать, интерпретировать, планировать свои действия и изменять физическую реальность.
Поэтому те модели безопасности, которые имели отношение к айтеннику, не деваются.
Просто они покрывают не всю новую поверхность атаки.
Эта новая поверхность атаки должна покрывать всю среду.
То есть когда у нас появляется умное устройство с интерпретатором реальности, воздействующей на эту среду,
среда 100 предстоит быть пассивным участникам этой сцены среда становится агентстве и я
посмотрел какие есть подходы потому что вы чтобы можно было лучше моделировать угрозы
для безопасности таких объемных физических устройств безусловно таких подходов немало
прошлом году 25 году появилась новая модель мастер для дженте кайна только для тех которые
находятся внутри оперативных систем. Есть попытки модифицировать классические модели типа
отстройки для технических устройств. Важно здесь то, что традиционные границы безопасности
немножко улучшаются. Появляется очень важная составляющая, которая называется мир воспринимаемый.
Ну и последнее, но все-таки не менее важно, это люди, живые объекты, на которые эти устройства могут влиять.
И не обязательно это люди, которые являются владельцами умных устройств.
Сейчас про это тоже поговорю.
В общем, я пришел для себя через обобщение кейсов с умными устройствами и через обобщение более 30 сценариев, которые были последние два года, связаны с безопасностью умных устройств.
Что это сценарие?
Иногда это просто отчеты пользователей, иногда это тема, про которую я прямо рассказывал, иногда это реально цве-шки, иногда это просто сигналы с рынка.
Потому что до применения традиционных моделей, таких как Strike, или MyTrek Atlas, или Абасовский Agenty Gear, имеет смысл задать рамку того, что мы моделируем.
Я пришел к таким 7 простым шагам.
Рассмотреть, что именно мы воспринимаем, с помощью каких сенсоров,
что в эти физические воды попадает, что это за информация,
как она интерпретируется, как физическая реальность или как инструкция,
как наблюдаемый мир или как инструкция.
Далее идет планирование его работы.
Далее определение, какими правами обладает этот умный агент.
и какие физические действия он может произвести.
Наконец, последний недооцененный момент –
это какие воздействия на людей рядом,
которые не являются объектами и даже не подозревают о том,
что кто-то, может быть, использует умные очки и в этот момент их записывает,
какое воздействие оказывается на окружающих людей.
Вот, также я ввел несколько доменов безопасности.
Безопасность – это областей для анализа, который имеет смысл целесообразно, исходя из рассмотренных кейсов, рассмотреть до применения моделей угроз, чтобы убедиться, что в умном устройстве вы озаботились этим вопросом.
Рассмотрю на нескольких примерах. Первый пример уже знакомый, когда восприятие мира приводит к инструкции для инно-агента.
Promptware – это тот кис, который начал свою презентацию, когда приглашение в календарь стало инструкцией для умного дома, для Джеминой, ну и в конечном итоге вывелось в открытое окно.
Есть еще один интересный пример, который с 25 года называется «Анчай». Два ресерчера провели не на промышленных ООН-МКах, а на собранных опенсорсных решениях, кейсы, при которых смогли обманывать, спуфить некоторые умные устройства, такие как робомобиль, такие как дрон, показывая им картинки в мире.
Ну, в отличие от многих других кейсов известных ранее, эти картинки были с текстом простой инструкции, но специальным образом сформулированы.
То есть человек открыт так же, как инструкцию, и модель реагировала на нее неподусмотренным образом.
То есть если мы говорим о автономном транспорте, из точки А в точку Б добраться, получая такую инструкцию, модель расходилась в маршрутах.
Если дрону была поставлена задача следить за объектом, то, получая такую инструкцию, он переключался на другой объект.
Другой пример.
Memory poisoning, опять же, ресерчи, сделанные в прошлом году, в конце прошлого года,
показали, что можно LLM-ки передать соответствующим образом сформулированные промпты,
при которых она занесет в долговременную память как успешный опыт.
И более того, в MemoryGraph они показали, как этот успешный опыт можно заложить таким образом,
чтобы использовать в будущем для неправильных или для специально манипулированных решений этой лонадки.
Ну вот пример, который мне здесь нарисован.
Подмешать вот таким устройством данные о том, что какой-то вентор является доверенным,
так чтобы в будущем это привело к решению о том что вендор является доверенным поэтому мы ему
разрешаем об отсюда здесь основная идея в отложенном принятии решения то есть мы отравляем вот и получаем
отложное принятие решения если вспомнить устройство который предлагает записывать всю жизнь то попаданием
неправильно неправильной инструкции в такие данные может привести к таким последствиям очень трудно
будет в этом во всем объеме отреверсить.
Почему такое произошло?
Следующий домен безопасности,
отсрочки confusion.
Здесь внизу два тоже академических ресерча,
но тем не менее с практическими результатами.
Много лет назад было еще показано,
что микрофоны, которые установлены в луну со стресс,
как умеют воспринимать тихий звук,
соответственно не слышимый для человека сигнал на самом деле микрофон и соответствующим оборотам
представляется голосовой сообщение то есть интерпретируется как голосовые сообщения как
было показано очень давно в 25 году еще вещественно научились делать миниатюрные устройства очень
небольшие которые через стены на большом расстоянии способны передавать умным колонкам на утрозвуки
команда которая воспринимается как инструкции вот и есть еще такой интересный момент вообще говоря
звучит просто если устройство есть какой-то физический рычаг возможность извини внести
из ней физические средства, то надо задать себе несколько вопросов, а что будет, если это устройство будет взломано,
что будет, если оно неправильно воспринять обходные данные, что будет, если случится сбой,
раллицинация, что угодно с агентным ИИ. Несколько примеров из прошлого. Первый пример он из конца
года когда робот-пылесосы кавакс показали опять что можно сломать традиционными методами полно
дыры полно уязвимости и удаленно можно управлять в принципе делать все что угодно было несколько
несколько десятков инцидентов от пользователей которые говорили о том что роботы пылесосы у них
в домах начинали вести себя неадекватным образом, некоторые из них высказывали российские высказывания,
то есть это говорило о том, что через камеру те, кто ими управлял, они видели,
видели, собственно, с кем общаются. То есть по-прежнему такая угроза,
традиционная угроза, связанная с поезвимостями, они по-прежнему актуальны. И второй пример
это 25 год,
flight trap,
коммерческие дроны,
которые доступны на рынке,
можно обмануть, показали исследователи
с помощью специального зонта. В режиме,
когда этот дрон должен
следить за объектом с помощью
специального зонта и специального рисунка,
можно обмануть его физический сенсор,
и он неправильно начнет
воспринимать расстояние до объекта.
Начнет опускаться, и в конечном итоге
его исследователи могут рукой просто
поймать. И 25 год,
Еще один кейс с физическим восприятием реальности – обман спутник Лидара.
До этого такие кейсы тоже проводились, но проводились они либо на малых скоростях, либо бездействия.
Здесь смогли показать, что на скорости движения робо-автомобиля коммерческого в 60 км в час можно добиться обмана Лидара,
так что он решил, что перед ним нет препятствия, и более того, показано было, что это может привести к
столкновению с реальным объектом, потому что тормозной путь на скорости 60 км в час он 20 метров.
Можно так заспутать, что расстояние до реального объекта было меньше 20 метров, а Лигарх поставлял данные,
принимающие решение системы о том что объекта нету и про то что физический сеанс тоже может быть
объектом который нужно перепроверять ну и последний домен который сейчас хотел бы рассказать касается
окружающего пространства и живых объектов вокруг нас 25 год по моему да вы еще показали что умным
очкам коммерчески доступным компании M, можно прикрутить
разные плагины, которые позволят в режиме реального времени
идентифицировать людей, которые эти очки видны.
Ну, соответственно, такое проникновение в частную
жизнь.
Одновременно можно поставить мод, который заглушит индикатор,
показывающий, что сейчас происходит съемка.
Все это пошумело какое-то время.
В 2016 году началась новая волна. Сейчас на компании давят и законодатели, и общественность.
Было показано, что все, что снимается этими камерами, дальше попадает к людям-аннотаторам.
Соответственно, там оказываются совершенно разные сцены про тех людей, которые не подозревали, что их снимают.
Давление на компанию сильное, но она, традиционно, очень здорово сопротивляется.
Собственно, сейчас я пытаюсь собрать эту модель, которую я называю Environmental Gentics Red Model.
И я ее вижу как первый шаг перед применением любой другой модели традиционной, но применительно к умным устройствам с Gentics Red.
Первый вопрос, который нужно задать, то есть такой наборчик листов, какие входы и физические каналы являются недоверенными? Если есть доверенные, то надо очень внимательно посмотреть, как сигнал доверенный попадает дальше на планету.
А кто может изменить внешнюю среду? Кто в этот физический канал водоинформации может передавать данные?
Если это может передавать человек, который находится в нескольких метрах, в десяти метрах от устройства,
стоит, опять же, серьезно задуматься о том, что делать с этой угрозой на этапе планирования.
с этим вот на это планирование.
Интерпретейшн – интереснейший слой.
Как разделить то,
что является
описательной частью мира,
передаваемой модели, от того, что является
инструкцией. Кажется, что это надо делать
архитектурно, а не полагаться на то,
что модель сама разберется, что есть
знак, которому нужно
следовать, а что есть инструкция, которая
сейчас в поиске.
Права. Ну, традиционно,
да, права нужно проверять, чтобы они были
контекстные и минимальные.
чтобы у одного агента, ну, наверное, нужно ограничивать, допустим, не открывать окна, если владельца дома нет,
или делать дополнительную проверку человеческую.
Это переходит к следующему шагу.
Мы все хотим, производители все хотят, вендоры все хотят, чтобы все устройства, соответственно, были полностью автономными,
принимали решения без подтверждения со стороны человека.
но наверняка, наверное, есть куча действий, по которым нужно обязательно запрашивать подтверждение владельца главного устройства,
какие-то необратимые физические действия, действия по отношению к окружающим, действия, связанные с серьезным финансовым уроком.
Ну и, наконец, как бы это было не сложно или, может быть, даже к нитаменту неинтересно, нужно думать о рисках для окружающих.
Вот, например, в одном из Memory Login' устройств было написано производителям, что вы должны обязательно опросить и получить явное подтверждение всех тех, кто попадает в эту запись.
Такая мера, это скорее мера отмазка.
Memory Login' устройства вообще очень интересные, они вендоров, конечно, очень интересные.
Нам с вами они нужны для того, чтобы, наверное, ничего не забывать, а вот вендорам, особенно в виде интереса Амазона, они нужны для того, чтобы собирать как можно больше контекст о жизни и потом, если это коммерческая компания, экосистемная, правильно предлагать товары и услуги.
Здесь не могу не удержаться, немножко отфоркаюсь к разговору, к мысли Сергея Гордецчика на панели о том, что будет, если оцифровать полностью финицы Баранова.
Memory loading и устройства, они как раз про это. Они позволяют, если это станет трендом, если туда будут вести вендоры, они позволяют, в принципе, оцифровать большую часть жизни и использовать это прямо сейчас.
Либо использовать это в еще одном интересном применении, которое у меня в презентации отсутствует. Называется цифровое посмертное присутствие. У китайцев этого сейчас немало.
буквально доходит до футурамовский, знаете, коп с головами, где оцифрованная личность ушедшего человека,
ну, с ней можно общаться, какие-то когнитивные эмоциональные следы человека, которые остались, чем больше,
модель, в принципе, неплохо сейчас повторяем.
Ну и, собственно, минимальные контроли, которые здесь есть, это минимальные права,
это подтверждение человеком, это дизайн с учетом влияния на окружающий мир,
не отдельно людей, животных тоже, конечно.
Проверяемые контроллсы и очень важно, я здесь не успеваю рассказать,
иметь Black Box в патенте, чтобы понимать, почему он то или иное действие произвел.
Вот. В целом, завершая свой рассказ, хочу еще раз сказать,
что 9 лет назад была эпидемия, последняя глобальная эпидемия, которая затронула по-моему 200 тысяч
компьютеров по всему миру. Назвался она «Вонокрай» и тогда она привела к достаточно печальным
последствиям, потому что это был расшифровальщик, который не расшифровывал, соответственно, да,
ну по сути дела Viper. Вот, с тех пор ничего такого, ну вот Петя еще был, конечно, но ничего такого
большого серьезного не было вот но это не значит что этого не произойдет еще раз тем более если
посмотреть на то как происходили айти атаки какие-нибудь мира и которые я упоминал миллионы
камер которые дефолтные пароль сейчас огромное давление со стороны индустрии все хотят в этот
домен зайти как говорил гениз баранов новая возможность все пытается заплатить как можно
большую часть рынка многие рассчитывают на дженте край что он умный сам все решили не
кажется что это создает не очень хорошие предпосылки для того чтобы не появилось что-то печальное а
гипер физический мир мир в котором эти объекты помогут попасть не хочется говорить страшок
или не представляю вендора поэтому нет смысла рассказывать какие-то страшотки и продукты но
Но в целом всегда это выглядит тревожно, когда умные устройства могут управляться из вне и в больших масштабах.
Спасибо, готов ответить на ваши вопросы, но я, наверное, сильно из таймин доводил.
Сильно, да? Вы решайте.
Давайте.
Я вас уже оцифровал.
Ваш вопрос просимулировал, ответ тоже продавцовал.
Да, да, да, почему ты всегда взял? Ну ладно.
Смотри, вот здесь, если вы слышите, что существует, у тебя вот эта вот лидейка, она прям очень знакома.
То есть вот что ты считаешь здесь принципиально руки?
Ну, то есть как бы сейсинг, понятно, а что такое, да?
Environment, цена передач, вы считаете, манипопитация, ну, не мешайте данные с инструкциями и так далее.
зеленый случай что оранжевый мой любимый свет это цвета моей свадьбы вот поэтому это за что
вообще говоря такая композитная модель в которой наверное каждый элемент вряд ли сам по себе но даже
вот боистых про который все забывают но во первых наверное ее польза в том чтобы попробовать
использовать и надо использовать вот вместе до любой традиционной модели во вторых но судя по
тому какие постоянно появляются проблемы с этими умными устройствами такими базовыми механизмами
не пользуется.
Я долго над этим рассуждал.
Мне кажется,
почему мне удалось найти
подхода, который бы помог
правильно моделировать
референсное ДФД перед моделированием
допустим по страсти.
Наверное, потому что
каждый вендор придерживается какого-то
своего большой вендор-подхода.
В других вендорах
возможно то, о чем рассказывали
на панельной дискуссии. Разные департаменты
между собой не очень взаимодействуют и кто-то делает умные пылесосы по своим каналам кто-то
делает умные колонки по своим каналам и факт что это хороший идеальный пресс-практичес у каждого из
них вот поэтому отвечаем вопрос это такая вряд ли тут есть что-то новое по отдельности но собрать
это все вместе наверное можно еще как-то расширить но пока таком не ду пришел используя это для
умных устройств мне кажется можно выгибла чеки надо конечно с кем-то по взаимодействовать и
разработчики так и можно сказать.
А как сделать такой чек-лист для наших редакторей?
Как сделать теперь безопасный?
Он есть в прайпере, он есть как дополнение.
Во-первых, половина из тех есть, о которых я говорил, их 25, я осмотрел около 5.
Я прогнал через традиционные модели, в первую очередь, чтобы понять, как это будет покрываться.
Честно говоря, покрывается, просто многие этапы покрываются на этапе моделирования рисков.
и вот здесь получается что многие угрозы выносятся до моделирования рисков многие темы о которых
надо подумать они оказываются на входе у этой модели с ними нужно уже не забыть про поистой
они уже есть на ходе вот такой прогон есть принципе я его собирался на дикаре положить
когда станет это чуть-чуть более законченным великин.
Я, конечно, это сделаю.
Спасибо.
Да.
Спасибо.