Обмануть автопилот Tesla с помощью фальшивой разметки, перехвата управления и апельсина Материал редакции
Эксперты рынка — о безопасности беспилотных систем и о том, не помешает ли количество угроз массовому распространению технологии.
Наклейки против Tesla
В конце марта 2020 года Tencent Keen Security Lab, исследовательская лаборатория китайской фирмы Tencent, занимающейся кибербезопасностью, провела несколько экспериментов и обманула автопилот Tesla Model S 75.
В первом эксперименте исследователи нанесли на дорогу фальшивую разметку — три белых наклейки неподалёку от разделительной полосы. Алгоритм распознавания Tesla принял их за настоящую разметку, и автомобиль выехал на встречную полосу.
В ходе второго эксперимента специалисты Tencent обманули программу, активирующую дворники. Стеклоочистители в автомобилях Tesla реагируют как на воду, так и на плохую погоду, если её распознаёт компьютерное зрение. Исследователи поставили перед автомобилем монитор с изображением, созданным по специальному алгоритму, и дворники заработали.
В третьем эксперименте показали, что уязвимость в программном обеспечении автопилота позволяет открыть доступ к рулевой системе и управлять автомобилем с помощью геймпада. Тем не менее команда Tencent Keen Security Lab использовала не самую последнюю версию ПО, в одном из недавних обновлений Tesla эту уязвимость устранили.
Комментируя результаты, полученные лабораторией, представители Tesla пояснили: использование монитора прямо перед автомобилем для активации стеклоочистителей не является реальным сценарием, который можно применить на практике.
На обвинения в неточном распознавании разметки представители компании ответили, подчеркнув, что водитель всегда должен быть готов перехватить управление у системы автопилота.
Электрокары Tesla не позиционируются как полностью самоуправляемый транспорт — согласно классификации SAE, система производителя предоставляет второй уровень автономности, то есть «частичную автоматизацию».
О команде Tencent Keen Security Lab впервые узнал на конференции BlackHat 2018, когда они выступили с докладом про удалённый взлом критических компонентов Tesla: шлюза, модуля управления кузовом и электронного блока управления автопилотом (ЭБУ).
Это была первая демонстрация взлома модуля, отвечающего за автопилотирование. Современный автомобиль — это распределённая система ЭБУ, объединённая одной или несколькими изолированными друг от друга CAN-шинами.
ЭБУ представляет из себя вычислительное устройство, обрабатывающее сигналы от радаров, сенсоров или других электронных блоков управления. Одна из разновидностей атак на автомобиль заключается в подмене такого сигнала (spoofing). Также хакеры могут найти уязвимость в прошивке ЭБУ и использовать её в любой момент. Ребята из Tencent Keen Security Lab как раз и занимаются исследованиями атак такого рода.
Апельсин вместо рук на руле
Команда Tencent исследует уязвимости Tesla не в первый раз. В 2016 году исследователи продемонстрировали бесконтактный перехват управления Tesla Model S с расстояния почти 20 км. Пока машина ехала, они разблокировали двери, включили дворники, открыли багажник, развернули зеркала, изменили положение сидений и даже притормозили.
Спустя десять дней Tesla выпустила обновление, устраняющее проблемы с безопасностью. Годом позже китайские программисты вновь взломали электрокар, на этот раз Model X. По Wi-Fi они перехватили контроль над приборными панелями, фарами, багажником и тормозами.
По словам Tencent Keen Security Lab, вскрыть новую модель Tesla было сложнее, но осуществить это удалось благодаря ряду уязвимостей нулевого дня, обнаруженных в ПО различных моделей электрокара. К такому типу уязвимостей относят ошибки разработчиков, которые не были обнаружены вплоть до момента их использования хакерами и против которых пока не выработаны защитные механизмы.
Свой эксперимент провели исследователи из Университета Южной Каролины, Чжэцзянского университета и китайской компании Qihoo 360, работающей в сфере интернет-безопасности. В ходе испытаний эксперты использовали радио-, звуко- и светоизлучающие инструменты для обмана ультразвуковых сенсоров автопилота.
Им это удалось: система распознавания воспринимала искусственные помехи как находящийся рядом объект, и наоборот — реальные объекты становились для автомобиля невидимыми.
Американец Дэйв Миттон, владелец Tesla Model S, перехитрил машину с помощью апельсина.
Поскольку электрокар не полностью автономен, водитель должен всегда держать руки на руле в режиме автопилота. Прикосновение регистрируется датчиком, измеряющим внешнее давление на рулевое колесо, и автомобиль остановится, если водитель уберёт руки.
Необходимость постоянно придерживать руль Миттону надоела, поэтому однажды он вставил между спицами руля апельсин. Фокус удался, и Tesla продолжила двигаться на автопилоте со скоростью 140 км/ч.
Похожим образом удалось обмануть Volkswagen Tiguan с адаптивным круиз-контролем, только вместо апельсина водитель использовал бутылку минеральной воды. Вскоре после публикации записей экспериментов в США поступили в продажу устройства Autopilot Buddy, которые крепятся на перекладине руля, обманывая датчики.
Состязательное машинное обучение, бэкдоры и другие риски ИИ
Эксперты из Tencent Keen Security Lab опубликовали объёмный отчётный документ “Experimental Security Research of Tesla Autopilot”, где подробно описали различные проведённые атаки. В отчёте утверждается, что некоторые уязвимости уже исправлены. Но сколько ещё их осталось?
Тестировать настолько технологичные штуки сложно и дорого. Такими исследованиями чаще занимаются ИБ-энтузиасты, участвующие в разных программах баг-баунти. Но если мобильные приложения, сайты или какие-то недорогие железки доступны каждому, чтобы получить для тестирования целую Tesla, нужно постараться.
Хотя я знаю, интерес есть. Но сможет ли столь малое количество исследовательских команд, имеющих возможность тестировать Tesla, найти максимальное число уязвимостей? Или они будут закрываться по мере возникновения инцидентов? Вопрос пока открыт.
У систем, использующих ИИ, есть разные типы уязвимостей. Например, существуют сервисы, использующие онлайн-обучение модели, то есть обучение, при котором модель для обновления текущих параметров получает данные в последовательном порядке.
Зная, как система обучается, можно спланировать атаку: подавать заранее подготовленные данные и переобучать её. Так можно обмануть биометрические системы, обновляющие свои параметры по мере небольших изменений, скажем, во внешности человека при возрастных трансформациях, и выдать себя за жертву происшествия.
Чтобы понять, какие именно атаки угрожают конкретной системе, следует её изучить, описать политику безопасности и модель угроз. Одну из классификаций возможных атак разработал Канг Ли, профессор Университета Джорджии и директора Института кибербезопасности и конфиденциальности Джорджии. Он выделяет следующие риски в системах с искусственным интеллектом:
1. Вредоносное машинное обучение — методы, находящие слепые зоны в моделях и подбирающие данные, которые попадают в эти зоны, что приводит к ошибке. Та или иная модель имеет определённую точность, например 90%. Стало быть, всегда находятся данные, на которых модель ошибается. На эту тему проведено немало исследований, однако решаются в основном абстрактные задачи, и нередко результаты трудно применить на практике.
2. Бэкдоры ─ программы скрытого удалённого администрирования, предоставляющие злоумышленникам доступ к заражённому компьютеру и управление им.
3. Кража модели: когда вы научились решать задачу хорошо, а конкуренты скопировали решение, научившись манипулировать системой.
4. Уязвимости в фреймворках машинного обучения.
5. Логические уязвимости сервисов.
6. «Отравление» данных.
Кроме самого искусственного интеллекта существует много других уязвимых компонентов, защиту которых обойти гораздо проще. Представим: в вашей квартире установлена надёжная «умная» дверь, которая открывается при помощи распознавания лица. Но вору не придётся её взламывать, если вы забудете закрыть окно.
То же и с информационными технологиями. Как бы ни была безопасна система, всегда нужно учитывать человеческий фактор, а также наличие в ней элементов (помимо искусственного интеллекта), которые взломщик сможет обойти.
Задачи безопасности необходимо решать в комплексе и не только применительно к искусственному интеллекту. Сегодня атаки на него реализуемы сложнее, чем атаки с использованием стандартных веб-уязвимостей, входящих хотя бы в десятку OWASP, проекта по обеспечению безопасности веб-приложений.
Надо ли заботиться о безопасности искусственного интеллекта, если порой «дверь» и так открыта? Думаю, в этом случае однозначно выработается практика по имплементации и использованию нечётких алгоритмов, принимающих важные решения. Пока же потребности в таких продуктах растут быстрее, чем люди успевают подумать о рисках безопасности.
А для совершенствования беспилотных технологий хорошо бы начать их массово распространять, чтобы разработчики сталкивались с нестандартными ситуациями. К примеру, именно в нашей стране таких нетипичных кейсов много. Если Tesla и многие автопилоты тестируют (и они успешно работают) на идеальных дорогах Калифорнии, то давайте выглянем в окно и посмотрим на наши дороги.
Рискнули бы вы прокатиться, не держа руки на руле? У Tesla есть кейс, где она ошибается из-за некорректной разметки. Сейчас один из важных вопросов, насколько знаю, — как раз запуск автопилотов на заснеженных территориях. У нас во многих регионах зима длится больше полугода.
Не видно не только разметку, потому что дороги полностью покрыты снегом (могут ли калифорнийцы такое представить?), но и образуются ледяные колеи, и лучше ехать по ним, чем по правилам полос. Сможет ли машина сама проехать в пробке по обледеневшей дороге в горку? А для многих автовладельцев это ежедневное развлечение зимой. Где, кроме как в реальных условиях, можно встретить такое?
Если говорить о беспилотных технологиях не только применительно к автомобилям, есть мнение, что самолёты на обычных авиарейсах уже вполне могут летать без пилотов-людей. Но как много пассажиров на это согласится?
Обмануть автопилот Tesla с помощью фальшивой разметки, перехвата управления и апельсина Материал редакции
Эксперты рынка — о безопасности беспилотных систем и о том, не помешает ли количество угроз массовому распространению технологии.
Наклейки против Tesla
В конце марта 2020 года Tencent Keen Security Lab, исследовательская лаборатория китайской фирмы Tencent, занимающейся кибербезопасностью, провела несколько экспериментов и обманула автопилот Tesla Model S 75.
В первом эксперименте исследователи нанесли на дорогу фальшивую разметку — три белых наклейки неподалёку от разделительной полосы. Алгоритм распознавания Tesla принял их за настоящую разметку, и автомобиль выехал на встречную полосу.
В ходе второго эксперимента специалисты Tencent обманули программу, активирующую дворники. Стеклоочистители в автомобилях Tesla реагируют как на воду, так и на плохую погоду, если её распознаёт компьютерное зрение. Исследователи поставили перед автомобилем монитор с изображением, созданным по специальному алгоритму, и дворники заработали.
В третьем эксперименте показали, что уязвимость в программном обеспечении автопилота позволяет открыть доступ к рулевой системе и управлять автомобилем с помощью геймпада. Тем не менее команда Tencent Keen Security Lab использовала не самую последнюю версию ПО, в одном из недавних обновлений Tesla эту уязвимость устранили.
Комментируя результаты, полученные лабораторией, представители Tesla пояснили: использование монитора прямо перед автомобилем для активации стеклоочистителей не является реальным сценарием, который можно применить на практике.
На обвинения в неточном распознавании разметки представители компании ответили, подчеркнув, что водитель всегда должен быть готов перехватить управление у системы автопилота.
Электрокары Tesla не позиционируются как полностью самоуправляемый транспорт — согласно классификации SAE, система производителя предоставляет второй уровень автономности, то есть «частичную автоматизацию».
О команде Tencent Keen Security Lab впервые узнал на конференции BlackHat 2018, когда они выступили с докладом про удалённый взлом критических компонентов Tesla: шлюза, модуля управления кузовом и электронного блока управления автопилотом (ЭБУ).
Это была первая демонстрация взлома модуля, отвечающего за автопилотирование. Современный автомобиль — это распределённая система ЭБУ, объединённая одной или несколькими изолированными друг от друга CAN-шинами.
ЭБУ представляет из себя вычислительное устройство, обрабатывающее сигналы от радаров, сенсоров или других электронных блоков управления. Одна из разновидностей атак на автомобиль заключается в подмене такого сигнала (spoofing). Также хакеры могут найти уязвимость в прошивке ЭБУ и использовать её в любой момент. Ребята из Tencent Keen Security Lab как раз и занимаются исследованиями атак такого рода.
Апельсин вместо рук на руле
Команда Tencent исследует уязвимости Tesla не в первый раз. В 2016 году исследователи продемонстрировали бесконтактный перехват управления Tesla Model S с расстояния почти 20 км. Пока машина ехала, они разблокировали двери, включили дворники, открыли багажник, развернули зеркала, изменили положение сидений и даже притормозили.
Спустя десять дней Tesla выпустила обновление, устраняющее проблемы с безопасностью. Годом позже китайские программисты вновь взломали электрокар, на этот раз Model X. По Wi-Fi они перехватили контроль над приборными панелями, фарами, багажником и тормозами.
По словам Tencent Keen Security Lab, вскрыть новую модель Tesla было сложнее, но осуществить это удалось благодаря ряду уязвимостей нулевого дня, обнаруженных в ПО различных моделей электрокара. К такому типу уязвимостей относят ошибки разработчиков, которые не были обнаружены вплоть до момента их использования хакерами и против которых пока не выработаны защитные механизмы.
Свой эксперимент провели исследователи из Университета Южной Каролины, Чжэцзянского университета и китайской компании Qihoo 360, работающей в сфере интернет-безопасности. В ходе испытаний эксперты использовали радио-, звуко- и светоизлучающие инструменты для обмана ультразвуковых сенсоров автопилота.
Им это удалось: система распознавания воспринимала искусственные помехи как находящийся рядом объект, и наоборот — реальные объекты становились для автомобиля невидимыми.
Американец Дэйв Миттон, владелец Tesla Model S, перехитрил машину с помощью апельсина.
Поскольку электрокар не полностью автономен, водитель должен всегда держать руки на руле в режиме автопилота. Прикосновение регистрируется датчиком, измеряющим внешнее давление на рулевое колесо, и автомобиль остановится, если водитель уберёт руки.
Необходимость постоянно придерживать руль Миттону надоела, поэтому однажды он вставил между спицами руля апельсин. Фокус удался, и Tesla продолжила двигаться на автопилоте со скоростью 140 км/ч.
Похожим образом удалось обмануть Volkswagen Tiguan с адаптивным круиз-контролем, только вместо апельсина водитель использовал бутылку минеральной воды. Вскоре после публикации записей экспериментов в США поступили в продажу устройства Autopilot Buddy, которые крепятся на перекладине руля, обманывая датчики.
Состязательное машинное обучение, бэкдоры и другие риски ИИ
Эксперты из Tencent Keen Security Lab опубликовали объёмный отчётный документ “Experimental Security Research of Tesla Autopilot”, где подробно описали различные проведённые атаки. В отчёте утверждается, что некоторые уязвимости уже исправлены. Но сколько ещё их осталось?
Тестировать настолько технологичные штуки сложно и дорого. Такими исследованиями чаще занимаются ИБ-энтузиасты, участвующие в разных программах баг-баунти. Но если мобильные приложения, сайты или какие-то недорогие железки доступны каждому, чтобы получить для тестирования целую Tesla, нужно постараться.
Хотя я знаю, интерес есть. Но сможет ли столь малое количество исследовательских команд, имеющих возможность тестировать Tesla, найти максимальное число уязвимостей? Или они будут закрываться по мере возникновения инцидентов? Вопрос пока открыт.
У систем, использующих ИИ, есть разные типы уязвимостей. Например, существуют сервисы, использующие онлайн-обучение модели, то есть обучение, при котором модель для обновления текущих параметров получает данные в последовательном порядке.
Зная, как система обучается, можно спланировать атаку: подавать заранее подготовленные данные и переобучать её. Так можно обмануть биометрические системы, обновляющие свои параметры по мере небольших изменений, скажем, во внешности человека при возрастных трансформациях, и выдать себя за жертву происшествия.
Чтобы понять, какие именно атаки угрожают конкретной системе, следует её изучить, описать политику безопасности и модель угроз. Одну из классификаций возможных атак разработал Канг Ли, профессор Университета Джорджии и директора Института кибербезопасности и конфиденциальности Джорджии. Он выделяет следующие риски в системах с искусственным интеллектом:
1. Вредоносное машинное обучение — методы, находящие слепые зоны в моделях и подбирающие данные, которые попадают в эти зоны, что приводит к ошибке. Та или иная модель имеет определённую точность, например 90%. Стало быть, всегда находятся данные, на которых модель ошибается. На эту тему проведено немало исследований, однако решаются в основном абстрактные задачи, и нередко результаты трудно применить на практике.
2. Бэкдоры ─ программы скрытого удалённого администрирования, предоставляющие злоумышленникам доступ к заражённому компьютеру и управление им.
3. Кража модели: когда вы научились решать задачу хорошо, а конкуренты скопировали решение, научившись манипулировать системой.
4. Уязвимости в фреймворках машинного обучения.
5. Логические уязвимости сервисов.
6. «Отравление» данных.
Кроме самого искусственного интеллекта существует много других уязвимых компонентов, защиту которых обойти гораздо проще. Представим: в вашей квартире установлена надёжная «умная» дверь, которая открывается при помощи распознавания лица. Но вору не придётся её взламывать, если вы забудете закрыть окно.
То же и с информационными технологиями. Как бы ни была безопасна система, всегда нужно учитывать человеческий фактор, а также наличие в ней элементов (помимо искусственного интеллекта), которые взломщик сможет обойти.
Задачи безопасности необходимо решать в комплексе и не только применительно к искусственному интеллекту. Сегодня атаки на него реализуемы сложнее, чем атаки с использованием стандартных веб-уязвимостей, входящих хотя бы в десятку OWASP, проекта по обеспечению безопасности веб-приложений.
Надо ли заботиться о безопасности искусственного интеллекта, если порой «дверь» и так открыта? Думаю, в этом случае однозначно выработается практика по имплементации и использованию нечётких алгоритмов, принимающих важные решения. Пока же потребности в таких продуктах растут быстрее, чем люди успевают подумать о рисках безопасности.
А для совершенствования беспилотных технологий хорошо бы начать их массово распространять, чтобы разработчики сталкивались с нестандартными ситуациями. К примеру, именно в нашей стране таких нетипичных кейсов много. Если Tesla и многие автопилоты тестируют (и они успешно работают) на идеальных дорогах Калифорнии, то давайте выглянем в окно и посмотрим на наши дороги.
Рискнули бы вы прокатиться, не держа руки на руле? У Tesla есть кейс, где она ошибается из-за некорректной разметки. Сейчас один из важных вопросов, насколько знаю, — как раз запуск автопилотов на заснеженных территориях. У нас во многих регионах зима длится больше полугода.
Не видно не только разметку, потому что дороги полностью покрыты снегом (могут ли калифорнийцы такое представить?), но и образуются ледяные колеи, и лучше ехать по ним, чем по правилам полос. Сможет ли машина сама проехать в пробке по обледеневшей дороге в горку? А для многих автовладельцев это ежедневное развлечение зимой. Где, кроме как в реальных условиях, можно встретить такое?
Если говорить о беспилотных технологиях не только применительно к автомобилям, есть мнение, что самолёты на обычных авиарейсах уже вполне могут летать без пилотов-людей. Но как много пассажиров на это согласится?
Источники:
http://vc.ru/transport/64173-obmanut-avtopilot-tesla-s-pomoshchyu-falshivoy-razmetki-perehvata-upravleniya-i-apelsina
http://habr.com/ru/post/472056/
Загрузка...
