Как операторы мобильной связи знают разрешение видео по HTTPS-соединения?

Это является активной областью исследований. Я уже проделали определенную работу в этой области, поэтому я'МР поделиться тем, что я могу об основной идее (это работа с партнерами по отрасли и я могу'т поделиться секретом подробности :) ). TL;д-р заключается в том, что он'ы часто можно выявить зашифрованный поток трафика как носить видео, и это'ы часто можно оценить его разрешения - но это'ы сложно и не всегда точный. Есть много людей, работающих на путях, чтобы делать это более последовательно и более точно. Видео трафик имеет некоторые специфические характеристики, которые могут отличить ее от других видов движения. Здесь я говорю конкретно о видео по запросу - не потоковое видео. Видео по запросу не'т часто у этих приоритетных теги, упомянутые в этот ответ. Также я говорю конкретно адаптивного видео, что означает, что видео разделено на сегменты (каждый около 2-10 секунд), и каждый сегмент видео кодируется в несколько уровней качества (уровень качества значение: долгосрочный битрейт видео, кодек, разрешение). Как вы играете видео, качество на уровне, на котором загружается следующего сегмента зависит от того, какая скорость передачи данных, приложение думает, что сеть может поддерживать. (Что's в тире протокола, указанных в этот ответ.) Если ваш телефон воспроизводит видео, и вы посмотрите на (взвешенная скользящая средняя) скорость передачи данных входящий трафик на вашем телефоне с течением времени, это может выглядеть примерно так: [![скорость передачи данных с течением времени][1]][1] (это захваченные из сессии YouTube за Веризон. Там'ы скользящей средней за 15 секунд, а также краткосрочная средняя.) Есть несколько различных частей для этой сессии: Во-первых, видео-приложения (YouTube плеер) пытается заполнения буфера до буферной емкости. За это время он тянет данные в любом случае сеть может поддерживать. На данном этапе, это'ы в принципе не отличается от большого скачать файл, если вы не можете сделать вывод, что это's видео трафика с удаленного адреса (как указано в этот ответ). Когда буфер заполняется, то вы получите и"всплески" и в какой-то-через равные промежутки времени. Предположим, ваш буфер может вместить 200 секунд видео. Когда буфер имеет 200 секунд видео в это приложение перестает скачивание. Затем после фрагмента видео воспроизводятся (допустим 5 секунд), есть место в буфере снова, поэтому он'МР скачать следующий сегмент, затем снова остановка. Что'ы, что вызывает эта картина пульсирующего. Этот узор очень характерен для видео - трафика от других приложений не'т иметь эту картину - так поставщика сетевых услуг может довольно легко выделить потоки, которые несут видеотрафика. В некоторых случаях вы можете не заметить эту закономерность - например, если видео настолько короткое, что entire thing загружается в буфер сразу, а затем клиент прекращает скачивание. При таких обстоятельствах, он'ы очень трудно отличить видео трафик от загрузки файлов (если вы можете выяснить это на удаленный адрес). В любом случае, после того как вы определили расход как носить видео движения - либо удаленный адрес (не всегда возможно, поскольку крупные поставщики используют видео-контент распределительных сетей, которые не исключительно для видео) или его схема движения (возможно, если сеанс видеосвязи с длинным, гораздо сложнее, если она так коротка, что все видео загружается в буфер все сразу)... Теперь, как сказал Гектор](https://security.stackexchange.com/a/172219/84752), можно попробовать догадаться, постановление от битрейта, глядя на размер (в байтах) каждого на "лопнуть" из данных:

от размера в срок вы смогли сделать обоснованную оценку этой резолюции, особенно если вы держите скользящего среднего. Но, это может быть сложно. Возьмите сессии YouTube в моем примере:

• Не все сегменты одинаково duration - длительность видео по времени зависит от нескольких факторов (уровень качества, состояния сети, какое устройство вы играете на видео, и другие). Так что вы можете'т должен посмотреть на "прорвало" и сказать: "Да, это была х байтов, представляющих 5 секунд видео, так что я знаю, видео скорость передачи данных и". Иногда вы можете выяснить вероятную продолжительность сегмента, но в других случаях это сложнее.
• Для данного уровня качество видео и продолжительность сегмент, различные сегменты имеют разные размеры (в зависимости от вещи, как, сколько движение происходит в этой части видео).
• Даже для той же резолюции прямая, долгосрочная скорость передачи данных может различаться - 1080p видео, закодированных с VP9 или выиграл't имеют одинаковую долгосрочную скорость передачи данных как одного закодированного с помощью H. 264.
• Качество видео меняется уровень в зависимости воспринимаемого качества сети (которая видна с поставщиком услуг сети) и статус буфера (которого нет). Так вы можете посмотреть на долгосрочную скорость передачи данных более 30 секунд, но это's возможно, что фактический уровень качества видео менял несколько раз за 30 секунд.
• В периоды, когда буфер слива или заполнения как можно быстрее (когда вы надеваете'Т есть те, что "всплески") смотрите, это'ы гораздо труднее оценить то, что'происходит в видео.
• Чтобы усложнить еще больше: иногда видео поток будет "полосатый" и через несколько снизу-слой потоков. Иногда часть видео будет получен с одного адреса, а затем переключиться на извлечение видео с другого адреса. Что график скорости передачи данных я вам показал чуть выше? Здесь's что разрешение видео было за этот интервал времени: Здесь цвет указывает на разрешение видео. Так... вы можете оценить _sort одно, что'ы происходит только от характера движения. Но это'трудной проблемы! Есть и другие маркеры в трафик, который вы можете посмотреть. Я могу'т сказать определенно, как ни один провайдер не делает. Но по крайней мере, в академической государство-оф-искусство идет, нет'т-либо способ сделать это с идеальной точностью, все время (если вы не иметь сотрудничество видео операторы...) Если вы'повторно заинтересованы в получении дополнительной информации о методах, используемых для такого рода проблемы, там's большое академической литературы там - см., например, [накаченного: прогнозирование буфер условиями и требованиями реального времени по протоколу HTTP(S) и адаптивного потокового клиентов](http://www.ida.liu.se/~venkr00/документы/mmsys17.формате PDF) в качестве отправной точки. (Не мое сочинение - лишь одна мне посчастливилось недавно прочитать.)

Ничего не исчерпан полосы пропускания при постоянной скорости другие, чем потоковое видео.

Также, для того, чтобы убедиться, что поток выполняется с приоритетом (а не как большой скачать файл, например) потокового источников помечать пакеты таким образом, что говорит перевозчиками, что это потоковое видео. Остальной пакет зашифрован, но метаданные, что говорит провайдер как маршрут он получает, чтобы увидеть эту часть. Если они этого не сделали, то был бы высокий шанс, что поток прерывается или деградировали как провайдер пытался сбалансировать все потребности сетевого трафика в это время.

А вот как Verizon говорит они будут делать это:

Веризон, видимо, выиграл'т быть конвертация видео в низком разрешении По себе. Вместо этого, он будет установить ограничение полосы пропускания, что видео приложений придется подстраиваться. на "Мы управляем HD видео пропускная способность, устанавливая скорость не более 10 Мбит / с, который обеспечивает видео высокой четкости с разрешением до 1080p видео" и Веризон-сказал Арс. В Мбит / с, предположительно, будут ниже, чем В случаях, когда Веризон ограничивает видео в 480p или 720p.

Это означает, что как для абонента, так и тот факт, что трафик формы определенным образом, потому что это определенный тип видео означает, что он помечен.

Как? Верайзон имеет видео оптимизация системы, что, как было показано, чтобы ограничить Netflix и YouTube до 10 Мбит / с даже до августа 2017 анонс новой шапки.

Веризон признал, с использованием новая система оптимизации видео но сказал, что это > есть часть временных испытаний и это не влияет на фактический качество видео. Оптимизация видео, как представляется, относятся как к неограниченные и ограниченные тарифные планы.

но некоторые пользователи YouTube отчетности деградированных видео, заявив, что, используя VPN сервис может обойти Веризон регулирования.

Это указывает на способность устройства для определения видеопотоков и, соответственно, ограничить трафик, даже если содержимое доставляется через HTTPS (а не виртуальные частные сети).

Шредер почти наверняка правы в том, что это просто маркетинговый способ сказать, что они ограничивают пропускную способность для определенных сайтов, IP-адресов или искать маркеры приоритета на пакеты.

Однако следует отметить, что теоретически есть способы, они смогли сделать эту работу лучше, если бы единственной целью было вынудить пользователей к определенной резолюции, в то время как потоковое видео и ничто другое.

Много интернет-трансляция, в эти дни использует процесс, называемый тире (динамичной адаптивной потоковой передачи поверх HTTP). Так, что это работает-запросить небольшой кусок видео, измерения пропускной способности, в то время как это загружается и выбрать следующий кусок видео в разрешении / схема сжатия, что позволит ему быть получены в момент, когда первый кусок закончил играть.

Это означает, что есть подсказки в запросах как к тому, что пользователь делает. Если устройство отправляет запрос на сайт каждые 3 секунды запрашивает файл, который занимает чуть меньше 3 секунд для загрузки, то есть очень высокая вероятность того, что сайт потокового видео. От размера в срок вы смогли сделать обоснованную оценку этой резолюции, особенно если вы держите скользящего среднего. Затем вы можете просто ограничить полосу пропускания для данного IP-адреса.

С помощью известных IP-адресов для крупных поставщиков видео (либо googlevideo (ютуб), Netflix и т. д.) В весовой решение вы могли бы сделать алгоритм более агрессивным, не слишком много ложных срабатываний.

Если вы используете (правильное) VPN, что ценности безопасности/конфиденциальности по работе, он работает куча уловок, чтобы одурманить любые попытки к вашему провайдеру, чтобы положительно идентифицировать вас как потоковое видео:

• Интернет-провайдер будет видеть вас подключение к IP-адресу, что это'т признана часть видео в CDN (например, YouTube, и т. д.) - если ваше VPN-это'т размещенных на YouTube или любого другого крупного поставщика видео. Так, по крайней мере, они выиграли'т быть в состоянии опознать ваш удаленный IP-адрес как часть видео канадских. Примечание: конечно, они могли решить, чтобы задушить его ** потому, что это'ы, а VPN, но крупные провайдеры не, как сейчас, прямо указать, что они сбрасывали виртуальные частные сети (так, это чрезвычайно коварный и рейтингов американских провайдеров на их подавление свободы слова как и в Великий Брандмауэр Китая).
• Хороший VPN не представить какие-либо метаданные (например, качество обслуживания), что как бы намекает на характер вашего движения. Это может привести к странным приоритетной инверсии (например, вызывает отставание в реальном времени VoIP или потоковое видео), но это'ы цена, которую вы платите за конфиденциальность.
• В зависимости от уровня приложений, видео протокол вы используете, это будет нереально сложно для провайдера идентификации трафика, как видео с помощью анализа формы движения. Например, если протокол указывает, что сервер должен ломиться отправить видео на максимально возможную пропускную способность (скорость линии) для загрузки большинство/все видео сразу, а не постепенно оттесняя его на видео'ы битрейт, провайдер понятия не имеет, если вы'вновь загрузив Линукс ИСО, потоковое видео от известного контент-провайдера, таких как YouTube или кос, или большой документ Excel для вашей работы.
• В то время как общий объем VPN-трафика будут схожи фактически переданных/полученных данных, хорошие VPN сервисы выбросить в мусор (и даже ввести небольшую задержку в законный трафик) в зашифрованный туннель для того, чтобы сделать анализ трафика сложнее. Чем больше ваш VPN вводит ненужных данных и намеренной задержки, тем медленнее ваш VPN будет, но с другой стороны, это повысит безопасность, если ваше VPN's-трафик обладает высокой устойчивостью к анализу формы движения. Однако, есть некоторые ограничения:
• Самый простой типа потокового видео для анализа через анализ формы движения-это протокол, который регулирует ваши видео, скачать на битрейт видео. Основанные на битрейте, они могут угадывать, что, скорее всего, ваше разрешение.
• "Живи" в видео (где зритель значения просмотр контента очень скоро после его создания) - это сложная, чтобы скрыть, потому что вы должны передать на видео битрейт, чтобы гарантировать хорошую отзывчивость; буферизация и трещит данных накладывает неизбежным запаздыванием в поток, что пользователь не может найти приемлемую (например, для видеоконференций, Twitch.TV и т. д.) Конечно, как способ сделать видео'т должны передаваться на более высоких качеств, провайдер может выбрать, чтобы просто дроссель все скачать на произвольный битрейт ниже, чем скорость линии - но есть много проблем с этим:
• Нет устоявшихся на "Типичный" и битрейт видео в любое разрешение, чтобы они могли делать предположения, но они'd быть только предположения. В зависимости от кодека и параметров кодирования, 1080p видео может варьироваться от низких однозначных чисел Мбит/с до 50 Мбит / с и выше.
• Это станет эффективным "все дросселя" и вы'd никогда бы не нюхать максимум рекламируемых скоростях, что может привести к ложной рекламы ответственности, если вы'вновь становится гораздо меньше, чем их разрекламированные мин/макс скорости и не'т наступил на любые наземные мины, которые они рекламируют как пусковым дросселем (например, типичный 22 ГБ/месяц высокая скорость передачи данных крышка на LTE).
• Если бы они сбрасывали все тяжело, они'd получите много негативной реакции со стороны законных пользователей, не прямая трансляция, но, как упоминалось ранее, просто скачав большой файл Excel с работы через VPN или любой другой.
• Путем определения трафика может быть видео и решив нагрузке он основан на том, что (даже если их выводы оказываются неверны), пользователи, скорее всего, воспринимают свою службу как медленно, и отменить / перенести на другого провайдера, потому что провайдер не'т афишировать, что они сбрасывали прочая трафик, кроме видео (Если вы превысите данный колпачок на месяц или на насыщенном башня; обе эти ситуации довольно легко исключить, хотя, в качестве клиента). Так что в целом, в гонке вооружений провайдеров пытаясь обнаружить пользователей' специфика содержания и дискриминация на то, что вы скачиваете, пользователь будет в конечном счете победить, если вы используете хороший ВПН (и при условии, что поставщик не имеет возможности ломать криптографию). Интернет-провайдер выиграл'т быть в состоянии обнаружить, что ваш контент с какой-либо определенностью, и догадки выиграл'т приходят с очень высокой вероятностью точности. Я думаю, как пользователи начинают считать это и принимать меры по предотвращению интернет-провайдеров от выявления их содержания, провайдеры будут отвечать либо уменьшением их рекламируемых скоростей для всех (чтобы больше подписчиков поделиться такой же доступный спектр); повышение цен; устранение неограниченные планы данных (еще раз); ухудшение регулирования наказания для тех, кто превышает произвольное (достаточно низкий) сведения шапка в месяц; или намеренно замедления движения, что они могут'т опознать (например, VPN-трафик) и оправдывая это как движение будучи на "подозрительных" по. Они могли спорить и убедительно так, чтобы регулирующие органы, политики и невежественных людей, что большинство/все VPN-трафик нелегальных скачиваний незаконной торговли (наркотики и т. д.), и люди пытаясь "нарушать правила" и обойти ограничения, установленные провайдером. В то время как технические специалисты будут плакать фол, у нас есть тенденция, чтобы получить заглушены те, кто являются соучастниками в системе и рады поиздеваться над потребителем, чтобы сделать быстрый доллар. Кроме того, они могут делать все эти вещи одновременно. Мой опыт с беспроводной отрасли в США, что так плохо, как ты думаешь, они'вновь хуже. И вместо того, чтобы выбирать только самые доброкачественные средства для проблема, они имеют тенденцию в пользу тех, которые максимально враждебной для клиентов, которые подавляют свободу слова и нарушают принципы нейтралитета чистые. Они также имеют тенденцию, чтобы попытаться пользователи сражаются друг с другом. Они принимают политики, которые делают пользователи виноваты и звонить другим пользователям как "Сведения свиньями" и, вместо того, чтобы работать вместе как группа давления на поставщика, чтобы расширить инфраструктуру, чтобы удовлетворить спрос, а не пытаться уменьшить стадо, чтобы соответствовать имеющихся в настоящее время ресурсов. Это's просто человеческая природа, я полагаю, что именно поэтому беспроводной отрасль нуждается в регулировании, если мы хотим быть последовательными, ценный строительный блок общества сродни электричеству и водопроводу. До тех пор, это's просто еще одна вариация на тему византийского фирменная ОКТС Ма дней колокола.

Самое главное-это адрес, который вы подключаетесь. Протокол HTTPS обеспечивает защиту данных в полете, но не'т защитить адреса с которым вы разговариваете. Если Веризон знает IP-адреса сервера компании Netflix, они могут наложить ограничения на потоки данных с IP-адресов, которые находятся в пределах определенного диапазона. Тогда Netflix будет автоматически регулировать его'ов воспроизведения на основе доступной пропускной способности.

Это's также в целом можно заметить, основанные на имеющих постоянной скорости движения, что меньше, чем максимально возможный. Скорее всего, это означает, что медиа-поток некоторого типа, хотя она также может быть пропускная способность ограничивается передачей файлов, так что будет несколько ложных срабатываний.

Я считаю, что в технические детали они упомянули при объявлении изменений, они просто планировал использовать IP-адреса для настройки лимитов, но я'м не уверен, если это будет меняться с течением времени или если я даже правильно вспомнить, как это было некоторое время с момента анонса и я не'т держать заметки на моих оригинальных исследований о нем.

Веризон не'т буквально распознавать и блокировать зашифрованные HD видео... но это имеет договоры с сервисами, как Netflix и YouTube, которые требуют от них, чтобы определить IP-адрес Веризон диапазоны & соблюдение ограничений, наложенных на Verizon.

Для небольших сервисов, я считаю, что компания Verizon второе оружие в его распоряжении... я'м почти уверен, что где-то в службу поддержки Соглашение для глаз "неограниченное" и планы предложение, которое позволяет Verizon, чтобы рассчитывать на "непрозрачно" и зашифрованного трафика от пользователей'ы ежемесячно на "модем" и предел. Так как Verizon, возможно, не знаете (или уход), что вы'повторного просмотра потокового HD-видео на телефоне весь день с камеры безопасности дома, но они могут рассчитывать движение против ваших ежемесячных 5 или 10 Гб лимит (или дросселя это 150 Кбит / с если ваш план не'т включают модем).

Не уверен, если это верно в вашем случае, но иногда провайдеры используют прокси. Это может быть установлен автоматически, когда вы используете их сети (ОТА). Прокси-сервер имеет действительный сертификат, так как он's от вашего провайдера. Если так они могут просто прочитать весь трафик HTTPS и использовать некоторые программного обеспечения для управления трафиком. Если это дело через VPN поможет.

Поэтому поставщик автоматически устанавливает АПН на вашем мобильном устройстве. Использование интернет-трафика отправьте со своего мобильного устройства на АПН. Поставщик может использовать любые коммерческие формирование трафика программа для управления видео (из FB/УТ/и т. д) течь. Даже если соединение зашифровано вы можете видеть из того, как буферизация работает, что используется разрешение видео, Видео скачать части, на куски, которые создают особенностям рисунка. Так что если эти куски становятся больше разрешение видео, тем выше, при формировании программы движения вы, вероятно, может регулировать эти шаблоны скачать. При использовании VPN провайдер не может определить, какие данные отправлять через VPN. Он все еще мог видеть шаблон кусок, но ограничения все данные через VPN приведет ваша общая скорость скачивания будет ниже, и я предполагаю, что это с согласованной скоростью, упомянутых в договоре.

Дополнение: Телефон подключается к АПН. Эта точка доступа может выступать как прокси-сервер и он уже имеет действующий сертификат (так что вы Дон'т установить его). Ваш телефон будет принимать сертификат как действительный, так как он должен делать. В случае, если он выступает в качестве прокси-сервера провайдера не остановили свой шифрование HTTPS, прокси-сервер требует, чтобы увидеть все ваши просьбы. В этом случае поставщик может делать что угодно с вашим запросом или с полученными данными. Поставщик может, например, иметь программное обеспечение, работающее оптимизировать/сжимать видео до его отправки от посредника на ваш телефон, чтобы сохранить интернет-мощностей.