С тех пор, как Google начал использовать HTTPS в качестве сигнала ранжирования в надежде сделать Интернет более безопасным, вы можете найти все больше и больше веб-сайтов и онлайн-сервисов, начинающих использовать HTTPS. HTTPS безопасен в том смысле, что когда вы посещаете веб-сайт, который использует защищенный протокол HTTPS вместо HTTP, любой, например ваш интернет-провайдер или сетевой администратор, который запускает анализатор пакетов на сетевом уровне, не может видеть, что именно вы делаете.
Посещение веб-сайта, использующего HTTPS на всех страницах, безусловно, хорошо, но есть небольшая проблема, из-за которой вы не сможете получить прямые ссылки для загрузки из веб-установщика, который загружает по URL-адресу HTTPS. Например, 2 года назад вы могли использовать URLSnooper, HTTPNetworkSniffer, Free HTTP Sniffer, Socket Sniffer или PacketViewer для отображения скрытого удаленного URL-адреса для программы установки Adobe Flash Player, но эти инструменты больше не работают, поскольку программа установки загружает из зашифрованного источника HTTPS, а не HTTP.
Как видно из скриншота выше, NetLimiter показывает, что Adobe Download Manager подключается к порту 443, который используется для зашифрованного протокола HTTPS (HTTP использует порт 80). В этой статье мы покажем вам некоторые инструменты, которые могут расшифровывать зашифрованный HTTPS-трафик, чтобы вы получали тот же уровень детализации, что и HTTP.
Если вы хотите получить прямую ссылку для скачивания с веб-страницы, вы можете получить ее прямо из веб-браузера, не полагаясь на сторонние инструменты. Давайте рассмотрим пример загрузки iTunes с официального сайта Apple. Существует кнопка «Загрузить сейчас», но она не связана напрямую с файлом программы установки с помощью стандартного HTML-тега HREF. Что вы можете сделать, это начать загрузку файла, затем нажмите Ctrl + J, вызвать окно, которое показывает ход загрузки.
Вы можете щелкнуть правой кнопкой мыши на URL и выбрать ссылку для скачивания. К счастью, этот метод достаточно стандартен для Firefox, Chrome, Opera, Internet Explorer и Microsoft Edge.
Для некоторых программ, которые используют небольшой исполняемый файл внешнего интерфейса для загрузки полной версии установщика, вам потребуется инструмент отладки HTTP, поддерживающий протокол HTTPS.
1. обманщик
Fiddler – это бесплатный отладчик HTTP, который прослушивает сетевые адаптеры на вашем компьютере и автоматически захватывает трафик HTTP (s) для анализа. Есть 2 версии Fiddler, доступные для загрузки, но они фактически одинаковы с точки зрения возможностей. Хотя упоминается, что пользователи Windows 8+ должны выбрать Fiddler4, вы все равно можете запустить его в Windows 7, если в операционной системе установлен .NET Framework версии 4.
По умолчанию Fiddler не расшифровывает трафик HTTPS, и его необходимо включить в настройках. Запустите Fiddler, нажмите «Инструменты» в строке меню и выберите «Параметры Fiddler«. Нажмите на вкладку HTTPS и отметьте «Расшифровать трафик HTTPSФлажок. Вы должны установить корневой сертификат Fiddler для его работы, поэтому вы должны нажать кнопку Да в нескольких окнах для успешной установки.
Как только это будет сделано, Fiddler может теперь захватывать и дешифровать трафик HTTPS. Просто начните загрузку и посмотрите на столбец HTTPS в Fiddler, который указывает на расширение исполняемого файла. Чтобы скопировать URL, щелкните правой кнопкой мыши по строке, перейдите в «Копировать» и выберите «Просто URL» или, в качестве альтернативы, нажмите Ctrl + U.
Скачать Fiddler
2. HTTP Debugger
HTTP Debugger – это условно-бесплатное программное обеспечение, которое стоит 49,95 долл. США за однопользовательскую лицензию, но оно предлагает 14-дневную пробную версию без ограничений. В отличие от Fiddler, которому требуется установить корневой сертификат для декодирования трафика HTTPS, HTTP Debugger работает «из коробки» и может начать захват и дешифрование сеансов HTTPS, запустив программу.
Вы можете легко скопировать прямую ссылку для скачивания, щелкнув правой кнопкой мыши по строке и выбрав «Копировать URL». Что нам нравится в HTTP Debugger, так это то, что он прост в использовании и имеет чистый и современный графический интерфейс пользователя.
Скачать HTTP Debugger
3. HTTP Analyzer
HTTP Analyzer создан компанией из Китая и существует уже довольно давно. Они начали с плагина для Internet Explorer, который позволяет вам просматривать и редактировать живой HTML DOM на любой веб-странице и постепенно превратился в автономное приложение, которое может прослушивать протоколы HTTP и HTTPS из любых работающих приложений.
HTTP Analyzer также является условно-бесплатным и стоит огромные $ 109 за некоммерческую отдельную лицензию, но бесплатная пробная версия доступна для использования в течение 15 дней. Использование аналогично HTTP Debugger, где вам нужно только запустить программу, и она начнет анализировать трафик HTTP и HTTPS из любого источника.
На приведенном выше снимке экрана показан полный URL-адрес HTTPS из Adobe Download Manager. Чтобы скопировать URL-адрес, достаточно щелкнуть правой кнопкой мыши ячейку и выбрать «Копировать ячейку https: //…».
Скачать HTTP Analyzer
Финальные заметки: Fiddler, очевидно, будет вашим первым выбором, потому что это бесплатно. Однако мы столкнулись с некоторыми сбоями, такими как очень длительное время подключения, а иногда даже не подключались к URL-адресам HTTPS даже после успешной установки корневого сертификата. Сравнивая бесплатную Fiddler с условно-бесплатными отладчиком HTTP и HTTP Analyzer, последние гораздо более стабильны и работают просто из коробки.