gleeBox: продвинутая командная строка для вашего браузера

Используйте headless-браузер

Особо хитроумные сайты могут отслеживать веб-шрифты, расширения, файлы cookie, цифровые отпечатки (фингерпринты). Иногда они даже встраивают JavaScript-код, открывающий страницу только после его запуска — так зачастую можно определить, поступает ли запрос из браузера. Для обхода таких ресурсов вам потребуется headless-браузер. Он эмулирует поведение настоящего браузера и поддерживает программное управление. Чаще всего для этих целей выбирают Chrome Headless.

Если ресурс отслеживает цифровой отпечаток браузера, то даже многократная смена IP и очистка cookie не всегда помогают, так как вас всё равно могут узнать по фингерпринту. За частую смену IP при одном и том же отпечатке вполне могут заблокировать, и одна из задач Chrome Headless — не допустить этого.

Самый простой способ работать с Chrome Headless — использовать фреймворк, который объединяет все его функции в удобный API. Наиболее известные решения можно найти тут. Но некоторые веб-ресурсы пытаются отслеживать и их: идёт постоянная гонка между сайтами, пытающимися обнаружить headless-браузеры, и headless-браузерами, которые выдают себя за настоящие.

Эмуляция отображения на мобильном устройстве

Знакомы ли вам мучения с перебором разных устройств ради проверки отображения вашей страницы на мобильном устройстве? Функциональность «Режим устройств» (Device Mode, он же «Мобильный режим») позволяет тестировать отзывчивый дизайн сайта на разных размерах и разрешениях экрана, а также точно имитировать ввод мобильных устройств для событий касания, ориентацию устройств и геолокацию. В придачу он ещё изменяет строку «User-agent», имитируя запрос с мобильного браузера.

Главное здесь то, что всё это легко можно делать в отладчике Chrome, так что применяйте навыки отладки, как к сайту на компьютере. И никаких устройств подключать к компьютеру не понадобится.

Чтобы активировать мобильный режим, можно нажать кнопку «Вкл./выкл. режим устройств». Учтите, что при переключении между режимами может понадобиться обновить страницу.

Топовые статьи :  Рабочие места: когда нет места на стол и кровать

gleeBox: продвинутая командная строка для вашего браузера

Иллюстрация 6. Внешний вид браузера в режиме устройств

Ссылка на элемент управления на стороне клиента

Получение ссылки на ваш компонент в браузере — мощный инструмент, помогающий сэкономить уйму времени, выявив все доступные в данный момент свойства и методы на лету.

Попробуйте сделать вот что:

  • Проверьте выводимый HTML-код компонента, опираясь на приобретенный ранее опыт, полученный при проверке сгенерированного HTML компонента RadGrid
  • Получите значение атрибута ID элемента, класс которого называется так же, как компонент (то есть class=»RadGrid»)
  • Используйте полученное значение ID в качестве параметра для метода . Метод вернёт ссылку на объект компонента на клиенте.

gleeBox: продвинутая командная строка для вашего браузера

Иллюстрация 3. Ссылка на объект компонента RadGrid

В статье «Ссылка на объект элемента управления на стороне клиента» показаны различные подходы, которые можно использовать прямо в консоли браузера.

Установите адекватный User Agent

User Agent — HTTP-заголовок, который сообщает посещаемому веб-сайту информацию о вашем браузере. Если не настроить User Agent, вашего краулера будет очень легко обнаружить. Кроме того, сайты иногда блокируют запросы пользовательских агентов от неизвестных браузеров. Поэтому не забудьте установить один из популярных пользовательских агентов (например из этого списка).

Опытные скрейперы могут попробовать установить свой агент на Googlebot User Agent — поисковый робот Google. Большинство веб-сайтов, очевидно, хотят попасть в выдачу Google и пропускают Googlebot.

Хорошей практикой будет также чередование разных User Agent.

Избегайте honeypot-ловушек

«Honeypot» — это фальшивая ссылка, которая невидима для обычного пользователя, но присутствует в HTML-коде. Как только вы начнёте анализировать сайт, honeypot может перенаправить вас на пустые и бесполезные страницы-приманки. Поэтому всегда проверяйте, установлены ли для ссылки CSS-свойства «display: none», «visibility: hidden» или «color: #fff;» (в последнем случае нужно учитывать цвет фона сайта).

Если вы последуете хотя бы одному совету из этой статьи, ваши шансы быть заблокированным уменьшатся во много раз. Но для верности лучше комбинировать несколько приёмов и всегда следить, чтобы краулер не слишком нагружал чужие веб-серверы.

youtube-dl

Доступно на: Windows, Mac, Linux.

Поддерживаемые сайты: YouTube, Facebook, HBO, Metacafe, Vimeo, Dailymotion и тысячи других сайтов.

youtube-dl — это инструмент для продвинутых пользователей, которым удобно пользоваться командной строкой. Вы также можете попробовать youtube-dl-gui , который является неофициальным интерфейсом пользовательского интерфейса, доступного для Windows и Linux.

Топовые статьи :  ViGlance — новая панель задач для Windows XP

Особенности включают в себя несколько параметров выбора и качества видео, обработку списка воспроизведения, ограничение скорости загрузки, загрузку пакетного видео, автоматическое именование файлов, включение рекламы (в настоящее время экспериментальное) и загрузку субтитров (для таких сайтов, как YouTube).

Поддерживаются следующие форматы: 3GP, AAC, FLV, M4A, MP3, MP4, OGG, WAV и WEBM.

Откройте Chrome или Firefox с помощью командной строки или PowerShell

  1. Откройте Chrome/Firefox с помощью командной строки
  2. Запустите Chrome/Firefox в качестве администратора
  3. Откройте Chrome/Firefox в режиме инкогнито
  4. Открыть конкретный URL напрямую
  5. Откройте Chrome/Firefox с помощью PowerShell.

Давайте посмотрим, как это сделать. Хотя мы взяли пример Chrome, вы можете использовать те же команды. Просто замените хром на Firefox .

1] Откройте Chrome с помощью командной строки

Чтобы запустить браузер Chrome с помощью командной строки, необходимо открыть командную строку Windows 10. Когда он откроется, введите следующую команду и нажмите ввод.

start chrome

gleeBox: продвинутая командная строка для вашего браузера

При нажатии клавиши Enter откроется браузер Google Chrome на вашем экране.

2] Откройте Chrome от имени администратора

Используя этот инструмент, вы также можете запустить браузер Chrome от имени администратора.

Откройте командную строку и введите следующий параметр:

runas /user:administrator "C:\Program Files (x86)\Google\Chrome\Application\Chrome.exe"

gleeBox: продвинутая командная строка для вашего браузера

Нажмите клавишу Enter, чтобы выполнить командную строку. Теперь система попросит вас ввести пароль администратора вашего устройства. Итак, введите пароль и нажмите Enter.

3] Открыть Chrome в режиме инкогнито

В Google Chrome вы можете использовать режим инкогнито, чтобы добавить уровень защиты к вашим данным просмотра. Он защищает вашу информацию от доступа без вашего разрешения. Итак, чтобы открыть Chrome в режиме инкогнито, вам нужно открыть командную строку и запустить следующую команду:

Start chrome /incognito

gleeBox: продвинутая командная строка для вашего браузера

Chrome теперь будет запускаться в режиме инкогнито.

4] Перейти на конкретный сайт напрямую

Если вы хотите открыть какой-либо сайт в браузере Chrome с помощью командной строки, вы можете сделать это, выполнив следующую команду. Вот следующая команда:

start chrome www..com.

Так что, если вам требуется перейти на thewindowsclub.com напрямую, вам нужно будет выполнить следующую команду:

start chrome www.thewindowsclub.com

gleeBox: продвинутая командная строка для вашего браузера

Кроме того, вы можете перейти на конкретный веб-сайт в режиме инкогнито, выполнив данную команду. Это:

start chrome /incognito www.thewindowsclub.com

gleeBox: продвинутая командная строка для вашего браузера

5] Откройте Chrome с помощью PowerShell Command

Чтобы запустить браузер Chrome с помощью скрипта PowerShell, сначала необходимо открыть Windows PowerShell. Для этого нажмите кнопку «Пуск» и введите PowerShell . В верхней части результата выберите Windows PowerShell.

Топовые статьи :  Простейший держатель проводов на столе

Когда он откроется, введите следующие команды и нажмите Enter, чтобы запустить Google Chrome.

Start-Process -FilePath 'C:\Program Files (x86)\Google\Chrome\Application\chrome.exe'

gleeBox: продвинутая командная строка для вашего браузера

Для Firefox вы должны использовать путь к вашей папке установки. Таким образом, команда будет:

Start-Process -FilePath 'C:\Program Files\Mozilla Firefox\firefox.exe'

Вот и все. Я надеюсь, что вы найдете это руководство полезным.

Просмотр примененных стилей

Иногда, чтобы добиться безупречного вида страницы, бывает нужно чуть-чуть подрегулировать CSS-правила вроде отступов или цвета. В панели «Элементы» сбоку есть вкладки «Стили» (Styles) и «Вычислено» (Computed), позволяющие динамически изменять стили, примененные к выбранному элементу в панели «Элементы», и даже находить источник стилевого правила. Это также позволяет легко фильтровать стили, добавлять/удалять классы (вкладка ), принудительно задавать состояния (вкладка ), к примеру, наведение, активное состояние и состояние фокуса. Ещё это полезно, если хотите понять, какие стили испортили раскладку, внешний вид элементов и дизайн в целом.

gleeBox: продвинутая командная строка для вашего браузера

Иллюстрация 2. Смотрите, какие стили применены к DOM-элементам

Вкладка с вычисленными значениями даёт визуальное представление размера элемента по границам, внешним отступам и внутренним.

gleeBox: продвинутая командная строка для вашего браузера

Итого

Приостановить выполнение скрипта можно тремя способами:

  1. Точками останова.
  2. Использованием в коде команды .
  3. При ошибке (если инструменты разработчика открыты и опция включена).

При остановке мы можем отлаживать – проанализировать переменные и пошагово пройти по процессу, что поможет отыскать проблему.

Нами описаны далеко не все инструменты разработчика. С полным руководством можно ознакомиться здесь: https://developers.google.com/web/tools/chrome-devtools.

Для простой отладки вполне достаточно сведений из этой главы, но в дальнейшем рекомендуем вам изучить официальное руководство, если вы собираетесь разрабатывать для браузеров.

И, конечно, вы можете просто покликать в разных местах инструментов разработчика. Пожалуй, это наискорейший способ ими овладеть. Не забывайте про правый клик мыши и контекстные меню!

Оцените статью
Добавить комментарий