Сканирование страницы на наличие ссылок за один шаг

Вы открываете страницу, чтобы загрузить один файл, а вместо этого находите десять кнопок «Скачать», две всплывающие вкладки и таймер обратного отсчета. Настоящая ссылка где-то зарыта на странице. Сканирование страницы на наличие ссылок означает, что вы направляете инструмент на URL и позволяете ему извлекать фактически загружаемые файлы — изображения, видео, документы и архивы — без необходимости прокликивать рекламные ловушки.

В этом руководстве рассказывается, почему существует сканирование ссылок, как это обычно делают люди, как это делать в Seedr, а также об ограничениях, которые вы должны знать, прежде чем доверять любому инструменту сомнительную страницу.

Что на самом деле делает сканирование страниц

Веб-страница — это HTML. Внутри этого HTML находятся _<a> теги, _<img> теги, _<video> теги, и иногда JavaScript, который создает ссылки на лету. Сканер ссылок читает страницу, проходит по этим тегам и возвращает каждый URL, который указывает на загружаемый ресурс.

Причина полезности этого в том, что современные страницы загрузки запутаны. Файловые хостинги скрывают настоящую ссылку за перенаправлениями. Форумы встраивают ссылки для скачивания в блоки цитат. Сайты-галереи генерируют миниатюры, но скрывают файл полного разрешения в атрибуте данных. Ручное копирование каждой ссылки медленно, а фальшивая кнопка «Скачать сейчас» рядом с настоящей находится там намеренно.

Люди, которые регулярно сканируют страницы, делятся на несколько категорий: исследователи, загружающие пачку PDF из архива публикаций, любители видео, собирающие эпизоды из фан-вики, и все, кто пытается вытащить папку изображений, не нажимая на каждое.

Обычные способы, которыми это делают люди

Существует несколько подходов, каждый из которых имеет свои компромиссы.

• «Просмотр исходного кода» браузера или DevTools. Вы открываете инспектор, ищете в HTML _href или _.mp4, и копируете ссылки вручную. Это работает, но утомительно, и вы пропускаете все, что генерируется JavaScript после загрузки страницы.
• Расширения браузера такие как DownThemAll или Video DownloadHelper. Они сканируют живой DOM и перечисляют все найденные ссылки. Быстро, но вы должны доверять расширению каждую страницу, которую посещаете, и многие из них заброшены или поддерживаются рекламой.
• Инструменты командной строки такие как _{wget --spider}, _curl перенаправленный через _grep, или _yt-dlp для медиа-сайтов. Мощные и скриптуемые. Недостаток в том, что вам нужен терминал, некоторые знания регулярных выражений, а найденные ссылки все равно придется где-то скачивать.
• Специализированные онлайн-скреперы. Вставьте URL, получите список ссылок. Удобно, но многие медленные, ограничивают количество результатов или показывают свои собственные всплывающие окна. Конфиденциальность также под вопросом: они видят каждую страницу, которую вы сканируете.
• Правый клик «Сохранить страницу как» сохраняет HTML и ресурсы, но не предоставляет вам чистого списка ссылок для выбора.

Ни один из этих способов не является неправильным. Вопрос в том, как часто вы это делаете и где должен оказаться результат.

Как это сделать в Seedr

Seedr рассматривает URL как задачу. Вы вставляете ссылку, Seedr загружает страницу, и найденные файлы появляются в вашем облаке — без локальной загрузки, без ручного копирования.

1. Войдите в Seedr и откройте вкладку «Задачи».
2. Скопируйте URL страницы с нужными ссылками (или прямую ссылку для скачивания).
3. Нажмите «Добавить ссылку» или щелкните правой кнопкой мыши по пустой области и выберите «Добавить ссылку».
4. Вставьте URL. Если страница содержит прямой файл или поддерживаемый тип ссылки, Seedr ставит его в очередь как задачу.
5. Откройте задачу, чтобы просмотреть список файлов до завершения загрузки.
6. Отметьте только те файлы, которые вам действительно нужны. Остальные пропустите.

Для ссылок с несколькими файлами Seedr разрешает содержимое и показывает вам каждый файл внутри, прежде чем использовать пропускную способность. Вы оставляете те, что вам нужны, и отбрасываете остальные. Оригиналы остаются в вашем облаке, пока вы их не удалите.

Если вы предпочитаете один клик, расширения Chrome и Firefox добавляют опцию «Отправить в Seedr» к любой ссылке, по которой вы щелкаете правой кнопкой мыши, так что вам никогда не придется копировать и вставлять.

Советы и особые случаи

Несколько вещей, которые нужно знать, прежде чем ожидать чуда:

• Сканеры видят только то, что страница раскрывает. Если сайт генерирует ссылки через серверный API после нажатия кнопки, ни один универсальный сканер не найдет их без имитации этого клика.
• Страницы, защищенные логином, возвращают HTML-код для входа, а не содержимое за ним. Обычно вам нужен сеансовый cookie или инструмент, специфичный для сайта.
• Очень большие страницы с тысячами ссылок могут вызывать тайм-аут или быть усечены.
• Некоторые хосты меняют свои URL-адреса файлов каждые несколько минут, поэтому ссылка, которая была успешно отсканирована, может оказаться недействительной к моменту ее загрузки.
• Ограничения на размер файлов зависят от вашего тарифа. Бесплатные аккаунты имеют меньший лимит, чем Premium — проверьте это, прежде чем ставить в очередь коллекцию размером 50 GB.

Если сканирование страницы не дает ничего полезного, страница, вероятно, загружает свой реальный контент через JavaScript после загрузки. В этом случае расширение браузера, которое читает живой DOM, более надежно, чем статический скрепер.

Как это вписывается в остальную часть вашего рабочего процесса

Как только Seedr загружает файлы в ваше облако, остальная часть вашего рабочего процесса уже настроена.

• Подключите ваш диск Seedr через WebDAV, FTP или SFTP, и загруженные файлы появятся как локальная папка.
• Откройте PDF или изображение прямо в просмотрщике Seedr, не загружая его предварительно.
• Щелкните правой кнопкой мыши по видео и транслируйте его в браузере или передайте на телевизор.
• Конвертируйте документ (DOCX в PDF, MP4 в MP3) прямо через правый клик, без использования второго инструмента.

Смысл сканирования страницы на наличие ссылок — перестать тратить время на поиск. Размещение пункта назначения, предварительного просмотра и следующего шага в одном месте завершает работу.

Заключение

Перестаньте нажимать на фальшивые кнопки загрузки. Вставьте URL, позвольте сканеру выполнить работу и сохраните только то, что вам нужно.