一步扫描页面中的链接

你打开一个页面想下载一个文件,结果却发现十个“下载”按钮、两个弹出式标签页和一个倒计时器。真正的链接被埋藏在页面的某个地方。扫描页面中的链接意味着将工具指向一个 URL,让它提取实际可下载的文件——图片、视频、文档和档案——而无需你点击广告陷阱。

本指南将介绍链接扫描存在的原因、人们常用的方法、如何在 Seedr 中进行操作,以及在信任任何可疑页面的工具之前应了解的限制。

页面扫描的实际作用

网页是 HTML。在 HTML 中有 <a> 标签,<img> 标签,<video> 标签,有时还有即时构建链接的 JavaScript。链接扫描器会读取页面,遍历这些标签,并返回指向可下载资源的每个 URL。

这之所以有用,是因为现代下载页面很混乱。文件主机将真实链接隐藏在重定向后面。论坛将下载链接嵌入到引用块中。图库网站生成缩略图,但将全分辨率文件隐藏在数据属性中。手动复制每个链接很慢,而真实链接旁边的虚假“立即下载”按钮是故意设置的。

经常扫描页面的人大致分为几类:从出版物档案中获取一批 PDF 的研究人员、从粉丝维基收集剧集的视频爱好者,以及任何试图不点击每个图片就拉取整个图片文件夹的人。

人们常用的方法

有几种方法,每种都有实际的权衡。

  • 浏览器“查看源代码”或 DevTools。 你打开检查器,在 HTML 中搜索 href.mp4,然后手动复制链接。这种方法有效,但很繁琐,并且会错过页面加载后由 JavaScript 生成的任何内容。
  • 浏览器扩展,例如 DownThemAll 或 Video DownloadHelper。它们扫描实时 DOM 并列出找到的每个链接。速度快,但你必须信任该扩展程序访问的每个页面,而且许多扩展程序已被弃用或受广告支持。
  • 命令行工具,例如 wget --spidercurl 通过 grep,或 yt-dlp 用于媒体网站。功能强大且可脚本化。缺点是你需要一个终端、一些正则表达式知识,并且找到的链接仍然需要下载到某个地方。
  • 专用在线抓取工具。 粘贴一个 URL,获取链接列表。很方便,但许多工具速度慢,限制结果数量,或者会弹出自己的广告。隐私也是一个问题:它们会看到你扫描的每个页面。
  • 右键点击“另存为” 会保存 HTML 和资产,但不会给你一个清晰的链接列表供选择。

这些方法都没有错。问题在于你多久做一次,以及结果需要最终存储在哪里。

在 Seedr 中操作

Seedr 将 URL 视为一项任务。你粘贴一个链接,Seedr 会抓取页面,然后它找到的文件就会出现在你的云端——无需本地下载,无需手动复制。

  1. 登录 Seedr 并打开“任务”选项卡。
  2. 复制包含你所需链接的页面 URL(或直接下载链接)。
  3. 点击 添加链接 或右键点击空白区域并选择 添加链接
  4. 粘贴 URL。如果页面包含直接文件或受支持的链接类型,Seedr 会将其作为任务排队。
  5. 打开任务以在任何内容完成抓取之前查看文件列表。
  6. 只勾选你实际需要的文件。跳过其余的。

对于多文件链接,Seedr 会解析内容并在分配带宽之前向你显示其中的每个文件。你保留所需的文件,删除其余的。原始文件会保留在你的云端,直到你删除它们。

如果你喜欢一键操作,Chrome 和 Firefox 扩展程序会在你右键点击的任何链接上添加“发送到 Seedr”选项,这样你就不必复制粘贴了。

提示和边缘情况

在期待奇迹发生之前,有几件事需要了解:

  • 扫描器只能看到页面暴露的内容。如果一个网站在你点击按钮后通过服务器端 API 生成链接,那么任何通用扫描器都无法在不模拟该点击的情况下找到它们。
  • 需要登录的页面会返回登录 HTML,而不是其背后的内容。你通常需要会话 cookie 或特定于网站的工具。
  • 包含数千个链接的超大页面可能会超时或被截断。
  • 有些主机每隔几分钟就会轮换其文件 URL,因此一个扫描时正常的链接在你抓取时可能已经失效。
  • 文件大小限制取决于你的套餐。免费账户的上限低于 Premium 账户——在排队下载 50 GB 的内容之前请先检查。

如果页面扫描没有返回任何有用的内容,那么该页面很可能在加载后通过 JavaScript 加载其真实内容。在这种情况下,读取实时 DOM 的浏览器扩展比静态抓取工具更可靠。

这如何融入你的其他工作流程

一旦 Seedr 将文件拉取到你的云端,你的其余工作流程就已经设置好了。

  • 通过 WebDAV、FTP 或 SFTP 挂载你的 Seedr 驱动器,抓取的文件将显示为本地文件夹。
  • 无需先下载,即可直接在 Seedr 的查看器中打开 PDF 或图片。
  • 右键点击视频并在浏览器播放器中流式传输,或将其投射到电视上。
  • 转换文档(DOCX 到 PDF,MP4 到 MP3)——右键点击即可直接输出,无需第二个工具。

扫描页面中的链接的目的是停止在寻找环节浪费时间。将目的地、预览和下一步操作集中在一个地方即可完成任务。

总结

停止点击虚假的下载按钮。粘贴 URL,让扫描器完成工作,只保留你所需的内容。

添加链接并查看状态