如何使用 AI 提示进行抓取 - Screaming Frog
了解如何连接到 LLM API，并针对抓取数据设置自定义提示，以获得更深入的见解。
介绍
SEO Spider 允许您连接到 OpenAI、Gemini、Anthropic 和 Ollama API，并针对抓取数据设置自定义提示。
在抓取时使用 AI 可以开启无限可能。它使您能够在抓取时针对页面的元素使用提示。
您可以将 AI 用于各种目的，例如：
- 生成图像的 alt text。
- 对页面内容进行语言、情感或意图分析。
- 抓取特定数据。
- 从页面内容中提取 embeddings 以进行各种分析。
还有更多！
本教程将引导您了解如何使用我们的直接 AI API 集成进行基本提示、如何将自定义提示保存到库以及高级用例。
如何设置 AI 提示
SEO Spider 中有各种预设的 AI 提示，但您也可以编写自己的自定义提示。以下是如何开始。
1) 选择一个 AI 提供商
点击“Config > API Access > AI”，然后选择您希望使用的 AI 提供商。
有付费的 LLM，包括 OpenAI、Gemini 和 Anthropic。或者，您可以使用 Ollama，这是一个用于本地 LLM 的免费框架。
请按照我们上面的指南了解如何为每个提供商设置帐户。
提示！ Gemini 在 特定地区（例如美国和英国）通过 AI Studio 免费提供。查看“免费”计划，因为它非常出色。免费和付费帐户类型 具有不同的速率限制。
2) 输入您的 API 密钥
当您创建了一个帐户并拥有 API 密钥时，将其输入到“Account Information”选项卡上的相应 API 密钥字段中。
如果您使用的是 Ollama，则没有 API 密钥，您可以忽略此步骤。
当您在“Account Information”选项卡上时，请记住点击“Connect”。
3) 配置您的提示
导航到“Prompt Configuration”选项卡，以针对抓取数据配置最多 100 个提示。
“Add from Library”功能包括六个提示，您可以选择它们作为灵感。
或者，点击“Add”以配置自定义提示。
对于示例中的 OpenAI，您可以选择模型类别（ChatGPT、Moderation、Embeddings、Image Generation 或 Text To Speech）、使用的 模型（例如，“gpt-4o”）、内容类型和用于提示的数据（例如页面文本、HTML 或自定义提取），以及编写您的自定义提示。
默认的对话模型（例如 ChatGPT）用于每个提供商，因此通常您只需在“Enter Prompt”字段中编写您的提示即可。
提示！ “Page Text”基于 内容区域设置。这会自动排除页面的导航和页脚元素，但您可以自定义它，以便它提供您希望发送到 LLM 的确切内容。
提示字段右侧的警告图标警告说，由于为提示选择了“Page Text”，因此必须选择“Store HTML”。
4) 启用存储 HTML
要将“Page Text”或“HTML”用于提示，您需要通过“Config > Spider > Extraction”启用“Store HTML”。
如果您没有选择这些元素之一，则可以跳过此步骤！
5) 测试您的提示
要测试提示，请使用提示字段右侧的“播放”图标。
在提示测试器中，输入要测试的 URL，然后点击“Test”按 钮以显示提取和响应。
下部窗口中的 OpenAI 响应表明提示正在按预期工作，输出为“English”。
6) 抓取网站
在“Enter URL to spider”框中输入您要抓取的网站，然后点击“Start”。
等待抓取和 API 进度条达到 100%，或实时查看数据。
7) 在 API 选项卡中查看结果
来自提示的数据将出现在 AI 选项卡以及具有先前设置的提示名称的过滤器和列中。如果名称未更新，它将仅保留为“AI Provider: 1”。
提示数据也将出现在 Internal 选项卡中，与来自抓取的所有其他数据结合在一起，以便在需要时进行其他分析、导出或报告。
使用 AI 提示进行抓取的常用用例
在抓取时使用 AI 提示可以开启无限可能。
通常，该功能的优点不在于常见的用例，而在于呈现给 SEO 的独特问题，这些问题没有明显的“开箱即用”解决方案，而 AI 可以提供额外的灵活性。
虽然有许多不同的用例，但包含提示的常见方法包括：
生成 Alt Text
Alt text 对于可访问性至关重要，但很难获得资源来为图像编写它们。
AI 非常适合自动化重复性的低级任务，并且 LLM 现在可以查看图像并准确地描述它们。
有时 AI 可能缺乏页面本身的上下文，但通常结果仍然有用。
生成 Meta Descriptions
虽然 meta descriptions 不直接用作评分信号，但它们确实会影响 SERP 中的 CTR。因此，我们敦促谨慎使用 AI 来生成它们。所有描述在发布到实时网站之前都应经过彻底审查。
在提示中，建议包括字符长度限制，以及末尾的号召性用语。
对页面的语言进行分类
LLM 非常擅长识别内容的语言。
当页面具有多种语言的混合时，或者在验证页面的语言是否与 hreflang 属性匹配时，这可能很有用。
对页面的意图进行分类
在内容审核任务期间，将页面分类为商业或信息性页面可能很有用。
LLM 在这方面并不完美，因此我们建议仔细审查结果。
情感分析
使用提示根据 Google 的 NLP API 情感分类（正面、负面、中性或混合）对文本进行分类。
检测不适当的内容
识别任何可能引起用户或搜索引擎关注的内容。
提取实体
快速识别对内容最重要或最核心的关键实体。
提取数据
虽然我们建议使用 自定义提取 从内容中提取数据，因为它速度快且不花费积分，但也可以通过提示轻松提取数据。
向量嵌入
SEO Spider 能够利用 向量嵌入 来识别 语义相似的页面和低相关性内容，以及 语义搜索 和 内容集群图可视化。
查看上面链接的教程，了解如何在软件中使用嵌入。
保存和打开自定义提示
要保存自定义提示，只需在创建后点击提示旁边的“Save”图标。
可以通过“Add from Library”和“User”选项卡选择自定义用户提示。
可以通过“Add From Library”菜单中的导出按钮以 JSON 格式导出和共享提示给其他用户。
然后可以使用相同的菜单和“Import”图标导入它们。
可以通过设置 AI 提示，然后使用“Config > Profiles > Save As”菜单将其保存为配置的一部分。
也可以通过相同的菜单将其启用为默认配置。
多个提示目标
您可以点击提示旁边的齿轮图标，并编写更高级的提示，包括使用多个提示目标元素。
例如，您可以使用页面文本和自定义提取器，并且非常具体。
这将打开一个“Edit Prompt”窗口。点击“Advanced Prompt”设置，然后在提示中选择多个元素。
针对特定片段和问题运行提示
您可以选择针对与特定片段匹配的 URL 运行 AI 提示。
这意味着您可以为希望运行 AI 提示的不同场景设置片段，而不会浪费积分。
点击“Config > Segments”，然后点击“Add”并选择片段的条件。您可以选择“Issues”和您希望 AI 提示运行的特定问题，例如“Missing Alt Text”。
在“Prompt Configuration”中，您可以点击提示旁边的“Cog”图标，点击“No Segment Matching”下拉菜单，然后选择您设置的片段。
这意味着，只有缺少 alt text 的 图像才会通过提示为其生成 alt text。
显然，这比盲目地为网站上的所有图像创建 alt text 效率更高。
自定义端点
您可以自定义 OpenAI 端点，这使您可以启用私有 LLM API 和使用相同结构的其他 AI 提供商。
例如，您可以通过自定义端点并输入“Account Information”选项卡中的相关 API 密钥来使用 DeepSeek 或 Grok。
您还可以自定义模型参数、标头和限制页面内容长度，以减少长内容页面上的令牌超出错误。
与 OpenAI API 格式兼容的常见 LLM 的端点包括：
Azure OpenAI – API 参考
https://YOUR_RESOURCE_NAME.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/chat/completions?api-version=2024-06-01
DeepSeek – API 参考
https://api.deepseek.com
Grok – API 参考
https://api.x.ai/
也可以以相同的方式自定义 Gemini 和 Ollama 的端点。
生成图像和文本语音
您还可以使用 OpenAI 和 Gemini 进行图像和文本语音生成。例如，这可以用于抓取博客文章，并为每篇文章创建一个主图。
SEO Spider 将在 UI 中显示图像或声音预览，您可以展开或收听。
总结
上面的指南应说明如何将 SEO Spider 与 AI 提示一起使用，以丰富抓取数据并提高重复性任务的效率，否则这些任务将被留在开发队列中。
我们敦促用户负责任地利用这些 AI 功能，将其用于真正的“增值”用例。
另请阅读我们的 Screaming Frog SEO Spider 常见问题解答 和完整的用户指南，以了解有关该工具的更多信息。
如有任何疑问，请与我们的支持团队联系。