博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
前嗅ForeSpider教程:配置关键词
阅读量:7144 次
发布时间:2019-06-29

本文共 1402 字,大约阅读时间需要 4 分钟。

对于通过关键词,在网页的搜索栏检索的情况,可以在软件中,通过配置关键词实现。那么,今天小编来为大家介绍:如何在前嗅ForeSpider中,配置关键词。

一,关键词配置的步骤

第一步:打开关键词采集设置

点击关键词采集按钮, “关键词采集”功能启动。

第二步:进行关键词采集配置

开启关键词配置后,在界面右下角会出现关键词配置向导,按照“关键词配置步骤”后面的提示进行操作。
在搜索关键词时,分为有验证码搜索和无验证码搜索两种方式。
(1) 无验证码
逐个单击关键词配置步骤中的按钮,根据提示一步步进行关键词配置。对于无验证码的情况,可以跳过“验证码”、“验证域”两步。
以凤凰网()为例:
① 按Ctrl+鼠标左键单击搜索栏,保存后关闭。
单击搜索栏:

clipboard.png

②点击“完成”

③按Ctrl+鼠标左键单击“搜索按钮”。

单击搜索按钮

clipboard.png

④配置关键词列表

在关键词列表区域添加关键词,可以用于关键词搜索。

关键词列表

clipboard.png

(2) 有验证码

逐个单击关键词配置步骤中的按钮,根据提示一步步进行关键词配置:
①按Ctrl+鼠标左键单击搜索栏,保存后关闭。
②按Ctrl+鼠标左键单击“验证码输入框”。
③按Ctrl+鼠标左键单击“验证码图片”。
④点击“完成”。
⑤按Ctrl+鼠标左键单击“搜索按钮”。

二,关键词书写规则

1.书写规则

①关键词之间用英文“;”或回车换行隔开。
②支持组内有两个关键词,组内关键词用英文“,”隔开。
③各组的关键词排列顺序必须保持一致。

2.填写方法

①保存:填写关键词后,保存生效。
②导入:支持导入txt格式的批量关键词文档,文档不超过5M大小。
③去重:自动去除重复的关键词。
④清空:清空关键词列表。

三,关键词的高级配置方法

  1. 需要“高级配置”的情况

使用可视化配置之后,依旧无法正确采集时,说明关键词可视化配置获取到的参数信息,缺失或有误。

需要通过点击“高级配置”按钮,在弹框中手动配置关键词参数。对比表单中的参数名称,手动添加各项参数。

  1. 高级配置介绍

参数是指网页请求数据时,返回的参数信息。

关键词配置-参数编辑

clipboard.png

(1)请求地址

①一般情况下,完成“关键词设置”后,请求地址会自动填充上。
②如果没有或者有误,可以手动进行添加。简单的请求地址可以通过观察,找到各项参数。复杂的请求地址需要借助浏览器的开发者工具。
(2)POST请求
用户根据目标网址不同,是否为POST请求,来决定是否选择POST。
(3)Cookie刷新方式
是指每采集每一条数据时,是否刷新采集地址入口页,以获取Cookie信息,可以参考开发者工具里面的Cookie看一下是哪种刷新方式。
①不刷新:无需刷新入口地址。
②首次刷新:数据采集时,只刷新一次入口地址。
③重复刷新:采集每个关键词时,都刷新一次入口地址。
(4)请求参数表
一般情况下,完成“关键词配置”后,请求参数表里的参数信息会自动填充上。如果没有填充或有误,则按照下文进行手动配置。

3.高级配置示例

以该网址为例,介绍如何手动添加参数表。
第一步:观察网址规律。
①请求地址:“?”前的地址是页面的请求地址。
②检索关键词:keywords。
③其他参数:“=”前是参数名称,“=”后是参数值。(如有验证码,参数类型中需要有“验证码”)
第二步:添加参数表。
点击添加按钮,添加参数。
添加参数表

clipboard.png

第三步:修改参数表。

修改参数表

clipboard.png

转载地址:http://yswgl.baihongyu.com/

你可能感兴趣的文章
JSP--百度百科
查看>>
TCP/IP详解学习笔记(2)-数据链路层
查看>>
VMware+Windgb+Win7内核驱动调试
查看>>
initWithFrame、initWithCoder、awakeFromNib的区别和调用次序 & UIViewController生命周期 查缺补漏...
查看>>
客户端请求新页面
查看>>
VMware安装CentOS时,无法以图形界面安装解决办法
查看>>
SpringMvc文件资源防止被外链链接
查看>>
Spring 4 官方文档学习(十一)Web MVC 框架
查看>>
使用 Spring Boot 快速构建 Spring 框架应用--转
查看>>
Quartz 2D
查看>>
Eclipse 快捷键
查看>>
VC++ 设置软件开机自启动的方法
查看>>
MyBatis学习(三)、动态SQL语句
查看>>
PLSQL:[1]plsql中文乱码,显示问号
查看>>
将十进制转成十六进制
查看>>
【题目】英文字符进行频率的统计,直方图输出
查看>>
Ztree手风琴效果(第三版)
查看>>
「坐上时光机,查找编译压缩后的文件最初的样子」gulp-sourcemaps 使用说明
查看>>
java 泛型中 T、E ... 和 问号(通配符)的区别
查看>>
MyEclipse使用总结——MyEclipse去除网上复制下来的来代码带有的行号
查看>>