移动端菜单

SEO python应用编程:xpath基础知识笔记

大唐营销老胡 2019-09-02 10:17:03 python爬虫 阅读

导读:一、xpath知识点, 二、python多线程爬取内容

SEO python应用编程:xpath基础知识笔记

一、xpath知识点:

1、获取文本文字 /text() 。

举例:

<a href="www.xxx.com" title="xxx的文字介绍">本段文字的介绍</a> , //a/text()

2、获取属性内容 /@属性名。

举例:

上面代码演示下来, //a/@href 获取到链接 //a/@title 获取到title文字内容

3、starts-with(@属性名,属性相同的特征) 。 #获取以相同的字符开头的

举例

content=html.xpath('//div[starts-with(@id,"test")]/text()') #提取div中id都包涵test的内容

4、string(.) #获取标签套标签

举例:

data=html.xpath('//div[@id="test3"]')[0] #获取div中id是test3的内容

data2=data.xpath('string(.)') #在获取到的data中继续清楚标签格式print data2

二、python多线程爬取内容

1、map #map函数

from multiprocessing.dummy import Pool as ThreadPool # 导入方法 as ThreadPool是后来加的,表示从新命名为ThreadPool

pool=Pool(2) #如果是双核写 Pool(2) 四核的Pool(4) 八核的Pool(8)

results=pool.map(爬去函数,网址列表)

相关内容推荐:

相关内容推荐:
python开发获取爱站网竞争对手排名关键词工具

python3 requests库安装pip方法提示 SyntaxError:invalid syntax

通知:python与SEO频道正式上线

SEO利用python获取百度下拉框关键词实现方法

文章作者: 大唐营销老胡
文章地址:http://www.datangyingxiao.com/python/pachong/115.html
版权所有:转载时必须以链接形式注明作者和原始出处及本声明。

上一篇:返回列表 下一篇:返回列表
网络营销推荐资讯
大唐营销老胡 大唐营销老胡微信二维码
栏目导航
最新文章
热门文章
热门标签