网站手机版怎么弄台州网站排名优化
文章目录
- 初始化解析器
- 路径查找
- 查找所有标签
- 查找指定 id 的标签
- 查找指定 class 的标签
- 查找包含指定 class 的标签
- 复杂路径查找
- 示例1
- 示例2
- 常见操作
- 获取所有标签的链接
- 获取 div 标签的文本内容, 其他标签类似
- 其他元素操作
初始化解析器
from lxml import html
from lxml.html import HtmlElementpage = '''
<html><head></head>
<body><div id="overlay" class="hidden"><div id="loader"></div></div><header id="rootHeader" class="login"><div class="wrapper content login"><table width="186" border="0"></table><div class="login">example content</div><a href="https://www.example.com">Torrent Kitty - Free Torrent To Magnet Link Conversion Service</a></div></header><div class="becbdbcf otherClassName">Your Internet and Goverment can track your torrent Activity! Hide yourIP with a VPN!</div><a href="https://example.com">Torrent Kitty - Free Torrent To Magnet Link Conversion Service</a>
</body></html>
'''rootElement: HtmlElement = html.fromstring(page)# 简单查找，获取指定类别的所有标签elements: list[HtmlElement] = rootElement.find_class('login')
print(elements)路径查找
- HtmlElement.xpath(‘xxxxxxxxxxxxxxxx’)
如果匹配不到元素返回空数组
查找所有标签
elements = rootElement.xpath('//*')
print(elements)查找指定 id 的标签
elements = rootElement.xpath('//*[@id="overlay"]')
print(elements)查找指定 class 的标签
elements = rootElement.xpath('//*[@class="login"]')
print(elements)查找包含指定 class 的标签
elements = rootElement.xpath('//*[contains(@class, "login")]')
print(elements)复杂路径查找
示例1
1、查找 class 为login 的 header
2、在 header 下查找 class 包含content的 div
3、在 div 下查找所有 table 标签
elements = rootElement.xpath('//header[@class="login"]/div[contains(@class, "content")]/table')
print(elements)示例2
1、查找 id 为overlay 的 div
2、在 div 下查找第二个 div
3、在第二个 div 下查找所有 table 标签
elements = rootElement.xpath('//div[@id="overlay"]/div[2]/table')
print(elements)常见操作
获取所有标签的链接
# 如果想获取其他属性值，把@后面改成对应的属性名称即可
urls = rootElement.xpath('//a/@href')
print(urls)获取 div 标签的文本内容, 其他标签类似
pText = rootElement.xpath('//div[@class="login"]/text()')
print(pText)其他元素操作
elements = rootElement.xpath('//*')
for element in elements:print(element.text) # 文本不拼接(不包含子元素内的文本)print(element.text_content()) # 拼接元素内所有文本 # 获取 class 的值，如果想获取其他属性值改成对应属性名称即可# 使用get获取，如果没有值可以提供默认值print(element.get('class', '没有值')) # print(element.get('class')) # 获取所有属性,类型 dict, key为属性名，value为属性值print(element.attrib) if 'src' in element.attrib:print('src 属性存在')# 遍历属性attrib = element.attribfor key in attrib: print(key, attrib[key])items = element.find('div')print(items) # 获取element下的所有 div 标签# 在 element 下查找所有 table 标签items = element.xpath('table') print(items)# 在 element 下查找 id 为 overlay 的标签, 如果找不到返回 Noneitems = element.get_element_by_id('overlay', None) print(items)