Python爬虫06_Requests政府采购严重违法失信行为信息记录爬取

一、爬取政府采购严重违法失信行为信息记录

import requestsif __name__ == "__main__":url = "http://www.ccgp.gov.cn/cr/list";headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:103.0) Gecko/20100101 Firefox/103.0'}response = requests.get(url=url,headers=headers);page_text = response.text;with open('e:/Reptile/zfcg.html','w',encoding='utf-8') as fp:fp.write(page_text)print('爬取数据结束！！！|')

二、网站数据分析

根据F12调试信息可看出，该网站数据结构较为简单，为HTML表格形式，简单根据请求获取响应页数据即可得到页面数据信息，如需精确提取其中企业名称、组织结构代码、企业地址等数据信息，可通过正则方式进一步对数据进行分离。