当前位置: 首页 > news >正文

黑暗中的爆破(船讯网Ais爬虫暨爬虫实战js逆向学习经验分享)

事先声明:本文章所获得的信息均通过合法手段获得(本人为政府部门工作,爬虫行为均经过授权),爬虫需遵守各项法律法规,不该爬取的信息不爬。
最近因为做博士毕业设计需要用到ais信息,但在船讯网爬取ais的时候遇到了问题,因为之前爬取的人太多,所以网站加上了反爬措施,csdn上之前的代码全都不能用了,但在我孜孜不倦的尝试和学习下,攻克了这一难关,在学习的过程中自己的爬虫技术也获得了很大的进展,现将经验分享如下。
一:初级解决方案(爬虫入门级玩家)。我们使用简单的代码转换器和搜索接口,或者使用简单xpath工具,以及正则匹配和数据库(或者csv,能存储数据就行),可以获得我们想要的ais信息,并将它编写成代码。

import requests
import csv
#爬虫谨慎使用!爬虫过多使用会导致网站反爬修改代码导致爬虫失效!
'''
出现PermissionError: [Errno 13] Permission denied: 'ais.csv'
是因为将数据文件ais.csv打开了,将其关闭即可恢复正常。
'''
#将搜索到的信息添加进excel(csv)
def readAndWrite(totalMessage):#没有该文件csv文件的话自动生成csv文件#查询已有的mmsi列表mmsiList=[]notEmpty=False#判断文件是否为空    with open('ais.csv','a') as file:passwith open('ais.csv','r') as file:lines=file.readlines()notEmpty=bool(lines)for line 
http://www.dtcms.com/a/266146.html

相关文章:

  • 车载以太网-IP 掩码 vlan 端口
  • SciPy 安装使用教程
  • [特殊字符] 电子机械制动(EMB)产业全景分析:从技术演进到千亿市场爆发
  • 高通QCS8550部署YOLO-NAS模型与性能测试
  • 使用excel中的MATCH函数进行匹配数据
  • Python数据库软件:查询与预测功能集成系统
  • Linux常见指令以及权限理解
  • 使用 Flask 构建基于 Dify 的企业资金投向与客户分类评估系统
  • HTTP详细介绍
  • Windows 10 2016 长期服务版
  • 仿小红书交流社区(微服务架构)
  • day 58 python打卡
  • AppInventor2 标签内容过多,如何做到可上下滑动?
  • 【WRFDA教程第一期】运行观测预处理程序(OBSPROC)
  • 数据结构:数组在编译器中的表示(Array Representation by Compiler)
  • oracle锁表,oracle解锁表,oracle用户连接数
  • ArcGISPro应用指南:ArcGISPro制图全流程详解
  • 前端面试专栏-算法篇:17. 排序算法
  • Redis常见性能问题和解决方案有哪些?
  • 《UE5_C++多人TPS完整教程》学习笔记41 ——《P42 蹲伏(Crouching)》
  • Flutter基础(ListView.builder)
  • Pandas 安装使用教程
  • 黑马python(二十四)
  • Java——初始guava(1)
  • win11设置任务栏为顶部
  • 「Java流程控制」循环综合应用
  • Redis大Key问题
  • 【PyCharm 2025.1.2配置debug】
  • React Tailwind css 大前端考试、问卷响应式模板
  • Robot---能打羽毛球的机器人