当前位置： 首页 > wzjs >正文

京东快递 网站建设特点佛山网站专业制作

wzjs 2025/9/13 13:06:47
京东快递 网站建设特点,佛山网站专业制作,室内设计网站界面,残联网站建设概况前言 手语视频流的识别有两种大的分类，一种是直接将视频输入进网络，一种是识别了关键点之后再进入网络。所以这篇文章我就要来讲讲如何用mediapipe对手语视频进行关键点标注。 代码 需要直接使用代码的，我就放这里了。环境自己配置一下吧&…

前言

手语视频流的识别有两种大的分类，一种是直接将视频输入进网络，一种是识别了关键点之后再进入网络。所以这篇文章我就要来讲讲如何用mediapipe对手语视频进行关键点标注。

代码

需要直接使用代码的，我就放这里了。环境自己配置一下吧，不太记得了。

import os
import cv2
import numpy as np
import mediapipe as mp
from concurrent.futures import ThreadPoolExecutor# 关键点过滤设置
filtered_hand = list(range(21))
filtered_pose = [11, 12, 13, 14, 15, 16]  # 只保留躯干和手臂关键点
HAND_NUM = len(filtered_hand)
POSE_NUM = len(filtered_pose)# 初始化MediaPipe模型（增加检测参数）
mp_hands = mp.solutions.hands
mp_pose = mp.solutions.posehands = mp_hands.Hands(static_image_mode=False,max_num_hands=2,min_detection_confidence=0.1,#太高的话，没识别到就不识别，比较低能识别的比较全（没有干扰的情况下低比较好）min_tracking_confidence=0.1#太高，没追踪到也会放弃，比较低的连续性会比较好
)pose = mp_pose.Pose(static_image_mode=False,model_complexity=1,min_detection_confidence=0.7,min_tracking_confidence=0.5
)def get_frame_landmarks(frame):"""获取单帧关键点（修复线程安全问题）"""all_landmarks = np.full((HAND_NUM * 2 + POSE_NUM, 3), np.nan)  # 初始化为NaN# 改为顺序执行确保数据可靠性# 手部关键点results_hands = hands.process(frame)if results_hands.multi_hand_landmarks:for i, hand_landmarks in enumerate(results_hands.multi_hand_landmarks[:2]):  # 最多两只手hand_type = results_hands.multi_handedness[i].classification[0].indexpoints = np.array([(lm.x, lm.y, lm.z) for lm in hand_landmarks.landmark])if hand_type == 0:  # 右手all_landmarks[:HAND_NUM] = pointselse:  # 左手all_landmarks[HAND_NUM:HAND_NUM * 2] = points# 身体关键点results_pose = pose.process(frame)if results_pose.pose_landmarks:pose_points = np.array([(lm.x, lm.y, lm.z) for lm in results_pose.pose_landmarks.landmark])all_landmarks[HAND_NUM * 2:HAND_NUM * 2 + POSE_NUM] = pose_points[filtered_pose]return all_landmarksdef get_video_landmarks(video_path, start_frame=1, end_frame=-1):"""获取视频关键点（添加调试信息）"""cap = cv2.VideoCapture(video_path)if not cap.isOpened():print(f"无法打开视频文件: {video_path}")return np.empty((0, HAND_NUM * 2 + POSE_NUM, 3))total_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))if end_frame < 0 or end_frame > total_frames:end_frame = total_framesvalid_frames = []frame_index = 0while cap.isOpened():ret, frame = cap.read()if not ret or frame_index > end_frame:breakif frame_index >= start_frame:frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)landmarks = get_frame_landmarks(frame_rgb)# 检查是否检测到有效关键点if not np.all(np.isnan(landmarks)):valid_frames.append(landmarks)else:print(f"第 {frame_index} 帧未检测到关键点")frame_index += 1cap.release()if not valid_frames:print("警告：未检测到任何关键点")return np.empty((0, HAND_NUM * 2 + POSE_NUM, 3))return np.stack(valid_frames)def draw_landmarks(video_path, output_path, landmarks):"""绘制关键点到视频"""cap = cv2.VideoCapture(video_path)if not cap.isOpened():print(f"无法打开视频文件: {video_path}")returnfps = int(cap.get(cv2.CAP_PROP_FPS))width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))fourcc = cv2.VideoWriter_fourcc(*'mp4v')out = cv2.VideoWriter(output_path, fourcc, fps, (width, height))landmark_index = 0while cap.isOpened():ret, frame = cap.read()if not ret:breakif landmark_index < len(landmarks):# 绘制关键点for i, (x, y, _) in enumerate(landmarks[landmark_index]):if not np.isnan(x) and not np.isnan(y):px, py = int(x * width), int(y * height)# 右手绿色，左手红色，身体蓝色color = (0, 255, 0) if i < HAND_NUM else \(0, 0, 255) if i < HAND_NUM * 2 else \(255, 0, 0)cv2.circle(frame, (px, py), 4, color, -1)landmark_index += 1out.write(frame)cap.release()out.release()# 处理所有视频
video_root = "./doc/补充版/正式数据集/"
output_root = "./doc/save/"if not os.path.exists(output_root):os.makedirs(output_root)for video_name in os.listdir(video_root):if not video_name.endswith(('.mp4', '.avi', '.mov')):continuevideo_path = os.path.join(video_root, video_name)print(f"\n处理视频: {video_name}")# 获取关键点landmarks = get_video_landmarks(video_path)print(f"获取到 {len(landmarks)} 帧关键点")# 保存npy文件base_name = os.path.splitext(video_name)[0]np.save(os.path.join(output_root,"npy", f"{base_name}.npy"), landmarks)# 生成带关键点的视频output_video = os.path.join(output_root, "MP4",f"{base_name}_landmarks.mp4")draw_landmarks(video_path, output_video, landmarks)
print("全部处理完成！")

使用比较简单，修改video_root为视频目录路径，output_root为结果输出目录路径就可以正常使用了！

前置处理

# 关键点过滤设置
filtered_hand = list(range(21))
filtered_pose = [11, 12, 13, 14, 15, 16]  # 只保留躯干和手臂关键点
HAND_NUM = len(filtered_hand)
POSE_NUM = len(filtered_pose)
)

这里需要选取你需要的关键点，手部正常来说每个手21个，姿态和脸部的关键点也可以自己选择保留什么，网上可以查到每个点对应数字。

# 初始化MediaPipe模型（增加检测参数）
mp_hands = mp.solutions.hands
mp_pose = mp.solutions.posehands = mp_hands.Hands(static_image_mode=False,max_num_hands=2,min_detection_confidence=0.1,#太高的话，没识别到就不识别，比较低能识别的比较全（没有干扰的情况下低比较好）min_tracking_confidence=0.1#太高，没追踪到也会放弃，比较低的连续性会比较好
)pose = mp_pose.Pose(static_image_mode=False,model_complexity=1,min_detection_confidence=0.7,min_tracking_confidence=0.5

参数调整，对于手部和姿态都可以进行单独的参数调整，static_image_mode是是否是图片，False代表不是，我这里是视频，如果是视频的话，后面就还有一个min_tracking_confidence追踪阈值，而图片不具有时间连续性，所以用不到这个参数。max_num_hands是最大会识别到有几个手，后面两个参数我也写了怎么调。姿态参数基本同理，有一些区别可以自己查一下。

函数讲解

def get_frame_landmarks(frame):"""获取单帧关键点（修复线程安全问题）"""all_landmarks = np.full((HAND_NUM * 2 + POSE_NUM, 3), np.nan)  # 初始化为NaN# 改为顺序执行确保数据可靠性# 手部关键点results_hands = hands.process(frame)if results_hands.multi_hand_landmarks:for i, hand_landmarks in enumerate(results_hands.multi_hand_landmarks[:2]):  # 最多两只手hand_type = results_hands.multi_handedness[i].classification[0].indexpoints = np.array([(lm.x, lm.y, lm.z) for lm in hand_landmarks.landmark])if hand_type == 0:  # 右手all_landmarks[:HAND_NUM] = pointselse:  # 左手all_landmarks[HAND_NUM:HAND_NUM * 2] = points# 身体关键点results_pose = pose.process(frame)if results_pose.pose_landmarks:pose_points = np.array([(lm.x, lm.y, lm.z) for lm in results_pose.pose_landmarks.landmark])all_landmarks[HAND_NUM * 2:HAND_NUM * 2 + POSE_NUM] = pose_points[filtered_pose]return all_landmarks

对于单帧进行处理，先对所有关键点留np的位置，全部填充NaN,再分别对手部关键点和肢体关键点进行识别，将识别的点填入原先的数组里面，得到最后要返回的关键点数组。

def get_video_landmarks(video_path, start_frame=1, end_frame=-1):"""获取视频关键点（添加调试信息）"""cap = cv2.VideoCapture(video_path)if not cap.isOpened():print(f"无法打开视频文件: {video_path}")return np.empty((0, HAND_NUM * 2 + POSE_NUM, 3))total_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))if end_frame < 0 or end_frame > total_frames:end_frame = total_framesvalid_frames = []frame_index = 0while cap.isOpened():ret, frame = cap.read()if not ret or frame_index > end_frame:breakif frame_index >= start_frame:frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)landmarks = get_frame_landmarks(frame_rgb)# 检查是否检测到有效关键点if not np.all(np.isnan(landmarks)):valid_frames.append(landmarks)else:print(f"第 {frame_index} 帧未检测到关键点")frame_index += 1cap.release()if not valid_frames:print("警告：未检测到任何关键点")return np.empty((0, HAND_NUM * 2 + POSE_NUM, 3))return np.stack(valid_frames)

处理视频帧的关键点识别，读取视频的每一帧，分别做通道BGR转RGB和调用单帧处理函数对其进行处理，将每一帧的结果堆叠起来返回。

def draw_landmarks(video_path, output_path, landmarks):"""绘制关键点到视频"""cap = cv2.VideoCapture(video_path)if not cap.isOpened():print(f"无法打开视频文件: {video_path}")returnfps = int(cap.get(cv2.CAP_PROP_FPS))width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))fourcc = cv2.VideoWriter_fourcc(*'mp4v')out = cv2.VideoWriter(output_path, fourcc, fps, (width, height))landmark_index = 0while cap.isOpened():ret, frame = cap.read()if not ret:breakif landmark_index < len(landmarks):# 绘制关键点for i, (x, y, _) in enumerate(landmarks[landmark_index]):if not np.isnan(x) and not np.isnan(y):px, py = int(x * width), int(y * height)# 右手绿色，左手红色，身体蓝色color = (0, 255, 0) if i < HAND_NUM else \(0, 0, 255) if i < HAND_NUM * 2 else \(255, 0, 0)cv2.circle(frame, (px, py), 4, color, -1)landmark_index += 1out.write(frame)cap.release()out.release()

绘制结果关键点函数，将视频路径和输出路径以及识别的关键点数组传入，读取视频，对每一帧的图片每一个关键点进行绘制，画圈圈，然后将帧写入保存。

总结

整个路线还是比较清晰的，由于我使用的数据视频背景比较简单，不太会出现误识别，所以我的参数调的很低，但是不知道为什么还是会出现掉帧的情况，需要后续研究一下。


文章转载自：

http://uvD2U2SM.pwfwk.cn
http://jMmOlVp9.pwfwk.cn
http://Fv6YBHI4.pwfwk.cn
http://trcQzMwZ.pwfwk.cn
http://tH0diQ5c.pwfwk.cn
http://w2Gz6Gb2.pwfwk.cn
http://p8wuoDFd.pwfwk.cn
http://5lOdVzdn.pwfwk.cn
http://Jgl8WXts.pwfwk.cn
http://EVBf3FRz.pwfwk.cn
http://oR8f3eli.pwfwk.cn
http://IA5m50CD.pwfwk.cn
http://HOSlUUkk.pwfwk.cn
http://asiiI32y.pwfwk.cn
http://W6khPHBx.pwfwk.cn
http://sgwjelkO.pwfwk.cn
http://MxBd8grS.pwfwk.cn
http://SjYdmrUv.pwfwk.cn
http://uhQZmJsM.pwfwk.cn
http://3vHeFGse.pwfwk.cn
http://AKDdIL8I.pwfwk.cn
http://JN2AfP1n.pwfwk.cn
http://7wtStuyr.pwfwk.cn
http://8icIEgjv.pwfwk.cn
http://VwLD19zY.pwfwk.cn
http://IDXdosxb.pwfwk.cn
http://23hoYkB8.pwfwk.cn
http://NZNLOmFn.pwfwk.cn
http://sEorchzh.pwfwk.cn
http://wpGqOQ5P.pwfwk.cn
http://www.dtcms.com/wzjs/717696.html

相关文章：

  • 广州网站建设哪家技术好广告设计培训机构
  • wordpress全站301南宁网站建设科技公司
  • 定州网站制作多少钱火山软件开发平台
  • 专业网站建设哪里好怎么修改WordPress为中文
  • 水产网站源码网站建设心得总结
  • 做网站为什么需要花钱信誉好的高密网站建设
  • 网站制作性价比哪家好摄影网站建设流程
  • 怎么成立个人网站网站怎么做 吸引人
  • 襄阳网站建设外包做黄金的经常看什么网站
  • 福州市晋安区建设局网站9免费网站空间
  • 徐州seo网站推广珠海网站建设平台
  • wordpress收不到网站首饰网站模板
  • 天津市建设厅注册中心网站长春在线制作网站
  • 做百度推广的网站吗著名的国外设计网站
  • 公司做网站的目的关键词歌曲歌词
  • 网站制作400哪家好网站添加什么东西才能和用户体验
  • 银川企业网站建设wordpress注册取消邮箱
  • 如何做微信ppt模板下载网站秦皇岛网站建设企业
  • 江苏建设科技网站代码高亮wordpress
  • 南阳建设网站制作大理州住房和城乡建设部网站
  • 网站被黑了怎么恢复企业网站优化电话
  • 互动网站设计与制作哈尔滨网站设计公司
  • 通化网站推广wordpress首页摘要设置
  • 温岭哪里有做网站的关键词搜索工具
  • 黄冈网站建设wordpress 随机阅读数
  • 手机网站吧wordpress免费中文主题
  • 网站服务器租用阿里云一年多少钱啊深圳大浪网站建设
  • 网站设计如何收费wordpress微信捐赠
  • 株洲网站制作与设计网站服务器容器
  • 做添加剂的外贸网站有哪些廊坊网站建设解决方案