当前位置： 首页 > wzjs >正文

国外 设计师 网站建站技术知识

wzjs 2025/9/5 13:39:14
国外 设计师 网站,建站技术知识,开发公司的安全生产工作方案,四川百度推广和seo优化1.前言 手势识别与检测的介绍: 手势识别与检测是计算机视觉和人工智能领域的重要研究方向,通过算法让计算机理解人类手势的含义,手势检测(Gesture Detection)表示定位图像与视频中手部的位置,手势识别(GestureRecognition)表示将检测到的手势氛围特定的语言,例如张开手掌,握拳…

1.前言

  • 手势识别与检测的介绍: 手势识别与检测是计算机视觉和人工智能领域的重要研究方向,通过算法让计算机理解人类手势的含义,手势检测(Gesture Detection)表示定位图像与视频中手部的位置,手势识别(GestureRecognition)表示将检测到的手势氛围特定的语言,例如张开手掌,握拳,点赞等手势
  • 前端实现手势的检测与识别的作用: 前端的本质就是用户与计算机的交互行为,手势的检测与识别可以拓展传统的点击行为交互方式

2.实现所使用的技术栈

  • Vue3+Vite+@mediapipe

@mediapipe是由 Google 开发的一个开源跨平台框架，专为​​实时多媒体处理​​（如手势识别、人脸检测、姿态估计等）设计，具有高效、轻量化和多硬件支持的特点,所以可以使用@mediapipe来在前端实现手势识别

3.源码讲解

  • 静态页面搭建
<template><div id="liveView" class="videoView"><video id="webcam" autoplay playsinline></video><canvas class="output_canvas" id="output_canvas"></canvas></div><div class="imgInfo"><p>识别到的手势:{{ videoGestureInfo.categoryName }}</p><p>相似度:{{ videoGestureInfo.categoryScore }}</p><p>左右手:{{ videoGestureInfo.handedness }}</p></div>
</template><style lang="scss" scoped>
video {clear: both;display: block;transform: rotateY(180deg);-webkit-transform: rotateY(180deg);-moz-transform: rotateY(180deg);width: 100vw;height: 100vh;
}.imgInfo {position: fixed;top: 0;left: 0;color: #fff;p {margin: 10px 0;}
}.videoView {display: flex;justify-content: center;width: 100vw;height: 100vh;background-color: #000;#webcam {margin: 0 auto;width: 1250px;height: 100%;}
}.canvas {z-index: 1;position: absolute;pointer-events: none;
}.output_canvas {position: absolute;top: 0;margin: 0 auto;transform: rotateY(180deg);-webkit-transform: rotateY(180deg);-moz-transform: rotateY(180deg);
}.output {display: none;width: 100%;font-size: calc(8px + 1.2vw);
}
</style>
  • 辅助方法
// 判断是否可以使用摄像头
function hasGetUserMedia() {return !!(navigator.mediaDevices && navigator.mediaDevices.getUserMedia);
}
  • 创建手势识别器
// 创建手势识别器
const createGestureRecognizer = async () => {// 加载指定版本的MediaPipe视觉任务WebAssembly模块const vision = await FilesetResolver.forVisionTasks('https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision@0.10.3/wasm');// 创建了一个手势识别器实例(这个手势识别器实例使用的是指定版本的MediaPipe视觉任务WebAssembly模块)gestureRecognizer = await GestureRecognizer.createFromOptions(vision, {// 识别器配置baseOptions: {// 指向手势识别模型的路径modelAssetPath: './gesture_recognizer.task',// 设置为GPU以尝试利用图形处理单元进行加速,提高模型推理的速度delegate: 'GPU',},// 检测手掌的数量numHands: 2,});console.log('手势识别器加载完毕');// 识别视频中的手势predictWebcam();
};
  • 识别视频中的手势
// 识别视频中的手势
const predictWebcam = async () => {// 判断是否可以使用摄像头if (!hasGetUserMedia()) return alert('此设备不允许使用摄像头!');// 判断手势识别器是否加载完成if (!gestureRecognizer) return alert('手势识别器未加载完成');if (runningMode.value !== 'VIDEO') {// 设置识别器识别的类型为视频runningMode.value = 'VIDEO';await gestureRecognizer.setOptions({ runningMode: runningMode.value });}await gestureRecognizer.setOptions({ numHands: 2 });nextTick(() => {// 获取video元素const video = document.getElementById('webcam');// 获取视频手势节点绘制的canvas元素const canvasElement = document.getElementById('output_canvas');// 设置canvas的宽度和高度为video的宽度和高度canvasElement.width = video.clientWidth;canvasElement.height = video.clientHeight;// 获取canvas的上下文const canvasCtx = canvasElement.getContext('2d');// 设置上次识别视频手势的时间let lastVideoTime = -1;// 识别视频中的手势const predictWebcam = () => {// 获取当前视频的时间let nowInMs = Date.now();let results = {};// 如果视频的时间发生变化,则识别视频中的手势if (video.currentTime !== lastVideoTime) {// 替换上次识别视频手势的时间lastVideoTime = video.currentTime;results = gestureRecognizer.recognizeForVideo(video, nowInMs);}// 保存当前的canvas状态canvasCtx.save();// 清除canvas的内容canvasCtx.clearRect(0, 0, canvasElement.width, canvasElement.height);// 创建drawingUtils实例,用于可视化MediaPipeVision任务的结果const drawingUtils = new DrawingUtils(canvasCtx);// 判断是否识别到手势if (results.landmarks) {// 循环绘制手势的节点for (const landmarks of results.landmarks) {// 绘制手势连接线drawingUtils.drawConnectors(landmarks, GestureRecognizer.HAND_CONNECTIONS, {// 连接线的颜色color: '#00FF00',// 连接线的宽度lineWidth: 3,});// 绘制手势关节点drawingUtils.drawLandmarks(landmarks, {// 关节点的颜色color: '#FF0000',// 关节点的半径radius: 2.5,});}}// 恢复canvas的状态canvasCtx.restore();// 判断是否识别到手势数据if (results?.gestures?.length > 0) {videoGestureInfo.value.categoryName = enumGesture[results.gestures[0][0].categoryName];videoGestureInfo.value.categoryScore = parseFloat(results.gestures[0][0].score * 100).toFixed(2);videoGestureInfo.value.handedness = results.handednesses[0][0].displayName;} else {videoGestureInfo.value.categoryName = '';videoGestureInfo.value.categoryScore = '';videoGestureInfo.value.handedness = '';}// 递归调用,继续识别视频中的手势requestAnimationFrame(predictWebcam);};// 打开摄像头navigator.mediaDevices.getUserMedia({ video: true }).then(stream => {// 视频流添加到video元素中video.srcObject = stream;// 绑定视频加载完成事件,开始识别视频中的手势video.addEventListener('loadeddata', predictWebcam);});});
};
  • 整体js代码
import { GestureRecognizer, FilesetResolver, DrawingUtils } from './tasks-version@0.10.3.js';// 手势识别器实例
let gestureRecognizer;// 识别器识别的类型(图片/视频)
const runningMode = ref();// 视频手势信息
const videoGestureInfo = ref({});// 手势枚举
const enumGesture = {Closed_Fist: '握紧拳头',Open_Palm: '张开手掌',Thumb_Up: '竖起大拇指',Thumb_Down: '拇指朝下',Pointing_Up: '指向上',Victory: '胜利',None: '未识别',
};// 创建手势识别器
const createGestureRecognizer = async () => {// 加载指定版本的MediaPipe视觉任务WebAssembly模块const vision = await FilesetResolver.forVisionTasks('https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision@0.10.3/wasm');// 创建了一个手势识别器实例(这个手势识别器实例使用的是指定版本的MediaPipe视觉任务WebAssembly模块)gestureRecognizer = await GestureRecognizer.createFromOptions(vision, {// 识别器配置baseOptions: {// 指向手势识别模型的路径modelAssetPath: './gesture_recognizer.task',// 设置为GPU以尝试利用图形处理单元进行加速,提高模型推理的速度delegate: 'GPU',},// 检测手掌的数量numHands: 2,});console.log('手势识别器加载完毕');// 识别视频中的手势predictWebcam();
};// 识别视频中的手势
const predictWebcam = async () => {// 判断是否可以使用摄像头if (!hasGetUserMedia()) return alert('此设备不允许使用摄像头!');// 判断手势识别器是否加载完成if (!gestureRecognizer) return alert('手势识别器未加载完成');if (runningMode.value !== 'VIDEO') {// 设置识别器识别的类型为视频runningMode.value = 'VIDEO';await gestureRecognizer.setOptions({ runningMode: runningMode.value });}await gestureRecognizer.setOptions({ numHands: 2 });nextTick(() => {// 获取video元素const video = document.getElementById('webcam');// 获取视频手势节点绘制的canvas元素const canvasElement = document.getElementById('output_canvas');// 设置canvas的宽度和高度为video的宽度和高度canvasElement.width = video.clientWidth;canvasElement.height = video.clientHeight;// 获取canvas的上下文const canvasCtx = canvasElement.getContext('2d');// 设置上次识别视频手势的时间let lastVideoTime = -1;// 识别视频中的手势const predictWebcam = () => {// 获取当前视频的时间let nowInMs = Date.now();let results = {};// 如果视频的时间发生变化,则识别视频中的手势if (video.currentTime !== lastVideoTime) {// 替换上次识别视频手势的时间lastVideoTime = video.currentTime;results = gestureRecognizer.recognizeForVideo(video, nowInMs);}// 保存当前的canvas状态canvasCtx.save();// 清除canvas的内容canvasCtx.clearRect(0, 0, canvasElement.width, canvasElement.height);// 创建drawingUtils实例,用于可视化MediaPipeVision任务的结果const drawingUtils = new DrawingUtils(canvasCtx);// 判断是否识别到手势if (results.landmarks) {// 循环绘制手势的节点for (const landmarks of results.landmarks) {// 绘制手势连接线drawingUtils.drawConnectors(landmarks, GestureRecognizer.HAND_CONNECTIONS, {// 连接线的颜色color: '#00FF00',// 连接线的宽度lineWidth: 3,});// 绘制手势关节点drawingUtils.drawLandmarks(landmarks, {// 关节点的颜色color: '#FF0000',// 关节点的半径radius: 2.5,});}}// 恢复canvas的状态canvasCtx.restore();// 判断是否识别到手势数据if (results?.gestures?.length > 0) {videoGestureInfo.value.categoryName = enumGesture[results.gestures[0][0].categoryName];videoGestureInfo.value.categoryScore = parseFloat(results.gestures[0][0].score * 100).toFixed(2);videoGestureInfo.value.handedness = results.handednesses[0][0].displayName;} else {videoGestureInfo.value.categoryName = '';videoGestureInfo.value.categoryScore = '';videoGestureInfo.value.handedness = '';}// 递归调用,继续识别视频中的手势requestAnimationFrame(predictWebcam);};// 打开摄像头navigator.mediaDevices.getUserMedia({ video: true }).then(stream => {// 视频流添加到video元素中video.srcObject = stream;// 绑定视频加载完成事件,开始识别视频中的手势video.addEventListener('loadeddata', predictWebcam);});});
};// 判断是否可以使用摄像头
function hasGetUserMedia() {return !!(navigator.mediaDevices && navigator.mediaDevices.getUserMedia);
}onMounted(() => {// 加载手势识别器createGestureRecognizer();
});

4.效果图展示

效果图展示

5.总结

本文简单介绍了手势检测与识别的概念,以及如何在前端中实现手势的识别与检测,大致流程就是通过Google的@mediapipe开源框架实现,先创建手势识别器,之后再将视频的图像传入识别器,得到识别的结果即可


文章转载自：

http://00fO619R.zczkm.cn
http://KIjOSii6.zczkm.cn
http://BradrNXu.zczkm.cn
http://UdNGL5cR.zczkm.cn
http://jwhFelH7.zczkm.cn
http://zrARmZiG.zczkm.cn
http://RmezV3Os.zczkm.cn
http://QqTsoPOK.zczkm.cn
http://fhNd9d86.zczkm.cn
http://6X1e6kWB.zczkm.cn
http://e00ztsyw.zczkm.cn
http://qhYCIQj4.zczkm.cn
http://8l0MV3iO.zczkm.cn
http://MiOfeQNO.zczkm.cn
http://epXrB5rx.zczkm.cn
http://dkdUzXGs.zczkm.cn
http://MHEqmAdR.zczkm.cn
http://WdEBpizH.zczkm.cn
http://hBzW53ic.zczkm.cn
http://1nCv6kvn.zczkm.cn
http://3hwwVYVd.zczkm.cn
http://vGhXQwB7.zczkm.cn
http://44eTAH1d.zczkm.cn
http://rULkg3SG.zczkm.cn
http://11jK66wn.zczkm.cn
http://mPRbaLgB.zczkm.cn
http://1gcysY2u.zczkm.cn
http://gihDFQ3p.zczkm.cn
http://3KzZOeQO.zczkm.cn
http://O9pCKHzl.zczkm.cn
http://www.dtcms.com/wzjs/618783.html

相关文章：

  • 专业网站制作哪里好html免费网站模板下载
  • 大庆做网站的公司中国风ppt模板免费下载
  • 做做网站2023襄阳教育网站建设
  • 汕头网站建设网站推广做网站IP
  • wordpress 友情链接页优化seo可以从以下几个方面进行
  • 甜点网站要怎么做网站开发与管理共多少页
  • 网站行业关键词校园网的典型网络拓扑结构
  • 紫金公司网站制作it行业软件开发
  • 网络科技公司经营范围南京网站优化
  • 阿里巴巴国际站开店流程及费用海北州公司网站建设
  • 做阿里巴巴跟网站哪个更好360建筑网一级消防工程师
  • 做包装设计的网站有哪些青岛市平台公司
  • 网站备案背景幕布是什么搭建一个app需要什么
  • 公司网站名词解释属于公司的网站怎么做
  • 广西人才网官方网站精准营销的三要素
  • 如何通过网站标题找网站网站建设成本计划书
  • 中国有哪些网站淄博一推网络科技有限公司
  • 设计网站意味着什么百度指数怎么看排名
  • 网站备案表格专业建站公司报价
  • 做网站先做ue线上会议软件有哪些
  • 网站建设可行性方案学校网站建设的成果
  • 哪个网站可以做计算机二级的题wordpress自豪的采用
  • 台州公司网站建设杭州市建设信用网
  • 跟京东类似的网站泰安集团网站建设价格
  • 织梦做网站也是模板吗免费素材库视频网
  • 行业门户网站营销案例网站开发电子商务
  • 班级网站模板素材广告设计公司标语
  • 中山网站建设制作 超凡科技央企网站建设
  • 楼盘 东莞网站建设wordpress音乐主题推荐
  • 电子商务网站关键技术推广策划