当前位置: 首页 > news >正文

Three.js进阶之音频处理与展示

引擎在对音频处理提供了丰富的接口,本文展示两个音频处理示例。

一、声音可视化

Three.js中的声音可视化是以视觉为核心,以音乐为载体,为音乐提供直观的视觉呈现。通过对音乐数据的分析并结合开发需求,能实现酷炫的视觉效果。在本节案例中,16个长方体跟随音乐的律动在y轴方向上进行缩放,效果如图12-13所示。

(1)加载音频文件,然后创建音频加载对象、音频监听对象和创建音频对象,接下来获取音乐数据,根据此数组长度创建长方体,然后进行画面的渲染,具体代码如下。

1      var file;                                               //文件对象
2      var fileUrl;                                            //文件链接
3      ......//此省略了初始化场景中相关变量的代码,读者可自行查看随书源代码
4       function fileChange() 
5         file=document.getElementById("importFile").files[0]; //获取文件
6         fileUrl=URL.createObjectURL(file);                    //创建文件链接
7         document.getElementById("WebGL-output").style.display="block";//将渲染所用的div进行显示
8         document.getElementById("label1").style.display="none"; //隐藏打开文件的标签
9         addAudio();                                              //加载音频文件
10     }
11    ......//此处省略了初始化场景的相关方法,读者可自行查看随书源代码
12      function addAudio() {
13        var audioLoder=new THREE.AudioLoader();                //创建音频加载
14        var listener = new THREE.AudioListener();              //创建音频监听
15        var audio = new THREE.Audio( listener );               //创建音频对象
16        audioLoder.load(fileUrl, function (audioBuffer ) {     //加载音频
17             audio.setBuffer( audioBuffer );                    //设置音频数据
18             audio.setLoop( true );                             //音频循环
19             audio.play();                                       //音频播放
20        });
21        analyser = new THREE.AudioAnalyser( audio, fftSize ); //音频数据分析
22        misicDataArray=analyser.data;                          //指定音乐数组中的数据
23        for (var i=0; i<fftSize*0.5; i++){
24             tempGeometry[i]=new THREE.BoxGeometry( 12, misicDataArray[i]/4 ,12);//创建长方体
25             material=new THREE.MeshPhongMaterial({color: getColor()});//创建随机颜色的材质
26             mesh[i]=new THREE.Mesh(tempGeometry[i], material) ; //创建物体
27             mesh[i].position.x=20*i-160;                       //指定物体的 x坐标
28             mesh[i].castShadow=true;                           //接受阴影
29             mesh[i].rotation.y= Math.PI/4;                     //指定绕 y轴旋转的角度
30             scene.add(mesh[i]);                                //将物体添加进场景
31        }
32        renderScene();                                          //进行渲染
33     }

❑ 第1~10行的功能为获取音频文件,创建文件链接和加载音频文件。当我们打开音频文件的时候,会调用fileChange方法,获取音频文件并创建链接,然后将渲染用div显示,隐藏打开音频文件时的提示信息。
❑ 第12~31行的功能为创建音频加载对象,音频加载监听以及音频对象,然后加载音频并对音频对象进行数据设置和播放设置,对音频进行分析,
(2)介绍渲染场景的方法。在此方法中主要通过更新音乐数据来更新物体在y轴上的缩放比例以及请求绘制下一帧画面,具体的代码如下。

 1    function renderScene() {                           //渲染场景的方法2        analyser.getFrequencyData();                   //更新音乐数据3        misicDataArray=analyser.data;                  //更新音乐数据4        for (var i=0; i<fftSize*0.5; i++){          //更改物体在 y轴上的缩放比例5             if(misicDataArray[i]/4==0){                //如果数据大小为06                 misicDataArray[i]=4; }                  //数据大小为47             mesh[i].scale.y=misicDataArray[i]/4;      //更新物体 y轴的缩放比例8             mesh[i].position.y=0;                      //指定物体的 y坐标为09        }10       renderer.render( scene, camera );              //渲染场景11       requestAnimationFrame(renderScene);            //请求重新绘制场景12   }

        在渲染场景的方法中,主要是通过更新音乐数据来更新物体在y轴上的缩放比例,从而实现物体随音乐律动来改变高度的功能。然后进行场景渲染,并请求重新绘制场景。

二、 声音与距离

        游戏音效是游戏中的重要组成部分,其最大功用就是烘托气氛、表达情感,给玩家营造出身临其境的游戏环境。Three.js引擎能够很好地处理游戏中的声音,并且能够根据摄像机位置与物体位置之间的距离来确定声音的大小。

         本案例中乒乓球运动后弹起的时候会发出声音。声音随着摄像机位置与乒乓球位置间距离的改变而改变,距离变小声音增大,距离变大声音减小,这真实地模拟出现实世界的情况。案例的具体实现过程。
(1)单击界面之后对象加载音频及创建监听,然后进行场景的初始化(包括初始化场景中的基本组件,向场景中添加物体和光照,添加鼠标控制以及添加窗口变化监听),最后隐藏提示信息标签,
具体实现代码如下:

        1        var flag=true;                                       //单击标志位2        var audioLoader;                                     //音频加载对象3        var listener;                                        //音频监听4        ......//此处省略了其他变量的声明,请读者自行查阅随书源代码5        document.addEventListener("mousedown", function (){ //窗口单击监听6             if(flag){                                        //如果可以进行单击7                 audioLoader = new THREE.AudioLoader();     //创建音频加载对象8                 listener = new THREE.AudioListener();      //创建音频监听对象9                 init();                                      //初始化界面10                 document.getElementById("tip").hidden=true; //隐藏提示信息11                 flag=false;12             }});13     function init() {                                     //初始化界面14        initScene();                                      //初始化场景的基本组件15             addMesh();                                        //添加物体16             addLight();                                       //添加光照17             addControls();                                    //添加鼠标控制18             document.getElementById("WebGL-output").appendChild(renderer.domElement);19             window.addEventListener( 'resize', onWindowResize, false ); //窗口变化监听20        }21        function initScene(){                                //初始化场景22             scene = new THREE.Scene();                       //新建场景23             renderer = new THREE.WebGLRenderer({ antialias: true } );//新建渲染器并关闭默认抗锯齿24             renderer.setClearColor(new THREE.Color(0x000000));    //设置背景颜色25             renderer.setSize(window.innerWidth, window.innerHeight);//设置渲染窗口的大小26             renderer.shadowMap.enable=true;                       //设置接受阴影27             renderer.shadowMap.type = THREE.PCFSoftShadowMap;    //设置阴影类型28             camera = new THREE.PerspectiveCamera(60, window.innerWidth/window.innerHeight, 0.1, 1000);29             camera.position.z =20;                                //摄像机位置的 z坐标30             camera.position.y =15;                                //摄像机位置的 y坐标31             camera.add(listener);                                 //添加音频监听32             camera.lookAt(new THREE.Vector3());                   //摄像机观察目标点33        }

        ❑ 第1~12行中的代码声明了程序中的变量,包括音频加载对象、音频加载监听和单击标志位等,注册窗口单击监听。进入界面,单击当前窗口,触发单击事件。接下来创建音频加载对象和音频监听对象,并进行界面的初始化以及隐藏提示信息。
        ❑ 第13~20行的功能为初始化场景中的基本组件、添加物体,光照和鼠标控制,以及注册窗口变化监听并将渲染结果添加到网页元素中。其中添加光照和鼠标控制的代码与前面案例的相似,在此不再赘述。
        ❑ 第21~33行为初始化场景,创建摄像机、场景以及渲染器对象,设置摄像机的位置及观察目标的位置,并添加音频监听和设置阴影及阴影类型。在此方法中,最重要的就是给摄像机添加音频监听,这是模拟真实声音效果的前提。
        单击界面之后才能进入场景,这是为了应对Google Chrome浏览器禁止声音自动播放策略的,我们只需与网页进行交互,便可以播放声音。
(2)看一下添加物体及加载音频方法的核心部分,包括加载音频,创建位置音频对象,设置音频数据,设置音频音量的大小和向场景中添加乒乓球。此外还有渲染场景的方法,此方法主要控制小球的运动以及在小球弹起时播放声音,
具体代码如下:

 1    function addMesh(){                                          //添加物体及加载音频2        ......//此处省略了向场景中添加乒乓球台模型的代码,读者可自行查阅随书源代码3        audioLoader.load( 'music/ping_pong.mp3', function ( buffer ){  //加载音频4             var ballGeometry = new THREE.SphereGeometry(0.5,20,20);    //创建球体5             var ballMaterial = new THREE.MeshLambertMaterial({color:0xffffff});//创建材质6             ball=new THREE.Mesh(ballGeometry, ballMaterial);             //创建网格对象7             ball.position.x = -10;                                       //球体的 x坐标8             ball.position.y = 8.2;                                       //球体的 y坐标9             ball.position.z = 0;                                         //球体的 z坐标10            ball.castShadow=true;                                        //球体投射阴影11             var audio = new THREE.PositionalAudio( listener );    //创建位置音频12             audio.setBuffer( buffer );                      //设置音频数据13             audio.setVolume(10);                            //设置音频的音量14             tempy=ball.position.y;                          //记录当前时刻球体的 y坐标15             ball.userData.flag=false;                       //自定义播放标志位16             ball.add( audio );                              //向球体添加音频17             scene.add(ball); });                             //向场景添加球体18        }19    function renderScene() {                                //渲染场景的方法20             requestAnimationFrame(renderScene);             //请求绘制下一帧画面21          render();                                        //调用实际渲染场景的方法22        }23    function render() {                                      //实际渲染场景的方法24             temp+=0.03;                                      //增加球体运动角度25             tempy=ball.position.y;                          //记录当前时刻球体的 y坐标26             ball.position.y=8.2+4*Math.abs(Math.sin(temp)); //改变球体的 y坐标27             ball.position.x=10*Math.cos(temp);              //改变球体的 x坐标28             var audio = ball.children[ 0 ];                 //获取音频对象29             if(ball.position.y<tempy){                      //如果球体 y坐标小于记录的球体 y坐标30                 ball.userData.flag=true; }                   //播放标志位为true31             else{ if(ball.userData.flag){                   //如果可以播放音频32                     audio.play();                           //播放音频33                     ball.userData.flag=false;               //播放标志位为false34                 }}35             renderer.render( scene, camera );               //进行场景渲染36        }

❑ 第3~18行的代码为加载音频,创建球体网格对象,设置球体的相关属性,创建位置音频对象,设置音频数据和向球体添加音频以及向场景中添加球体。通过向球体添加音频,可将音频对象和球体关联起来。通过改变播放标志位,可以控制音频播放。
❑ 第19~36行的代码为对场景进行渲染。在实际渲染场景的方法中,在当前球体的y坐标大于改变位置后球体的y坐标值时,物体处于下落状态,播放标志位为true。反之,物体处于上升状态,音频播放一次,播放标志位为false。这可避免重复播放。
 

相关文章:

  • Apache APISIX
  • 多线程爬虫使用代理IP指南
  • 查找 Vue 项目中未使用的依赖
  • PR基本概念——2025填空题
  • JDK 8 到 JDK 24 新特性大全
  • 猎板硬金镀层厚度:新能源汽车高压系统的可靠性基石
  • WebFuture:启动数据库提示: error while loading shared libraries: libaio.so.1问题处理
  • 基于SpringBoot+Vue的在线音乐网站系统
  • Manus AI 现在可以生成短片了
  • 使用 systemctl 实现程序自启动与自动重启
  • 嵌入式分析利器:DuckDB与SqlSugar实战
  • Webpack搭建本地服务器
  • Solidity 开发指南:构建你的第一个 DApp
  • 《校园生活平台从 0 到 1 的搭建》第一篇:创建项目与构建目录结构
  • 【免杀】C2免杀技术(十五)shellcode混淆uuid/ipv6/mac
  • 【原理解析】为什么显示器Fliker dB值越大,闪烁程度越轻?
  • (LeetCode 每日一题)3403. 从盒子中找出字典序最大的字符串 I (贪心+枚举)
  • SOC-ESP32S3部分​​​​​​​:29-乐鑫组件库的使用
  • 【DVWA系列】——Brute Force(暴力破解)——low
  • 1. 数据库基础
  • 企业培训师资格证报考2023/seo优化网站推广
  • 罗湖网站建设费用/百度竞价价格查询
  • 免费网站建设特色/宁德市古田县
  • 南京网站设计培训价格/腾讯网qq网站
  • 最近发生的军事事件/南京seo全网营销
  • wordpress 信息分析/怎么关闭seo综合查询