您的位置:首页 > 房产 > 家装 > 虚幻引擎 | (类恐鬼症)玩家和NPC语音聊天

虚幻引擎 | (类恐鬼症)玩家和NPC语音聊天

2024/12/29 2:42:56 来源:https://blog.csdn.net/charon8778/article/details/142139687  浏览:    关键词:虚幻引擎 | (类恐鬼症)玩家和NPC语音聊天

SETUP:工具和插件

工具elevenlabs或者讯飞,用于Speech Synthesis(语音合成,text to speech)。

https://elevenlabs.io/app/speech-synthesis/text-to-speechicon-default.png?t=O83Ahttps://elevenlabs.io/app/speech-synthesis/text-to-speech     elevenlab有10000字的免费试听额度

虚幻需要安装的插件(都支持虚幻5.0-5.4): (以下插件非本人所著,1-3需付费购买,1-2结合使用,4必装)

1)Runtime Speech Recognizer (不免费) :识别玩家通过麦克风讲的话

  • English-only and multilingual models available, with multilingual supporting 100 languages)
  • Fast recognition speed (反应速度快)
  • Optional translation of recognized speech to English (可以支持翻译机器人)
  • NOTE: The images with plugin examples are made in conjunction with 2)RuntimeAudioImporter, although you may have your own implementation of audio input to be processed in RuntimeSpeechRecognizer.

2)Runtime Audio Importer(不免费):导入录制的音频到引擎中

3)Offline Speech Recognition(不免费)

  • No dependencies on other paid cloud services
  • Easy to setup
  • One time payment
  • The server can handle multiple clients at the same time 支持多人使用
  • No internet required 支持离线

4)VArest(免费):REST通信(for the communication with API)

Speech to Text实现步骤:

示例使用Runtime Speech RecognizerRuntime Audio Importer。

完成购买后,Runtime Speech Recognizer的插件document中提供copyable blueprint可供直接复制使用。

1)缺失变量报错:

Blueprint复制过来之后,(包括你从自己其他工程复制过来的蓝图)会出现由于缺失变量造成的报错,只需要右键set variable的部分(节点如下图),即可一键重新创建变量,报错就可以解决。

2)blank audio报错

如果无法用笔记本麦克风语音输入,debug message会出现blank audio

详见:笔记本麦克风不能正常接入语音-CSDN博客

3)切换语言

系统设置:插件->Runtime Speech Recognizer中,可以把Model Language从English only切换成多语种

4)响应时间问题:

语言模型将所有答案一起传回,字数越多等得越久。

MetahumanSDK的文字to语音to口型,同样字数越多耗时越长,也受网速的影响。

到这条分割线以上,就可以实现和虚幻引擎编辑器对话了。

————————————————待更新————————————————————

5)文字识别准确性(避免空耳),stepsize,手动设置识别语言

————————————————同系列文章————————————————————

和NPC纯文字聊天。

游戏开发| Unreal5.2-5.4接入chatGPT定制游戏NPC-CSDN博客文章浏览阅读1k次,点赞18次,收藏6次。Unreal5.2-5.4接入chatgpt,制作游戏内不同人设的NPC角色https://blog.csdn.net/charon8778/article/details/142092626

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com