产品概述
基本概念
产品优势
应用场景
鼠标、键盘、触摸交互处理
本节主要介绍鼠标、键盘、触摸的交互操作处理方法。
鼠标
从上图可以看出，云渲染交互中鼠标消息的转换流程。其中，应用软件是业务侧在控制台自助上传的应用，它运行在 Windows 系统上，响应 Windows 的鼠标窗口消息。业务侧接入 SDK 发送鼠标消息时，需要将 SDK 运行所在平台的消息转换为鼠标消息来操作应用。
一般来说，各个平台处理情况如下：
在 Android 和 iOS 平台是将系统的触摸消息转换成云渲染鼠标消息。
在 Web 页面中则根据页面运行的系统来决定，当 Web 页面运行在 Windows/macOS 的浏览器中时将鼠标消息转换为云渲染鼠标消息，当 Web 页面运行在 Android/iOS 的浏览器中时将触摸消息转换为云渲染鼠标消息。
其中，触摸消息转换为云渲染鼠标消息中，通常是将单指点击转换为云渲染鼠标点击，单指滑动转换为云渲染鼠标移动等。
因此，业务侧需要根据使用的 SDK 及运行的平台做相应的适配，具体请参考：
Web 页面（小程序）参考文档：onTouchEvent，mouseMove，sendMouseEvent。
Android App 参考文档：Android 外设交互处理。
iOS App 参考文档： iOS 外设交互处理。
键盘
从上图可以看出，云渲染交互中键盘消息的转换流程。其中，应用软件是业务侧在控制台自助上传的应用，它运行在 Windows 系统上，响应 Windows 的键盘窗口消息。业务侧接入 SDK 发送键盘消息时，需要将 SDK 运行所在平台的消息转换为键盘消息来操作应用。
一般来说，各个平台处理情况如下：
在 Android 和 iOS 平台是将系统的触摸消息或者软键盘消息转换为云渲染键盘消息。
在 Web 页面中则根据页面运行的系统来决定，当 Web 页面运行在 Windows/macOS 的浏览器中时将键盘消息转换为云渲染键盘消息，当 Web 页面运行在 Android/iOS 的浏览器中时将触摸消息或者软键盘消息转换为云渲染键盘消息。
其中，触摸消息或软键盘消息转换为云渲染键盘消息中，通常是将触摸方向盘操作转换为云渲染键盘的 WASD 消息，将软键盘消息直接转换为云渲染键盘按键消息等。
因此，业务侧需要根据使用的 SDK 及运行的平台做相应的适配，具体请参考：
Web 页面（小程序）参考文档：sendKeyboardEvent，Joystick。
Android App 参考文档：Android 外设交互处理。
iOS App 参考文档： iOS 外设交互处理。
触摸
从上图可以看出，云渲染交互中触摸消息的转换流程。其中，应用软件是业务侧在控制台自助上传的应用，它运行在 Windows 系统上，响应 Windows 的触摸窗口消息。业务侧接入 SDK 发送触摸消息时，需要将 SDK 运行所在平台的消息转换为触摸消息来操作应用。
一般来说，各个平台处理情况如下：
在 Android 和 iOS 平台将系统的触摸消息转换为云渲染触摸消息。
在 Web 页面仅运行在 Android/iOS 的浏览器中时将触摸消息转换为云渲染触摸消息。
只有当应用软件支持 Windows 的触摸窗口消息处理，并且应用软件在物理的 Windows 触摸屏设备上测试正常时，才建议业务侧可以使用 SDK 将所在平台的触摸消息转换为云渲染触摸消息。
注意：
不建议使用 UE、Unity 引擎的鼠标转触摸来测试应用软件对触摸消息的处理是否正常，因为触摸行为会在触摸屏设备上表现异常。
因此，业务侧需要根据使用的 SDK 及运行的平台做相应的适配，具体请参考：
Web 页面（小程序）参考文档：init.clientInteractMode，setClientInteractMode。
Android App 参考文档：Android 外设交互处理。
iOS App 参考文档：iOS 外设交互处理。
文档反馈