一种虚拟现实系统及其中显示安卓应用图像的方法和装置

1.一种虚拟现实系统中显示安卓应用图像的方法，其特征在于，所述方法包括：
获取待显示的屏幕内容，所述待显示的屏幕内容包括一个或多个安卓应用图像以及虚拟现实系统的用户界面图像；
调用安卓系统中负责显示合成的SurfaceFlinger模块，确定所述待显示的屏幕内容中各个图像的显示关系；
分别为所述虚拟现实系统的左侧屏幕和右侧屏幕建立网格；
使用OpenGL将所述待显示的屏幕内容中各个图像的纹理按所述显示关系分别绘制到所述左侧屏幕和右侧屏幕各自的网格上进行显示。
2.如权利要求1所述的方法，其特征在于，所述获取待显示的屏幕内容之后，所述方法进一步包括：为所述一个或多个安卓应用图像以及虚拟现实系统的用户界面图像分别申请对应的图层；
所述调用安卓系统中负责显示合成的SurfaceFlinger模块，确定所述待显示的屏幕内容的显示关系包括：确定所述各图层的显示关系。
3.如权利要求1或2所述的方法，其特征在于，所述使用OpenGL将所述待显示的屏幕内容中各个图像的纹理按所述显示关系分别绘制到所述左侧屏幕和右侧屏幕各自的网格上进行显示包括：
将所述待显示的屏幕内容中各个图像按确定的所述显示关系进行合并，绘制为一幅完整图像；
使用OpenGL将所述完整图像的纹理分别绘制到所述左侧屏幕和右侧屏幕各自的网格上进行显示。
4.一种虚拟现实系统中显示安卓应用图像的装置，其特征在于，所述装置包括：
获取单元，用于获取待显示的屏幕内容，所述待显示的屏幕内容包括一个或多个安卓应用图像以及虚拟现实系统的用户界面图像；
显示关系确定单元，用于调用安卓系统中负责显示合成的SurfaceFlinger模块，确定所述待显示的屏幕内容中各个图像的显示关系；
网格建立单元，用于分别为所述虚拟现实系统的左侧屏幕和右侧屏幕建立网格；
绘制显示单元，用于使用OpenGL将所述待显示的屏幕内容中各个图像的纹理按所述显示关系分别绘制到所述左侧屏幕和右侧屏幕各自的网格上进行显示。
5.如权利要求4所述的装置，其特征在于，所述装置进一步包括：
图层申请单元，用于为所述一个或多个安卓应用图像以及虚拟现实系统的用户界面图像分别申请对应的图层；
所述显示关系确定单元，还用于确定所述各图层的显示关系。
6.如权利要求4或5所述的装置，其特征在于，所述绘制显示单元，具体用于将所述待显示的屏幕内容中各个图像按确定的所述显示关系进行合并，绘制为一幅完整图像；使用OpenGL将所述完整图像的纹理分别绘制到所述左侧屏幕和右侧屏幕各自的网格上进行显示。
7.一种虚拟现实系统，其特征在于，所述虚拟现实系统包括权利要求4-6中任一项的显示安卓应用图像的装置，其上运行有一个或多个安卓应用。

一种虚拟现实系统及其中显示安卓应用图像的方法和装置\n技术领域\n[0001] 本发明涉及虚拟现实领域，特别涉及一种虚拟现实系统中显示安卓应用图像的方法、装置和一种虚拟现实系统。\n背景技术\n[0002] 虚拟现实系统是一种可以创建和体验虚拟世界的计算机仿真系统，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。例如，用户通过佩戴虚拟现实头盔等虚拟现实设备来完成与虚拟现实系统的交互。\n[0003] 近年来，安卓系统因其开源、生态环境完整的优点逐渐成为众多虚拟现实系统中操作系统的首选。但是，虚拟现实设备的左眼画面和右眼画面是独立的，需要同时具有两个画面，而现有的安卓应用并非为虚拟设备单独开发设计，仅具有一个画面，满足不了用户的需求，导致海量的安卓应用无法在虚拟现实系统中使用，从而出现了虚拟现实系统应用匮乏、生态环境不良的问题。\n发明内容\n[0004] 鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的虚拟现实系统中显示安卓应用图像的方法、装置和虚拟现实系统。\n[0005] 依据本发明的一个方面，提供了一种虚拟现实系统中显示安卓应用图像的方法，包括：获取待显示的屏幕内容，所述待显示的屏幕内容包括一个或多个安卓应用图像以及虚拟现实系统的用户界面图像；调用安卓系统中负责显示合成的SurfaceFlinger模块，确定所述待显示的屏幕内容中各个图像的显示关系；分别为所述虚拟现实系统的左侧屏幕和右侧屏幕建立网格；使用OpenGL将所述待显示的屏幕内容中各个图像的纹理按所述显示关系分别绘制到所述左侧屏幕和右侧屏幕各自的网格上进行显示。\n[0006] 可选地，所述获取待显示的屏幕内容之后，所述方法进一步包括：为所述一个或多个安卓应用图像以及虚拟现实系统的用户界面图像分别申请对应的图层；所述调用安卓系统中负责显示合成的SurfaceFlinger模块，确定所述待显示的屏幕内容的显示关系包括：\n确定所述各图层的显示关系。\n[0007] 可选地，所述使用OpenGL将所述待显示的屏幕内容中各个图像的纹理按所述显示关系分别绘制到所述左侧屏幕和右侧屏幕各自的网格上进行显示包括：将所述待显示的屏幕内容中各个图像按所述确定的显示关系进行合并，绘制为一幅完整图像；使用OpenGL将所述完整图像的纹理分别绘制到所述左侧屏幕和右侧屏幕各自的网格上进行显示。\n[0008] 依据本发明的另一方面，提供了一种虚拟现实系统中显示安卓应用图像的装置，包括：获取单元，用于获取待显示的屏幕内容，所述待显示的屏幕内容包括一个或多个安卓应用图像以及虚拟现实系统的用户界面图像；显示关系确定单元，用于调用安卓系统中负责显示合成的SurfaceFlinger模块，确定所述待显示的屏幕内容中各个图像的显示关系；\n网格建立单元，用于分别为所述虚拟现实系统的左侧屏幕和右侧屏幕建立网格；绘制显示单元，用于使用OpenGL将所述待显示的屏幕内容中各个图像的纹理按所述显示关系分别绘制到所述左侧屏幕和右侧屏幕各自的网格上进行显示。\n[0009] 可选地，所述装置进一步包括：图层申请单元，用于为所述一个或多个安卓应用图像以及虚拟现实系统的用户界面图像分别申请对应的图层；所述显示关系确定单元，还用于确定所述各图层的显示关系。\n[0010] 可选地，所述绘制显示单元，具体用于将所述待显示的屏幕内容中各个图像按所述确定的显示关系进行合并，绘制为一幅完整图像；使用OpenGL将所述完整图像的纹理分别绘制到所述左侧屏幕和右侧屏幕各自的网格上进行显示。\n[0011] 依据本发明的又一方面，提供了一种虚拟现实系统，包括上述任一项的显示安卓应用图像的装置，其上运行有一个或多个安卓应用。\n[0012] 由上述可知，本发明的技术方案，通过调用安卓系统中负责显示合成的SurfaceFlinger模块，确定一个或多个安卓应用图像以及虚拟现实系统的用户界面图像的叠加顺序、方位等显示关系，并分别为所述虚拟现实系统的左侧屏幕和右侧屏幕建立网格，接着使用OpenGL将待显示的屏幕内容中各个图像的纹理分别绘制到虚拟现实系统的左侧屏幕和右侧屏幕各自的网格上进行显示。该技术方案解决了普通安卓应用因仅具有一个画面不能在虚拟现实系统中正确显示的问题，这样就大大增加了虚拟现实系统可以使用的安卓应用，成本低，方法简单，改善了虚拟现实系统的生态环境，适于实用。\n[0013] 上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。\n附图说明\n[0014] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：\n[0015] 图1示出了根据本发明一个实施例的一种虚拟现实系统中显示安卓应用图像的方法的流程图；\n[0016] 图2示出了根据本发明一个具体实施例的一种虚拟现实系统中显示安卓应用图像的绘制示意图；\n[0017] 图3示出了根据本发明一个具体实施例的又一种虚拟现实系统中显示安卓应用图像的绘制示意图；\n[0018] 图4示出了根据本发明一个实施例的一种虚拟现实系统中显示安卓应用图像的装置的结构示意图。\n具体实施方式\n[0019] 下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。\n[0020] 图1示出了根据本发明一个实施例的一种虚拟现实系统中显示安卓应用图像的方法的流程图，如图1所示，该方法包括：\n[0021] 步骤S110，获取待显示的屏幕内容，待显示的屏幕内容包括一个或多个安卓应用图像以及虚拟现实系统的用户界面图像。\n[0022] 以一种较复杂的情况为例，用户需要运行应用A，而运行应用A的同时要保证虚拟现实系统的用户界面也进行显示，如在屏幕中的上方显示电池电量、时间、信号强度等信息。而在应用A启动时，还会运行附属的广告应用B，其中应用B只占用屏幕中心位置的部分进行显示。因此，待显示的屏幕内容包括了应用A、应用B的图像和虚拟现实系统的用户界面图像。\n[0023] 步骤S120，调用安卓系统中负责显示合成的SurfaceFlinger模块，确定待显示的屏幕内容中各个图像的显示关系。\n[0024] 继续以前例进行说明，在屏幕中的上方需要显示虚拟现实系统的用户界面图像，其下方应该无缝显示应用A的图像。同时，应用B需要覆盖一部分应用A的图像，即应用A的图像与应用B的图像存在叠加关系。因此，本步骤需要确定类似本例中的待显示的屏幕内容的显示关系，如叠加关系，拼接方式，屏幕上显示的方位、次序等。\n[0025] 步骤S130，分别为虚拟现实系统的左侧屏幕和右侧屏幕建立网格。\n[0026] 步骤S140，使用OpenGL将待显示的屏幕内容中各个图像的纹理按显示关系分别绘制到左侧屏幕和右侧屏幕各自的网格上进行显示。\n[0027] 图2示出了根据本发明一个具体实施例的一种虚拟现实系统中显示安卓应用图像的绘制示意图。图2中左侧即为实施了上述步骤S140通过使用OpenGL(Open Graphics Library，开放图形库)将待显示的屏幕内容按确定的显示关系绘制的纹理，可以看出纹理包括虚拟现实系统的用户界面的纹理(图2左上)以及应用图像的纹理(图2左下)，最终将虚拟现实系统的用户界面的纹理分别绘制到虚拟现实系统的左侧屏幕和右侧屏幕各自的网格上，以及将应用图像的纹理分别绘制到虚拟现实系统的左侧屏幕和右侧屏幕各自的网格上。在安卓系统中，将纹理绘制到屏幕上时，需要对整个屏幕建立网格，例如左下坐标为(-\n1,-1)，左上坐标为(1,1)，中心坐标为(0,0)。考虑到虚拟现实系统需要利用屏幕分别为左眼和右眼提供显示，因此将屏幕分为左侧屏幕和右侧屏幕，在左侧屏幕和右侧屏幕上显示的图像应当是独立的，因此需要将待显示的屏幕内容进行缩放。在具体实施中，可以考虑在进行左侧屏幕的绘制时，将屏幕网格右侧的基准线移至屏幕的中心线建立新的网格，从而绘制出的左侧屏幕的图像便是缩小后的、适于左侧屏幕的图像，类似地可以绘制右侧屏幕，最终效果如图2所示。对虚拟现实系统的用户界面的纹理以及应用图像的纹理分别进行绘制而不是将其作为整体进行绘制，可以满足某些情况下左右屏幕需要显示不同内容的情景。\n[0028] 可见，图1所示的方法，通过调用安卓系统中负责显示合成的SurfaceFlinger模块，确定一个或多个安卓应用图像以及虚拟现实系统的用户界面图像的叠加顺序、方位等显示关系，并分别为虚拟现实系统的左侧屏幕和右侧屏幕建立网格，接着使用OpenGL将待显示的屏幕内容中各个图像的纹理分别绘制到虚拟现实系统的左侧屏幕和右侧屏幕各自的网格上进行显示。该技术方案解决了普通安卓应用因仅具有一个画面不能在虚拟现实系统中正确显示的问题，这样就大大增加了虚拟现实系统可以使用的安卓应用，成本低，方法简单，改善了虚拟现实系统的生态环境，适于实用。\n[0029] 在本发明的一个实施例中，获取待显示的屏幕内容之后，图1所示的方法进一步包括：为一个或多个安卓应用图像以及虚拟现实系统的用户界面图像分别申请对应的图层；\n调用安卓系统中负责显示合成的SurfaceFlinger模块，确定待显示的屏幕内容的显示关系包括：确定各图层的显示关系。\n[0030] 具体地，在安卓系统中，应用需要在屏幕上进行显示，采用软件方式处理图像的显示关系需要调用SurfaceFlinger，在此之前需要创建一个Client类，然后向SurfaceFlinger申请一个图层。在安卓系统中，确定屏幕内容的显示关系可以采用硬件方式调用Overlay，也可以采用软件方式调用SurfaceFlinger，其中硬件方式较为简单，但不适合实现本发明的技术方案。因此，在本实施例中提供了一种调用SurfaceFlinger的实现方法。\n[0031] 在本发明的一个实施例中，上述方法中，使用OpenGL将待显示的屏幕内容中各个图像的纹理按显示关系分别绘制到左侧屏幕和右侧屏幕各自的网格上进行显示包括：将待显示的屏幕内容中各个图像按确定的显示关系进行合并，绘制为一幅完整图像；使用OpenGL将完整图像的纹理分别绘制到左侧屏幕和右侧屏幕各自的网格上进行显示。\n[0032] 图3示出了根据本发明一个具体实施例的又一种虚拟现实系统中显示安卓应用图像的绘制示意图。如图3所示，图3最左为使用OpenGL将待显示的屏幕内容按确定的显示关系绘制为纹理，其中纹理包括两部分，分别为虚拟现实系统的用户界面的纹理(图3左上)以及应用图像的纹理(图3左下)，图3正中为将待显示的屏幕内容(虚拟现实系统的用户界面以及应用图像)按确定的显示关系进行合并，绘制为一幅完整的纹理，图3最右为最终在屏幕上显示的效果图。该方法不需要对虚拟现实系统的用户界面的纹理以及应用图像的纹理分别进行绘制，减少了绘制次数，比较适合左右侧屏幕待显示的内容相同的情况。\n[0033] 图4示出了根据本发明一个实施例的一种虚拟现实系统中显示安卓应用图像的装置的结构示意图，如图4所示，虚拟现实系统中显示安卓应用图像的装置400包括：\n[0034] 获取单元410，用于获取待显示的屏幕内容，待显示的屏幕内容包括一个或多个安卓应用图像以及虚拟现实系统的用户界面图像。\n[0035] 显示关系确定单元420，用于调用安卓系统中负责显示合成的SurfaceFlinger模块，确定待显示的屏幕内容中各个图像的显示关系。\n[0036] 网格建立单元430，用于分别为虚拟现实系统的左侧屏幕和右侧屏幕建立网格。\n[0037] 绘制显示单元440，用于使用OpenGL将待显示的屏幕内容中各个图像的纹理按显示关系分别绘制到左侧屏幕和右侧屏幕各自的网格上进行显示。\n[0038] 可见，图4所示的装置，通过调用安卓系统中负责显示合成的SurfaceFlinger模块，确定一个或多个安卓应用图像以及虚拟现实系统的用户界面图像的叠加顺序、方位等显示关系，并分别为虚拟现实系统的左侧屏幕和右侧屏幕建立网格，接着使用OpenGL将待显示的屏幕内容中各个图像的纹理分别绘制到虚拟现实系统的左侧屏幕和右侧屏幕各自的网格上进行显示。该技术方案解决了普通安卓应用因仅具有一个画面不能在虚拟现实系统中正确显示的问题，这样就大大增加了虚拟现实系统可以使用的安卓应用，成本低，方法简单，改善了虚拟现实系统的生态环境，适于实用。\n[0039] 在本发明的一个实施例中，图4所示的装置进一步包括：图层申请单元，用于为一个或多个安卓应用图像以及虚拟现实系统的用户界面图像分别申请对应的图层；显示关系确定单元，还用于确定各图层的显示关系。\n[0040] 在本发明的一个实施例中，上述装置中，绘制显示单元，具体用于将待显示的屏幕内容中各个图像按确定的显示关系进行合并，绘制为一幅完整图像；使用OpenGL将完整图像的纹理分别绘制到左侧屏幕和右侧屏幕各自的网格上进行显示。\n[0041] 需要说明的是，上述各装置的具体实施方式与前述对应方法的实施例的具体实施方式相同，在此不再赘述。\n[0042] 在本发明的一个实施例中，提供了一种虚拟现实系统，包括前述任一实施中的显示安卓应用图像的装置，其上运行有一个或多个安卓应用。\n[0043] 综上所述，本发明的技术方案，通过调用安卓系统中负责显示合成的SurfaceFlinger模块，确定一个或多个安卓应用图像以及虚拟现实系统的用户界面图像的叠加顺序、方位等显示关系，可以为一个或多个安卓应用图像以及虚拟现实系统的用户界面图像分别申请对应的图层，并分别为所述虚拟现实系统的左侧屏幕和右侧屏幕建立网格，接着使用OpenGL将待显示的屏幕内容中各个图像的纹理分别绘制到虚拟现实系统的左侧屏幕和右侧屏幕各自的网格上进行显示，也可以将所有待显示的屏幕内容按确定的显示关系先绘制为一幅完整的纹理，再将该完整的纹理绘制到虚拟现实系统的左侧屏幕和右侧屏幕各自的网格上进行显示。该技术方案解决了普通安卓应用因仅具有一个画面不能在虚拟现实系统中正确显示的问题，这样就大大增加了虚拟现实系统可以使用的安卓应用，成本低，方法简单，改善了虚拟现实系统的生态环境，适于实用。\n[0044] 以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。\n[0045] 需要说明的是：\n[0046] 在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。\n各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。\n[0047] 在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。\n[0048] 类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。\n[0049] 本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。\n[0050] 此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。\n[0051] 本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的虚拟现实系统中显示安卓应用图像的装置和虚拟现实系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。\n[0052] 应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。