可视终端及其实现界面内容共享的方法

暂无

可视终端及其实现界面内容共享的方法\n技术领域\n[0001] 本发明涉及3G移动技术，尤指一种可视终端及其在视频通话中实现界面内容共享的方法。\n背景技术\n[0002] 随着移动多媒体业务的迅速发展，以及3G在国内的逐步商用，可视电话业务成为\n3G的标志性业务，已经在个人通信领域迅速发展应用起来。可视电话业务是一种点到点的视频通信业务，它能利用电话网双向实时传输通话双方的图像和语音信号。可视终端能收到面对面交流的效果，实现人们通话时“既闻其声、又见其人”的梦想。\n[0003] 图1为现有可视终端的组成结构示意图，如图1所示，可视终端包括取景器(Sensor)如摄像头、麦克风(MIC)、LCD显示屏、扬声器(Speaker)、编码模块、解码模块、可视电话协议栈及调制解调器(modem)。图1中是以通话双方来表示的，因此仅分别显示了发送/接收的功能模块。\n[0004] 在视频通话的发送端，首先，通过Sensor获取视频数据、通过MIC获取音频数据并进行模/数(A/D)转换；然后，编码模块分别对视频数据和音频数据进行编码，得到视频码流和音频码流；接着可视电话协议栈(H324)进行处理，并对编码后的视频码流和音频码流进行复用，以形成适合于通信链路传输的数据包(PDU)；最后，经过调制解调器发送给视频通话的接收端。\n[0005] 在视频通话的接收端，首先，通过调制解调器接收来自发送端的PDU，然后，经过可视电话协议栈(H324)加以处理，分解得到视频码流和音频码流；接着，解码模块分别对视频码流和音频码流进行解码，得到视频数据和音频数据；最后，通过LCD显示屏显示出视频图像、通过Speaker播放进行了数/模(D/A)转换的音频信号。\n[0006] 目前，在可视终端的应用中，用户提出了新的需求，希望可视终端能实时发送本机当前界面展示的内容。比如商务人士在视频通话过程中，可能需要对本机中存储的计划书与对方进行实时、详细的阐述，现有的视频通话技术仅仅能够支持将本机对计划书的语音阐述发送给对端，却不能直观地将本机中已经存储的计划书实时呈现给对端。目前的可视终端不能满足对新的需求，降低了可视终端用户的满意度，甚至阻碍了可视终端的普及应用。\n发明内容\n[0007] 有鉴于此，本发明的主要目的在于提供一种可视终端，能够实时发送本机当前界面展示的内容，满足对可视终端的新需求，提高可视终端用户的满意度，促进可视终端的普及应用。\n[0008] 本发明的另一目的在于提供一种可视终端实现界面内容共享的方法，能够实时发送本机当前界面展示的内容，满足对可视终端的新需求，提高可视终端用户的满意度，促进可视终端的普及应用。\n[0009] 为达到上述目的，本发明的技术方案是这样实现的：\n[0010] 一种可视终端，包括LCD显示屏、取景器、处理单元，还包括切换单元和界面内容处理单元，其中，\n[0011] 切换单元用于接收来自外部的切换指令，选择通过取景器获取视频数据，还是通过LCD数据显示缓冲区获取用于与对方实时共享本机当前界面内容的缓存数据来采集发送的数据；\n[0012] 界面内容处理单元，包括格式转换模块，用于对LCD数据显示缓冲区中要与对方实时共享的本机当前界面内容进行处理，转换为符合编码输入格式要求的缓存区数据并输出给处理单元；\n[0013] 处理单元，用于对缓存区数据进行处理后发送。\n[0014] 还包括麦克风MIC和扬声器；\n[0015] 所述处理单元包括编码模块、可视电话协议栈和调制解调器；当所述切换单元选择通过LCD数据显示缓冲区获取缓存数据来采集发送的数据时，\n[0016] 编码模块，用于对缓存区数据，以及来自MIC的经过A/D转换的音频数据进行编码，得到缓存码流和音频码流，并输出给可视电话协议栈；\n[0017] 所述可视电话协议栈，用于对缓存码流和音频码流进行处理，对编码后的缓存码流和音频码流进行复用，以形成适合于通信链路传输的数据包PDU；\n[0018] 调制解调器，用于发送PDU。\n[0019] 还包括麦克风MIC和扬声器；\n[0020] 所述处理单元包括编码模块、可视电话协议栈和调制解调器；当所述切换单元选择通过取景器获取视频数据来采集发送的数据时，\n[0021] 所述编码模块，用于对来自取景器的视频数据，以及来自MIC的经过A/D转换的音频数据进行编码，得到视频码流和音频码流，并输出给可视电话协议栈；\n[0022] 所述可视电话协议栈，用于对接收到的视频码流和音频码流进行处理，对编码后的缓存码流和音频码流进行复用，以形成适合于通信链路传输的PDU；\n[0023] 调制解调器，用于发送PDU。\n[0024] 所述界面内容处理单元，还包括分辨率调节模块；\n[0025] 所述分辨率调节模块，用于对格式转换后的缓存区数据进行分辨率调节，以符合可视终端的分辨率。\n[0026] 所述界面内容处理单元，还包括时延调整模块；\n[0027] 所述时延调整模块，用于对经过分辨率调节的缓存区数据进行时延调整，使其与音频数据保持同步。\n[0028] 一种可视终端实现界面内容共享的方法，该方法包括：\n[0029] 进入视频通话，判断是否存在切换需求，如果存在，对从LCD数据显示缓冲区获取的要与对方实时共享的本机当前界面内容进行处理后发送；否则，继续视频通话直至结束；\n[0030] 所述切换需求为：由通过取景器获取视频数据，切换为通过LCD数据显示缓冲区获取用于与对方实时共享本机当前界面内容的缓存数据来采集发送的数据。\n[0031] 如果存在所述切换请求，该方法还包括：屏蔽视频数据；\n[0032] 所述屏蔽视频数据为：在可视终端LCD显示屏上将视频图像以最小化的方式屏蔽在本端。\n[0033] 对所述本机当前界面内容进行处理包括：\n[0034] 将缓存数据的格式转换为符合可视终端的编码要求的输入格式，并进行编码得到缓存码流，再与音频码流进行复用。\n[0035] 所述对缓存数据的处理还包括：进行分辨率调节。\n[0036] 所述对缓存数据的处理还包括：时延调整。\n[0037] 从上述本发明提供的技术方案可以看出，在视频通话中，通过用户的切换要求和新增的界面内容处理单元，通过视频通话的数据传输方式实现了可视通话中本机界面内容的实时共享，增加了用户使用的便利性，满足了用户对可视在终端的新需求，提高了可视终端用户的满意度，促进了可视终端的普及应用。同时，大大拓展了可视电话的用途，突破了通话双方只能看到对方摄像头中的影像的限制。\n附图说明\n[0038] 图1为现有可视终端的组成结构示意图；\n[0039] 图2为本发明可视终端的组成结构示意图；\n[0040] 图3为本发明可视终端在可视通话中共享界面内容的方法的流程图；\n[0041] 图4为本发明在可视通话中共享界面内容的实施例的流程图。\n具体实施方式\n[0042] 图2为本发明可视终端的组成结构示意图，如图2所示，与现有可视终端的组成相比，本发明的可视终端除了包括LCD显示屏、编码模块、解码模块、可视电话协议栈及调制解调器外，还包括切换单元和界面内容处理单元，其中，\n[0043] 切换单元用于接收来自外部的切换指令，选择通过取景器获取视频数据，还是通过LCD数据显示缓冲区获取缓存数据来采集发送的数据。\n[0044] 界面内容处理单元，包括格式转换模块，用于对来自LCD数据显示缓冲区的缓冲区数据进行处理，转换为符合编码模块的输入格式要求的缓存区数据并输出给处理单元；\n[0045] 处理单元，用于对缓存区数据进行处理后发送。\n[0046] 所述处理单元包括编码模块、可视电话协议栈和调制解调器，其中，[0047] 编码模块，用于对缓存区数据进行编码得到缓存码流，并输出给可视电话协议栈；\n[0048] 所述可视电话协议栈，用于对缓存码流处理后得到数据包PDU；对接收到的PDU分解后得到缓存码流，并输出给解码模块；\n[0049] 解码模块，用于对缓存码流解调得到的缓存数据，输出给LCD显示屏显示；\n[0050] 调制解调器，用于发送或接收数据包PDU。\n[0051] 可视终端除了包括已有的LCD显示屏、编码模块、解码模块、可视电话协议栈及调制解调器外，还包括已有的MIC和扬声器。具体来讲：\n[0052] 编码模块，用于对来自取景器的视频数据或缓存区数据，以及来自MIC的经过A/D转换的音频数据进行编码，得到视频码流或缓存码流，和音频码流，并输出给可视电话协议栈。\n[0053] 可视电话协议栈，用于对接收到的视频码流或缓存码流，和音频码流进行处理，对编码后的视频码流和音频码流进行复用，以形成适合于通信链路传输的PDU；还用于对来自调制解调器的PDU进行处理，分解得到视频码流或缓存码流，和音频码流，并输出给解码模块。\n[0054] 解码模块，用于对接收到视频码流或缓存码流，和音频码流进行解码，得到视频数据或缓存数据，和音频数据，并将视频数据或缓存数据输出给LCD显示屏显示，将音频数据输出给扬声器播放。\n[0055] 调制解调器，用于发送或接收PDU。\n[0056] 界面内容处理单元，还包括分辨率调节模块，用于对格式转换后的缓存区数据进行分辨率调节，以符合可视终端的分辨率。\n[0057] 界面内容处理单元，还包括时延调整模块，用于对经过分辨率调节的缓存区数据进行时延调整，使其与音频数据保持同步。\n[0058] 需要说明的是，界面内容处理单元中的格式转换模块、分辨率调节模块和时延调整模块之间可以没有先后处理顺序。\n[0059] 假设界面内容处理单元包括的格式转换模块、分辨率调节模块和时延调整模块，利用本发明可视终端实现共享界面内容的工作原理如下：\n[0060] 用户首先建立视频通话，当在视频通话过程中存在与对方共享本机当前界面内容的需要时，用户通过进行切换操作，比如按下切换功能键，即切换模块接收到来自外部的切换指令，在可视终端LCD显示屏上将出现视频图像以最小化的方式屏蔽在本端，而将可视电话视频数据来源从取景器切换到手机LCD数据显示缓存区中(即当前终端界面显示的内容)。此时，用户可以象正常操作手机一样，进入任何想要和对方分享的应用程序界面。接下来，缓存区中的缓存数据通过界面内容处理单元分别进行数据格式的转换、分辨率的调节以及时延调整以后，通过视频通话的数据传输方式直接发送给编码模块进行编码。编码后的缓存码流在经过可视电话的音视频传输协议H324获取以后，利用H223协议合成该编码后的缓存码流和通过MIC获得的A/D转换后的音频数据，复用成一系列完整的PDU数据。\n最后，通过当前建立的通信链路发送给对端。\n[0061] 此时，对端以视频通话的方式进行音视频数据的接收，在数据接收后，对方即可以实时看到本端与其分享的界面内容，若本端的界面内容有变化，对方可以实时看到。\n[0062] 进一步地，如果用户存在保存该实时展示的音视频数据的需求时，可以通过可视终端的已有功能选择录像的方式进行实时音视频数据的记录保存，也可以选择拍照的方式进行图片的截取。\n[0063] 通过本发明的可视终端，通过新增的界面内容处理单元，大大拓展了可视电话的用途，突破了通话双方只能看到对方摄像头中的影像的限制，通过视频通话的数据传输方式实现了可视通话中本机界面内容的实时共享，增加了用户使用的便利性，满足了用户对可视在终端的新需求，提高了可视终端用户的满意度，促进了可视终端的普及应用。\n[0064] 图3为本发明可视终端在可视通话中共享界面内容的方法的流程图，如图3所示，包括以下步骤：\n[0065] 步骤300：进入视频通话。具体实现属于现有技术，这里不再赘述。\n[0066] 步骤301：是否存在切换需求，如果存在，进入步骤302，否则返回步骤300。用户可以通过切换操作，比如按下切换功能键来请求切换，表明需要共享可视终端界面内容。具体实现属于本领域技术人员惯用技术手段，这里不再赘述。\n[0067] 步骤302：对从LCD数据显示缓冲区获取的缓存数据进行处理后发送。\n[0068] 本步骤中，还进一步包括屏蔽视频数据，就是在可视终端LCD显示屏上将视频图像以最小化的方式屏蔽在本端。具体实现属于本领域技术人员惯用技术手段，这里不再赘述。当然，可视终端页可以直接关闭取景器。\n[0069] 对缓存数据的处理为将缓存数据的格式转换为符合可视终端的编码要求的输入格式，并进行编码得到缓存码流，再与音频码流进行复用。\n[0070] 进一步地，对缓存数据的处理还包括进行分辨率调节，以符合可视终端的分辨率。\n[0071] 进一步地，对缓存数据的处理还包括时延调整，使其与音频数据保持同步。\n[0072] 需要说明的是，对缓存数据的处理可以没有先后处理顺序，而且，这些处理的具体实现属于本领域技术人员惯用技术手段，这里不再赘述。\n[0073] 本发明方法还包括：对端可以选择录像方式对本端收到的信息即显示的音视频文件(如大数据量信息)进行录制存储，也可以通过拍照的方式截取收到的信息即当前展示的数据帧(如图片、名片等小数据量信息)\n[0074] 本发明方法强调的是，在视频通话中，按照用户的切换要求，通过视频通话的数据传输方式实现了可视通话中本机界面内容的实时共享，增加了用户使用的便利性，满足了用户对可视在终端的新需求，提高了可视终端用户的满意度，促进了可视终端的普及应用。\n同时，大大拓展了可视电话的用途，突破了通话双方只能看到对方摄像头中的影像的限制。\n[0075] 下面结合实施例对本发明进行详细描述。\n[0076] 图4为本发明在可视通话中共享界面内容的实施例的流程图，假设对缓存数据的处理包括格式转换、分辨率调节和时延调整，如图4所示，包括：\n[0077] 步骤400～步骤401：本端发起视频通话，与对端建立视频通话链路，假设如果本端有实时发送本机界面内容的需求，比如存储在本机中的商务计划书等，按下切换功能键后进入步骤402。切换功能键可以是手机显示的软键菜单选项。\n[0078] 步骤402：将本端当前的视频通话最小化，释放取景器，然后将视频编码域由取景缓存切换到LCD缓存区即恢复LCD界面信息。\n[0079] 步骤403：对从LCD缓存区中获取的原始数据信息进行格式的转换、分辨率的调节以及时延调整处理，以使得获取的缓存数据符合可视终端中编码处理对输入数据的要求。\n[0080] 步骤404～步骤405：可视终端对处理后的缓存数据进行编码，同时对音频数据进行编码处理获得音频码流。编码后的缓存码流和音频码流经过可视电话协议栈(H324)加以处理，并对编码后的视频数据和音频数据进行复用，以形成适合于通信链路传输的PDU。\n[0081] 步骤406：经过短暂的视频切换时延后，本端以视频通话的方式将本端当前的界面内容即LCD显示的信息(复用后的PDU)发送给对端；对端通过LCD显示屏呈现出本端的当前界面内容。\n[0082] 这样，视频通话双方就可以针对同样的界面显示进行实时讨论。进一步地，对端可以选择录像方式对本端展示的音视频文件(如大数据量信息)进行录制存储，也可以通过拍照的方式截取当前展示的数据帧(如图片、名片等小数据量信息)。\n[0083] 步骤407：当上述操作完成后，用户可以选择切换回视频通话的方式继续进行通话，也可以直接选择挂机结束当前通话。如果在视频通话中用户没有切换需求，则按照现有方式执行并结束视频通话。\n[0084] 以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。