[go: up one dir, main page]

CN110992963B - 网络通话方法、装置、计算机设备及存储介质 - Google Patents

网络通话方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110992963B
CN110992963B CN201911259913.4A CN201911259913A CN110992963B CN 110992963 B CN110992963 B CN 110992963B CN 201911259913 A CN201911259913 A CN 201911259913A CN 110992963 B CN110992963 B CN 110992963B
Authority
CN
China
Prior art keywords
code rate
sample
audio
frequency domain
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911259913.4A
Other languages
English (en)
Other versions
CN110992963A (zh
Inventor
梁俊斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911259913.4A priority Critical patent/CN110992963B/zh
Publication of CN110992963A publication Critical patent/CN110992963A/zh
Priority to EP20899237.0A priority patent/EP4012702B1/en
Priority to PCT/CN2020/120184 priority patent/WO2021114847A1/zh
Priority to US17/507,533 priority patent/US12335328B2/en
Application granted granted Critical
Publication of CN110992963B publication Critical patent/CN110992963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002—Dynamic bit allocation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/391—Modelling the propagation channel
    • H04B17/3913—Predictive models, e.g. based on neural network models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请提供了一种网络通话方法、装置、计算机设备及存储介质，属于音频数据处理领域。方法包括：对采集到的音频信号进行时频变换，得到音频信号的多个频域信息；根据所述多个频域信息确定与所述音频信号对应的目标码率；基于目标码率对音频信号进行编码，基于编码后的音频信号进行网络通话。本申请不采用固定的编码码率对音频信号进行处理，而是使用能够达到特定语音质量的音频信号训练过后的码率预测模型基于不同的音频信号进行码率预测，预测的码率更加符合实际情况，基于预测的码率对音频信号进行码率控制，可以提高网络通话的质量。

Description

网络通话方法、装置、计算机设备及存储介质
技术领域
本申请涉及音频数据处理领域，特别涉及一种网络通话方法、装置、计算机设备及存储介质。
背景技术
随着网络技术的进步，越来越多的人会通过网络进行通话，而网络通话质量的高低一方面取决于当前网络的连接质量，另一方面也取决于对音频信号进行编码的码率高低。
由于网络的连接质量一般是不可控的，相关技术中，往往在网络通话启动前就基于一些实验经验值对音频编码器设置相关的参数，使得音频编码器以固定码率对音频信号进行编码，相关技术中的网络通话过程参见图1。
但是，以固定码率对音频信号进行编码无法保证编码后的音频信号能够以较好的质量呈现给接收方，网络通话的效果不佳。
发明内容
本申请实施例提供了一种网络通话方法、装置、计算机设备及存储介质，可以解决相关技术中网络通话的效果不佳的问题。所述技术方案如下：
一方面，提供了一种网络通话方法，所述方法包括：
对采集到的音频信号进行时频变换，得到所述音频信号的多个频域信息；
根据所述多个频域信息确定与所述音频信号对应的目标码率；基于所述目标码率对所述音频信号进行编码，基于编码后的音频信号进行网络通话。
一方面，提供了一种网络通话装置，所述装置包括：
变换模块，用于对采集到的音频信号进行时频变换，得到所述音频信号的多个频域信息；
第一确定模块，用于根据所述多个频域信息确定与所述音频信号对应的目标码率；
编码模块，用于基于所述目标码率对所述音频信号进行编码；
通话模块，用于基于编码后的音频信号进行网络通话。
在一种可能的实施方式中，所述训练模块包括：
第一变换单元，用于对所述多个样本音频信号进行时频变换，得到多个样本频域信息；
输入单元，用于将所述多个样本频域信息输入到初始模型中；
预测单元，用于由所述初始模型基于所述多个样本频域信息进行码率预测，输出多个与所述多个样本频域信息对应的预测码率；
第一调整单元，用于基于所述样本码率和所述预测码率的差别信息，调整所述初始模型的模型参数，直至所述初始模型的模型参数符合目标截止条件时，停止训练所述初始模型，将训练后的初始模型作为所述码率预测模型。
在一种可能的实施方式中，所述变换模块包括：
第一划分单元，用于将所述音频信号划分为多个音频帧，其中，在时间上相邻两个音频帧有重合部分；
加窗单元，用于对每个音频帧进行加窗处理，得到多个加窗后的音频帧；
第二变换单元，用于对所述多个加窗后的音频帧进行傅里叶变换，得到所述多个频域信息。
在一种可能的实施方式中，所述第二变换单元，包括：
变换子单元，用于对所述多个加窗后的音频帧进行傅里叶变换，得到每个音频帧的线性频域参数；
第一得到子单元，用于基于所述每个音频帧的线性频域参数，得到所述每个音频帧的线性频域功率谱值；
第二得到子单元，用于基于所述每个音频帧的线性频域功率谱值，得到多个巴克域功率谱值；
运算子单元，用于对所述多个巴克域功率谱值进行对数运算，得到所述多个频域信息。
在一种可能的实施方式中，所述确定单元包括：
码率小组划分子单元，用于在所述多个第一码率中，将码率相同的第一码率划分成一个码率小组；
码率小组确定子单元，用于获取每个码率小组中包含所述第一码率的数量，将包含所述第一码率的数量最多的码率小组，确定为所述目标码率小组；
目标码率确定子单元，用于将所述目标码率小组中包含的所述第一码率确定为所述目标码率。
在一种可能的实施方式中，所述变换模块还用于从所述音频信号中提取人声信号，对所述人声信号进行时频变换，得到所述人声信号的多个频域信息，将所述人声信号的多个频域信息作为所述音频信号的多个频域信息，或，识别所述音频信号中人声的起始时间点和结束时间点，对所述起始时间点和所述结束时间点之间的音频信号进行时频变换，得到所述音频信号的多个频域信息。
一方面，提供了一种计算机设备，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述网络通话方法所执行的操作。
一方面，提供了一种存储介质，所述存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现所述网络通话方法所执行的操作。
本申请不采用固定的编码码率对音频信号进行处理，而是使用训练过后的码率预测模型来基于不同的音频信号进行码率预测，也不会直接采用码率预测模型预测的码率对音频数据进行码率控制，而是从第一码率中确定目标码率，基于目标码率对音频信号进行码率控制，提高网络通话的质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是相关技术中的网络通话的发送端和接收端结构示意图；
图2是巴克域和线性频率的对应关系图；
图3是直方图示例图；
图4是本申请实施例的实施环境示意图；
图5是本申请实施例提供的一种网络通话方法流程图；
图6是本申请实施例提供的一种网络通话方法的流程图；
图7是本申请实施例提供的一种训练码率预测模型的流程图；
图8是本申请实施例提供的一种训练码率预测模型的构造图；
图9是本申请实施例提供的一种网络通话方法的装置结构图；
图10是本申请实施例提供的一种计算机设备的结构图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(machine learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识子模型使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
傅里叶变换是一种时频转换方法，可以将时域的信号转换到频域上。
巴克(Bark)域是一种声音的心理学尺度，Bark域和线性频率的对应关系可以参见图2。
直方图统计是一种统计方法，方法包括：对某一物理量在相同条件下做n次重复测量，得到一系列测量值，找出它的最大值和最小值，然后确定一个区间，使其包含全部测量数据，将区间分成若干小区间，统计测量结果出现在各小区间的频数M，以测量数据为横坐标，以频数M为纵坐标，划出各小区间及其对应的频数高度，则可得到一个矩形图，即统计直方图，直方图的形式可以参见图3。
功率谱是功率谱密度函数的简称，它定义为单位频带内的信号功率。它表示了信号功率随着频率的变化情况，即信号功率在频域的分布状况。
平均意见值(mean opinion score，MOS)，也被称为MOS分，是一种衡量通信系统语音质量的指标。
本申请实施例提供的方案涉及人工智能以及机器学习等技术，具体通过如下实施例进行说明：
图4是本发明实施例提供的一种网络通话方法的实施环境的示意图，参见图4，该实施环境中包括终端410和服务器440。
终端410通过无线网络或有线网络与服务器410相连。终端410可以是智能手机、平板电脑、便携计算机等设备。终端410安装和运行有支持网络通话技术的应用程序。示例性的，终端410是用户使用的终端，终端410中运行的应用程序内登录有用户账号。
终端410通过无线网络或有线网络与服务器440相连。
可选地，服务器440包括：接入服务器、网络通话服务器和数据库。接入服务器用于为终端410提供接入服务。网络通话服务器用于提供网络通话有关的后台服务。该数据库可以包括用户信息数据库以及样本数据库等，当然，还可以基于服务器所提供的不同服务可以对应于不同数据库，网络通话服务器可以是一台或多台。当网络通话服务器是多台时，存在至少两台网络通话服务器用于提供不同的服务，和/或，存在至少两台网络通话服务器用于提供相同的服务，比如以负载均衡方式提供同一种服务，本申请实施例对此不加以限定。
终端410可以泛指多个终端中的一个，本实施例仅以终端410来举例说明。
本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量，此时上述实施环境中还包括其他终端。本发明实施例对终端的数量和设备类型不加以限定。
图5是本申请实施例提供的一种网络通话方法的流程图，图6也是本申请实施例提供的一种网络通话方法的流程图，将图5和图6进行结合，有助于更加清楚的理解本申请实施例提供的网络通话方法，参见图5和图6，方法包括：
501、计算机设备将音频信号划分为多个音频帧，其中，时间上相邻两个音频帧有重合部分。
任何声音本质上都是由物体震动而产生的声波，音频信号采集设备是通过将这种震动而产生的声波转换成电信号来进行音频信号采集的，音频信号采集设备采集到的电信号实际上是电压随时间的变化情况，这里的电压就可以在一定程度上代表声音的变化情况。时域就是描述变量随着时间的变化情况，而通过音频信号采集设备采集的音频信号就是位于时域上的。
计算机设备可以将接收到的音频信号进行分帧，将整体上不稳定的音频信号分解成多个局部稳定的音频帧，计算机设备对音频帧进行数据处理，在进行时频变换后得到的频域信息更加稳定。计算机设备可以在时间上相邻的两个音频帧上设置重合部分，两个音频帧之间的重合部分可以被称为帧移。例如，前一帧的帧尾和后一帧的帧头之间可以有一部分是重合的，这样可以保证音频帧之间的过渡是较为平滑的，便于后续的分析和处理。
在一种可能的实施方式中，计算机设备可以基于目标帧长和目标帧移将时域的音频信号划分为多个音频帧，其中，目标帧长可以根据实际情况进行设定；目标帧移可以根据目标帧长进行设定，例如为二分之一的目标帧长或三分之一的目标帧长，本申请实施例对于目标帧长和目标帧移的设定方式和大小不做限定。
在一种可能的实施方式中，计算机设备可以从音频信号中提取人声信号，将人声信号划分为多个音频帧，并进行502-507的操作。具体来说，计算机设备可以获取噪声信号，并从音频信号中将噪声信号剔除，得到人声信号。如果用户终端上设置有降噪麦克风，那么计算机设备可以将降噪麦克风采集的声音信号作为噪声信号，如果用户终端上没有设置降噪麦克风，那么计算机设备可以基于不同噪声信号的波形，从音频信号中剔除噪声信号，得到人声信号，或，由于在通过过程中，人往往会靠近终端进行通话，那么计算机设备可以根据音量的大小从音频信号中提取人声信号，具体来说，计算机设备可以将音量较大的信号确定为人声信号，音量较小的信号确定为噪声信号，从音频信号中提取人声信号，当然，由于有些噪声信号的波形与人声信号发生重叠，直接将噪声信号从音频信号中剔除可能会影响网络通话的质量，那么计算机设备可以基于目标权重，将人声信号和噪声信号叠加，对叠加后的音频信号进行后续处理，或，计算机设备可以从音频信号中获取人声的起始时间点和结束时间点，对起始时间点和结束时间点之间的音频信号进行分帧，并进行后续的处理。
502、计算机设备对每个音频帧进行加窗处理，得到多个加窗后的音频帧。
计算机设备采用傅里叶变换的方法将音频信号从时域转化到频域的过程中，实际上就是将原始音频信号分解成由多个三角函数叠加而成的信号，而傅里叶变化处理的对象为一个连续的周期性函数，也即是，对原始音频信号做傅里叶变化时，是以这个原始音频信号为一整个周期来进行的，而通过音频采集设备采集的音频信号在音频帧的分隔点处也可能是不连续的，这些不连续的分隔点在进行时频转化之后，会在频率域呈现为高频成分，而这些高频成分并不存在于原始音频信号中，为了减少这种情况的影响，需要对每个音频帧进行加窗处理，使得相邻两个音频帧之间的分隔点变得连续。
在一种可能的实施方式中，计算机设备可以基于不同的音频信号特征使用不同窗函数对每个音频帧进行加窗处理，具体来说，计算机设备可以将音频帧与窗函数进行相乘，得到加窗后的音频帧，其中，窗函数可以采用汉明窗、汉宁窗、三角窗、布莱克曼窗以及凯瑟窗等。
503、计算机设备对多个加窗后的音频帧进行傅里叶变换，得到每个音频帧的线性频域参数。
通过时域的音频信号可以清楚的了解到音频信号随时间的变化情况，而通过频域信息可以将复杂的音频信号拆分成一个个简单的音频信号，可以清楚的了解到音频信号的构成。音频信号采集设备可以方便的采集时域的音频信号，而计算机设备可以方便的处理频域信息，因此使用计算机设备进行音频信号处理时，需要将时域的音频信号转化为频域信息。
下面将以计算机设备采用的窗函数为汉宁窗，目标帧长为20ms为例说明本申请实施例中得到音频帧的线性频域参数的方法。当然，也可以采用其他窗函数和其他目标帧长实施本申请实施例提供的网络通话方法，本申请实施例对此不做限定。
汉宁窗的窗函数为公式(1)
傅里叶变换的公式为公式(2)
其中，n为音频帧的长度，N为音频帧的数量，k为索引点的序号，k＝1,2，3......N，i为音频帧的序号，j表示复数。
504、计算机设备基于每个音频帧的线性频域参数，得到每个音频帧的线性频域功率谱值，基于每个音频帧的线性频域功率谱值，得到多个巴克域功率谱值，对多个巴克域功率谱值进行对数运算，得到多个频域信息。
在一种可能的实施方式中，得到每个音频帧的线性频域参数之后，计算机设备可以基于公式(3)，得到线性频域功率谱值。
S(i，k)＝|X(i，k)|2 (3)
在计算机设备得到线性域功率谱值之后，可以基于公式(4)，得到巴克域功率谱值，巴克域和频率的对应关系参见图2，需要说明的是，本申请实施例是针对于网络通话来进行的，因此只需分析巴克域中1-22的临界频带。
其中ftop和fbottom分别为巴克域的临界频带编号。
得到巴克域功率谱值之后，计算机设备可以对该巴克域功率谱值进行对数运算(公式5)，得到多个频域信息。
W＝Log(Sbark) (5)
需要说明的是，上述步骤501-504为计算机设备对采集到的音频信号进行时频变换，得到多个频域信息的一种示例性的实现方式，当然也可以采用其他方式来将音频信号转化为频域信息，本申请实施例对此不做限定。
505、计算机设备将多个频域信息输入到码率预测模型中，由码率预测模型输出使网络通话的语音质量符合目标语音质量条件的多个第一码率。
本申请实施例中采用的码率预测模型是由多个样本音频信号以及多个样本音频信号对应的样本码率训练得到的，其中，每个样本音频信号经过其对应的样本码率编码再解码之后，得到的语音质量，例如MOS分均是相同的，也即是，在进行码率预测模型的训练过程之前，需要先对样本数据集进行筛选和分类，具体模型训练过程可以参见步骤S701-S703。
举例来说，正常进行网络通话的MOS分可以为(3，4.5)之间，计算机设备可以针对不同的使用场景选择不同的码率预测模型，采用本申请实施例提供的码率预测模型训练方法可以得到对应于不同MOS分的码率预测模型，可以基于不同网络通话的质量要求选择相应的码率预测模型。例如，此次网络通话要求的通话质量较高，以MOS分为4.2为例，那么计算机设备可以调用以MOS分为4.2的样本音频信号和样本音频信号对应的样本码率训练得到的码率预测模型，将多个频域信息输入到该码率预测模型中，由该码率预测模型基于频域信息预测MOS分4.2的多个第一码率。
需要说明的是，这里所述的第一码率是指同一个码率预测模型输出的码率，并不表示每个第一码率的所表示的码率数值是相同的。
506、计算机设备将符合目标条件的第一码率确定为目标码率。
在一种可能的实施方式中，计算机设备可以从多个第一码率中获取码率相同的第一码率的数量，并将数量最多的第一码率确定为目标码率，基于目标码率进行网络通话。具体来说，计算机设备可以将多个第一码率划分为多个码率小组。在多个第一码率中，将码率相同的第一码率划分成一个码率小组。获取每个码率小组中包含第一码率的数量，将包含第一码率的数量最多的码率小组，确定为目标码率小组，将目标码率小组中包含的第一码率确定为目标码率。例如，计算机设备可以向码率预测模型中输入了5个频域信息，那么码率预测模型可以对应输出5个第一码率，例如其中有三个第一码率为128Kbps，一个第一码率为256Kbps，另一个第一码率为150Kbps，那么计算机设备可以将码率为128Kbps的第一码率划分为第一码率小组，将码率为256Kbps的第一码率划分为第二码率小组，将码率为150Kbps的第一码率划分为第三码率小组，计算机可以得到第一码率小组包含第一码率的数量为3，第二码率小组包含第一码率的数量为1，第三码率小组包含的第一码率的数量为1，那么计算机设备可以将第一码率小组确定为目标码率小组，将第一码率小组中的第一码率作为目标码率，即128Kbps。
在一种可能的实施方式中，计算机设备可以对多个第一码率采用直方图统计法，得到目标码率，具体形式参见图2。
507、计算机设备基于目标码率进行网络通话。
在一种可能的实施方式中，计算机设备可以基于目标码率，对音频信号进行码率调整，基于码率调整后的音频信号，进行网络通话。具体来说，计算机设备可以基于目标码率，对采集到的音频信号进行编码，并将编码后的音频信号发送至服务器，由服务器发送至音频信号接收方，实现网络通话。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
通过本申请实施例提供的网络通话方法，计算机设备对音频信号进行时频转换得到频域信息，训练过后的码率预测模型基于频域信息预测目标码率，由于该码率预测模型是基于特定语音质量对应的样本音频信号和样本码率训练得到的，因此该模型在进行码率预测时，实际上也考虑了音频信号和语音质量之间的关系，也即是，采用该模型进行码率预测时，编码的目标就是使得音频信号得到特定的语音质量。使用该模型输出的目标码率调整音频信号，可以使得网络通话的语音质量更加稳定，网络通话的质量更好。
图7是本申请实施例提供的一种码率预测模型的训练方法的流程图，图8是本申请实施例提供的一种训练码率预测模型的构造图，将图7和图8结合，有助于更加清楚的理解本申请实施例提供训练码率预测模型的方法，参见图7和图8，方法包括：
701、服务器获取样本数据集，样本数据集中包括多个样本音频信号以及多个样本音频信号对应的样本码率，其中，多个样本音频信号均符合相同的语音质量条件。
在一种可能的实施方式中，服务器可以向其维护的样本数据库发送样本数据集获取请求，样本数据库基于样本数据集获取请求，向服务器返回样本数据集。服务器可以对样本音频信号进行时频转换，得到样本频域信息。
在一种可能的实施方式中，服务器可以自行构建样本数据集，具体方式如下：服务器收集多个样本音频信号，按照多种码率对样本音频信号进行编码，之后通过网络将该样本音频信号发送至通讯服务器，由通讯服务器将样本音频信号发回给服务器，服务器对接收到的样本音频信号进行解码，得到多个样本解码音频信号，这样可以模拟真实的网络通话情况，得到的样本解码音频信号更加符合真实情况，基于样本解码音频信号和样本音频信号训练得到的码率预测模型预测的码率也就更加可靠。
服务器可以基于多个样本音频信号与多个样本解码音频信号，得到多个样本音频信号以不同码率进行编码和解码后的语音质量，例如可以采用MOS分来进行语音质量评价。与此同时，服务器可以对多个样本音频信号进行时频转换，得到多个样本频域信息，并以多个样本频域信息来表示多个样本音频信号，这样在后续的模型训练过程中就无需再次对样本音频信号进行时频转换，提高训练效率。具体可以通过表1来记录样本频域信息、MOS分以及编码码率。
表1
样本号 样本频域信息 MOS分 编码码率
1 [2，8，11，10.....] 3.5 128
2 [2，9，11，12.....] 4.1 150
......... ......... ......... .........
表1构建完成之后，服务器可以将语音质量相同的样本数据确定为一个样本数据集，也即是，不同的样本数据集用于训练不同的码率预测模型，采用不同样本数据集训练过后，不同的码率预测模型在进行码率预测时，均是以预测的码率可以使得音频信号的语音质量达到训练该码率预测模型时的语音质量为目的的。例如，服务器可以将MOS分均为3.5的样本频域信息和相应的编码码率绑定存储，作为一个样本数据集，采用该样本数据集训练初始模型，可以得到一个与MOS分为3.5对应的码率预测模型，也就是说，采用该码率预测模型的目的就是将音频信号的MOS分稳定在3.5。
在一种可能的实施方式中，服务器可以将样本音频信号以及样本解码音频信号输入到语音质量评价工具中，由语音质量评价工具基于样本音频信号和样本解码音频信号的波形差异，进行语音质量评价。具体来说，服务器可以将样本音频信号以及样本解码音频信号输入到主管语音质量评估(perceptual evaluation of speech quality，PESQ)工具中，由PESQ工具输出MOS分，当然，也可以采用其他的语音质量评价工具，例如感知分析测量(perceptual analysis measurement system，PAMS)、感知通话质量测量(perceptualspeech quality measure，PSQM/PSQM+)以及语音质量评估(perceptual objectivelistening quality analysis，POLQA)等，本申请实施例对此不做限定。
702、服务器将多个样本频域信息输入到初始模型中，由初始模型基于多个样本频域信息进行码率预测，输出多个与多个样本频域信息对应的预测码率。
本申请实施例中的码率预测模型可以采用任一种神经网络结构，例如深度神经网络(deep neural networks，DNN)、卷积神经网络(convolutional neural network，CNN)或循环神经网络(recurrent neural network，RNN)等，本申请实施例对此不做限定。
在一种可能的实施方式中，服务器可以将初始模型的模型参数初始化，初始模型基于多个样本频域信息与初始模型参数进行计算，输出多个与多个样本频域信息对应的预测码率。为了便于理解，本申请实施例以采用DNN神经网络为例进行说明，服务器可以将DNN神经网络进行初始化，得到多个初始权重矩阵和全连接层，服务器将第一个样本频域信息输入到DNN神经网络后，DNN神经网络基于初始权重矩阵对样本频域信息进行运算，之后经过全连接层可以运算得到一个预测码率。
703、服务器基于样本码率和预测码率的差别信息，调整初始模型的模型参数，直至初始模型的模型参数符合目标截止条件时，停止训练初始模型，将训练后的初始模型作为码率预测模型。
在一种可能的实施方式中，服务器可以将获取样本音频信号对应的样本码率和预测码率之间的差别信息，基于差别信息调整初始模型的模型参数。还是以DNN神经网络为例，服务器可以基于差别信息调整权重矩阵和全连接层的参数，得到更新后的初始模型，随后再将下一个样本频域信息输入到更新后的初始模型中，由更新后的初始模型输出下一个样本频域信息对应的预测码率，再基于下一个样本音频信号对应的样本码率和预测码率，调整更新后的初始模型的模型参数，在达到目标迭代次数之后，停止训练初始模型，将训练后的初始模型作为码率预测模型。
图9是本申请实施例提供的一种网络通话装置的结构图，参见图9，装置包括：变换模块901、第一确定模块902、编码模块903以及通话模块904。
变换模块901，用于对采集到的音频信号进行时频变换，得到音频信号的多个频域信息。
第一确定模块902，用于。根据多个频域信息确定与音频信号对应的目标码率。
编码模块903，用于基于目标码率对音频信号进行编码。
通话模块904，用于基于编码后的音频信号进行网络通话。
在一种可能的实施方式中，第一确定模块包括：
第一输入单元，用于将多个频域信息输入到码率预测模型中，由码率预测模型输出使网络通话的语音质量符合目标语音质量条件的多个第一码率。
确定单元，用于从多个第一码率中将符合目标条件的第一码率确定为目标码率。
在一种可能的实施方式中，装置还包括:
训练模块，用于基于样本数据集进行模型训练，得到码率预测模型，其中，样本数据集包括多个样本音频信号以及多个样本音频信号对应的样本码率，其中，多个样本音频信号均符合相同的语音质量条件。
在一种可能的实施方式中，装置还包括：
编解码模块，用于基于多个样本音频信号对应的样本码率，对多个样本音频信号进行编码后再解码，得到多个样本解码音频信号。
第二确定模块，用于基于多个样本音频信号与多个样本解码音频信号，确定多个样本音频信号的语音质量条件。
在一种可能的实施方式中，训练模块包括：
第一变换单元，用于对多个样本音频信号进行时频变换，得到多个样本频域信息。
输入单元，用于将多个样本频域信息输入到初始模型中。
预测单元，用于由初始模型基于多个样本频域信息进行码率预测，输出多个与多个样本频域信息对应的预测码率。
第一调整单元，用于基于样本码率和预测码率的差别信息，调整初始模型的模型参数，直至初始模型的模型参数符合目标截止条件时，停止训练初始模型，将训练后的初始模型作为码率预测模型。
在一种可能的实施方式中，变换模块包括：
第一划分单元，用于将音频信号划分为多个音频帧，其中，在时间上相邻两个音频帧有重合部分。
加窗单元，用于对每个音频帧进行加窗处理，得到多个加窗后的音频帧。
第二变换单元，用于对多个加窗后的音频帧进行傅里叶变换，得到多个频域信息。
在一种可能的实施方式中，第二变换单元，包括：
变换子单元，用于对多个加窗后的音频帧进行傅里叶变换，得到每个音频帧的线性频域参数。
第一得到子单元，用于基于每个音频帧的线性频域参数，得到每个音频帧的线性频域功率谱值。
第二得到子单元，用于基于每个音频帧的线性频域功率谱值，得到多个巴克域功率谱值。
运算子单元，用于对多个巴克域功率谱值进行对数运算，得到多个频域信息。
在一种可能的实施方式中，确定单元包括：
码率小组划分子单元，用于在多个第一码率中，将码率相同的第一码率划分成一个码率小组。
码率小组确定子单元，用于获取每个码率小组中包含第一码率的数量，将包含第一码率的数量最多的码率小组，确定为目标码率小组。
目标码率确定子单元，用于将目标码率小组中包含的第一码率确定为目标码率。
在一种可能的实施方式中，变换模块还用于从音频信号中提取人声信号，对人声信号进行时频变换，得到人声信号的多个频域信息，对人声信号进行时频变换，得到人声信号的多个频域信息，将人声信号的多个频域信息作为音频信号的多个频域信息，或，识别音频信号中人声的起始时间点和结束时间点，对起始时间点和结束时间点之间的音频信号进行时频变换，得到音频信号的多个频域信息。
通过本申请实施例提供的网络通话装置，计算机设备对音频信号进行时频转换得到频域信息，训练过后的码率预测模型基于频域信息预测目标码率，由于该码率预测模型是基于特定语音质量对应的样本音频信号和样本码率训练得到的，因此该模型在进行码率预测时，实际上也考虑了音频信号和语音质量之间的关系，也即是，采用该模型进行码率预测时，编码的目标就是使得音频信号得到特定的语音质量。使用该模型输出的目标码率调整音频信号，可以使得网络通话的语音质量更加稳定，网络通话的质量更好。
需要说明的是：上述实施例提供的网络通话装置在进行网络通话时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的网络通话装置与网络通话方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图10是本申请实施例提供的一种计算机设备1000的结构示意图。该计算机设备1000可以是：笔记本电脑或台式电脑。计算机设备1000还可能被称为用户设备、便携式计算机设备、膝上型计算机设备、台式计算机设备等其他名称。
通常，计算机设备1000包括有：一个或多个处理器1001和一个或多个存储器1002。
处理器1001可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(digital signal processing，数字信号处理)、FPGA(field－programmable gate array，现场可编程门阵列)、PLA(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(central processingunit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1001可以在集成有GPU(graphics processing unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1001还可以包括AI(artificial intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1002中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器1001所执行以实现本申请中方法实施例提供的网络通话方法。
在一些实施例中，计算机设备1000还可选包括有：外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地，外围设备包括：射频电路1004、显示屏1005、摄像头1006、音频电路1007和电源1009中的至少一种。
外围设备接口1003可被用于将I/O(input/output，输入/输出)相关的至少一个外围设备连接到处理器1001和存储器1002。在一些实施例中，处理器1001、存储器1002和外围设备接口1003被集成在同一芯片或电路板上；在一些其他实施例中，处理器1001、存储器1002和外围设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1004用于接收和发射RF(radio frequency，射频)信号，也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1004包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它计算机设备进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路1004还可以包括NFC(near field communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1005用于显示UI(user interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时，显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时，显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1005可以为一个，设置计算机设备1000的前面板；在另一些实施例中，显示屏1005可以为至少两个，分别设置在计算机设备1000的不同表面或呈折叠设计；在再一些实施例中，显示屏1005可以是柔性显示屏，设置在计算机设备1000的弯曲表面上或折叠面上。甚至，显示屏1005还可以设置成非矩形的不规则图形，也即异形屏。显示屏1005可以采用LCD(liquid crystal display，液晶显示屏)、OLED(organiclight-emitting diode,有机发光二极管)等材质制备。
摄像头组件1006用于采集图像或视频。可选地，摄像头组件1006包括前置摄像头和后置摄像头。通常，前置摄像头设置在计算机设备的前面板，后置摄像头设置在计算机设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1001进行处理，或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在计算机设备1000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1007还可以包括耳机插孔。
电源1009用于为计算机设备1000中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，计算机设备1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于：加速度传感器1011、陀螺仪传感器1012、压力传感器1013、光学传感器1015以及接近传感器1016。
加速度传感器1011可以检测以计算机设备1000建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011采集的重力加速度信号，控制显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1012可以检测计算机设备1000的机体方向及转动角度，陀螺仪传感器1012可以与加速度传感器1011协同采集用户对计算机设备1000的3D动作。处理器1001根据陀螺仪传感器1012采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1013可以设置在计算机设备1000的侧边框和/或显示屏1005的下层。当压力传感器1013设置在计算机设备1000的侧边框时，可以检测用户对计算机设备1000的握持信号，由处理器1001根据压力传感器1013采集的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在显示屏1005的下层时，由处理器1001根据用户对显示屏1005的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器1015用于采集环境光强度。在一个实施例中，处理器1001可以根据光学传感器1015采集的环境光强度，控制显示屏1005的显示亮度。具体地，当环境光强度较高时，调高显示屏1005的显示亮度；当环境光强度较低时，调低显示屏1005的显示亮度。在另一个实施例中，处理器1001还可以根据光学传感器1015采集的环境光强度，动态调整摄像头组件1006的拍摄参数。
接近传感器1016，也称距离传感器，通常设置在计算机设备1000的前面板。接近传感器1016用于采集用户与计算机设备1000的正面之间的距离。在一个实施例中，当接近传感器1016检测到用户与计算机设备1000的正面之间的距离逐渐变小时，由处理器1001控制显示屏1005从亮屏状态切换为息屏状态；当接近传感器1016检测到用户与计算机设备1000的正面之间的距离逐渐变大时，由处理器1001控制显示屏1005从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图10中示出的结构并不构成对计算机设备1000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种存储介质，例如包括程序代码的存储器，上述程序代码可由处理器执行以完成上述实施例中的网络通话方法。例如，该存储介质可以是只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、只读光盘(compact disc read-only memory，CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来程序代码相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
上述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种网络通话方法，其特征在于，所述方法包括：
从采集到的音频信号中提取人声信号，基于目标帧长和目标帧移将所述人声信号划分为多个音频帧，其中，在时间上相邻两个音频帧有重合部分；
将每个音频帧和所述每个音频帧对应的窗函数相乘，得到多个加窗后的音频帧，任一音频帧对应的窗函数基于任一音频帧的音频信号特征确定；
对所述多个加窗后的音频帧进行傅里叶变换，得到所述音频信号的多个频域信息；
将所述多个频域信息输入到码率预测模型中，由所述码率预测模型输出使网络通话的语音质量符合目标语音质量条件的多个第一码率；从所述多个第一码率中获取码率相同的第一码率的数量，将数量最多的第一码率确定为与所述音频信号对应的目标码率；
基于所述目标码率对所述音频信号进行编码，将编码后的音频信号发送至服务器，由所述服务器将所述编码后的音频信号发送至音频信号接收方，以实现网络通话。
2.根据权利要求1所述的方法，其特征在于，所述从所述多个第一码率中获取码率相同的第一码率的数量，将数量最多的第一码率确定为与所述音频信号对应的目标码率包括:
在所述多个第一码率中，将码率相同的第一码率划分成一个码率小组；
获取每个码率小组中包含所述第一码率的数量，将包含所述第一码率的数量最多的码率小组，确定为所述目标码率小组；
将所述目标码率小组中包含的所述第一码率确定为所述目标码率。
3.根据权利要求1所述的方法，其特征在于，所述将所述多个频域信息输入到码率预测模型中之前，所述方法还包括:
基于样本数据集进行模型训练，得到所述码率预测模型，其中，所述样本数据集包括多个样本音频信号以及所述多个样本音频信号对应的样本码率，其中，所述多个样本音频信号均符合相同的语音质量条件。
4.根据权利要求3所述的方法，其特征在于，所述基于样本数据集进行模型训练，得到所述码率预测模型之前，所述方法还包括：
基于所述多个样本音频信号对应的样本码率，对所述多个样本音频信号进行编码后再解码，得到多个样本解码音频信号；
基于所述多个样本音频信号与所述多个样本解码音频信号，确定所述多个样本音频信号的语音质量。
5.根据权利要求3所述的方法，其特征在于，所述基于样本数据集进行模型训练，得到所述码率预测模型包括：
对所述多个样本音频信号进行时频变换，得到多个样本频域信息；
将所述多个样本频域信息输入到初始模型中；
由所述初始模型基于所述多个样本频域信息进行码率预测，输出多个与所述多个样本频域信息对应的预测码率；
基于所述样本码率和所述预测码率的差别信息，调整所述初始模型的模型参数，直至所述初始模型的模型参数符合目标截止条件时，停止训练所述初始模型，将训练后的初始模型作为所述码率预测模型。
6.根据权利要求1所述的方法，其特征在于，所述对所述多个加窗后的音频帧进行傅里叶变换，得到所述音频信号的多个频域信息，包括：
对所述多个加窗后的音频帧进行傅里叶变换，得到每个音频帧的线性频域参数；
基于所述每个音频帧的线性频域参数，得到所述每个音频帧的线性频域功率谱值；
基于所述每个音频帧的线性频域功率谱值，得到多个巴克域功率谱值；
对所述多个巴克域功率谱值进行对数运算，得到所述多个频域信息。
7.根据权利要求1所述的方法，其特征在于，所述从采集到的音频信号中提取人声信号包括：
识别所述音频信号中人声的起始时间点和结束时间点，将所述起始时间点和所述结束时间点之间的音频信号作为所述人声信号。
8.一种网络通话装置，其特征在于，所述装置包括变换模块、第一确定模块、编码模块和通话模块：
所述变换模块包括：
第一划分单元，用于从采集到的音频信号中提取人声信号，基于目标帧长和目标帧移将所述人声信号划分为多个音频帧，其中，在时间上相邻两个音频帧有重合部分；
加窗单元，用于将每个音频帧和所述每个音频帧对应的窗函数相乘，得到多个加窗后的音频帧，任一音频帧对应的窗函数基于任一音频帧的音频信号特征确定；
第二变换单元，用于对所述多个加窗后的音频帧进行傅里叶变换，得到所述音频信号的多个频域信息；
所述第一确定模块包括：
第一输入单元，用于将所述多个频域信息输入到码率预测模型中，由所述码率预测模型输出使网络通话的语音质量符合目标语音质量条件的多个第一码率；
第一确定单元，用于从所述多个第一码率中获取码率相同的第一码率的数量，将数量最多的第一码率确定为与所述音频信号对应的目标码率；
所述编码模块，用于基于所述目标码率对所述音频信号进行编码；
所述通话模块，用于将编码后的音频信号发送至服务器，由所述服务器将所述编码后的音频信号发送至音频信号接收方，以实现网络通话。
9.根据权利要求8所述的装置，其特征在于，所述第一确定单元，包括：
码率小组划分子单元，用于在所述多个第一码率中，将码率相同的第一码率划分成一个码率小组；
码率小组确定子单元，用于获取每个码率小组中包含所述第一码率的数量，将包含所述第一码率的数量最多的码率小组，确定为所述目标码率小组；
目标码率确定子单元，用于将所述目标码率小组中包含的所述第一码率确定为所述目标码率。
10.根据权利要求8所述的装置，其特征在于，所述装置还包括:
训练模块，用于基于样本数据集进行模型训练，得到所述码率预测模型，其中，所述样本数据集包括多个样本音频信号以及所述多个样本音频信号对应的样本码率，其中，所述多个样本音频信号均符合相同的语音质量条件。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括：
编解码模块，用于基于所述多个样本音频信号对应的样本码率，对所述多个样本音频信号进行编码后再解码，得到多个样本解码音频信号；
第二确定模块，用于基于所述多个样本音频信号与所述多个样本解码音频信号，确定所述多个样本音频信号的语音质量条件。
12.根据权利要求10所述的装置，其特征在于，所述训练模块，包括：
第一变换单元，用于对所述多个样本音频信号进行时频变换，得到多个样本频域信息；
输入单元，用于将所述多个样本频域信息输入到初始模型中；
预测单元，用于由所述初始模型基于所述多个样本频域信息进行码率预测，输出多个与所述多个样本频域信息对应的预测码率；
第一调整单元，用于基于所述样本码率和所述预测码率的差别信息，调整所述初始模型的模型参数，直至所述初始模型的模型参数符合目标截止条件时，停止训练所述初始模型，将训练后的初始模型作为所述码率预测模型。
13.根据权利要求8所述的装置，其特征在于，所述第二变换单元，包括：
变换子单元，用于对所述多个加窗后的音频帧进行傅里叶变换，得到每个音频帧的线性频域参数；
第一得到子单元，用于基于所述每个音频帧的线性频域参数，得到所述每个音频帧的线性频域功率谱值；
第二得到子单元，用于基于所述每个音频帧的线性频域功率谱值，得到多个巴克域功率谱值；
运算子单元，用于对所述多个巴克域功率谱值进行对数运算，得到所述多个频域信息。
14.根据权利要求8所述的装置，其特征在于，所述变换模块，用于识别所述音频信号中人声的起始时间点和结束时间点，将所述起始时间点和所述结束时间点之间的音频信号作为所述人声信号。
15.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求7任一项所述的网络通话方法所执行的操作。
16.一种存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至权利要求7任一项所述的网络通话方法所执行的操作。
CN201911259913.4A 2019-12-10 2019-12-10 网络通话方法、装置、计算机设备及存储介质 Active CN110992963B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911259913.4A CN110992963B (zh) 2019-12-10 2019-12-10 网络通话方法、装置、计算机设备及存储介质
EP20899237.0A EP4012702B1 (en) 2019-12-10 2020-10-10 Internet calling method and apparatus, computer device, and storage medium
PCT/CN2020/120184 WO2021114847A1 (zh) 2019-12-10 2020-10-10 网络通话方法、装置、计算机设备及存储介质
US17/507,533 US12335328B2 (en) 2019-12-10 2021-10-21 Internet calling method and apparatus, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911259913.4A CN110992963B (zh) 2019-12-10 2019-12-10 网络通话方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110992963A CN110992963A (zh) 2020-04-10
CN110992963B true CN110992963B (zh) 2023-09-29

Family

ID=70091935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911259913.4A Active CN110992963B (zh) 2019-12-10 2019-12-10 网络通话方法、装置、计算机设备及存储介质

Country Status (4)

Country Link
US (1) US12335328B2 (zh)
EP (1) EP4012702B1 (zh)
CN (1) CN110992963B (zh)
WO (1) WO2021114847A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992963B (zh) * 2019-12-10 2023-09-29 腾讯科技（深圳）有限公司 网络通话方法、装置、计算机设备及存储介质
CN111816197B (zh) * 2020-06-15 2024-02-23 北京达佳互联信息技术有限公司 音频编码方法、装置、电子设备和存储介质
CN111862995A (zh) * 2020-06-22 2020-10-30 北京达佳互联信息技术有限公司 一种码率确定模型训练方法、码率确定方法及装置
CN112822482B (zh) * 2020-12-31 2022-11-08 上海掌门科技有限公司 一种确定音视频通话的评估得分的方法与设备
CN112767956B (zh) * 2021-04-09 2021-07-16 腾讯科技（深圳）有限公司 音频编码方法、装置、计算机设备及介质
CN115334349B (zh) * 2022-07-15 2024-01-02 北京达佳互联信息技术有限公司 音频处理方法、装置、电子设备及存储介质
WO2024085881A1 (en) * 2022-10-21 2024-04-25 Rakuten Mobile, Inc. Method of analyzing voice over internet protocol communication and system for implementing the same

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040002303A (ko) * 2002-06-29 2004-01-07 피앤피네트워크 주식회사 코드레이트 검출장치
JP2006047561A (ja) * 2004-08-03 2006-02-16 Matsushita Electric Ind Co Ltd オーディオ信号符号化装置およびオーディオ信号復号化装置
CN102543090A (zh) * 2011-12-31 2012-07-04 深圳市茂碧信息科技有限公司 一种应用于变速率语音和音频编码的码率自动控制系统
CN105162555A (zh) * 2015-09-24 2015-12-16 广州市百果园网络科技有限公司 一种码率调整方法及其终端
CN108011686A (zh) * 2016-10-31 2018-05-08 腾讯科技（深圳）有限公司 信息编码帧丢失恢复方法和装置
CN108010533A (zh) * 2016-10-27 2018-05-08 北京酷我科技有限公司 音频数据码率的自动识别方法和装置
CN108989880A (zh) * 2018-06-21 2018-12-11 北京邮电大学 一种码率自适应切换方法及系统
CN110265046A (zh) * 2019-07-25 2019-09-20 腾讯科技（深圳）有限公司 一种编码参数调控方法、装置、设备及存储介质
CN110310650A (zh) * 2019-04-08 2019-10-08 清华大学 一种基于二阶微分麦克风阵列的语音增强算法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742734A (en) * 1994-08-10 1998-04-21 Qualcomm Incorporated Encoding rate selection in a variable rate vocoder
US6625226B1 (en) * 1999-12-03 2003-09-23 Allen Gersho Variable bit rate coder, and associated method, for a communication station operable in a communication system
US6647366B2 (en) * 2001-12-28 2003-11-11 Microsoft Corporation Rate control strategies for speech and music coding
KR100682890B1 (ko) * 2004-09-08 2007-02-15 삼성전자주식회사 비트량 고속제어가 가능한 오디오 부호화 방법 및 장치
KR101610765B1 (ko) * 2008-10-31 2016-04-11 삼성전자주식회사 음성 신호의 부호화/복호화 방법 및 장치
CN101494054B (zh) * 2009-02-09 2012-02-15 华为终端有限公司 一种音频码率控制方法及系统
KR20110001130A (ko) * 2009-06-29 2011-01-06 삼성전자주식회사 가중 선형 예측 변환을 이용한 오디오 신호 부호화 및 복호화 장치 및 그 방법
US20130197919A1 (en) * 2010-01-22 2013-08-01 Agency For Science, Technology And Research "method and device for determining a number of bits for encoding an audio signal"
KR102315920B1 (ko) * 2013-09-16 2021-10-21 삼성전자주식회사 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
WO2015122752A1 (ko) 2014-02-17 2015-08-20 삼성전자 주식회사 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
CN106233112B (zh) * 2014-02-17 2019-06-28 三星电子株式会社 信号编码方法和设备以及信号解码方法和设备
GB2526128A (en) * 2014-05-15 2015-11-18 Nokia Technologies Oy Audio codec mode selector
US9685166B2 (en) * 2014-07-26 2017-06-20 Huawei Technologies Co., Ltd. Classification between time-domain coding and frequency domain coding
US10616587B2 (en) * 2017-04-26 2020-04-07 Dts, Inc. Bit rate control over groups of frames
US10734006B2 (en) * 2018-06-01 2020-08-04 Qualcomm Incorporated Audio coding based on audio pattern recognition
US11509703B2 (en) * 2018-09-26 2022-11-22 Vmware, Inc. System and method for widescale adaptive bitrate selection
CN110992963B (zh) 2019-12-10 2023-09-29 腾讯科技（深圳）有限公司 网络通话方法、装置、计算机设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040002303A (ko) * 2002-06-29 2004-01-07 피앤피네트워크 주식회사 코드레이트 검출장치
JP2006047561A (ja) * 2004-08-03 2006-02-16 Matsushita Electric Ind Co Ltd オーディオ信号符号化装置およびオーディオ信号復号化装置
CN102543090A (zh) * 2011-12-31 2012-07-04 深圳市茂碧信息科技有限公司 一种应用于变速率语音和音频编码的码率自动控制系统
CN105162555A (zh) * 2015-09-24 2015-12-16 广州市百果园网络科技有限公司 一种码率调整方法及其终端
CN108010533A (zh) * 2016-10-27 2018-05-08 北京酷我科技有限公司 音频数据码率的自动识别方法和装置
CN108011686A (zh) * 2016-10-31 2018-05-08 腾讯科技（深圳）有限公司 信息编码帧丢失恢复方法和装置
CN108989880A (zh) * 2018-06-21 2018-12-11 北京邮电大学 一种码率自适应切换方法及系统
CN110310650A (zh) * 2019-04-08 2019-10-08 清华大学 一种基于二阶微分麦克风阵列的语音增强算法
CN110265046A (zh) * 2019-07-25 2019-09-20 腾讯科技（深圳）有限公司 一种编码参数调控方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20220044693A1 (en) 2022-02-10
US12335328B2 (en) 2025-06-17
WO2021114847A1 (zh) 2021-06-17
CN110992963A (zh) 2020-04-10
EP4012702A4 (en) 2022-09-28
EP4012702A1 (en) 2022-06-15
EP4012702B1 (en) 2024-07-10

Similar Documents

Publication Publication Date Title
CN110992963B (zh) 网络通话方法、装置、计算机设备及存储介质
CN110544488B (zh) 一种多人语音的分离方法和装置
CN111179962B (zh) 语音分离模型的训练方法、语音分离方法及装置
CN111986691B (zh) 音频处理方法、装置、计算机设备及存储介质
CN109256146B (zh) 音频检测方法、装置及存储介质
CN109147818A (zh) 声学特征提取方法、装置、存储介质及终端设备
CN110147532B (zh) 编码方法、装置、设备及存储介质
CN113763933B (zh) 语音识别方法、语音识别模型的训练方法、装置和设备
CN111445901A (zh) 音频数据获取方法、装置、电子设备及存储介质
CN109040641A (zh) 一种视频数据合成方法及装置
CN112750425B (zh) 语音识别方法、装置、计算机设备及计算机可读存储介质
CN113823266B (zh) 关键词检测方法、装置、设备及存储介质
WO2020102943A1 (zh) 手势识别模型的生成方法、装置、存储介质及电子设备
CN114328815A (zh) 文本映射模型的处理方法、装置、计算机设备及存储介质
CN114333774A (zh) 语音识别方法、装置、计算机设备及存储介质
CN114283827B (zh) 音频去混响方法、装置、设备和存储介质
CN112750449B (zh) 回声消除方法、装置、终端、服务器及存储介质
CN115331689A (zh) 语音降噪模型的训练方法、装置、设备、存储介质及产品
CN115312036A (zh) 模型训练数据的筛选方法、装置、电子设备及存储介质
CN110148401B (zh) 语音识别方法、装置、计算机设备及存储介质
CN114283839B (zh) 语速识别方法、装置、设备及可读存储介质
HK40021713A (zh) 网络通话方法、装置、计算机设备及存储介质
CN120358378B (zh) 音频生成方法、装置、设备及计算机可读存储介质
HK40067619A (zh) 语速识别方法、装置、设备及可读存储介质
CN117763232A (zh) 资源推荐方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021713

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant