IP电话主叫网关得到目地网关的信息后，必须与之建立连接以使封装后的语音流通过网络流动。网关通过与关守合作（如果系统内有关守的话），运用各种协议来建立、维护或是撤消某一呼叫连接。目前，存在两个独立但又有少量重叠部分的标准协议实现这一功能：其一是ITU-T的H.323分组多媒体通信系统协议：其二是IETF的会话初始化协议（SIP）。另外还有一些厂商为自已的产品研发了一些专用的方法。
连接管理是一项极其复杂的任务，H.323和SIP要为IP电话提供一整套的连接管理功能需要引用其他一些标准。连接管理功能包括数据压缩协商机制及数宇编码协商机制等。如果网络中的网关既使用了H.323的信令方式又使用了SIP的信令方式，那么就可能需要“网关的网关”来协调二者之间的交互。
虽然标准文件对网关这一术语有明确的定义，但网关的许多功能是被转移到IP网络的其他构件上实现的。例如，网关通过使用关守的服务来建立和维护呼叫连接、而网关本身则将精力集中于处理具体的呼叫数据。
网关最基本的功能就是将语音信号由模拟信号或脉码调制（PCM）数字信号转换成低比特率的数据流，这一功能是所有其他构件都不可能代替完成的。语音网络几十年前就开始使用数宇信息通路，所以把模拟信号转换成数字信号本身并没有特别之处。但是，现在的PSTN网的语音信号经过模数转换后的传输速率为64kbit/s，这一速率与当前的微电子技术的进，步程度并不相称。
开通IP电话一个很重要的商业原因是IP电话的网关内置了数据压缩功能。该功能可以把呼叫速率压缩至5.3kbit/s到24kbit/s，这就使得网关可利用给定数字信道完成10倍于传统电话网所能完成的语音传输任务，提高了网络的利用率，因此在很大程度上节约了网络资源。（网关的实际传输速率取决于所采用的数据压缩方法以及由不同协议定义的报头的传输开销。）
要实现信息的数字化与压缩功能需要网关具有很强的计算能力。所以网关设计者必须在数据的传输速率、网关计算能力（意味着硬件代价）和语音质量（往往与数据传输速度呈反比关系）这三者之间权衡利弊。现在有很多数字信号处理器（DSP）对这些参数进行各种组合，每种组合都具体针对某一特定类型的网络。为了让自己的产品具有普遍适用性，网关厂商们往往使自身的网关平台具有可配置性（可以通过软件配置，也可以通过安装可选的DSP模块来配置）以提供不同的压缩方式来满足用户的需求。
