基于 protobuf 协议实现高性能的 IM 客户端

12 min read
# 记录# 技术# 前端

这里记录了使用 protobuf 协议与服务端数据交互的相关内容和知识。

涉及到计算机基础知识,例如字节、buffer 缓冲、大小端等。


字节 / Byte

1 字节代表了 8 位(bit)二进制,1 位就是 0 或 1,也是计算机最小单位。


Uint 与 Int

Int 是带正负号的整数,Uint 是从 0 开始计的整数。

Uintx 是指用多少表示的整数,例如 Uint8 就是用 8位(即一个字节) 表示的整数,二进制范围是 00000000 ~ 11111111,对应的十进制就是 0 ~ 255

但是人类的数学里面负数,所以 Int8 就描述了包含负数在内的整数范围,即十进制的 -128 ~ 127

更多描述如下所示

Uint8 -- (0 to 2^8 - 1)
Int8 -- (-2^7 to +2^7 - 1)

Uint16 -- (0 to 2^16 - 1)
Int16 -- (-2^15 to +2^15 - 1)

Uint32 -- (0 to 2^32 - 1)
Int32 -- (-2^31 to +2^31)

Uint64 -- (0 to 2^64 - 1)
Int64 -- (-2^63 to +2^63 - 1)

ArrayBuffer

ArrayBuffer 对象用来表示通用的、固定长度的原始二进制数据缓冲区。参考MDN

// 以下为创建 12 个字节的 buffer 的例子

const buffer = new ArrayBuffer(12);

上面的操作代表向操作系统申请了 12 字节的二进制缓冲,大概如下分布

| 00000000 | 00000000 | 00000000 | 00000000 | …(还有8字节)

ArrayBuffer 对象并不能直接被操作,需要通过 TypedArray 对象实例或者 DataView 实例作为桥梁来操作。

// Uint8Array 的单位为一字节与 ArrayBuffer 的基本单位吻合
const uint8 = new Uint8Array(buffer);

console.log(uint0) // 输出 [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

uint8[0] = 12; // 此时 buffer 变成 [12, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

TypedArray 对象一览 MDN

类型 大小(字节单位) 描述 Web IDL type
Int8Array 1 8位二进制带符号整数 -2^7~(2^7) - 1 byte
Uint8Array 1 8位无符号整数 0~(2^8) - 1 octet
Int16Array 2 16位二进制带符号整数 -2^15~(2^15)-1 short
Uint16Array 2 16位无符号整数 0~(2^16) - 1 unsigned short
Int32Array 4 32位二进制带符号整数 -2^31~(2^31)-1 long
Uint32Array 4 32位无符号整数 0~(2^32) - 1 unsigned int
Float32Array 4 32位IEEE浮点数 unrestricted
Float64Array 8 64位IEEE浮点数 unrestricted

除了 TypedArray,还可以通过 DataView 来做更细致的操作

例如我们需要在特定字节段内写入对应的数据

| DataLen 4 个字节 | SessionID 8 个字节 | …

const view = new DataView(buffer);

const DataLen = 100; // buffer 数据总长度
const SessionID = 123456789; // SessionID

// 最后的参数为大小端排序
view.setUint32(0, DataLen, true);
view.setBigUint64(4, BigInt(SessionID), true);

读取内容

const view = new DataView(buffer);

// 读取小端字符顺序
const DataLen = view.getUint32(0, true);
const SessionID = view.getBigUint64(4, true);

什么是大小端

  1. Little-Endian就是低位字节排放在内存的低地址端,高位字节排放在内存的高地址端。
  2. Big-Endian就是高位字节排放在内存的低地址端,低位字节排放在内存的高地址端。

更多详情参考维基百科的字节顺序


JS 的大数处理

JS 并不能处理 Int64 精度的数,所以在 stage 3 引入了 BigInt API,解决大数精度问题,ChromeFirefox 已经支持,但是 Safari 并不支持,需要用另外的办法处理。

兼容方式参考 这里


Protobuf 应用

Google Protocol Buffers 是一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,或者说序列化。

开发时通讯双方或者多方终端都遵循 proto 协议。

然后看看前端如何使用 protobuf

Google 官方的库对 JS 支持不是太友好,这里我们使用 protobuf.js

创建一个 sdk.proto 文件

syntax = "proto3";

package yourPackage;

message LoginReq {
  string UserName = 1;
  string Password = 2;
}
yarn add protobufjs -D

# 使用 protobufjs 提供的 Command line
pbjs ./sdk.proto -t static-module > ./sdk.js

# 生成 ts 声明文件
pbts -o ./sdk.d.ts ./sdk.js

生成好文件即可使用

import SDK from './sdk';

const { LoginReq } = SDK.yourPackage;

const payload = {
  UserName: 'alex',
  Password: '123'
}

const message = LoginReq.create(payload); // or use .fromObject if conversion is necessary

// encode 信息
const protoBuffer = LoginReq.encode(message).finish();

// 把 protobuf buffer 写入到上面的 SessionID buffer 信息中

const uint8 = new Uint8Array(buffer);
uint8.set(protoBuffer, offset)

// 使用 websocket 发送 arrayBuffer 数据
const socket = new WebSocket(host)
socket.onopen = () => {
  socket.send(protoBuffer)
}
socket.onmessage = () => {
  // decode operator
}

总结

这里只是简单的记录过程,如果想要更多细节的信息,可以参考 elk-chat 的源码

Table of Contents