GRPC学习笔记

2021-05-05

字数统计: 3.3k字 | 阅读时长≈ 13分

摘要：这篇文章主要是总结了一下这段时间学习gRPC的过程中遇到的一些问题和知识点

前言：本篇文章主要是总结了一下学习gRPC的过程中遇到的一些问题和知识点。

gRPC是啥？？？？？

所谓RPC(remote procedure call 远程过程调用)框架实际是提供了一套机制，使得应用程序之间可以进行通信，而且也遵从server/client模型。使用的时候客户端调用server端提供的接口就像是调用本地的函数一样。如下图所示就是一个典型的RPC结构图。

RPC

gRPC 一开始由 google 开发，是一款语言中立、平台中立、开源的远程过程调用(RPC)系统。在 gRPC 里客户端应用可以像调用本地对象一样直接调用另一台不同的机器上服务端应用的方法，使得您能够更容易地创建分布式应用和服务。与许多 RPC 系统类似，gRPC 也是基于以下理念：定义一个服务，指定其能够被远程调用的方法（包含参数和返回类型）。在服务端实现这个接口，并运行一个 gRPC 服务器来处理客户端调用。在客户端拥有一个存根能够像服务端一样的方法。

特性

基于HTTP/2

HTTP/2 提供了连接多路复用、双向流、服务器推送、请求优先级、首部压缩等机制。可以节省带宽、降低TCP链接次数、节省CPU，帮助移动设备延长电池寿命等。gRPC 的协议设计上使用了HTTP2 现有的语义，请求和响应的数据使用HTTP Body 发送，其他的控制信息则用Header 表示。

IDL使用ProtoBuf

gRPC使用ProtoBuf来定义服务，ProtoBuf是由Google开发的一种数据序列化协议（类似于XML、JSON、hessian）。ProtoBuf能够将数据进行序列化，并广泛应用在数据存储、通信协议等方面。压缩和传输效率高，语法简单，表达力强。

多语言支持（C, C++, Python, PHP, Nodejs, C#, Objective-C、Golang、Java）

gRPC支持多种语言，并能够基于语言自动生成客户端和服务端功能库。目前已提供了C版本grpc、Java版本grpc-java 和 Go版本grpc-go，其它语言的版本正在积极开发中，其中，grpc支持C、C++、Node.js、Python、Ruby、Objective-C、PHP和C#等语言，grpc-java已经支持Android开发。

应用场景

gRPC已经应用在Google的云服务和对外提供的API中，其主要应用场景如下：

低延迟、高扩展性、分布式的系统。
同云服务器进行通信的移动应用客户端。
设计语言独立、高效、精确的新协议。
便于各方面扩展的分层设计，如认证、负载均衡、日志记录、监控等。

gRPC通信方式

gRPC有四种通信方式:

1、 Simple RPC

简单rpc：这就是一般的rpc调用，一个请求对象对应一个返回对象。proto语法：

1	rpc simpleHello(Person) returns (Result) {}

2、Server-side streaming RPC

服务端流式rpc：一个请求对象，服务端可以传回多个结果对象。proto语法：

1	rpc serverStreamHello(Person) returns (stream Result) {}

3、Client-side streaming RPC

客户端流式rpc：客户端传入多个请求对象，服务端返回一个响应结果。proto语法：

1	rpc clientStreamHello(stream Person) returns (Result) {}

4、Bidirectional streaming RPC

双向流式rpc：结合客户端流式rpc和服务端流式rpc，可以传入多个对象，返回多个响应对象。proto语法：

1	rpc biStreamHello(stream Person) returns (stream Result) {}

Protobuf3语法

常用语法

syntax = "proto3";// 文件首个非空、非注释的行必须表明protobuf的版本，默认是proto2

//import
import "google/protobuf/wrappers.proto";
import "src/main/proto/other.proto";
//import 导入的定义仅在当前文件有效，也就是当前文件只能引用other.proto直接定义的
//import public 导入的定义是可以被传递引用的，也就是other.proto中如果
//通过import public引用的new.proto,当前文件是可以引用new.proto定义的内容


//package
package cn.sdut.majiatao;
//指定包名后，会对生成的代码产生影响，以Java为例，生成的类会以你指定的package作为包名
// 同时引入的.proto文件的路径也需要改动


//option
option java_package = "cn.sdut.majiatao";
 // 编译器为以此作为生成的Java类的包名，如果没有该选项，则会以pb的package作为包名
option java_multiple_files = true;
// 该选项为true时，生成的Java类将是包级别的，
//如果是false，则所有的message和service都将会是java_outer_classname的内部类


// java_outer_classname (文件选项):
    // 该选项表明想要生成Java类的名称。
    // 如果在.proto文件中没有明确的java_outer_classname定义，生成的class名称将会根据.proto文件的名称采用驼峰式的命名方式进行生成。
    // 如（foo_bar.proto生成的java类名为FooBar.java）,如果不生成java代码，则该选项不起任何作用。如：
      option java_outer_classname = "Ponycopter";


//option optimize_for = SPEDD;
// 对生成的代码的一种优化，有三个值:SPEED,  CODE_SIZE, LITE_RUNTIME;
    // SPEED (default): protocol buffer编译器将通过在消息类型上执行序列化、语法分析及其他通用的操作。这种代码是最优的。
    // CODE_SIZE: protocol buffer编译器将会产生最少量的类，通过共享或基于反射的代码来实现序列化、语法分析及各种其它操作。采用该方式产生的代码将比SPEED要少得多，但是操作要相对慢些。当然实现的类及其对外的API与SPEED模式都是一样的。这种方式经常用在一些包含大量的.proto文件而且并不盲目追求速度的应用中。
    // LITE_RUNTIME: protocol buffer编译器依赖于运行时核心类库来生成代码（即采用libprotobuf-lite 替代libprotobuf）。这种核心类库由于忽略了一些描述符及反射，要比全类库小得多。这种模式经常在移动手机平台应用多一些。编译器采用该模式产生的方法实现与SPEED模式不相上下，产生的类通过实现 MessageLite接口，但它仅仅是Messager接口的一个子集。


//message
// message 逻辑上类似于一个Java class,由多个字段(属性)构成,
// 每一个字段：由类型、名称组成，等号右边的数值不是默认值，而是数字签名码，不可重复
message SearchRequest {
    string query = 1;
    int32 page_number = 2;
    int32 result_per_page = 3;
    repeated string args = 4;// 等同于Java中的List<String> args

    // 每个枚举类有对应的数值，数值不一定是连续的。
    // 第一个枚举值必须是0并且至少有一个枚举值
    enum Corpus{
        option allow_alias = true;
        UNIVERSAL = 0;// 默认
        WEB = 1;
        IMAGES = 2;
        LOCAL = 3;
        // 如果一个数值需要对应多个枚举值,必须标明 option allow_alias = true
        FRAMEWORK = 1;
    }
    Result result = 5;// 字段类型也可以引用其他的message类型
}


message Result {
    string url = 1;
    repeated string snippets = 2;
}

//scalar value type
//类型
// 1. for strings, the default value is the empty string
// 2. for bytes, the default value is the empty bytes
// 3. for bools, the default value is false
// 4. for numeric types, the default value is zero
// 5. for enums, the default value s the first defined enum value, which must be 0
// 6. for message fields, the field is not set, Iys exact value is language-dependent
// 7. for repeated fields, the default value is empty list
//PS:if a scalar message field is set to its default, the value will not be serialized on the wire.
// 如果一个字段的值等于默认值(如bool类型字段为false)，那么它将不会被序列化

// Any
// Any类型 需要import "google/protobuf/any.proto"
// Any类型可以允许包装任意的message类型
// Any类型消息允许你在没有指定他们的.proto定义的情况下使用消息作为一个嵌套类型。
// 一个Any类型包括一个可以被序列化bytes类型的任意消息，以及一个URL作为一个全局标识符和解析消息类型。
import "google/protobuf/any.proto";
message Response {
    google.protobuf.Any data = 1;
}


//Oneof
//Oneof 有一些字段最多只能有一个被设置，任何一个字段被设置，其他字段会自动成为默认值
// 该类型不支持repeated
message SampleMessage {
    oneof test_oneof {
        string last_name = 1;
        string family_name = 2;
    }
}


// Maps
message MapsMessage {
    // 除了float、bytes、枚举类型作为key，其他scalar value types都可以作为key
    // 除了map之外的任意类型可以作为value
    // map类型字段不支持repeated,value顺序是无序的
    // 当为.proto文件产生生成文本格式的时候，map会按照key 的顺序排序，数值化的key会按照数值排序。
    // 从序列化中解析或者融合时，如果有重复的key则后一个key不会被使用，当从文本格式中解析map时，如果存在重复的key。
    map<string, SearchRequest> searchRequest = 1;
}


//定义服务(Service)
//想要定义一个RPC服务并具有一个方法，该方法能够接收 SearchRequest并返回一个SearchResponse，此时可以在.proto文件中进行如下定义：
service SearchService {
  rpc Search (SearchRequest) returns (SearchResponse);
}

JSON映射

Proto3支持标准的JSON编码，使得在不同的系统直接共享数据变得简单。下表列出的是基础的类型对照。

在JSON编码中，如果某个值被设置为null或丢失，在映射为ProtoBuf的时候会转换为相应的默认值。在ProtoBuf中如果一个字段是默认值，在映射为JSON编码的时候，这个默认值会被忽略以节省空间。可以通过选项设置，使得JSON编码输出中字段带有默认值。

proto3	JSON	JSON example	Notes
message	object	{“fooBar”: v,”g”: null,…}	生成JSON对象。消息字段名称映射到lowerCamelCase并成为JSON对象键。如果指定了json_name字段选项，则将指定的值用作键。解析器接受 lowerCamelCase名称（或json_name选项指定的名称）和原始proto字段名称。 null是所有字段类型的可接受值，并被视为相应字段类型的默认值。
enum	string	“FOO_BAR”	使用proto中指定的枚举值的名称。解析器接受枚举名称和整数值。
map<K,V>	object	{“k”: v, …}	所有键都转换为字符串。
repeated V	array	[v, …]	null被转换为空列表[]
bool	true, false	true, false
string	string	“Hello World!”
bytes	base64 string	“YWJjMTIzIT8kKiYoKSctPUB+”	JSON值将是使用带填充的标准base64编码编码为字符串的数据。接受带有/不带填充的标准或URL安全base64编码。
int32, fixed32, uint32	number	1, -10, 0	JSON值将是十进制数。接受数字或字符串。
int64, fixed64, uint64	string	“1”, “-10”	JSON值将是十进制字符串。接受数字或字符串。
float, double	number	1.1, -10.0, 0, “NaN”, “Infinity”	JSON值将是一个或多个特殊字符串值“NaN”，“Infinity”和“-Infinity”。接受数字或字符串。指数表示法也被接受。
Any	object	{“@type”: “url”, “f”: v, … }	如果Any包含具有特殊JSON映射的值，则它将按如下方式转换： {“@ type”：xxx，“value”：yyy} 。否则，该值将转换为JSON对象，并将插入 “@ type” 字段以指示实际数据类型。
Timestamp	string	“1972-01-01T10:00:20.021Z”	使用RFC 3339，其中生成的输出将始终被Z标准化并使用0,3,6或9个小数位。也接受“Z”以外的偏移。
Duration	string	“1.000340012s”, “1s”	生成的输出始终包含0,3,6或9个小数位，具体取决于所需的精度，后跟后缀“s”。接受的是任何小数位（也没有），只要它们符合纳秒精度并且需要后缀“s”。
Struct	object	{ … }	任意JSON对象
Wrapper types	various types	2, “2”, “foo”, true, “true”, null, 0, …	Wrappers在JSON中使用与包装基元类型相同的表示形式，除了在数据转换和传输期间允许并保留 null .
FieldMask	string	“f.fooBar,h”	见field_mask.proto.
ListValue	array	[foo, bar, …]
Value	value		任意JSON 值
NullValue	null		JSON null

JSON映射

grpcurl的使用

下载grpcurl工具：

github地址：https://github.com/fullstorydev/grpcurl/releases/tag/v1.3.1 点击release下载对应的版本

Linux内核的系统下：./grpcurl -plaintext -d ‘{JSON_FROMAT_DATA}’ {ADDRESS}:{PORT} {SERVICE_NAME}.{METHOD_NAME}

Windows操作系统下：grpcurl -d {JSON_FROMAT_DATA} -plaintext {ADDRESS}:{PORT} {SERVICE_NAME}/{METHOD_NAME}
需要注意Windows操作系统下{JSON_FROMAT_DATA}需要转义，例如入参为{“aa”:1,”bb”:”zhangsan”} 需要写成 {"aa":1,"bb":"zhangsan"}

调用gRPC服务：

Linux系统下：./grpcurl -plaintext -d ‘{“name”:”zhangsan”}’ {ADDRESS}:{PORT} com.ypsx.项目名.client.service.HelloService.sayHello

Windows操作系统cmd命令行下：grpcurl.exe -d {"name":"zhangsan"} -plaintext {ADDRESS}:{PORT} com.ypsx.项目名.client.service.HelloService/sayHello

Windows操作系统PowerShell命令行下：grpcurl.exe -d ‘{"name":"zhangsan"}’ -plaintext ‘{ADDRESS}:{PORT}’ ‘com.ypsx.项目名.client.service.HelloService/sayHello’

成功返回：

1
2
3

{
"message": "Hello zhangsan"
}

参考文章：https://colobu.com/2017/03/16/Protobuf3-language-guide/

本文作者： th3ee9ine
本文链接： https://www.blog.ajie39.top/2021/05/05/GRPC笔记/
版权声明： 本博客所有文章除特别声明外，均采用 LICENSE 下的许可协议。转载请注明出处！