go-common/utils/mq/kafka/consumer_test.go

package kafka

import (
	"fmt"
	"git.aionnect.com/aionnect/go-common/utils"
	"git.aionnect.com/aionnect/go-common/utils/mq"
	"git.aionnect.com/aionnect/go-common/utils/mq/topic"
	"sync"
	"testing"
)

var wg sync.WaitGroup

func TestNewConsumer(t *testing.T) {
	// 以下示例代码是模拟中断延时处理定时器需求实现，逻辑较复杂，如果只关心kafka使用本身，仅关注加了序号注释的部位即可

	// 1. 新建单播消费者
	// 初始化增加定时任务消息消费者，相同group名单播消费消息
	// kafka的单播分配到哪一个消费者与topic的partition配置密切相关，当partition数小于消费者数量时，会有部分消费者始终无法获得消息
	// 可以用 ./kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic topic-name 命令查看topic信息
	// 可以用 ./kafka-topics.sh --alter --topic topic-name --zookeeper 127.0.0.1:2181 --partitions 4 命令调整partition数量
	// 调整完partition数量，需要重启或重置消费者，以重新分配消费者与partition的对应关系
	// 另外注意本示例中用的topic.Order方法是有给topic加上一个前缀的
	plusTopics := []string{topic.TOP("ka-alloc-plus-job")}
	plusConsumer := NewConsumer("ka-alloc-plus-job-group", plusTopics)
	defer func(plusConsumer *Consumer) {
		_ = plusConsumer.Close()
	}(plusConsumer)
	// 2. 如果需要可以处理异常
	go func() {
		for err := range plusConsumer.Errors() {
			t.Errorf("Error: %s\n", err.Error())
		}
	}()

	// 1. 新建广播消费者
	// 初始化减少定时任务消息消费者，不同group名广播消费消息
	reduceTopics := []string{topic.TOP("ka-alloc-reduce-job")}
	// 正式编码推荐用 utils.GetPrivateIPv4Id() 代替 utils.NextId() 来获取机器号
	// utils.GetPrivateIPv4Id() 这个函数会根据当前机器内网ip的末尾两段运算出一个id，即测试和生产环境不同Pod的ip不同这个id也会不同
	machineId := utils.NextId()
	reduceConsumer := NewConsumer(fmt.Sprintf("ka-alloc-reduce-job-group-%d", machineId), reduceTopics)
	defer func(reduceConsumer *Consumer) {
		_ = reduceConsumer.Close()
	}(reduceConsumer)
	// 2. 如果需要可以处理异常
	go func() {
		for err := range reduceConsumer.Errors() {
			t.Errorf("Error: %s\n", err.Error())
		}
	}()

	// 消费消息
	//wg.Add(1)
	//go func() {
	//	defer wg.Done()
	//	for msg := range plusConsumer.Messages() { // 3. 在协程中循环阻塞取消息管道中的消息
	//		fmt.Printf( "%s/%d/%d\t%s\t%s\n", msg.Topic, msg.Partition, msg.Offset, msg.Key, msg.Value) // msg.Value如果是Json可以反序列化
	//		plusConsumer.MarkOffset(msg, "") // mark message as processed
	//	}
	//}()
	//wg.Add(1)
	//go func() {
	//	defer wg.Done()
	//	for msg := range reduceConsumer.Messages() { // 3. 在协程中循环阻塞取消息管道中的消息
	//		fmt.Printf( "%s/%d/%d\t%s\t%s\n", msg.Topic, msg.Partition, msg.Offset, msg.Key, msg.Value) // msg.Value如果是Json可以反序列化
	//		reduceConsumer.MarkOffset(msg, "") // mark message as processed
	//	}
	//}()

	wg.Add(1)
	go func() {
		defer wg.Done()
		var plusCh = make(chan *mq.TestMsg, 0)
		plusConsumer.BindJSONChan(plusCh)
		for { // 3. 在协程中循环阻塞取消息管道中的消息
			select {
			case msg := <-plusCh:
				fmt.Printf("%v\n", msg) // msg已经是反序列化得到的对象
			}
		}
	}()
	wg.Add(1)
	go func() {
		defer wg.Done()
		var reduceCh = make(chan *mq.TestMsg, 0)
		reduceConsumer.BindJSONChan(reduceCh)
		for { // 3. 在协程中循环阻塞取消息管道中的消息
			select {
			case msg := <-reduceCh:
				fmt.Printf("%v\n", msg) // msg已经是反序列化得到的对象
			}
		}
	}()

	wg.Wait()
	t.Log("Done consuming topic")
}