51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

golang基于雪花算法生成分布式ID

# golang基于雪花算法生成分布式ID {#golang基于雪花算法生成分布式id}

本文总结golang中如何使用雪花算法(snowflake)生成分布式ID。建议使用分布式ID作为数据库表的主键类型,使用分布式ID作为主键类型拥有很多好处,如方便日后的分库分表等扩展操作。本文列举了可以选用的2个库,性能相当,随便选一个即可。

# 1. bwmarrin/snowflake {#_1-bwmarrin-snowflake}

使用方法和性能测试代码如下:

package test

import (
	"fmt"
	"sync"
	"testing"
	"time"

	"github.com/bwmarrin/snowflake"
	"github.com/golang/glog"
)

/**
测试snowflake雪花算法
*/
func TestSnowflake(t *testing.T) {
	// Create a new Node with a Node number of 1
	node, err := snowflake.NewNode(1)
	if err != nil {
		fmt.Println(err)
		return
	}

	// Generate a snowflake ID.
	id := node.Generate()

	// Print out the ID in a few different ways.
	fmt.Printf("Int64  ID: %d\n", id)
	fmt.Printf("String ID: %s\n", id)
	fmt.Printf("Base2  ID: %s\n", id.Base2())
	fmt.Printf("Base64 ID: %s\n", id.Base64())

	// Print out the ID's timestamp
	fmt.Printf("ID Time  : %d\n", id.Time())

	// Print out the ID's node number
	fmt.Printf("ID Node  : %d\n", id.Node())

	// Print out the ID's sequence number
	fmt.Printf("ID Step  : %d\n", id.Step())

	// Generate and print, all in one.
	fmt.Printf("ID       : %d\n", node.Generate().Int64())
}

/**
测试雪花ID生成库github.com/bwmarrin/snowflake的并发能力
*/
func TestBwmarrinSnowflakeLoad(t *testing.T) {
	var wg sync.WaitGroup

	// Create a new Node with a Node number of 1
	node, err := snowflake.NewNode(1)
	if err != nil {
		fmt.Println(err)
		return
	}

	var check sync.Map
	t1 := time.Now()
	for i := 0; i < 200000; i++ {
		wg.Add(1)
		go func() {
			defer wg.Done()
			node, err = snowflake.NewNode(1)
			if err != nil {
				fmt.Println(err)
			}
			val := node.Generate()
			if _, ok := check.Load(val); ok {
				// id冲突检查
				glog.Error(fmt.Errorf("error#unique: val:%v", val))
				return
			}
			check.Store(val, 0)
			if val == 0 {
				glog.Error(fmt.Errorf("error"))
				return
			}
		}()
	}
	wg.Wait()
	elapsed := time.Since(t1)
	println(int64(elapsed))
}

生成的ID长这样: 1370264507334529131,长度为19位的整数。
如上的并发测试函数执行了3次,耗时分别为1614086843、1289643775、1277146002,单位是纳秒。

# 2. GUAIK-ORG/go-snowflake {#_2-guaik-org-go-snowflake}

使用方法和性能测试代码如下:

package test

import (
	"fmt"
	"sync"
	"testing"
	"time"

	"github.com/GUAIK-ORG/go-snowflake/snowflake"
	"github.com/golang/glog"
)

/**
测试雪花ID生成库github.com/GUAIK-ORG/go-snowflake/snowflake的并发能力
*/
func TestSnowflakeLoad(t *testing.T) {
	var wg sync.WaitGroup
	s, err := snowflake.NewSnowflake(int64(0), int64(0))
	if err != nil {
		glog.Error(err)
		return
	}
	var check sync.Map
	t1 := time.Now()
	for i := 0; i < 200000; i++ {
		wg.Add(1)
		go func() {
			defer wg.Done()
			val := s.NextVal()
			if _, ok := check.Load(val); ok {
				// id冲突检查
				glog.Error(fmt.Errorf("error#unique: val:%v", val))
				return
			}
			check.Store(val, 0)
			if val == 0 {
				glog.Error(fmt.Errorf("error"))
				return
			}
		}()
	}
	wg.Wait()
	elapsed := time.Since(t1)
	println(int64(elapsed))
}

生成的ID长这样: 158224334375092829,长度为18位的整数。
如上的并发测试函数执行了3次,耗时分别为1124502969、1250495184、1517730019,单位是纳秒。

# 3. 总结 {#_3-总结}

可以看出,如上的2个库的性能接近,1秒多可以生成20万的不重复的整数。
2个库的区别:

  • 生成的整数的位数不同
    bwmarrin/snowflake是19位, 而GUAIK-ORG/go-snowflake是18位。
  • github的star数不同
    bwmarrin/snowflake在github的star数上千,GUAIK-ORG/go-snowflake是国产。

注意:

  1. 在多实例(多个snowflake对象)的并发环境下,请确保每个实例的唯一性,否则生成的ID可能冲突。
    对于bwmarrin/snowflake,需要确保每个snowflake对象的Node number的唯一性。
    对于GUAIK-ORG/go-snowflake,需要确保每个snowflake对象的datacenterid,workerid的唯一性。
  2. 有很多同学反应,生成的snowflake ID有重复的现象,那么需要从如下几点来分析:
  • 多个服务节点中创建的snowflake对象使用的初始化参数是否是相同的?
  • 进程内部创建的snowflake对象是不是全局的单例对象?
赞(0)
未经允许不得转载:工具盒子 » golang基于雪花算法生成分布式ID