51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

golang基于雪花算法生成分布式ID

# golang基于雪花算法生成分布式ID {#golang基于雪花算法生成分布式id}

本文总结golang中如何使用雪花算法(snowflake)生成分布式ID。建议使用分布式ID作为数据库表的主键类型,使用分布式ID作为主键类型拥有很多好处,如方便日后的分库分表等扩展操作。本文列举了可以选用的2个库,性能相当,随便选一个即可。

# 1. bwmarrin/snowflake {#_1-bwmarrin-snowflake}

使用方法和性能测试代码如下:

package test

import ( "fmt" "sync" "testing" "time"

"github.com/bwmarrin/snowflake"
"github.com/golang/glog"

)

/** 测试snowflake雪花算法 */ func TestSnowflake(t *testing.T) { // Create a new Node with a Node number of 1 node, err := snowflake.NewNode(1) if err != nil { fmt.Println(err) return }

// Generate a snowflake ID.
id := node.Generate()

// Print out the ID in a few different ways.
fmt.Printf("Int64  ID: %d\n", id)
fmt.Printf("String ID: %s\n", id)
fmt.Printf("Base2  ID: %s\n", id.Base2())
fmt.Printf("Base64 ID: %s\n", id.Base64())

// Print out the ID's timestamp
fmt.Printf("ID Time  : %d\n", id.Time())

// Print out the ID's node number
fmt.Printf("ID Node  : %d\n", id.Node())

// Print out the ID's sequence number
fmt.Printf("ID Step  : %d\n", id.Step())

// Generate and print, all in one.
fmt.Printf("ID       : %d\n", node.Generate().Int64())

}

/** 测试雪花ID生成库github.com/bwmarrin/snowflake的并发能力 */ func TestBwmarrinSnowflakeLoad(t *testing.T) { var wg sync.WaitGroup

// Create a new Node with a Node number of 1
node, err := snowflake.NewNode(1)
if err != nil {
	fmt.Println(err)
	return
}

var check sync.Map
t1 := time.Now()
for i := 0; i < 200000; i++ {
	wg.Add(1)
	go func() {
		defer wg.Done()
		node, err = snowflake.NewNode(1)
		if err != nil {
			fmt.Println(err)
		}
		val := node.Generate()
		if _, ok := check.Load(val); ok {
			// id冲突检查
			glog.Error(fmt.Errorf("error#unique: val:%v", val))
			return
		}
		check.Store(val, 0)
		if val == 0 {
			glog.Error(fmt.Errorf("error"))
			return
		}
	}()
}
wg.Wait()
elapsed := time.Since(t1)
println(int64(elapsed))

}

生成的ID长这样: 1370264507334529131,长度为19位的整数。
如上的并发测试函数执行了3次,耗时分别为1614086843、1289643775、1277146002,单位是纳秒。

# 2. GUAIK-ORG/go-snowflake {#_2-guaik-org-go-snowflake}

使用方法和性能测试代码如下:

package test

import ( "fmt" "sync" "testing" "time"

"github.com/GUAIK-ORG/go-snowflake/snowflake"
"github.com/golang/glog"

)

/** 测试雪花ID生成库github.com/GUAIK-ORG/go-snowflake/snowflake的并发能力 */ func TestSnowflakeLoad(t *testing.T) { var wg sync.WaitGroup s, err := snowflake.NewSnowflake(int64(0), int64(0)) if err != nil { glog.Error(err) return } var check sync.Map t1 := time.Now() for i := 0; i < 200000; i++ { wg.Add(1) go func() { defer wg.Done() val := s.NextVal() if _, ok := check.Load(val); ok { // id冲突检查 glog.Error(fmt.Errorf("error#unique: val:%v", val)) return } check.Store(val, 0) if val == 0 { glog.Error(fmt.Errorf("error")) return } }() } wg.Wait() elapsed := time.Since(t1) println(int64(elapsed)) }

生成的ID长这样: 158224334375092829,长度为18位的整数。
如上的并发测试函数执行了3次,耗时分别为1124502969、1250495184、1517730019,单位是纳秒。

# 3. 总结 {#_3-总结}

可以看出,如上的2个库的性能接近,1秒多可以生成20万的不重复的整数。
2个库的区别:

  • 生成的整数的位数不同
    bwmarrin/snowflake是19位, 而GUAIK-ORG/go-snowflake是18位。
  • github的star数不同
    bwmarrin/snowflake在github的star数上千,GUAIK-ORG/go-snowflake是国产。

注意:

  1. 在多实例(多个snowflake对象)的并发环境下,请确保每个实例的唯一性,否则生成的ID可能冲突。
    对于bwmarrin/snowflake,需要确保每个snowflake对象的Node number的唯一性。
    对于GUAIK-ORG/go-snowflake,需要确保每个snowflake对象的datacenterid,workerid的唯一性。
  2. 有很多同学反应,生成的snowflake ID有重复的现象,那么需要从如下几点来分析:
  • 多个服务节点中创建的snowflake对象使用的初始化参数是否是相同的?
  • 进程内部创建的snowflake对象是不是全局的单例对象?
赞(5)
未经允许不得转载:工具盒子 » golang基于雪花算法生成分布式ID