pysnowflake 雪花算法-工具盒子

雪花算法是一种分布式 全局唯一ID生成的方法，本文记录相关内容。

简介 {#简介}

Twitter 于 2010 年开源了内部团队在用的一款全局唯一 ID 生成算法 Snowflake，翻译过来叫做雪花算法。Snowflake 不借助数据库，可直接由编程语言生成，它通过巧妙的位设计使得 ID 能够满足递增属性，且生成的 ID 并不是依次连续的。

雪花算法 {#雪花算法}

Snowflake的其目是生成一个64bit的整数。

SnowFlake的优点是：

（1）单机上整体自增，集群上整体自增，整体上按照时间自增排序，并且整个分布式系统内不会产生ID碰撞；

（2）效率较高，经测试，SnowFlake每秒能够产生26万ID左右。

（3）强依赖性，依赖与系统时间的一致性，如果系统时间被回调，或者改变，可能会造成id冲突或者重复。

Github：https://github.com/twitter-archive/snowflake/tree/b3f6a3c6ca8e1b6847baa6ff42bf72201e2c223

实现原理 {#实现原理}

1bit:一般是符号位，不做处理
41bit:用来记录时间戳，这里可以记录69年，如果设置好起始时间比如今年是2018年，那么可以用到2089年，到时候怎么办？要是这个系统能用69年，我相信这个系统早都重构了好多次了。
10bit:10bit用来记录机器ID，总共可以记录1024台机器，一般用前5位代表数据中心，后面5位是某个数据中心的机器ID
12bit:循环位，用来对同一个毫秒之内产生不同的ID，12位可以最多记录4095个，也就是在同一个机器同一毫秒最多记录4095个，多余的需要进行等待下毫秒。
上面只是一个将64bit划分的标准，当然也不一定这么做，可以根据不同业务的具体场景来划分，比如下面给出一个业务场景：

服务目前QPS10万，预计几年之内会发展到百万。
当前机器三地部署，上海，北京，深圳都有。
当前机器10台左右，预计未来会增加至百台。
这个时候我们根据上面的场景可以再次合理的划分62bit,QPS几年之内会发展到百万，那么每毫秒就是千级的请求，目前10台机器那么每台机器承担百级的请求，为了保证扩展，后面的循环位可以限制到1024，也就是$2^{10}$，那么循环位10位就足够了。

时钟回拨 {#时钟回拨}

因为机器的原因会发生时间回拨，我们的雪花算法是强依赖我们的时间的，如果时间发生回拨，有可能会生成重复的ID，在我们上面的nextId中我们用当前时间和上一次的时间进行判断，如果当前时间小于上一次的时间那么肯定是发生了回拨，算法会直接抛出异常.

Python 实现 {#Python-实现}

代码实现一 {#代码实现一}

同文件夹下建立exceptions.py

配置文件中添加,对应的是机器ID和序列号

性能测试

0.31 秒生成一百万条 ID

代码实现二 {#代码实现二}

性能测试

0.28 秒生成一百万条 ID

第三方包使用 {#第三方包使用}

启动

启动pysnowflake ---pysnowflake基于Tornado开发，启动时相当于一个服务

参数说明：可以通过--help查看

---address：本机的IP地址默认localhost
---dc：数据中心唯一标识符默认为0
---worker：工作者唯一标识符默认为0
---log_file_prefix：日志文件所在位置

也可以后台启动，如下：

获取 id

性能测试

0.54秒生成 1000 个雪花 id，好处就是可以保证全局使用同一个 id 源。

知识补充 {#知识补充}

python中为位运算

| 运算符 | 描述 | 实例 | |------|--------------------------------------------------------------------|-----------------| | << | 左移运算符：运算数的各二进位全部左移若干位，由<<右边的数字指定了移动的位数，高位丢弃（前面无效的0），低位补0. | 60 << 2 = 240 | | >> | 右移运算符：把>>左边的的运算数的各二进位全部右移若干位,运算符右边的数字指定了右移的位数。低位丢弃(无效的0)，高位补0. | 60>>2 = 15 | | ^ | 按位异或运算符：当两两对应的二进位相异时，结果取1. | 01^11 = 10 |