51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

Python - random 和 numpy.random 线程安全

代码中经常会用到随机的部分,此时需要使用程序自带的伪随机数发生器,本文探讨python随机数发生器的线程安全相关内容。

对比内容 {#对比内容}

  • python 原生 random 库
  • numpy 中 random 包

随机数安全需求 {#随机数安全需求}

  • 我们需要随机数,但是特定条件下需要稳定的随机

  • 这表示我们需要产生固定的随机数,在保证算法或程序正常运行的同时保证结果稳定可复现,对于调试程序是否有必要

  • 安全需求为:在多线程情况下仍然可以保证稳定的伪随机

random {#random}

random 确定随机序列的方法有 seed 和 state 两种

random.seed(n) {#random-seed-n}

可以使得随机数发生器以 $n$ 为种子产生随后的序列

  • 当运行 random.seed() 时表明使用当前系统时间作为随机种子,也就是随机重置随机数发生器

输出

0
0.08855079666960641
1
0.9249561135155114
2
0.847403937717389
3
0.9581127578680636
4
0.3559537092834082

这表明变化的seed条件会产生不同的随机序列

  • 当固定随机种子时

输出

0
0.17621772849037032
1
0.17621772849037032
2
0.17621772849037032
3
0.17621772849037032
4
0.17621772849037032

这表明固定的seed会产生相同的随机序列

random.setstate(state) {#random-setstate-state}

random.setstate 可以将随机数发生状态设置为特定的某个情况

输出

0
0.7362097058247947
1
0.7362097058247947
2
0.7362097058247947
3
0.7362097058247947
4
0.7362097058247947

表明固定的state会产生相同的随机序列

random.seed 线程安全 {#random-seed-线程安全}

我们设计一个稍微复杂一些的多线程随机数发生的情况

程序会使用单线程和多线程的方法产生随机数

输出

-> 第一次运行

############ 单线程 ###########
0 - 0.1878710267871435
1 - 0.1878710267871435
2 - 0.1878710267871435
3 - 0.1878710267871435
4 - 0.1878710267871435
############ 多线程 ###########
3 - 0.07031557615348971
2 - 0.9554680239214713
4 - 0.48806805903541084
1 - 0.4803951046156485
0 - 0.6920567688453093

-> 第二次运行

############ 单线程 ###########
0 - 0.1878710267871435
1 - 0.1878710267871435
2 - 0.1878710267871435
3 - 0.1878710267871435
4 - 0.1878710267871435
############ 多线程 ###########
4 - 0.125491512495977
3 - 0.4406268683247505
1 - 0.9554680239214713
2 - 0.4803951046156485
0 - 0.6920567688453093

-> 第三次运行

############ 单线程 ###########
0 - 0.1878710267871435
1 - 0.1878710267871435
2 - 0.1878710267871435
3 - 0.1878710267871435
4 - 0.1878710267871435
############ 多线程 ###########
4 - 0.19060953756680787
3 - 0.48806805903541084
0 - 0.4803951046156485
1 2 -- 0.74035122442809410.6920567688453093

可以看到多线程会打乱本来稳定的随机数发生器序列,产生不再那么稳定的随机数

random.setstate() 线程安全 {#random-setstate-线程安全}

我们将 random.seed 替换为 random.setstate

输出

############ 单线程 ###########
0 - 0.15376246243379788
1 - 0.15376246243379788
2 - 0.15376246243379788
3 - 0.15376246243379788
4 - 0.15376246243379788
############ 多线程 ###########
0 - 0.37956604279157746
4 - 0.5552055004170326
2 - 0.40568119200883823
3 - 0.09736679342311894
1 - 0.9874404365309796

可以看到多线程输出的还是纷乱的随机数,表明设置状态还是会受到多线程的干扰

得出综合结论: python自带 random 模块线程不安全

numpy.random {#numpy-random}

numpy 也存在 seed 和 state 两种随机数状态设定策略

二者固定时也可以确定随机数发生序列,我们直接进入线程安全实验

numpy.random.seed 线程安全 {#numpy-random-seed-线程安全}

设置和random模块测试相同的程序,仅替换随机数产生器为numpy

输出

numpy 的 seed 也没有抗住多线程测试

numpy.random.set_state(state) 线程安全 {#numpy-random-set-state-state-线程安全}

输出

仍然不是线程安全

问题分析 {#问题分析}

  • 总结下来,random模块和numpy模块的 seed 和 state 系列方法都没有做到线程安全

  • 事实上setstate 一类的方法和 seed 方法原理相同,都是设置随机数发生器的初始状态,问题在于这种设置是全局的

  • 当多线程穿插使用时会打乱这个序列

  • 因此线程安全的随机数发生器必须做到相互隔离

  • 解决问题的终极方案为 numpy.random.RandomState

numpy.random.RandomState {#numpy-random-RandomState}

RandomState方法之所以解决问题,在于它不仅设置了随机数发生器的初始状态,也会生成一个随机数发生器实例,产生一个独立的变量生成随机数

只要不是同一个实例,相互之间就不会产生影响

上代码:

输出

这里输出是乱的,解释一下,这不是我的笔误,是因为随机数完全相同,几个线程的运行时间相同,就会在同一时间向终端输出内容,导致输出有点乱

不过还是可以看出来每个发生器产生的随机数完全相同,证实了 RandomState 的线程安全性

结论 {#结论}

  1. seed , state 一类方法可以确定随机数发生序列,但这种全局配置的随机数确定序列做不到线程安全

  2. 线程安全需要确定序列的同时创建线程内的随机数发生器实例,保证线程之间互不影响,才会产生真正的随机序列

  3. numpy.random.RandomState ------ YYDS

参考资料 {#参考资料}



文章链接:
https://www.zywvvd.com/notes/coding/python/python-random/python-random-seed/

赞(0)
未经允许不得转载:工具盒子 » Python - random 和 numpy.random 线程安全