51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

开源软件

10亿数据如何最快速插入MySQL?

10亿数据如何最快速插入MySQL?

厉飞雨 阅读(85) 评论(0) 赞(3)

最快的速度把10亿条数据导入到数据库,首先需要和面试官明确一下,10亿条数据什么形式存在哪里,每条数据多大,是否有序导入,是否不能重复,数据库是否是MySQL? 假设和面试官明确后,有如下约束 ```bash 10亿条数据,每条数据 1 Kb 数据内容是非结构化的用户访问日志,需要解析后写入到数据库 数据存放在Hdfs 或 S3 分布式文件存储里10亿条数据并不是1个大文件...

MySQL 日常如何查找并删除重复行

MySQL 日常如何查找并删除重复行

厉飞雨 阅读(72) 评论(0) 赞(3)

如何查找重复行 ------- 第一步是定义什么样的行才是重复行。多数情况下很简单:它们某一列具有相同的值。本文采用这一定义,或许你对"重复"的定义比这复杂,你需要对sql做些修改。本文要用到的数据样本: ```sql create table test(id int not null primary key, day date not null); ...

ELKF日志系统收集nginx日志(非SSL非集群)

ELKF日志系统收集nginx日志(非SSL非集群)

厉飞雨 阅读(81) 评论(0) 赞(3)

当前系统版本RockyLinux8.9,配置4核8G,nginx安装参考[wlnmp一键安装包](https://www.wlnmp.com/),自行关闭或配置selinux、firewalld。 日志收集流程:Filebeat将日志数据发送到Logstash,Logstash进行过滤、转换,然后将数据发送到Elasticsearch进行存储。最后,Kibana通过可视化界面...

Google 推出 Debian Linux Terminal App For Android

Google 推出 Debian Linux Terminal App For Android

厉飞雨 阅读(76) 评论(0) 赞(2)

Google 在 Android 平台推出了 Debian Linux 终端 App,这是它致力于将 Android 变成多用途桌面操作系统的努力的一部分。Debian Linux 终端 App 目前只支持运行 Android 15 的 Pixel 设备,未来会在下一代的 Android 16 版本中提供给所有高性能 Android 设备。对于 Pixel 设备,要使用终端 A...

如何将Linux终端录制成SVG动画

如何将Linux终端录制成SVG动画

厉飞雨 阅读(52) 评论(0) 赞(3)

|----|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------...

Debian Linux都已25周年了啊!

Debian Linux都已25周年了啊!

厉飞雨 阅读(72) 评论(0) 赞(3)

|----|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | 导读 | **...

Linux虚拟化库 Libvirt有什么用?

Linux虚拟化库 Libvirt有什么用?

厉飞雨 阅读(72) 评论(0) 赞(3)

Libvirt 库是一种实现 [Linux](https://51tbox.com/ "linux") 虚拟化功能的 Linux® API,它支持各种虚拟机监控程序,包括 Xen 和 KVM,以及 QEMU 和用于其他操作系统的一些虚拟产品。 libvirt 提供一种虚拟机监控程序不可知的 API 来安全管理运行于主机上的来宾操作系统。libvirt 本身...

聊聊:linux的那些常见目录

聊聊:linux的那些常见目录

厉飞雨 阅读(50) 评论(0) 赞(3)

**1. bin目录** binary(二进制的):许多"指令"对应的可"执行程序文件"目录 ![](http://static.51tbox.com/static/2025-03-14/col/149d91cc96869596056d1a1addcc0c21/6f43748071e449dca8270777e9a8570e.jpg...

解析Linux中出现的错误:toomanyopenfiles

解析Linux中出现的错误:toomanyopenfiles

厉飞雨 阅读(38) 评论(0) 赞(3)

这个问题的出现原因是system对程序打开files数量的限制问题。 用 ulimit -a [命令](https://www.linuxcool.com/ "命令")可以查看 ![](http://static.51tbox.com/static/2025-03-14/col/6c3d0021dc54f7381a5d6bd662ccc865/4c6e6...