2024-12-14 厉飞雨 阅读(16) 评论(0) 赞(0)

用jdbc技术实现连接mysql数据库。 SQL/Test1.java <br /> package cn.antraces.SQL; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; `...

2024-12-14 厉飞雨 阅读(15) 评论(0) 赞(0)

mysql主从同步延迟原因 ------------- 导致备库延迟的原因主要有如下几种： 1. 通常备库所在机器的性能要比主库所在的机器性能差，执行备份自然会更慢。 2. 备库的读压力大。在备库过多的执行繁重的查询任务。 3. 大事务。因为主库上必须等事务执行完成才会写入 binlog，再传给备库。一次性地用 delete 语句删除太多数据、表 DDL都可能造成延迟。 4...

2024-12-14 厉飞雨 阅读(18) 评论(0) 赞(0)

**查出重复的type** SELECT type FROM table GROUP BY type HAVING count(type) > 1; **查出重复的type数据中最小的id** SELECT min(id) FROM table GROUP BY type HAVING count(type) > 1; **查出重复的type...

2024-12-14 厉飞雨 阅读(13) 评论(0) 赞(0)

我们在远程电脑管理数据库时经常遇到这样的问题  那么本文章给大家来解决一下这个问...

2024-12-14 厉飞雨 阅读(12) 评论(0) 赞(0)

#### 如何从sql文件导入到Mysql {#如何从sql文件导入到Mysql} *** ** * ** *** 你可以使用如下命令将sql导入到Mysql： |-----------|---------------------------------------| | ``` 1 ``` | ``` mysql -u 用户名 -p 数据库名 < 文件.sql `...

2024-12-14 厉飞雨 阅读(14) 评论(0) 赞(1)

spark 丢失临时文件问题 HHH 日志改造问题 背景 目前 HHH 日志初筛程序由于 RPC 处理时间过长，需要优化改造成 SparkStreaming 处理； 同时，HHH 日志解析后续 DP、DK、DEL 表生成同样适用MR 处理，浪费大量资源，可改造合并到 Spark Streaming 中一块处理。但在合并初筛、HHH 日志解析、DP、DK、DEL 时，碰到...

2024-12-14 厉飞雨 阅读(16) 评论(0) 赞(1)

英文: How to transform in DataFrame in PySpark? 问题 {#heading} ============= 以下是翻译好的部分： 我在 Py Spark 中有一个数据框，其中包含列：id、name、value。 列名应为每个id取值`A、B、C`。value列包含数值。 样本数据框: dat...

2024-12-14 厉飞雨 阅读(17) 评论(0) 赞(0)

英文: How to create a Spark UDF that returns a Tuple or updates two columns at the same time? 问题 {#heading} ============= Here's the modified code with the necessary changes to fix th...

2024-12-14 厉飞雨 阅读(16) 评论(0) 赞(1)

英文: Add new timestamp column with interval in dataframe in pyspark 问题 {#heading} ============= 我正在使用PySpark，并且有一个Spark数据框。我想要添加一个新列"timestamp interval"，间隔为15分钟。请问有人可以帮忙吗？ 我的数...

2024-12-14 厉飞雨 阅读(19) 评论(0) 赞(1)

英文: How to get Parquet row groups stats sorted across multiple files with Pyspark? 问题 {#heading} ============= 你可以尝试使用`repartition`方法来改变数据分区的分布，从而达到你想要的效果。例如： df = df.repartition(2...