51工具盒子
Java学习之路-SQL-用jdbc连接MySql
<p>用jdbc技术实现连接mysql数据库。<br /> SQL/Test1.java</p> <br /> <pre><code>package cn.antraces.SQL; import java.sql.Connection; import java.sql.DriverManager; im...
数据库
mysql主从同步延迟原因
<h2>mysql主从同步延迟原因</h2> <p>导致备库延迟的原因主要有如下几种：</p> <ol> <li>通常备库所在机器的性能要比主库所在的机器性能差，执行备份自然会更慢。</li> <li>备库的读压力大。在备库过多的执行繁重的查询任务。</li> <l...
如何导入超大的sql文件到Mysql
#### 如何从sql文件导入到Mysql {#如何从sql文件导入到Mysql} *** ** * ** *** 你可以使用如下命令将sql导入到Mysql： |-----------|---------------------------------------| | ``` 1 ``` | ``` mysql -u 用户名 -p 数据库名 < 文件.sql `...
MySQL数据库删除重复记录只保留其中一条
<p><strong>查出重复的type</strong></p> <pre><code>SELECT type FROM table GROUP BY type HAVING count(type) > 1; </code></pre> <p><st...
MySQL远程连接之%权限
<p>我们在远程电脑管理数据库时经常遇到这样的问题<br /> <img src="http://static.51tbox.com/static/2024-12-14/col/df4497985bf9b6f9a63f3ad8c2aa6645/a64019e1391846f6a3a4868f96442e07.png.jpg" a...
spark 丢失临时文件问题
spark 丢失临时文件问题 HHH 日志改造问题 背景 目前 HHH 日志初筛程序由于 RPC 处理时间过长，需要优化改造成 SparkStreaming 处理； 同时，HHH 日志解析后续 DP、DK、DEL 表生成同样适用MR 处理，浪费大量资源，可改造合并到 Spark Streaming 中一块处理。但在合并初筛、HHH 日志解析、DP、DK、DEL 时，碰到...
如何在PySpark中将DataFrame进行转换？
英文: How to transform in DataFrame in PySpark? 问题 {#heading} ============= 以下是翻译好的部分： 我在 Py Spark 中有一个数据框，其中包含列：id、name、value。 列名应为每个id取值`A、B、C`。value列包含数值。 样本数据框: dat...
在Pyspark中，在数据框中添加带有时间间隔的新时间戳列。
英文: Add new timestamp column with interval in dataframe in pyspark 问题 {#heading} ============= 我正在使用PySpark，并且有一个Spark数据框。我想要添加一个新列"timestamp interval"，间隔为15分钟。请问有人可以帮忙吗？ 我的数...
如何使用Pyspark获取跨多个文件排序的Parquet行组统计信息？
英文: How to get Parquet row groups stats sorted across multiple files with Pyspark? 问题 {#heading} ============= 你可以尝试使用`repartition`方法来改变数据分区的分布，从而达到你想要的效果。例如： df = df.repartition(2...
如何创建一个返回元组或同时更新两列的Spark UDF？
英文: How to create a Spark UDF that returns a Tuple or updates two columns at the same time? 问题 {#heading} ============= Here's the modified code with the necessary changes to fix th...
