2024-12-14 厉飞雨 阅读(347) 评论(0) 赞(19)

英文: How to get Parquet row groups stats sorted across multiple files with Pyspark? 问题 {#heading} ============= 你可以尝试使用`repartition`方法来改变数据分区的分布，从而达到你想要的效果。例如： df = df.repartition(2...

2024-12-14 厉飞雨 阅读(533) 评论(0) 赞(16)

英文: Write to Iceberg/Glue table from local PySpark session 问题 {#heading} ============= 我想要能够从我的本地机器使用Python操作托管在AWS Glue上的Iceberg表（读/写）。 我已经完成了以下工作： * 创建了一个Iceberg表并在AWS Glue上注册了它 * 使...

2024-12-14 厉飞雨 阅读(464) 评论(0) 赞(23)

英文: How to create a Spark UDF that returns a Tuple or updates two columns at the same time? 问题 {#heading} ============= Here's the modified code with the necessary changes to fix th...

2024-12-14 厉飞雨 阅读(440) 评论(0) 赞(15)

英文: Spark driver stopped unexpectedly (Databricks) 问题 {#heading} ============= 我在Azure Databricks中有一个Python笔记本，其中包含一个包含137次迭代的for循环。对于每次迭代，它使用`dbutils.notebook.run`调用另一个Scala笔记本。Scala笔记...

2024-12-14 厉飞雨 阅读(396) 评论(0) 赞(20)

<p>英文:</p> <p>PySpark using OR operator in filter</p> <h1>问题 {#heading}</h1> <p>这个过滤器有效：</p> <p><code>raw_df_2 = raw_df_1.filter(a...

2024-12-14 厉飞雨 阅读(368) 评论(0) 赞(13)

<p>英文:</p> <p>How does reduceByKey() in pyspark knows which column is key and which one is value?</p> <h1>问题 {#heading}</h1> <p>我是一个对Pyspark新手，正在阅读&...

2024-12-14 厉飞雨 阅读(1844) 评论(0) 赞(15)

<blockquote> <p>死非生的对立面，而作为生的一部分永存。------《挪威的森林》</p> </blockquote> <p>✨? 2000 多种方法为您的产品增添设计风格、用户满意度和奇思妙想。</p> <p><a href="https://github.com...

2024-12-14 厉飞雨 阅读(453) 评论(0) 赞(15)

<p>为了防止不必要的报错，部署之前请务必从开头开始看，切勿跳过其中一个部署模式，因为每一个部署模式都是从上一个模式的配置上进行的</p> <h2>环境说明 {#环境说明}</h2> <ul> <li><code>hadoop-2.7.5</code></li> <...

2024-12-13 厉飞雨 阅读(590) 评论(0) 赞(13)

<p>相信很多使用<a href="https://halo.run/">Halo</a>开源建站工具搭建自己博客的小伙伴，使用<a href="https://github.com/chengzhongxue/halo-theme-hao">Hao主题</a>的时候可能遇到过下...

2024-12-13 厉飞雨 阅读(345) 评论(0) 赞(17)

<h2>资源重定向插件介绍 {#资源重定向插件介绍}</h2> <p>对指定的资源请求进行重定向操作。</p> <p>建站之时设置的文章链接slug形式是 <code>/archives/时间戳</code>，但是后面发现在谷歌/必应的搜索管理后台中，无法根据url判断是哪篇文章，必须点进去链接...