文章说明：本篇介绍使用Linux的bash命令筛选俩个txt文本文档重复项，如果IP地址很多的情况，可以帮我们快速去重。

1、脚本命令 {#1-脚本命令}

nano compare_ips.sh

#!/bin/bash

file1="/root/google_ip.txt"
file2="/root/chatgpt_ip.txt"


提取每个文件中的前三个字段，然后对它们进行排序并去重
==========================



awk -F'\[./\]' '{print $1"."$2"."$3}' "$file1" \| sort -u \> temp1.txt
awk -F'\[./\]' '{print $1"."$2"."$3}' "$file2" \| sort -u \> temp2.txt


比较两个文件，将共有的内容保存到 common_prefixes.txt
====================================



comm -12 temp1.txt temp2.txt \> common_prefixes.txt


根据共有的内容，从原始文件中找到匹配的数据并保存到 ip.txt 文件中
====================================



grep -F -f common_prefixes.txt "$file1" \> ip.txt


清理临时文件
======


`rm temp1.txt temp2.txt common_prefixes.txt
`

2、创建google_ip.txt {#2-创建google-ip-txt}

nano /root/google_ip.txt

1.0.0.0/24       
1.1.1.0/24       
1.2.3.0/24       
8.7.0.0/16       
8.8.4.0/24       
8.8.8.0/24       
8.8.8.8/32       
8.15.202.0/24    
8.34.208.0/20    
8.35.192.0/20

3、创建chatgpt_ip.txt {#3-创建chatgpt-ip-txt}

nano /root/chatgpt_ip.txt

2.21.89.9/32
2.21.89.11/32
3.88.78.43/32
3.95.117.86/32
3.163.125.4/32
3.163.125.39/32
3.163.125.50/32
3.163.125.117/32
3.163.218.8/32
3.163.218.53/32
3.163.218.101/32
3.163.218.108/32
8.8.8.0/24