bash脚本重复数据删除

你第一次这样做：

$wget -N www.example.com/file.txt
[...]
[...] file.txt saved [..size..]

下次会是这样的：

$wget -N www.example.com/file.txt
Server file no newer than local file “file.txt” -- not retrieving.

除非服务器上的文件已更新.

如果您没有压缩文件,这将解决您的问题.
如果你真的需要压缩它,那么我想我会去比较新文件/存档和旧文件的哈希值.在这种情况下重要的是,下载的文件有多大？是否值得压缩它然后检查哈希？是否值得解压缩旧档案并比较哈希值？将旧哈希存储在txt文件中更好吗？所有这些都有覆盖旧文件的优势吗？

你只知道,做一些测试.

因此,如果你采用哈希方式,请考虑sha256和xz(lzma2算法)压缩.
我会做这样的事情(在Bash中)：

newfilesum="$(wget -q www.example.com/file.txt -O- | tee file.txt | sha256sum)"
oldfilesum="$(xzcat file.txt.xz | sha256sum)"
if [[ $newfilesum != $oldfilesum ]]; then
    xz -f file.txt # overwrite with the new compressed data
else
    rm file.txt
fi

那已经完成了;