unix – 来自stdin的wget或curl
发布时间：2020-12-15 19:03:24 所属栏目：安全 来源：网络整理
导读：我想在从stdin提供URL时下载网页.基本上一个进程连续生成stdout / file的URL,我想将它们管道输出到wget或curl. (如果您愿意,可以将其视为简单的网络爬虫). 这似乎工作正常： tail 1.log | wget -i - -O - -q 但是当我使用’tail -f’并且它不再起作用时(缓冲
|
我想在从stdin提供URL时下载网页.基本上一个进程连续生成stdout / file的URL,我想将它们管道输出到wget或curl. (如果您愿意,可以将其视为简单的网络爬虫).
这似乎工作正常： tail 1.log | wget -i - -O - -q 但是当我使用’tail -f’并且它不再起作用时(缓冲或wget正在等待EOF？)： tail -f 1.log | wget -i - -O - -q 任何人都可以使用wget,curl或任何其他标准Unix工具提供解决方案吗？理想情况下,我不希望在循环中重新启动wget,只是让它在运行时继续下载URL.
您需要使用的是xargs.例如.
tail -f 1.log | xargs -n1 wget -O - -q （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |