wget다른 자동 방법을 사용하여 파일 (텍스트 파일에 나열된)을 어떻게 다운로드 할 수 있습니까?
샘플 파일 목록 :
www.example.com/1.pdf
www.example.com/2.pdf
www.example.com/3.pdf
답변
wget에는 이것을위한 내장 플래그가 wget -i your_list
있습니다 : 당신은 이런 종류의 것을 읽을 수 있습니다.man wget
답변
그것들과 병행하십시오
cat urlfile | parallel --gnu "wget {}"
기본적으로 코어 수만큼 프로세스를 실행합니다. 병렬 후에 “-j 20″을 추가하여 프로세스를 신속하게 풀다운하려면 10 배 더 늘릴 수 있습니다.
답변
xargs -i wget 'http://{}' < your_list
답변
parallel입력 파일을 소스로 사용 하는 내장 플래그 --arg-file( -a)가 있으므로 피할 수 있습니다 cat |. 당신이 사용할 수있는
parallel --gnu -a urlfile wget
아니면 간단히 parallel --gnu wget < urlfile
답변
awk '{print "http://" $0;}' list.txt | xargs -l1 wget
여기서 list.txt는 목록 파일입니다.
답변
Florian Diesch의 답변을 보았습니다.
bqc명령에 매개 변수 를 포함시켜 작동하게했습니다 .
xargs -i wget -bqc 'http://{}' < download.txt
모든 다운로드는 백그라운드에서 병렬로 시작되었습니다.
-b: 배경. 시작 직후 배경으로 이동-q: 조용합니다. wget 출력 끄기-c: 계속하다. 부분적으로 다운로드 된 파일 받기
답변
링크 파일 links.txt
모든 링크 파일을 다운로드하는 명령
cat links.txt | wget -i