lftp로 url 혹은 ftp에 있는 파일 일괄 다운 (maven remote repository)

 

원격 maven repository에서 파일들을 전체 다운로드 받을 일이 생겼습니다. 

내부 nexus 등의 repository에 일괄 업로드해서 내부망에서 사용하기 위해서인데요. 

 

아래 이미지와 같은 원격 maven repository에 있는 전체 폴더, 파일을 일괄 다운로드 하는 방법을 알아 보겠습니다. 

 

리눅스에서 lftp 명령어를 사용해서 일괄 다운로드하겠습니다. lftp 관련된 명령어나 사용법은 많으니 검색해 보시고요. 

먼저, 리눅스에서 lftp를 설치합니다.  

 

centos인 경우는...  아래 명령어를 통해 install 합니다.   우분투나 다른 리눅스 관련 명령어로 install하시면 됩니다. 

$ sudo yum install lftp 

 

install이 되었으면 url의 경로에서 전체를 다운로드 하고자 하는 폴더를 생성 후 이동합니다. 

mkdir linkedin 

cd linkedin 

 

폴더 이동 후 lftp 명령어를 통해 url에 접속합니다. 

lftp https://packages.confluent.io/maven  

 

정상 접속이 되시면 아래와 같은 메시지가 로딩 됩니다. 

 

정상 접속후에 아래의 명령어를 순차적으로 작성하시면 centos의 생성한 폴더로 다운로드가 됩니다. 

파일을 전체 받아오려니 시간이 좀 걸리겠죠? 

 

set ftp:ssl-allow false
set ftp:passive-mode off
set ssl:verify-certificate no

mirror

 

아래 명령어를 사용하시면 병렬 처리로 속도가 조금 더 빠를 수 있습니다. 

mirror -c --parallel=10

 

구글링을 좀 하다가 찾아낸 방법인데요. 

필요하신 분은 이 방법을 통해 구글링하는 시간을 조금 줄였으면 좋겠습니다. 

 

 

참고 사이트 : https://serverok.in/download-all-files-from-ftp-server-using-lftp