FTP下载 SHELL脚本：如何定时批量下载文件及使用方法

FTP下载 | SHELL脚本：如何定时批量下载文件及使用方法

2025年8月最新动态：许多企业仍在广泛使用FTP协议进行文件传输，尤其是在自动化任务中，尽管云存储服务日益普及，但FTP因其简单、稳定且兼容性强的特点，依然是批量文件下载的首选方案之一，如果你需要定时从FTP服务器拉取文件，用SHELL脚本实现自动化是个高效的选择。

FTP下载基础

FTP（文件传输协议）是一种标准的网络协议，用于在客户端和服务器之间传输文件，在Linux环境下，我们可以使用命令行工具ftp或更安全的sftp、lftp等来实现文件下载。

安装FTP客户端

大多数Linux系统默认安装了ftp工具，如果没有，可以通过以下命令安装：

sudo apt-get install ftp  # Debian/Ubuntu
sudo yum install ftp      # CentOS/RHEL

基本FTP下载命令

手动登录FTP并下载文件的步骤如下：

ftp your-ftp-server.com
# 输入用户名和密码
ftp> cd /remote/directory  # 进入远程目录
ftp> lcd /local/directory  # 设置本地存储目录
ftp> mget *.txt           # 批量下载所有txt文件
ftp> bye                  # 退出

但手动操作效率低，尤其是需要定时批量下载时，我们可以用SHELL脚本自动化完成。

SHELL脚本定时批量下载

使用wget或curl进行FTP下载

wget和curl都支持FTP协议，适合在脚本中使用：

wget --ftp-user=USERNAME --ftp-password=PASSWORD ftp://your-ftp-server.com/path/to/file.txt

或者使用curl：

curl -u USERNAME:PASSWORD -O ftp://your-ftp-server.com/path/to/file.txt

编写批量下载脚本

假设我们需要每天凌晨3点从FTP服务器下载所有.csv文件，可以编写如下脚本：

#!/bin/bash
# 配置FTP信息
FTP_SERVER="your-ftp-server.com"
FTP_USER="username"
FTP_PASS="password"
REMOTE_DIR="/remote/files"
LOCAL_DIR="/local/downloads"
# 进入本地目录
cd "$LOCAL_DIR" || exit
# 使用wget递归下载所有CSV文件
wget -r -nH --cut-dirs=1 --no-parent --ftp-user="$FTP_USER" --ftp-password="$FTP_PASS" "ftp://$FTP_SERVER$REMOTE_DIR/*.csv"
# 可选：下载完成后发送通知
echo "FTP文件下载完成，时间：$(date)" | mail -s "FTP下载报告" your-email@example.com

设置定时任务（Cron Job）

要让脚本定时执行，可以使用crontab：

crontab -e

在打开的编辑器中添加以下行，表示每天凌晨3点执行脚本：

0 3 * * * /path/to/your/ftp-download-script.sh

保存后，定时任务就会生效。

进阶优化

使用lftp提高可靠性

lftp比wget更适合复杂的FTP操作，支持断点续传和并行下载：

#!/bin/bash
lftp -u $FTP_USER,$FTP_PASS $FTP_SERVER <<EOF
mirror --only-newer --verbose $REMOTE_DIR $LOCAL_DIR
quit
EOF

日志记录

为了排查问题，可以在脚本中添加日志记录：

LOG_FILE="/var/log/ftp_download.log"
echo "[$(date)] 开始下载FTP文件..." >> "$LOG_FILE"
wget ... >> "$LOG_FILE" 2>&1
echo "[$(date)] 下载完成" >> "$LOG_FILE"

安全存储密码

直接在脚本中写密码不安全，可以使用~/.netrc文件存储FTP凭据：

machine your-ftp-server.com
login username
password yourpassword

然后设置权限：

chmod 600 ~/.netrc

这样脚本中就不需要明文密码了。

常见问题

1. 连接超时：检查防火墙是否允许FTP端口（默认21），或尝试使用被动模式（-P选项）。
2. 权限错误：确保本地目录可写，远程目录可读。
3. 文件覆盖问题：使用--no-clobber选项避免重复下载同名文件。

通过SHELL脚本结合wget、lftp等工具，我们可以轻松实现FTP文件的定时批量下载，大幅提升效率，如果你的任务涉及大量文件或需要更稳定的传输，建议使用lftp或rsync（支持SSH/FTP）。

如果你有更复杂的需求，比如增量同步或加密传输，可以考虑结合rsync或SFTP,但基本的FTP脚本已经能满足大多数自动化下载需求。