【VMware vCenter】管理平台出现备份作业状态告警，VAMI后台备份任务未能运行，点击手动备份提示FTP位置不可用等问题的处理过程。

547 0 0

作者:网络

VMware vCenter提供了一个备份/还原功能，以便在当vCenter本身出现故障且无法恢复的情况下，使用该功能可以将出故障的vCenter配置文件还原到一个新的vCenter上，这样就无需再重新配置即可立即恢复服务。这个备份文件除了包含配置文件以外，还可以选择备份历史数据，如统计信息、事件和任务等，以便能更完整的恢复到之前的状态。

现在平台出现了严重告警：“备份作用状态”，这是用于监控备份作业状态的警报。环境是vCenter 6.7，下面记录一下故障处理过程。

1.登录VAMI管理后台（https://vCenter IP/FQDN:5480），查看备份情况，发现备份调度任务在当天未能成功运行，之前备份状态是正常的。

2.点击手动备份，直接使用来自备份调度任务的配置信息，输入远端备份服务器的密码，点击确认后出现“FTP位置不可用(FTP location is invalid.)”错误。

3.备份调度任务是每天进行一次备份，使用的备份协议是FTP，这个FTP服务器环境是一台Windows 2008 R2虚拟机。

4.检查FTP服务器状态一切正常，FTP目录访问一切正常（读写/完全控制），vCenter与FTP服务器之间的网络连接正常，端口访问正常。

vmkping xx.xx.xx.xx      //vCenter上检查与FTP服务器网络连接是否正常
nc -nvz xx.xx.xx.xx 21   //vCenter上检查与FTP服务器的21端口是否正常

5.在vCenter上使用tcpdump抓包工具抓一下网卡流量，并导出成.cap文件，以方便在wireshark工具上查看，发现在提交备份任务后，网卡上并没有和FTP服务器通信的流量，根本就没有发起连接，也就是说问题应该在vCenter本身。

6.查看vCenter备份日志，一般是以下几个日志，文件目录在/storage/log/vmware/applmgmt：

backup.log
applmgmt.log
backupScheduler.log
backupSchedulerCron.log
backupRestoreProgress.log

7.通过查看backupScheduler.log日志，可以看到之前调度任务备份失败的原因：“Failed to connect to the remote FTP location.”，连接FTP失败，但是我们测试了FTP服务器端是正常的。

2023-07-06T15:59:03.144 [MainProcess:PID-24791] ERROR: Failed to issue the Schedules.run request. Exception: {data : None, messages : [LocalizableMessage(id='com.vmware.applmgmt.err_fail_conn_remote_loc', args=['FTP'], default_message='Failed to connect to the remote FTP location.')]}
Traceback (most recent call last):
  File "/usr/lib/applmgmt/backup_restore/py/vmware/appliance/backup_restore/Scheduler.py", line 127, in ExecScheduleRun
    status = svc_handle.run(scheduleId, comment='SCHEDULED')
  File "/usr/lib/applmgmt/pyclient/applmgmt_client-1.0-py2.7.egg/com/vmware/appliance/recovery/backup_client.py", line 1134, in run
    'comment': comment,
  File "/usr/lib/vmware-vapi/lib/python/vapi_runtime-2.100.0-py2.py3-none-any.whl/vmware/vapi/bindings/stub.py", line 317, in _invoke
    return self._api_interface.native_invoke(ctx, _method_name, kwargs)
  File "/usr/lib/vmware-vapi/lib/python/vapi_runtime-2.100.0-py2.py3-none-any.whl/vmware/vapi/bindings/stub.py", line 275, in native_invoke
    self._rest_converter_mode)
com.vmware.vapi.std.errors_client.Error: {data : None, messages : [LocalizableMessage(id='com.vmware.applmgmt.err_fail_conn_remote_loc', args=['FTP'], default_message='Failed to connect to the remote FTP location.')]}

8.查看backup.log备份日志以及applmgmt.log管理日志，并没有发现vCenter无法连接FTP的直接原因。

9.通过查阅网上资料，发现有文章说，如果开启了VCSA的网络代理，会出现FTP不可用的情况，但是我这里代理设置并没有开启。

10.经过查阅网上大量资料，判断这个问题应该是由VCSA备份服务自生的原因造成的，如果把这个备份服务重启一下看是否正常，如果不行，那只有重启vCenter。备份服务是受VAMI管的，重启VAMI管理服务也就顺应把备份服务给重启了，这个服务叫VMware Appliance Management Service，对应shell里的服务名字叫applmgmt，重启管理服务不会影响到虚拟机业务运行，如果你出现VAMI无法登录的问题，可能也是该服务造成的。

vCenter shell里运行：
service-control --status              //查看vCenter服务的状态
service-control --restart applmgmt    //重启管理服务

vCenter api命令运行：
service-control --status              //查看vCenter服务的状态
service-control --restart applmgmt    //重启管理服务

11.服务重启后， FTP连接正常，手动备份正常，备份调度任务肯定也没有问题了，管理平台的告警也消失。

12.但是，在发起备份任务窗口里发现有一个问题，在备份设置的数据栏，“统计信息、事件和任务”后面显示的空间为0 MB，看来并没有完全正常。

13.根据之前查看的backup.log日志，发现有以下ERROR信息，经过网上查阅资料后找到了原因，这是由于计算表大小导致的，在进行备份的时候会对行计数执行 SQL 查询，因为默认使用int而不是bigint，这意味着如果行计数高于某个值，数字转换将会失败，最后终止查询，也就为什么统计信息那一栏大小显示为0MB的原因了。

2023-07-27T06:15:12.174 [MainProcess:PID-41265] INFO: Sample table size record: vc|vpx_proc_log|1.90838e+06|224329728|78.7779407957193406
2023-07-27T06:15:12.175 [MainProcess:PID-41265] INFO: Sample table: name="vc.vpx_proc_log", 
Rows count: 1.90838e+06 
size="224329728", 
percent="78.7779407957193406%".
2023-07-27T06:15:12.175 [MainProcess:PID-41265] ERROR: Failed to calculate VCDB size.
Traceback (most recent call last):
  File "/usr/lib/applmgmt/backup_restore/py/vmware/appliance/backup_restore/components/VCDB.py", line 398, in VCDBSize
    original_size = _estimate_size_partial_vcdb(db_name='VCDB')
  File "/usr/lib/applmgmt/backup_restore/py/vmware/appliance/backup_restore/components/VCDB.py", line 301, in _estimate_size_partial_vcdb
    int(reltuples),
ValueError: invalid literal for int() with base 10: '1.90838e+06'
2023-07-27T06:16:35.851 [MainProcess:PID-41268] INFO: Calculate size for components
2023-07-27T06:16:36.6 [MainProcess:PID-41268] INFO: Archive size for component rbd: 1090994

14.针对此问题，可以通过修改配置文件来解决，主要是在reltuples后面增加“::bigint”项，修改方式如下：

cd /usr/lib/applmgmt/backup_restore/py/vmware/appliance/backup_restore/components/      //进入vCenter目录
cp VCDB.py VCDB.py.bak                                                                  //对文件做一个备份
vim VCDB.py                                                                             //修改配置文件

sql = ('SELECT nspname, relname, reltuples AS row_count, ...                            //未修改之前
sql = ('SELECT nspname, relname, reltuples::bigint AS row_count, '...                   //修改之后的

修改后如下图所示：