Sign In
Forgot Password

Don’t have an account? Create One.

NetBackup 8.1.2 / 3.1.2 Hotfix - MSDP post-upgrade performance issues (Etrack 3956103)

HotFix Critical

Abstract

Resolves MSDP performance issues seen after an upgrade

Description

Problem

 

The fixes included in this MSDP EEB HotFix bundle include:

 

ET 3956762: Data conversion is stalled at 75%, unable to read containers after an Appliance RAID controller failure

ET 3957638: If EEB v16-v17 of ET3935219 or v14-v16 of ET3942191 is applied, rolling conversion of BlowFish encrypted data may have 
data corruption

ET 3959119: Performance issue with optimized duplication between two 5340 appliances

ET 3959807: Some vmware backup policies are failing with status 87 due to missing containers

ET 3963494: Compaction log has lots of critical ERR "-1: _storeMarkSOCacheForCheck: can't find SO xx of DO xx in container 
xx, this should be a data loss" after upgrade to 3.1.2

ET 3963749: Livemount is disappeared after delete instant access VM from web UI, but the VM is still shown in ESXi with inaccessible state

ET 3968239: Windows MSDP server consuming a lot more memory after upgrade from 7.7.3 to 8.1.2

ET 3969052: During Appliance HA cluster media server fail over the 
plug registration configuration file is deleted

ET 3972869: MSDP Startup Takes over 30 Minutes at 400TB, planned 500TB+ Expansion would put startup time past SLA

ET 3974756: Backups run slow to MSDP. Intermittently delays between 4-15 minutes starting to perform SQL transaction log backups but when data transfer starts the backup complete successful with about 40 seconds.

ET 3983507: Incorrect conversion progress, 99% is shown though there are large percentage of data containers not converted, or the progress is always 0 before finished Optimization of cache loading and fpmap logs.

ET 3959119: Performance issue with optmised duplication between two 5340 appliances

ET 3963494: Compaction log has lots of critical ERR '-1: _storeMarkSOCacheForCheck:
can't find SO xx of DO xx in container xx, this should be a data loss' after upgrade to 3.1.2
ET 3963749: Livemount is disappeared after delete instant access VM from web UI, 
but the VM is still shown in ESXi with inaccessible state

ET 3963253: limit image id length as 64 and share protect version conversion from v1 to v2

ET 3968239: Windows MSDP server consuming a lot more memory after upgrade from 7.7.3 to 8.1.2

ET 3969052: During Appliance HA cluster media server fail over the plug registration configuration file is deleted

ET 3972869: MSDP Startup Takes over 30 Minutes at 400TB, planned 500TB+ Expansion would put startup time past SLA

ET 3974756: Backups run slow to MSDP. Intermittently delays between 4-15 minutes starting to perform SQL transaction log backups but when data transfer starts the backup complete successful with about 40 seconds

ET 3983507: Incorrect conversion progress, 99% is shown though there are large percentage of data containers not converted, or the progress is always 0 before finished

ET 3975728: AIR replication delays

ET 3985131: Support stop crc check in fast modeIncident

ET 3988623: fix filedel use MD5 option to deRefPO

ET 3995900: fix data conversion hang for et3995900

ET 3972630: MSDP Startup Takes over 30 Minutes at 400TB, planned 500TB+ Expansion would put startup time past SLA

ET 3973752: After upgrade to 3.1.2 diskpool is down (spoold.log shows errors regarding unknown certificate)

ET 3981843: Vpfs core dumped on a media server

ET 3983210: MSDP spoold deamon fails to start on Access 3340 with 'Too many open files'

ET 3982851: Customer getting unauthorized messages when running nbauditreport

ET  3983621: Status 83 for NetBackup Client side deduplication after upgrade to 8.1.2

ET 3988610: Defect in UniversalShare. Solaris 11 Client ,setuid is failing. uid sets to 4294967295.

ET 3986769: Wide open access shared memory file created by 8.1.2 MSDP media server

ET 3993653: don't check container files existence if MSDP is running on top of esfs 2.  avoid __ConnRun() is belong blocked by CRQP

ET 4000347: Poor deduplication rate during NDMP backup with Dell Unity 300 storage to NBU Appliance 5240

ET 4008599: Not use the MD5 fingerprint in case of unexpected reuse flag change

ET 4008750: Make filedel work for both MD5 and SHA2
ET 4010929: Fix client side CRL issue
Supporting MSSQL compression format dump file
Hide SO key in dcscan output
Spoold is waiting for keys when the kms customer key was not available to avoid marking the data (SOs) to corrupt.
ET 4020796: Potential data loss found from code inspection
ET 4019232: Allow only 1 spoold instance
ET 4021524: Change VLD policy number from 50 to 300

ET 4006320: Detect and fix corrupted SO keys

ET 4039335: Improve the findkms functionality

 

Version 24 added:

ET 4042607: Universal Shares slow and unresponsive

Read me

Problem

Improve conversion performance optimization by skipping unnecessary container BIN file updates.

 

Solution

 

This EEB should be installed on:

  • MSDP storage servers
  • Load balance media servers
  • NetBackup clients that are configured for client side deduplication

 

This EEB should be installed on MSDP storage servers regardless of it was upgraded, experienced a re-image or was shipped with the 8.1.2 version.

 

Note: If a previous version of the EEB is installed on a system, remove it before applying the newer version.

 

Pre-conversion changes for 8.1+.

 

  • Using FP mapping file during cache loading
  • Raise conversion priority higher than CRC checking

 

Installation Instructions: 

 

Using the NetBackup Emergency Engineering Binary (EEB) installer https://www.veritas.com/docs/100019405

Installing EEBs on a NetBackup 52x0 / 5330 Appliancehttps://www.veritas.com/docs/100023444

How to install client EEB's with VxUpdate https://www.veritas.com/content/support/en_US/doc/125240132-131571482-0/v130876036-131571482
How to install Emergency Engineering Binaries on a VCS clustered NetBackup server https://www.veritas.com/docs/100021995

How to install add-ons or an EEB on NetBackup instances running on Flex 1.3 version https://www.veritas.com/content/support/en_US/doc/130821112-136840843-0/v137506948-136840843

How to install  add-ons or an EEB on NetBackup instances running on the Flex 1.2 version, contact NetBackup Technical Support and reference article  100042366

 

Versions affected

 

  • NetBackup 3.1.2 (8.1.2)

 

Downloads

 

  1. NBAPP_EEB_ET3956103-3.1.2.0-24.x86_64.rpm
  2. NB_8.1.2_ET3956103_24.zip
  3. VRTSflex-nb_EEB_ET3956103-8.1.2-24.x86_64.rpm

 

Recommended service state:

 

  •   Stop all NetBackup services before applying this hotfix.

 

Zip File Package Contents:

 

eebinstaller_3956103_24_AMD64.exe
eebinstaller_3956103_24_hpia11_31
eebinstaller_3956103_24_linuxR_x86_2_6_32
eebinstaller_3956103_24_linuxR_x86
eebinstaller_3956103_24_linuxS_x86_3_0_76
eebinstaller_3956103_24_linuxS_x86
eebinstaller_3956103_24_rs6000_61
eebinstaller_3956103_24_solaris10
eebinstaller_3956103_24_solaris    
eebinstaller_3956103_24_solaris_x86_10_64
eebinstaller_3956103_24_solaris_x86
nbeeb.client_3956103.24_8.1.2_aix_rs6000.sja
nbeeb.client_3956103.24_8.1.2_hpux_ia64.sja
nbeeb.client_3956103.24_8.1.2_redhat_x64.sja
nbeeb.client_3956103.24_8.1.2_solaris_sparc.sja
nbeeb.client_3956103.24_8.1.2_solaris_x64.sja
nbeeb.client_3956103.24_8.1.2_suse_x64.sja
nbeeb.server_3956103.24_8.1.2_redhat_x64.sja
nbeeb.server_3956103.24_8.1.2_solaris_sparc.sja
nbeeb.server_3956103.24_8.1.2_solaris_x64.sja
nbeeb.server_3956103.24_8.1.2_suse_x64.sja
nbeeb_3956103.24_8.1.2_windows_x64.sja

 

Checksums

 

File                                                                           Checksum            Byte count

AMD64/catdbutil.exe                                            3280604708    695296
AMD64/crcontrol.exe                                            278387080    137216
AMD64/dcrA.dll                                                     2270917980    919552
AMD64/dcr.dll                                                        3075850367    949248
AMD64/dcscan.exe                                              982005366    2126336
AMD64/dctA.dll                                                     3053493589    609792
AMD64/dct.dll                                                        2415704539    609792
AMD64/dedupecatutil.exe                                   1734413368    468992
AMD64/filedel.exe                                                 2235129140    23040
AMD64/fileput.exe                                                485893582    37888
AMD64/libstspipd.dll                                            855194387    632832
AMD64/metabA.dll                                               2378966383    203776
AMD64/metab.dll                                                 1450766145    207872
AMD64/mtstrmclA.dll                                          1532144273    1097216
AMD64/mtstrmcl.dll                                             2718350901    1097216
AMD64/mtstrmcoA.dll                                          2288655505    143872
AMD64/mtstrmco.dll                                            576627251    143872
AMD64/mtstrmctl.exe                                           689343923    1198592
AMD64/mtstrmd.exe                                             2631003593    1635840
AMD64/pdvfs.dll                                                    572333334    467968
AMD64/refdbutil.exe                                             1359017371    2092544
AMD64/rep.dll                                                         3989205707    253440
AMD64/spad.exe                                                    4045481710    1432576
AMD64/spoold.exe                                                313438727    2062336
AMD64/stconv.exe                                                1156785239    2612736
hpia11.31/libcr.so                                                  726210240    4351448
hpia11.31/libdct.so                                               1845293052    2667568
hpia11.31/libmetab.so                                         1124873318    706264
hpia11.31/libmtstrmcl.so                                    1256734925    71608
hpia11.31/libpdvfs.so                                            356584016    2654680
hpia11.31/librep.so                                                2539298059    1388424
hpia11.31/libstspipd.so                                        2730379053    2482352
hpia11.31/pdregister                                            1065295656    2298200
linuxR_x86_2.6.32/catdbutil                                2914240917    1285565
linuxR_x86_2.6.32/crcontrol                                3881864298    285891
linuxR_x86_2.6.32/dcscan                                    554310591    3147971
linuxR_x86_2.6.32/dedupecatutil                        2119723461    711757
linuxR_x86_2.6.32/filedel                                     1533152174    35968
linuxR_x86_2.6.32/fileput                                     3527832228    56434
linuxR_x86_2.6.32/keydictutil                              855233337    313398
linuxR_x86_2.6.32/libcr.so                                    677569929    2021795
linuxR_x86_2.6.32/libdct.so                                  2376467263    1335430
linuxR_x86_2.6.32/libmetab.so                            2237562348    393781
linuxR_x86_2.6.32/libmtstrmcl.so                       2189997157    799477
linuxR_x86_2.6.32/libmtstrmco.so                      3304124427    249537
linuxR_x86_2.6.32/libpdvfs.so                              275806929    734321
linuxR_x86_2.6.32/librep.so                                   1321329240    361423
linuxR_x86_2.6.32/libspapodb.so                         393446974    480486
linuxR_x86_2.6.32/libstspipd.so                           2217488825    1258910
linuxR_x86_2.6.32/libvfs.so                                   3535847297    2702190
linuxR_x86_2.6.32/mtstrmctl                                 2515037521    587652
linuxR_x86_2.6.32/mtstrmd                                   3454969245    1552646
linuxR_x86_2.6.32/pdregister                                 3607048799    496928
linuxR_x86_2.6.32/refdbutil                                     974291817    3115985
linuxR_x86_2.6.32/ShareCommands.so                302758532    2281151
linuxR_x86_2.6.32/_Snapshot.so                            1519628880    260368
linuxR_x86_2.6.32/spad                                           1665687076    1732737
linuxR_x86_2.6.32/spoold                                       1800068042    3060998
linuxR_x86_2.6.32/stconv                                        3601892970    4230097
linuxR_x86_2.6.32/_venv.so                                    1852514193    3342420
linuxR_x86_2.6.32/vpfsadm                                    4256174316    928816
linuxR_x86_2.6.32/vpfsd                                           3251725843    977130
linuxR_x86/catdbutil                                                  2914240917    1285565
linuxR_x86/crcontrol                                                   3881864298    285891
linuxR_x86/dcscan                                                     554310591    3147971
linuxR_x86/dedupecatutil                                           2119723461    711757
linuxR_x86/filedel                                                        1533152174    35968
linuxR_x86/fileput                                                       3527832228    56434
linuxR_x86/keydictutil                                                 855233337    313398
linuxR_x86/libcr.so                                                      677569929    2021795
linuxR_x86/libdct.so                                                    2376467263    1335430
linuxR_x86/libmetab.so                                               2237562348    393781
linuxR_x86/libmtstrmcl.so                                         2189997157    799477
linuxR_x86/libmtstrmco.so                                       3304124427    249537
linuxR_x86/libpdvfs.so                                               275806929    734321
linuxR_x86/librep.so                                                   1321329240    361423
linuxR_x86/libspapodb.so                                         393446974    480486
linuxR_x86/libstspipd.so                                             2217488825    1258910
linuxR_x86/libvfs.so                                                    3535847297    2702190
linuxR_x86/mtstrmctl                                                  2515037521    587652
linuxR_x86/mtstrmd                                                    3454969245    1552646
linuxR_x86/pdregister                                                  3607048799    496928
linuxR_x86/refdbutil                                                     974291817    3115985
linuxR_x86/ShareCommands.so                                 302758532    2281151
linuxR_x86/_Snapshot.so                                            1519628880    260368
linuxR_x86/spad                                                           1665687076    1732737
linuxR_x86/spoold                                                       1800068042    3060998
linuxR_x86/stconv                                                        3601892970    4230097
linuxR_x86/_venv.so                                                    1852514193    3342420
linuxR_x86/vpfsadm                                                    4256174316    928816
linuxR_x86/vpfsd                                                          3251725843    977130
linuxS_x86_3.0.76/catdbutil                                        2505848297    947577
linuxS_x86_3.0.76/crcontrol                                       1419642574    240319
linuxS_x86_3.0.76/dcscan                                           2982880009    2565655
linuxS_x86_3.0.76/dedupecatutil                                 4146221338    564056
linuxS_x86_3.0.76/filedel                                               3664949820    31771
linuxS_x86_3.0.76/fileput                                               2133059119    51478
linuxS_x86_3.0.76/keydictutil                                        804722743    240676
linuxS_x86_3.0.76/libcr.so                                             679351969    1316946
linuxS_x86_3.0.76/libdct.so                                            2023886634    864963
linuxS_x86_3.0.76/libmetab.so                                      804594481    272574
linuxS_x86_3.0.76/libmtstrmcl.so                                 1575181583    566742
linuxS_x86_3.0.76/libmtstrmco.so                                2819784980    207902
linuxS_x86_3.0.76/libpdvfs.so                                       1471867413    636343
linuxS_x86_3.0.76/librep.so                                           4030259929    291667
linuxS_x86_3.0.76/libspapodb.so                                  636512501    336397
linuxS_x86_3.0.76/libstspipd.so                                    1323956418    832113
linuxS_x86_3.0.76/mtstrmctl                                          166376948    504225
linuxS_x86_3.0.76/mtstrmd                                            2258010800    1133362
linuxS_x86_3.0.76/pdregister                                         112579628    342266
linuxS_x86_3.0.76/refdbutil                                             4266070779    2539628
linuxS_x86_3.0.76/spad                                                   3435508831    1559419
linuxS_x86_3.0.76/spoold                                               670346913    2503985
linuxS_x86_3.0.76/stconv                                               1901270583    3121635
linuxS_x86/catdbutil                                                         2505848297    947577
linuxS_x86/crcontrol                                                        1419642574    240319
linuxS_x86/dcscan                                                           2982880009    2565655
linuxS_x86/dedupecatutil                                                4146221338    564056
linuxS_x86/filedel                                                              3664949820    31771
linuxS_x86/fileput                                                             2133059119    51478
linuxS_x86/keydictutil                                                      804722743    240676
linuxS_x86/libcr.so                                                           679351969    1316946
linuxS_x86/libdct.so                                                        2023886634    864963
linuxS_x86/libmetab.so                                                   804594481    272574
linuxS_x86/libmtstrmcl.so                                               1575181583    566742
linuxS_x86/libmtstrmco.so                                               2819784980    207902
linuxS_x86/libpdvfs.so                                                     1471867413    636343
linuxS_x86/librep.so                                                          4030259929    291667
linuxS_x86/libspapodb.so                                                636512501    336397
linuxS_x86/libstspipd.so                                                  1323956418    832113
linuxS_x86/mtstrmctl                                                       166376948    504225
linuxS_x86/mtstrmd                                                         2258010800    1133362
linuxS_x86/pdregister                                                       112579628    342266
linuxS_x86/refdbutil                                                          4266070779    2539628
linuxS_x86/spad                                                                3435508831    1559419
linuxS_x86/spoold                                                             670346913    2503985
linuxS_x86/stconv                                                            1901270583    3121635
rs6000_61/libcr.so                                                           1008101556    2226514
rs6000_61/libdct.so                                                         837894782    1327112
rs6000_61/libmetab.so                                                   1392498024    388385
rs6000_61/libmtstrmcl.so                                               602105615    14061
rs6000_61/libpdvfs.so                                                     1192645554    921016
rs6000_61/librep.so                                                         3820843341    490649
rs6000_61/libstspipd.so                                                   3001623105    1292059
rs6000_61/pdregister                                                       65383601    663227
solaris10/catdbutil                                                             3976178490    1214152
solaris10/crcontrol                                                            1272720942    296824
solaris10/dcscan                                                                3832749899    3068056
solaris10/dedupecatutil                                                    2409280912    759072
solaris10/filedel                                                                  2742306819    28656
solaris10/fileput                                                                  316441812    52272
solaris10/keydictutil                                                          4272897482    356736
solaris10/libcr.so                                                                3289292857    1369328
solaris10/libdct.so                                                              2387436444    870136
solaris10/libmetab.so                                                        799786258    251912
solaris10/libmtstrmcl.so                                                   2952669335    620816
solaris10/libmtstrmco.so                                                  3663653729    217784
solaris10/libpdvfs.so                                                         4029957465    615608
solaris10/librep.so                                                              373080936    339104
solaris10/libspapodb.so                                                     4191608730    405464
solaris10/libstspipd.so                                                      1023540542    927592
solaris10/mtstrmctl                                                            3676577596    594624
solaris10/mtstrmd                                                              1751000191    1492984
solaris10/pdregister                                                            586925993    481032
solaris10/refdbutil                                                                675449985    3034856
solaris10/spad                                                                    1827282311    1955480
solaris10/spoold                                                                573514537    2986592
solaris10/stconv                                                                324934775    3847552
solaris/catdbutil                                                                3976178490    1214152
solaris/crcontrol                                                                1272720942    296824
solaris/dcscan                                                                    3832749899    3068056
solaris/dedupecatutil                                                        2409280912    759072
solaris/filedel                                                                    2742306819    28656
solaris/fileput                                                                    316441812    52272
solaris/keydictutil                                                             4272897482    356736
solaris/libcr.so                                                                  3289292857    1369328
solaris/libdct.so                                                                2387436444    870136
solaris/libmetab.so                                                          799786258    251912
solaris/libmtstrmcl.so                                                      2952669335    620816
solaris/libmtstrmco.so                                                     3663653729    217784
solaris/libpdvfs.so                                                             4029957465    615608
solaris/librep.so                                                                 373080936    339104
solaris/libspapodb.so                                                      4191608730    405464
solaris/libstspipd.so                                                        1023540542    927592
solaris/mtstrmctl                                                               3676577596    594624
solaris/mtstrmd                                                                1751000191    1492984
solaris/pdregister                                                              586925993    481032
solaris/refdbutil                                                                675449985    3034856
solaris/spad                                                                      1827282311    1955480
solaris/spoold                                                                   573514537    2986592
solaris/stconv                                                                    324934775    3847552
solaris_x86_10_64/catdbutil                                           978026886    1150016
solaris_x86_10_64/crcontrol                                          311896270    304168
solaris_x86_10_64/dcscan                                               2099735505    2914944
solaris_x86_10_64/dedupecatutil                                  3745308823    734208
solaris_x86_10_64/filedel                                              3493155247    27008
solaris_x86_10_64/fileput                                               1289272142    46280
solaris_x86_10_64/keydictutil                                        2146329998    324680
solaris_x86_10_64/libcr.so                                              232528988    1426816
solaris_x86_10_64/libdct.so                                           3408964818    930064
solaris_x86_10_64/libmetab.so                                   579687746    286096
solaris_x86_10_64/libmtstrmcl.so                             1065304731    565664
solaris_x86_10_64/libmtstrmco.so                              2059742265    197816
solaris_x86_10_64/libpdvfs.so                                     758993461    717232
solaris_x86_10_64/librep.so                                          637661616    327456
solaris_x86_10_64/libspapodb.so                                  1634625483    377520
solaris_x86_10_64/libstspipd.so                                   413724386    990928
solaris_x86_10_64/mtstrmctl                                         2745528263    544688
solaris_x86_10_64/mtstrmd                                           3607035307    1337032
solaris_x86_10_64/pdregister                                        3094536511    447072
solaris_x86_10_64/refdbutil                                            3874292898    2885200
solaris_x86_10_64/spad                                                   3037467202    1855304
solaris_x86_10_64/spoold                                               3008149044    2839344
solaris_x86_10_64/stconv                                               87295264    3623504
solaris_x86/catdbutil                                                        978026886    1150016
solaris_x86/crcontrol                                                        311896270    304168
solaris_x86/dcscan                                                           2099735505    2914944
solaris_x86/dedupecatutil                                               3745308823    734208
solaris_x86/filedel                                                             3493155247    27008
solaris_x86/fileput                                                            1289272142    46280
solaris_x86/keydictutil                                                     2146329998    324680
solaris_x86/libcr.so                                                           232528988    1426816
solaris_x86/libdct.so                                                        3408964818    930064
solaris_x86/libmetab.so                                                   579687746    286096
solaris_x86/libmtstrmcl.so                                               1065304731    565664
solaris_x86/libmtstrmco.so                                               2059742265    197816
solaris_x86/libpdvfs.so                                                     758993461    717232
solaris_x86/librep.so                                                          637661616    327456
solaris_x86/libspapodb.so                                               1634625483    377520
solaris_x86/libstspipd.so                                                  413724386    990928
solaris_x86/mtstrmctl                                                        2745528263    544688
solaris_x86/mtstrmd                                                          3607035307    1337032
solaris_x86/pdregister                                                       3094536511    447072
solaris_x86/refdbutil                                                          3874292898    2885200
solaris_x86/spad                                                                3037467202    1855304
solaris_x86/spoold                                                             3008149044    2839344
solaris_x86/stconv                                                              87295264    3623504


Recommended service state:

Stop all NetBackup services before applying this hotfix.

Update files

File name Description Version Platform Size

Applies to the following product releases

Knowledge base

7
2019-11-20

Problem After upgrade to NetBackup 8.1/8.1.1/8.1.2 MSDP workloads are very slow. Error Message N/A Cause Starting with NetBackup 8.1 there is a fingerprint hash conversion from MD5 to SHA2 for to improve NetBackup security. The overhead of this c...