Narodil se [[26. leden|26. ledna]] [[1831]] jako druhý syn [[William Annesley (1772–1838)|Williama Annesleye, 3. hraběte Annesley]] a jeho druhé manželky Priscilly Cecilie Moore.
V letech [[1851]]-–[[1853]] sloužil jako profesionální voják ve [[Války Xhosa|Kaffírských válkách]] v [[Jihoafrická republika|Jihoafrické republice]]. V této válce byl zraněn a ve [[Krymská válka|Krymské válce]] roku [[1854]] v [[Bitva na řece Almě|Bitvě na řece Almě]] se mu roztříštila čelist. Roku [[1860]] se stal plukovníkem divize Scots Fusilier Guards. Roku [[1874]] jeho bratr [[William Richard Annesley|William Annesley, 4. hrabě Annesley]] zemřel svobodný a bezdětný a proto Hugh zdědil titul hraběte Annesley. Roku [[1877]] byl zvolen jako zastupitel šlechty.
