Ah, tänkte inte på att ~/Library är osynlig. Kör den alltid synlig på mitt eget system...
Jag tror det lättaste är att tillfälligt göra alla filer synliga med terminalkommandot
defaults write com.apple.finder AppleShowAllFiles TRUE;killall Finder
Då funkar det att navigera fram alla filer via TimeMachine gränssnittet. När du är klar kör du kommandot igen men ändrar TRUE till FALSE
How to access hidden files to restore in Time Machine
Jag testade, och det funkade fint att återställa ett annat användarkontos biblioteksmapp från TM till en extern HD och komma åt alla filer. Däremot, när jag tidigare återställde hela den överliggande användarmappen utan att köra AppleShowAllFiles TRUE-kommandot före så följde märkligt nog inte den osynliga biblioteksmappen med, så det alternativet hade inte funkat för dig, däremot borde ju Flyttassistenten funka.