@esteen, nu har jag testat lite.
Synologys egna Video Station (och appen DS Video) fungerar klockrent att streama från en iPad mini via Airplay till en ATV3, både 720p och 1080p MKV's.
Så det fungerar fint att transcoda.
Plex är helt enkelt inte lika optimerat som Synologys egna variant (vilket är naturligt).
Nu testade jag ingen längre tid med Plex, men använde samma MKV-filer både i Synology Video Station och Plex.