Med några få undantag (tänker främst på BOM i Unicode) så går det inte att "kontrollera". Det man kan göra är snarare att anta olika teckenkodningar och se om det ser rimligt ut. Pss kan man göra mer eller mindre kvalificerade gissningar, men att VETA går egentligen inte.
Prova BBEdit, tror att även Lite-versionen har stöd för att spara i valfri teckenkodning.
Utöver detta är det min starka åsikt att du i största möjliga utsträckning bör välja UTF-8, om du inte har starka skäl emot.