V Praze, kam přišel v dubnu [[1867]] jako ředitel fyzikálního kabinetu, si najal byt na [[Staroměstské náměstí|Staroměstském náměstí]] č. 19/549. Měl tak doslova pár kroků do [[Karolinum|Karolina]] i [[Klementinum|Klementina]], dvou hlavních středisek tehdejší [[Karlo-Ferdinandova univerzita|Karlo-Ferdinandovy univerzity]]. Jestli hned v letním semestru [[1866]]–[[1867]] začal učit, se bohužel z oficiálního seznamu přednášek nepozná.
Na univerzitě ([[NěmeckáFilozofická univerzitafakulta vUniverzity PrazeKarlovy|filozofickéFilozofické fakultě]]) byly přednášky z matematiky a fyziky určeny především budoucím středoškolským učitelům. Z ostatních oborů potřebovali vybrané partie z fyziky jen medici a farmaceuti. Na Machovy lekce, atraktivní množstvím názorných experimentů, chodili však kromě těch, kdo měli fyziku povinnou, také zájemci z jiných studijních zaměření a často dokonce i laická veřejnost.
V akademickém roce [[1872]]–[[1873]] se Mach stal děkanem [[NěmeckáFilozofická univerzitafakulta vUniverzity PrazeKarlovy|filozofickéFilozofické fakulty]] a sedm let nato (1879–1880) [[rektor]]em univerzity. Bylo to v období, kdy na škole vrcholily dlouholeté snahy o řešení národnostní otázky. Přirozený požadavek většiny české veřejnosti na plné zrovnoprávnění české a německé výuky byl přijatelným ústupkem i pro většinu německé části. Snahy změnit univerzitu na českou nebo naopak zachovat status quo chápaly obě strany jen jako krajní. Mach se klonil spíše k umírněnějšímu stanovisku. Z ekonomických důvodů však návrh rozdělit univerzitu na dvě školy nepodporoval: [[paralela|paralelní]] existenci českých i německých ústavů s knihovnami a dílnami považoval za příliš velký přepych. Nebyl ostatně jediný, kdo předvídal, že s dělením univerzity vzniknou finanční problémy. Plodné i neplodné diskuse skončily císařovým rozhodnutím, aby od zimního semestru [[1882]]–[[1883]] měla [[Praha]] jak c.k. Karlo-Ferdinandovu univerzitu německou, tak českou.
V roce [[1883]]–[[1884]] byl Mach zvolen rektorem podruhé, tentokrát už na univerzitě pouze [[Německá univerzita v Praze|německé]]. Záhy se ovšem funkce vzdal, nejspíše pro její neúnosnou časovou náročnost. Podle některých pramenů vyjádřil prý abdikací svůj postoj ke způsobu, jakým bylo národnostní vyrovnání provedeno.
