唐朝：
唐朝的礼法没有后世那么严格冷酷。
如果感情亲密，非正式场合可以像平民人家一样叫儿、我儿、几郎（排行）、名字或者乳名。皇子公主对父母的称呼也是这样，可以直接叫阿耶阿娘。
但是如果在正式场合，或者感情疏远，就应该叫得正式一点，皇帝、陛下都可以。皇上在唐朝是非常正式的书面用语，万岁则是拍马屁用的，日常一般不用。
（参考《唐穿指南》，侵权请告知。）
宋代：
宋代时外人称呼皇帝多用“官家”、“大家”。
皇帝称呼太后(母后)为“娘娘”，太后自称“老身”。
至于太后对皇帝的称呼，不是很了解，也没有查询到相关的资料，但是，皇帝对儿子，亲昵一点可叫小名，平时可叫他的名字，加上什么儿之类：如桓儿，构儿等。皇帝对公主，亲昵一点可叫小名，平时可叫她的名字，或者称呼其封号。
（引自《宋代称谓和排行》，作者王曾瑜，侵权请告知）
可以看出，宋代和唐代的皇室关系并没有太本质的变化，仍然是世俗亲情关系高于权利关系。
由此大致可以推测出，太后对皇帝应该也是可以像唐朝一样如同普通人家那样称呼的，亲昵一点可叫小名，平时可叫他的名字，加上什么儿之类：如桓儿，构儿等，但是正式场合还是要叫皇帝。
至于唐宋两代的皇室称呼有什么区别，可以参考唐宋两朝普通人家的亲属称呼变化。
清朝：可以参考以下内容
太后太妃都叫我皇帝，我的本生父母和祖母也这样称呼我。其他人都叫我皇上。虽然我也有名字，也有乳名，不管是哪位母亲也没有叫过。——溥仪《我的前半生》
慈禧对皇帝、皇后直称为“皇帝”、“皇后”；对别人提到皇帝、皇后时，则称“皇上”、“皇后”。
——容龄《清宫琐记》
清朝与唐朝宋朝不一样，皇上这个词已经从正式书面称呼变成了口语敬辞。
但是，为什么溥仪的长辈不叫他皇上，而叫皇帝呢？因为「上」有尊敬的意味，长辈对晚辈用敬称不合适，即使晚辈是皇帝。
也就是说清朝还是非常正式，要叫皇帝的。但是晚清皇帝大多是傀儡，可能不具有代表性。
前清和鼎盛时期或不与此一样，具体的我不了解。
