在少帥居住的時代，是警衛隊的宿舍。雖然名為警衛，實際上就是負責看管少帥的情治人員，警衛隊的最高編階為少將，對外號稱是少帥的侍衛長。第一任侍衛長為劉乙光，黃埔軍校四期生，少帥在日記裡稱呼他為「老劉」。1936年西安事變結束後，劉乙光就開始看管少帥，從大陸到臺灣，少帥附近都有劉乙光的身影。劉乙光雖然在少帥身邊布署警戒、限制少帥的活動自由，但也曾在少帥盲腸炎突然發作時，在來不及請示上級的情況下，直接做主將少帥送到醫院急救開刀。劉乙光看管少帥的時間長達26年，直到1962年他調任安全局，才不再擔任少帥的侍衛長。在劉乙光的餞別宴會上，少帥說：「劉乙光是我的仇人，也是恩人。說是仇人，因為他嚴格看管我；說是恩人，因為他曾救過我的命。」這番話也透露了兩人相處多年，少帥對劉乙光的複雜情緒。