“不去看紫禁城也不要紧，但不可不去一见辜鸿铭啊！”这是日本著名作家芥川龙之介在《中国游记》中的一句话。青年和中年时期的辜鸿铭曾长期担任张之洞的幕僚，后任教于北京大学，在政坛、学界都留有他的足迹，其不少言论轰动一时。而到了晚年之后，愿意听辜鸿铭见解的中国人越来越少了，他辞去北京大学的职务，深居简出，过着孤独的生活。即便如此，他在世界上仍享有很高的声誉。
除毛姆外，日本的芥川龙之介、清水安三，都曾想方设法地找到辜鸿铭的住处，拜访这位似乎已经隐居的高人。芥川龙之介有感于人们对辜鸿铭的议论，便问辜鸿铭为什么不愿过问时事。辜鸿铭虽即刻回答，但芥川龙之介终是不懂，只是无聊地重复：“再出去试试如何？”这时候，辜鸿铭愤愤地在纸上边用大字书写边说：“老，老，老，老，老……”
在清水安三的笔下，晚年辜鸿铭的形象是这样的：“如果在正午时分去拜访辜鸿铭先生，快要走到椿树胡同他家门前的时候，你会见到一群叫花子向主人讨食的情形。滑稽的老学者手里捏着一把铜钱，站在门口给叫花子一人一个铜板。然后便像是喘息似的，咳嗽着走向大陆饭店。
在大陆饭店里，他一个人享受西餐的美味佳肴，而那一群叫花子也在用那一块铜板换来烧饼吃。从后面望去，他是个拖着过时发辫的老头子；而从前面看，他使用刀叉的方法、不出声喝汤的方式，则又是一位十足的绅士。”
不过，无论如何，晚年的辜鸿铭是孤独的。他虽然仍以自己的学问笑傲整个世界，甚至连鼎鼎大名的泰戈尔也看不上眼，称：“请泰戈尔博士不要来中国，还是在印度唱歌吧。”然而，他也清楚地明白，在民国乱世，在举国皆学西洋的时代，即便生命走到尽头，自己的学问也没有多少用武之地了。
辜鸿铭学问渊博，语言犀利，敢作敢为，曾以“辜疯子”著称，留下很多奇闻轶事。他的“骂名”便很是有名。慈禧太后生日时举国欢庆，他不惧杀头之罪敢当众朗诵：“天子万年，百姓花钱；万寿无疆，百姓遭殃。”这是在骂慈禧太后。袁世凯当军机大臣时，曾对驻京德国公使称：“我是不讲学问，讲办事的。”
辜鸿铭得知后，对袁世凯的幕僚说：“除倒马桶外，我不知天下有何事是无学问的人可以办得好的。”以后更是公开著文称：“人谓袁世凯为豪杰，吾以袁世凯为贱种。”晚年的辜鸿铭曾到日本宣扬中国传统文化，警告日本：“日本今后，当致力于中国文化，讲求道德，研究王道，千万不可再学习欧洲的军国主义，扰乱东亚。”
1927年，辜鸿铭由日本返回中国时，年已71岁。日本人推荐他担任奉系军阀张作霖的顾问。张作霖问他一句：“你能做什么？”惹得他怒从心起。虽然没有当面骂张作霖，但也是一言不发，拂袖而走。
辜鸿铭在人生的最后岁月中是孤傲的，但境况却十分萧条，他熟稔西方文化，但至死都留着清朝时梳起的辫子，而且一直以清朝遗老自居，鼓吹复辟。很多人不理解，他解释道：“许多外人笑我痴心忠于清室。但我之忠于清室，非仅忠于吾家世受皇恩之王室——乃忠于中国之政教，即系忠于中国之文明。”
清室遗老庆宽对他十分敬佩，尽力资助。1927年庆宽去世，辜鸿铭没有了资助，也少了一位知音。他开始为少数学生讲解儒学，闲暇时则用法文翻译《春秋》，然后寄往巴黎发表。辜鸿铭的读者主要在欧洲，如果其身处欧洲，生活质量会很好，然而，他宁愿忍受贫穷与寂寞，也要留在中国的土地上。
1928年4月30日，辜鸿铭生命中的最后一天，仍然在病榻上讲述儒学，虽然听课的人寥寥无几，他却将这件事当作自己最重要的使命，直至生命最后一息。讲课数小时后，辜鸿铭永远离开了人世。