公孙述不断地扩充自己的地盘，还打算由江陵（在湖北省长江北岸 ）这边过来；隗嚣也打算向南发展。汉光武说：“将士们都疲劳了，我真不想再去跟他们两个人多事。我三番五次地给他们写信，劝他们归附，还说我绝不亏负他们，可是他们始终不乐意。怎么办呢？”冯异说：“不去征伐，他们是不会投降的。我愿意听从吩咐。”汉光武说：“关中是通陇、蜀的要道，你在那里镇守，不能离开。你先回去，我再调度兵马，想办法去征伐蜀地。”汉光武就叫冯异回到关中去，还吩咐他把家属都带去。

汉光武一面调度兵马，要用武力平定天下，一面尽力搜罗知名之士，要利用他们的名望作为号召，来巩固自己的政权。他打发使者到各地方去邀请当时的名人到朝廷里来，可是名人有名人的怪脾气，他们愣不来。汉光武也有他的怪脾气，人家越不肯来，他越要人家来。太原人周党顶不住使者的催促，只好坐着车马来了。他穿着旧衣服，戴着破头巾，到了朝堂上，气呼呼地往地下一趴，怎么也不肯磕头，更别说等他叫一声“皇上”了。汉光武请他做大官。周党才不稀罕哪。他说：“我是乡下老百姓，不懂得政事，请放我回去吧！”大臣们见他这么傲慢，都很不服气。汉光武拗不过名士的倔强劲儿，这可叫他怎么下台阶呢？他就下了一道诏书，说：“从古以来，就是贤明的君王也有人不肯做他的臣下。从前伯夷、叔齐不吃周朝的粮食，今天太原周党不接受我给他的俸禄，各人有各人的主意。赐给他四十匹帛，让他回去吧。”

周党不愿意做官，总算还来了一趟。其他名人，有的假装害病，干脆不来，有的隐姓埋名，逃到山林里去了。这些名人之中最出名的一个，要数严光了。严光也叫严子陵。他是会稽余姚人，跟汉光武还同过学，他们从小就挺好。汉光武即位以后，老想念着他，他吩咐会稽太守想办法去找严子陵。可是人家早已更名改姓地隐居起来，谁也不知道上哪儿找去。

汉光武就把严子陵的相貌详详细细地说了一遍，吩咐画工画一个像。画工也真有本领，他按照汉光武的话，画了个大概。汉光武拿来一看，还真有几分像。他又说了一遍，叫画工修改了一下。嗬！画得简直真是严子陵。有了这一张，再画几张就方便了。汉光武派人把这些像分送到各郡县，叫官吏和老百姓寻找严子陵。这种画形图影的办法还真顶事。齐国上书给汉光武，说那边有个男子披着羊皮，老在河岸上钓鱼，相貌有几分儿像，可不知道是不是他。汉光武马上派使者准备上等的车马到齐国去接他。

使者见了严子陵，奉上礼物，请他上车。严子陵推辞，说：“你们看错了人啦。我是打鱼的，不是做官的。礼物拿回去，让我安安静静地过日子吧。”使者哪儿肯听，死乞白赖地把他推上了车，飞一样地送到京城来。汉光武特意准备了一所房子，派了好些个手下人去伺候他。那时候，大臣侯霸代替伏湛做了大司徒，大司徒侯霸跟严子陵也是朋友。他听说严子陵到了，就写了一封问候的信，派他的助手侯子道送去。侯子道到了严子陵那儿，就瞧见严子陵靠在床上坐着。他恭恭敬敬地把信交给他。严子陵看了看，不说话，也不站起来。过了一会儿，他说：“我多年没见君房了（侯霸，字君房 ）。君房素来傻里傻气的，现在做了大官，这个毛病可好点没有？”侯子道说：“他做了大司徒，怎么还能傻里傻气的呢？”严子陵说：“他叫你来有什么话？”侯子道耐着性子，说：“大司徒听说先生到了，本来要亲自来的，因为公事忙，脱不了身，到了晚上，他一定亲自来请教。”严子陵捋着胡子，说：“你还说他不傻。你看，我连天子都不愿意相见，难道还稀罕他的臣下来见我吗？”

侯子道不便跟他多说话，就请他写封回信。严子陵推说不方便。接着他说：“我讲吧。君房先生：你做了司徒，很好。帮助君王多做点好事，天下都高兴；要是只知道奉承，那就要不得。”说到这儿，他就停住了。侯子道请他再说点。严子陵大笑起来，说：“你到这儿来买菜吗？还想要搭什么饶头。”

侯子道回去向侯霸一说，侯霸有点不乐意，就把严子陵的话告诉给汉光武。汉光武笑了笑，说：“他就是这个样儿，不必介意。”说着，他亲自去看严子陵。严子陵脸朝里躺在床上，不理他。汉光武走过去，摸摸他的肚子，说：“喂，子陵，你怎么啦？不愿意帮帮我吗？”严子陵翻过身来，盯了他一眼，说：“各人有各人的心意，你逼着我干吗？”汉光武叹了口气，说：“子陵，我真不能收服你吗？”严子陵听了，更不理他。他宁可收几个弟子，教教书，可不愿意做汉光武的臣下。

汉光武再三请他搬到宫里去，对他说：“朋友总还是朋友吧。”严子陵这才答应他到宫里去走一趟。那天晚上，汉光武跟他睡在一起。严子陵故意打着呼噜，把大腿压在汉光武身上。汉光武就让他压着。第二天，汉光武问他：“我比从前怎么样？”严子陵回答说：“好像有一点长进。”汉光武乐得大笑起来，当时就要拜他为谏议大夫。严子陵怎么也不干。他说：“你让我走，咱们还是朋友；你逼着我，反倒伤了和气。”汉光武只好让他走。严子陵已经露了面，不必再更名改姓了。他就回到富春山（也叫严陵山，在浙江省桐庐县西，杭县南 ），种种地、钓钓鱼，过着隐士的生活。富春山旁边就是富春江（钱塘江上游一段 ）。江上有个台，据说就是当年严子陵钓鱼的地方，所以称为严子陵钓台。

严子陵不愿意做官，他的清高的名望更大了；汉光武能够这么低声下气地对待严子陵，他的谦恭下士的名望也更大了。这一来，两个人都抬高了身价。可是真正的隐士是无名无姓的。那个人是王良的一个朋友，不知道姓甚名谁。王良是东海兰陵人（兰陵，在山东省峄县 ），做了大司徒司直（官衔，是大司徒的助理，地位比司隶校尉高 ），也是个知名之士。他虽然做了大官，可是挺虚心，又挺节俭。他出来做官也不带家眷。王良的朋友鲍恢，做了他的助手。鲍恢为了公事到东海去，路过王良的村子，就去拜访拜访王良的家。王夫人不像个官太太，她穿着极朴素的衣服，天天在地里干活。那天鲍恢到了她家，她正挑着柴火回来。鲍恢还以为她是王家的老妈子，就一点不在意地对她说：“我是王司徒的部下，从这儿路过，要拜访拜访王夫人。”王良的妻子说：“我就是。您辛苦了。”鲍恢连忙趴在地下向她磕头，完了，问她：“您要不要叫我捎个家信给王司徒？”王夫人说：“做官的应当办公事，我怎么敢拿家事相烦您呢？”鲍恢听了，只好臊模搭眼地向她告别。

鲍恢回去以后，对王良就更加尊敬。王良因为害病，回家去休养。病好了以后，汉光武又召他回到朝廷里来。他路过荥阳，去拜访一个穷朋友。这么一个大官亲自去拜访一个穷朋友，总算很不错的了。哪儿知道那个朋友干脆不跟他见面。他传出话来，说：“天下有这么一个人：他没说过一回忠诚直率的话，也没出过一个奇妙的计策，可是他占据着高位，跑来跑去，一点不怕烦，何苦呢？”王良害了臊，改变了主意，回到自己家里，不再去做官了。汉光武屡次请他出来，他都拒绝了。他宁可得罪皇帝，也不肯跟那个在历史上无名无姓的隐士断绝来往。

汉光武征求的那几位知名之士，像周党、严光、王良等等都不肯出来。他对于这些一不怕死、二不爱财的读书人，简直没有办法。他收服不了这些名士。他还是用武力去收服那些自称为帝、自称为王、自称为将军的人吧。