心正忧疑，浓烟夹着好些火星随风而至，焦臭奇热之气呛鼻难闻，人在河这边已无法回去。更恐左近草树被火引燃，忙往前逃。忽见道旁贼马尚在，贼尸不知遗失何处，马缰被树挂住，马正悲嘶强挣。忽想起此时火大，再不乘机逃走，断无幸理。重又将马骑上，落荒而逃。逃到中途，忽降大雨。时已入夜，向民家借住了一夜。
次早绕路驰回，见遍地劫灰，焦痕狼藉，火势早灭，共只烧了五家。快要到家，忽遇村中少年。拉往一旁，说起昨日贼党正待杀人放火，洗屠全村，刚点燃了四五家，老贼便发现小贼人马失踪。同时余道人突然出现，一言未发，强把族长放下，一任贼党刀棍砍打，既不还手，也未受伤，从容把人救走。贼党凡是动手的无故自倒，全部吃了大亏；老贼看出不妙，刚发号令，令众速回，道人已不见。跟着便起了狂风，贼党闹了个水火夹攻，十九伤亡。老贼虽得逃回，身受重伤，命必难保。跟着，又闻贼子被杀惨死，悲痛万分，恨之入骨。偏巧昨夜有一受伤贼党发现吕志骑着贼马走过，告知老贼。两村虽相隔数里，边界只隔一条河，全都认识，知道吕志神力武勇，断定贼子受了暗算。大败之后虽然不敢当时来犯，已命快腿去唤长子回家，为他报仇泄恨。吕志母亲万分忧急。
吕志闻言，得知家中平安，宽心大放。将马藏起，别了那人，悄悄由后门掩回家去。刚一进门，任母哭骂了几句，包了一些衣银，令其夜来速逃。吕志闻知道人奇迹，暗命兄弟去往小庙一看，人已不在。带回一封书信，上写：“贼兄气数当尽。村人善良，以后无事。你却在家不得，此时任你所之。三年后武当之约，不可遗忘。”
吕志无奈，捱到夜静，哭别母亲家人，孤身上路，本意往洞庭君山一带寻找父亲。
走没两天，便闻人言，风声越紧。说贼兄已然赶回，先说屠杀全村报仇，当夜老贼号叫而死。次早，贼兄不知何故，改了主意，说贼父之死由于天灾。兄弟乃吕志所杀，非报仇不可，别人无干。先往村中搜索，不见人影，虽未骚扰，对于村人所说被火烧死之言却是不信。如今正往各处追寻下落。吕志恐被仇人发现，抄着山僻小径，夜间行走。快到洞庭，又害了一场大病，仍用坐功将病治愈。加上沿途耽搁，赶到君山，去寻父亲方外之交水神祠老道士一问，才知乃父前日接到家中急报，已先赶回，才走两天。行时留话，说月前有一异人再三告诫，不令吕志回去。并说在外流荡不过三年，必有遇合。又留了好些银子，一封书信，托道人转交。书信所写，与老道士所说大致相同，也是再三叮咛，十五年内不许回家。吕志孝亲，素不违命。想起慈父钟爱，不舍离开。信上并未怪罪，反说自己智勇可嘉，为何不令回家？年月又是这么久？心中奇怪。因书上有违命即不孝之言，贼兄好似专寻自己为仇，风声越来越紧，只得中止回家之念。
吕志先由三峡入蜀，游完峨眉、青城，又由秦岭、终南，转到泰、华，最后游完嵩、洛，取道豫西，转入武当。一算日期，已有三年。多历名山大川，交了好些江湖豪侠。
武功经人指点，比起以前高明了许多。在江湖上打听梧散子，虽无人知，却听说有个同样形貌的姓余道人，是仙侠一流，隐迹风尘，宛如神龙见首，不可捉摸。越发心生敬仰，立意拜师，恨不得当时寻到才称心意。
好容易捱满三年，也忘了月望前后，一到后山，便往里赶。时当二三月间，入山不远，遥望前面峰峦灵秀，岚光黛泼，觉得景物清丽，与寻常所见不同。转过崖去，眼前一花，前面坡上现出万树桃花，红白相间，灿若繁霞。坡侧大片碧崖，上悬两条瀑布，一大一小，如玉龙倒挂，界破春山，雾涌烟飞，珠喷玉溅。流水汤汤，松风稷稷，泉响松涛，洪细相应，汇为一片繁音天籁。空山无人，落红成阵，日丽风和，时闻好鸟娇鸣，蝶莺群飞，更显得美景如仙，十分幽静。心想：“此地花光如海，这么多桃树，想必是师父所说的桃花坡了。这么清丽的景物，如何不见一人？”便顺桃林往前寻去。后山一带本极高峻，来路最险之处，连个樵径都无。桃花坡来路势更峻险，那些桃树生得密层层的，繁枝交错，结成一片花山，无法通行。此外更无隙地，只桃林尽头，有尺许宽一条路径，下临绝壑，地势外倾，既滑且陡。桃枝向处突伸，离地甚低，必须蛇行鹭伏，始能勉强过去。稍一疏忽，滚坠壑中，粉身碎骨，万无生理。
吕志急于见师，冒着奇险，沿着林边危崖，绕行过去，新雨之后，满地苍苔肥厚，其滑如油，连经几次奇险，几乎滑坠。好容易把里许长一段桃林走完，人已累得周身是汗，遍体泥污。想寻溪水洗涤手脸，以防遇人难看，耳听前面水声潺潺，再一注视，前途不远，又现出大片园林。山景本好，加上人工兴建，更是灵妙。正想过去寻人探询，近前一看，不禁失望。原来中间还隔着那条绝壑，宽约十余丈，便是猿猱也难飞渡。园林中又是悄悄的，只有鹤鹿往来，不见人影，连唤数声未见答应。没奈何，只得沿崖寻去。初意桃林如此整洁，必与主人有关，也许尽头处可以相连。谁知越走越远，始终未见相连之处。人却走到一条山谷中去，谷径甚宽，两崖壁立，宛如翠屏对峙。遍地细草蒙茸，崖脚种满草花，五色缤纷