這桃花島四處環水，四季如春，又沒有外界干擾，實在是一個調養的好地方。只是海上風大，好在大家住在島中心，周圍有各種樹木擋着，因此平時居住在其中也不覺得有什麼要緊。
楊過見這地方美麗如畫，實在是歡喜得要緊，平日操心貫了，今日又見大海又見美景，只覺得心曠神怡忍不住放聲大喊起來。他這喊的雖大，但由於沒有夾雜內功，因此聲音倒也沒傳多遠，只驚飛了旁邊的一些海鳥。武敦儒、武修文兩兄弟聽到楊過大喊，也相繼大喊起來，弄得郭芙一陣白眼。
等大家全上了岸，安排好穆念慈，楊過便守在房中。這樣等了一個時辰，只等得昏昏欲睡。忽然聽到一輕聲叫喚：“過兒！”楊過驚醒，發現穆念慈醒過來了，歡喜地跑到牀前，欣喜道：“娘，你終於醒了，你都昏睡一天了。渴了嗎？我給你倒水。”
穆念慈接過茶杯，邊喝邊打量房子四周情況，見房子裝飾典雅，絕不是自己家的小木屋，疑惑道：“過兒，我們這是在哪？爲什麼在這裡？”楊過便將今天發生的事情盡數告知，只隱去了幫穆念慈吸毒血和歐陽鋒的事情，只道毒是黃蓉用九花玉露丸解得。
郭靖、黃蓉聽到這裡的動靜，連忙趕了過來，只見郭靖滿臉欣喜道：“穆世妹，上天仁慈，我們終於又見面了。呵呵，來了就好，來了就好。”念及穆念慈的遭遇，心中一陣痠痛，加上隔了十幾年又見穆念慈，既喜且悲，滿腔的話語說不出來。黃蓉見郭靖受窘，忙道：“穆姐姐一天都未進食，想必餓了吧？靖哥哥，你去吩咐廚房熬點稀飯，先讓穆姐姐恢復一些體力吧。”
郭靖連連點頭，心中還怪自己太過大意，告了一聲罪便疾步走出。楊過見黃蓉和穆念慈有話要說，忙道：“娘，郭伯母，我出去玩會兒。”穆念慈點頭答應後便徑直去了。黃蓉心道：“過兒恐怕比之楊康更加聰明，今後切不可讓他學壞了。”二人談了一些過去的事情，等穆念慈吃下郭靖端過來的稀飯，也覺得累了，便躺下休息。郭黃二人也就出去吩咐一些雜事不提。
餘下來的幾日，穆念慈在郭靖黃蓉等人的照料下，身體稍有好轉。柯鎮惡雖對楊康很不感冒，但對穆念慈卻很有好感，這時見她病重，又得知其在這些年受的苦，更加對穆念慈照顧得無微不至。見楊過在這些年服侍母親盡心盡力，柯鎮惡倒對楊過的態度倒好了一些。
閒話少述，這幾日楊過由於不用操心母親病情和家計，百無聊賴之下只天天到島岸看海，只覺無邊碧波間煙波浩渺，在大自然之前人何其渺小。沒有壓力和煩心事，以前壓抑的心情片刻不見，覺得心臟的負擔突然間小了很多。
過了會兒，郭芙一蹦一跳的跑過來道：“楊哥哥，你怎的又在這裡？我們一起鬥蟋蟀去吧？”本來就沒有多大的誤會，又是小孩子，才幾天郭芙就忘了以前的過節。加之以前島上沒有年紀相仿的人玩，見了楊過等三個，哪還會放過？楊過對郭芙一望，只見郭芙身穿一套米黃色長裙，兩邊各紮了一個小辮子搭在膀臂上，雖然年少，但活脫脫一個美人坯子。
加上前世，楊過都活了三四十年了，哪還會對鬥蟋蟀這個小把戲感興趣？於是對郭芙道：“我不去，你找武家兄弟們玩吧。”郭芙哪裡肯依，拉着楊過手臂便要將其拉走，楊過無奈，卻又不願意去，便對郭芙道：“我不喜歡鬥蟋蟀，要不我吹一首曲子給你聽吧？”
郭芙大奇道：“你還會吹曲子？我聽過外公吹過，很好聽，你也吹來試試。”楊過拿出自制的橫笛，平復一下心情，吹奏了一曲《山居秋暝》。這是遊戲《軒轅劍三外傳天之痕》之中的一首曲子，描述的是村莊中的祥和、寧靜。
楊過前世覺得此曲好聽，便記住了，只是不知這曲子的名字。一曲奏罷，彷彿世間萬物都悄然無聲，心中一片空明，端的是餘音繞樑。郭芙聽了雖覺得與平時聽得大不一樣，但還是大沒意思，於是對楊過道：“這也沒意思得緊，咱們還是去鬥蟋蟀吧。”說罷又要拉楊過走。楊過百般推脫，郭芙見他實在不肯去，氣鼓鼓地獨自跑了，看的楊過搖頭苦笑。
這樣過了幾天，郭芙與武氏兄弟將桃花島鬧得雞飛狗跳，大家不禁一陣頭疼。次日清晨，郭靖將楊過、武氏兄弟、郭芙叫到大廳，又將柯鎮惡和穆念慈請來，對穆念慈道：“穆世妹，我一生對楊叔父和楊兄弟有愧，沒有盡到責任，現想收過兒爲徒弟，將全身本事都教給他，你看怎麼樣？”
穆念慈見孩子有機會學藝當然開心，對郭靖喜道：“那樣就麻煩郭大哥了。”隨即讓四個孩子向江南六怪的靈住磕過了頭，對柯鎮惡道：“大師父，弟子要請師父恩准，跟你收四個徒孫。”柯鎮惡喜道：“那再好不過，我恭喜你啦。”郭靖命楊過與武氏兄弟先向柯鎮惡磕頭，再對他夫婦行拜師之禮。郭芙笑問：“媽，我也得拜麼？”黃蓉道：“自然要拜。”郭芙笑嘻嘻的也向三人磕了頭。郭靖正色道：“從今天起，你們四人是師兄弟啦……”郭芙接口道：“不，還是師兄妹。”郭靖橫了女兒一眼，道：“爹沒說完，不許多口。”他頓了一頓，說道：“自今而後，你們四人須得相親相愛，有福共享，有難同當。”四人自然口中稱諾。
在宋代拜師禮節甚爲隆重，耗時也長，穆念慈身體不適，提前回去休息了。柯鎮惡接着將他們門中諸般門規說了一些，都是一些不得恃強欺人、不得濫傷無辜之類，江南七怪門派各自不同，柯鎮惡也記不得那許多，反正也是大同小異。
郭靖說道：“我所學的武功很雜，除了江南七俠所授的根基之外，全真派的內功、桃花島和丐幫兩大宗的武功，都曾練過一些。爲人不可忘本，今日我先授你們柯大師祖的獨門功夫。”他正要親授口訣，黃蓉見楊過仍不動聲色，依稀看到了當初的楊康，不禁心中生憎，尋思：“他父親雖非我親手所殺，但也可說死在我的手裡，莫養虎爲患，將來成爲一個大大的禍胎。”心念微動，已有計較，說道：“你一個人教四個孩子，未免太也辛苦，過兒讓我來教。”
可惜她不知道現在的楊過絕非普通人，因此錯怪於他也是有情可原。郭靖尚未回答，柯鎮惡已拍手笑道：“那妙極啦！你兩口子可以比比，瞧誰的徒兒教得好。”郭靖心中也喜，知道妻子比己聰明百倍，教導之法一定遠勝於己，那樣楊過定能學得好些，當下沒口子稱善。郭芙怕父親嚴峻，也要黃蓉教，黃蓉笑道：“你老是纏着我胡鬧，功夫一定學不成，還是讓爹教你的好。”郭芙偷看郭靖一眼，見他雙目也正瞪着自己，急忙轉頭，不敢再說。楊過心道：“果然還是這樣，一切隨緣吧。”
黃蓉對丈夫道：“咱們定個規矩，你不能教過兒，我也不能教他們三人。這四個孩子之間，更加不得互相傳授，否則錯亂了功夫，有損無益。”郭靖道：“這個自然。”黃蓉道：“過兒，你跟我來。”楊過跟着黃蓉走入內堂，見她拿出一本書來，對楊過道：“你師父的二師父人稱妙手書生，我現在教你他的功夫。”
說着攤開書本，朗聲讀道：“子曰：學而時習之，不亦說乎？有朋自遠方來，不亦樂乎？”原來那是一部《論語》。楊過對文學方面本就愛好，還想出口成章呢，當即喜滋滋的跟這黃蓉學習。至於武功，有了九陽神功還怕什麼？
果然，一連數日黃蓉只是教他讀書，始終絕口不提武功，由於楊過平時並未使用過內功，因此郭靖黃蓉也不知他內功之深厚。楊過存了讀書的心思，因此學習起來極爲用心，常常對書中經義卻往往不以爲然，根據自己在前世中所學，不住提出疑難。黃蓉在感到厭煩的同時感到也大爲奇異：“此人思想發前人之所未有，初時覺得大逆不道，細思之下往往覺得還是很有道理，難道他以前從師學過？”
楊過當然學過，這幾年來，楊過也入過私塾，加上前世的知識，自然不凡。幾個月來，楊過將《論語》、《孟子》等儒家經義又學了一遍，有了黃蓉解讀，對這些著作的理解更加深刻，不自覺也佩服起古人來。孔子的思想博大精深，只是後人將其曲解太多，以至於造化出如此多的酸儒來。
不過每天悶在屋中實在無聊，於是楊過暇時便跑到海岸邊大聲朗讀，累了便吹笛子，抒發心中情緒，或者到書房中看黃藥師留下來的煉丹、奇門遁甲之術。
這樣幾個月過去了，楊過在海邊閒步，望着大海中白浪滔滔，思索着以後自己的出路來。“肯定不會在桃花島中過一輩子。”楊過心道，“郭伯伯這麼些年來悉心照顧我母子二人，找個機會報恩後就四處遊歷吧。”
黃蓉不教楊過武功的事情終究被郭靖知道了，郭靖心中生悶氣之餘大爲不解，遂找來黃蓉，沉聲道：“蓉兒，你怎麼不教過兒功夫？我向來有個心願，你自然知道。一生中我愧對楊家太多，因此要將芙兒許配給過兒。只是芙兒調皮搗蛋，若過兒無武藝防身，恐怕管束不住。”
黃蓉聽聞要將郭芙嫁給楊過，一時也沒注意郭靖話中的意思，只急道：“不行，我不答應。”郭靖愕然道：“怎麼？”黃蓉道：“芙兒怎能許配給這小子。”郭靖道：“他父雖然行止不端，但郭楊兩家世代交好，我瞧他相貌清秀，聰明伶俐，今後跟着咱倆，將來不愁不能出人頭地。”
黃蓉還正要反對，郭靖又道：“你只是擔心過兒人品不端，但我觀過兒爲人正直且有孝心。這些日子以來，我一直觀察他，發現他一身正氣，人品絕對出衆，這絕對錯不了。你要是不教，我自己教。”說罷就要起身。
黃蓉見郭靖生氣，忙道：“你切莫生氣，我初時也是擔心過兒聰明反被聰明誤，和楊康一般學武后變壞，因此只教他學文，只讓他以後做個頂天立地的好男兒。既然你肯定過兒不會學壞，我就教他武功吧。”
郭靖聽罷點頭道：“這個我當然肯定，只不過你莫說又教他二師父讀書的功夫。”郭靖木頭木腦，難得今天講了一個冷笑話，聽得黃蓉撲哧一笑，道：“不會了，他記憶力極佳，悟性又高，經義我都教他不了了，這是他去考試，恐怕能考出一個狀元來呢。”
郭靖奇道：“哦？過兒還有這種本事？不過你要教過兒什麼功夫？”黃蓉道：“我看過兒天資聰穎，平素又喜橫笛，學玉簫劍法正合適，你看怎麼樣？”這玉簫劍法黃藥師自創劍法，劍招精微奧妙，以攻敵穴道爲主，劍式瀟灑俊雅，是一路自玉簫中化出的劍法，於楊過倒是合適。
郭靖念及此便答應了，只是不知黃蓉心中暗道：“我只教他劍法，不授內功，他學了也沒有什麼威力，自然也不會爲害了。”
楊過還在那裡讀桃花島的藏書，見黃蓉進來連忙行禮道：“見過師孃。”黃蓉應了一聲，對他道：“從今天起我教你武功，你可要好好學。”楊過還在納悶，“不對啊？怎麼要教我功夫了？”不過納悶歸納悶，不過還是答道：“徒弟定當盡力學習，不負師母厚望。”
於是黃蓉帶着楊過來到樹林，對他道：“我見你慣使橫笛，便教你的是玉簫劍法，此劍法自玉簫中化來，使笛卻比劍更加合適。我現在打一遍，你要看仔細了。”言罷折了一根樹枝，一招一式演示起來，口中叫着招式名稱：“簫史乘龍，山外清音，金聲玉振……”
楊過跟着黃蓉學習劍法，不知不覺間幾個月過去了。此時的楊過並不偏激，因此倒也沒有和大小武起矛盾，相反柯鎮惡見楊過吃苦耐勞，對他甚爲嘉許。由於沒有起摩擦，楊過便在桃花島住下了，而且這一住就是四年。
只是楊過沒有想到，此刻全真教正遇到了前所未有的危機。