派往孫權處的使者最先返回，帶回來的消息令劉備等人振奮，若是從孫權處暫借四縣地盤，足夠安置官兵和百姓了；於是，劉備令簡雍開始準備南遷之事。
劉磐、劉度、劉琦等人率領四千多荊州兵和兩千多蠻夷士兵，隨劉備的使者借道交州邊境，來到零陵郡，武陵郡被董卓完全佔領。
劉磐被任命爲軍司馬，管轄四千荊州兵；那兩千多強壯的蠻夷士兵成爲劉備的部曲；劉度等人被閒置，現在他們寄人籬下，也不敢反駁。
又過了一月，派往江東的使者才返回，不過秦關願意接收地盤，卻不願意付出錢糧；劉備感覺，只要他能接收地盤，便能阻擋董卓的軍隊，他可放心南下，於是同意了秦關的意見，讓江東白得兩郡之地。
不過劉備一直沒有等到前來接收地盤的人，等了一個月後，他猜測情況有變，便不再等待，而是命令大軍南下。
簡雍早就放出消息，董卓實力強大，不能力敵，大軍將要南下，而百姓早知董卓軍隊殘暴，若是留下，必遭橫禍，無奈之下，只得跟隨劉備大軍南下。
劉備非常狡猾，既然與江東的談判情況有變，他怕遭到江東的襲擊，便決定兵分兩路，東路由徐盛率領，帶領軍隊和百姓從桂陽郡南下，經曲江縣到達南海郡，渡江後便可到達孫權指定的地盤；這條道路比較近，且有黃蓋等人接應，比較安全，徐盛不疑有他。
劉備親率零陵郡的軍隊和百姓，準備直下蒼梧郡。部隊和百姓南下零陵縣集合；並派出斥候，大張旗鼓的前去營浦縣，探查到達蒼梧郡謝沐縣的道路。
從零陵郡的營浦縣到蒼梧郡的謝沐縣，經馮乘縣、富川縣、臨賀縣、封陽縣，到達蒼梧郡的郡治廣信縣（後世的蒼梧），是南下交州的重要通道，道路平坦，人員相對稠密，不過交州在沿途佈置了重兵，劉備若是一路平推過去，將會非常困難。
這時，劉備卻親自帶領兩千多蠻夷士兵和陳到所率領的護衛兵以及部分精銳部隊，突然轉道去了零陵郡始安縣；始安縣就是後世的桂林；他準備從始安縣，沿着灕水（灕江、桂江）直下東南，突襲蒼梧郡郡治廣信城，這樣，北部諸縣的官兵將會不戰而降。
其它官兵和百姓，在郡丞蔣琬和軍司馬劉敏的率領下，前往營浦縣，不知不覺中成了爲劉備打掩護的靶子，成功吸引了董卓和交州軍隊的注意力；若是此行順利，劉備準備到時候再派人來迎接他們。
劉備不愧爲劉跑跑，對危險有天然的感知，這次又讓他成功躲過了楊弘等人的算計；徐盛等人卻沒有這麼好運了。
軍閥帶來的只有混戰，對生產造成嚴重的破壞，給百姓帶來無限的災難。
劉備到達蒼梧郡，立即給蒼梧郡帶來了戰爭。
廣信城處於後方，毫無防備，且兵力很少，被劉備一鼓而下，讓他失算的是蒼梧郡太守並不在城中，這使得他的突襲行爲成爲冒險行爲。
此時，蒼梧郡太守士?正在臨賀縣，組織官兵防禦劉備南下，而逃過一劫；得知廣信失守，士?大驚，立即調整佈防，準備反擊；他估計劉備所帶官兵肯定不多，絕不能讓他在當地立足，否則就麻煩了。
於是，先調兵於封陽縣，成爲抵抗劉備的最前線；其次派兵切斷灕水，斷絕劉備的後退之路和聯絡；最後，聯絡其它幾郡派兵前來支援。
太守士?的反應非常迅速，讓劉備迅速佔領蒼梧郡的計劃落空了。
此時，蒼梧郡的精華在北部幾縣，那裡離中原更近，遷移來的百姓都是就近安置，逐漸發展起來了。
等士?穩定住局勢，便開始組織部隊反攻。
劉備官兵數量太少，不能力敵，且廣信城內極不穩定，他只得捨棄廣信，向東逃跑；而此時蒼梧郡東部兩縣的百姓已被孫權遷移到南海郡的東部地區，爲劉備的到來騰出地方；劉備所過之處，連個百姓都沒有，無法進行補給，且後有追兵，極爲狼狽；至於所路過的兩座縣城，既沒有多少軍隊，又沒有多少輜重，他可不敢停留而被士?的大軍包圍。
士?帶兵一路猛追，順利收復空城高要縣和端溪縣後方才罷兵。
孫權估計士?的軍隊在北方邊界駐紮，蒼梧郡南部沒有多少駐軍，便沒有在這兩縣駐紮多少軍隊，誰承想，士?的軍隊被劉備自己吸引過來，兩城也被士?輕鬆收復。
士?對當地百姓全部被孫權遷離而惱火，其參軍趁機建議道：“使君，咱們的百姓被孫權遷走，可是北方還有衆多百姓和軍隊被劉備捨棄，此時不取，更待何時？”
士?大喜，笑道：“哈哈，此乃天賜也！”當即提拔參軍爲別部司馬，帶領軍隊前去招募被劉備捨棄的軍隊官兵和百姓，承諾爲他們分發耕地、房屋等，並揭露劉備的虛僞。
士?在高要縣留下三千兵馬駐守，他本人返回廣信城，儘快穩定民心，恢復秩序，把劉備帶來的破壞降到最低。
別部司馬不負所望。派人前往營浦縣，散佈他們只是吸引董卓部隊的靶子，劉備早已溜走，而蒼梧郡歡迎他們，會給他們安置房屋，安排耕地。
這些軍隊官兵和百姓中也有聰明人，多日不見劉備，也無人發號施令，早就起了疑心，現在傳言不會空穴來風，很多人都相信傳言是真的，劉備早已逃跑，他們被捨棄了，被出賣了。
而這時他們已離開了家鄉，已無法返回，且他們更不願意回去受董卓壓迫，在劉備的宣傳中，他們已對董卓有了恐懼心理；別無它途，便有人大着膽子前往蒼梧郡；讓他們喜出望外的是，果然如傳言般受到很好的接待，衆人大喜；別部司馬又令他們回去迎接更多的百姓前來，若是來的人數多了，重重有賞。
這些人爲了鄉親們過上好日子，寧願不要獎賞，也願意返回迎接；且來的人數多了，他們更有安全感。
蒼梧郡多山，但是有大量的山間沖積平原，土地肥沃，灌溉便利，農業不錯，且不受海風的影響，是交州比較發達的郡。
蔣琬和劉敏對劉備的行爲非常惱火，便帶領官兵投降士?。
蔣琬被任命爲郡功曹，負責安置遷移的百姓，這些百姓對蔣琬非常信任，這樣的話能減少安置中出現的矛盾。
劉敏被任命爲別部司馬，帶領官兵和家屬前往高要縣和端溪縣安置，官兵可半兵半農，協助防守東部的劉備和孫權；他們被劉備戲耍一次，心中對劉備已產生仇恨，皆非常歡迎這種安排；那裡有現成的村莊、房屋和耕地，令這些官兵和家屬極爲高興，對士?更是忠心。
其他的百姓，有的被安置在現有的幾縣，有的則在蒼梧郡南部另設三縣安置；還有些百姓到達鬱林郡和合浦郡安置，感謝他們派來援兵，擊退劉備。
百姓來自零陵郡，氣候與這裡相差不大，非常適應這裡的氣候環境，立即投入緊張的建設。
輕鬆增加十多萬百姓，士?樂的笑不攏嘴；交州缺的就是百姓，此舉不僅能增加了大量人口，增加稅收，還帶來了中原地區的耕作方式以及衆多的技藝，能大大促進當地的發展。