如果說“伊賀忍者”產生是來自“惡黨”，那麼“甲賀忍者”則是由修驗道場產生的。
甲賀三山的主峰飯道山（滋賀縣信樂町），山高664米，是被稱爲“近江大峰山”的山嶽信仰靈地。相傳其開山者是修驗道場的祖師——役行者。
役行者，據說因爲他頭上有角而被稱爲“役小角”。他出生於現在的日本奈良縣，也就是本書中名川千美的家鄉。御所市撰寫的《日本靈異記》中對他有這樣的描寫：“生而博學，恆信佛法。每天乘五色祥雲在天空中飛翔，與仙人攜手遊覽於永生之界，在遍佈鮮花的庭院裡休憩，吸取長壽之氣。更進住巖窟，着葛衣，食松針，浴清泉，盡去人間之污穢，修煉孔雀王咒經的咒法，得不可思議法力。”他把中國的神仙思想引入了佛教，並創設了山嶽宗教。
到了文武天皇時代，因有人進讒言污衊役行者欲滅天皇，役行者被逮捕，流放到伊豆的一個小島上。據說在流放地，他白天尊天皇之名在島上修行，晚上飛到富士山上修煉，三年後獲得赦免，得道成仙。
這位傳說中修得了更在忍者之上全部忍術的役行者，便是修驗者的祖師。
此外，由役行者開山的飯道山周圍多產良木。在東大寺的二月堂興建之時，良弁和尚在飯道山飯道神社的幫助下徵調了不少木材。
聖武天皇之所以在飯道山麓興建紫香藥宮，也是因爲這裡有大量木材可供營造宮室。在這種自然條件下，自然而然地誕生了優秀的林業集團。雖然紫香藥宮沒多久就被廢棄了，但是在當地產生的林業集團，即其後形成甲賀忍者的杣五家，卻因此走上了地方武士的道路。
另一方面，飯道山的修驗者們以飯道五院的寺院爲中心在中世繁榮起來。室町時代初期僧籍人口達五十八人。修驗者們住在山麓娶妻生子，渾然一體，落地生根擁有土地，把修驗中獲得的知識滲透到農村，也走上了地方武士的道路，但他們不是純粹的武士，把他們歸入“惡黨”是最恰當的。他們中的多數人以祈禱、賣藥爲生，在甲賀，這些人被認爲是最後形成忍者軍團的核心人士。
“甲賀忍者”的崛起開始於大破名聞天下的“鉤之陣”
南北朝的內亂，一方面，使得甲賀領域內莊園領主的統治力逐漸削弱；而另一方面，地方武士的勢力則開始增長。這些地方武士代莊園收取年貢，並將收來的年貢據爲己有，以此爲資金髮展自己的勢力。
地方武士之所以敢私吞年貢，是因爲以近江守衛之職居於觀音寺城的佐佐木六角氏在背後給他們撐腰，所以甲賀的地方武士們成了堅決支持六角氏的武士集團。也因爲如此，失去了年貢的比叡山和朝廷大臣等數個勢力集團把憤怒的矛頭指向六角氏及其屬下各勢力集團的，於是他們強烈要求足利幕府對六角氏進行討伐。足利幕府經不起這些人的要求，派第九代將軍義尚終於親自披上了紅色鎧甲出擊，於長享元年（1487）在甲賀鉤村的安養寺構建宮室，設立了本陣（也就是大本營），這就是所謂的“鉤之陣”。
在一個風雪交加的晚上，甲賀的五十三家地方武士們聚集起來，開始對鉤之陣發起奇襲。
他們着黑色裝束，帶着不同於武士們的武器和各種小巧實用的裝備，以極其敏捷的動作越過了壕溝和城郭等障礙，隨後用**放出大量煙霧，同時四處縱火燒燬了城郭和城樓，六角氏在這場戰役中幾乎就是憑藉甲賀地方武士這種非常規游擊戰法獲得了最終的勝利。
這一戰之後，隨着“甲賀武士使用的是忍術”這一說法的不斷傳播，甲賀忍者的名聲開始威震全國。
在這次戰鬥中，五十三家甲賀武士中，有二十一家因軍功卓著而獲得了六角氏頒發的獎狀。據說從此甲賀的地方武士對六角氏的忠誠便顛撲不破。因此六角氏所給予的，在他們看來是比金錢更重要的身份和地位。
日本戰國時代是一個普遍以下犯上的時期，但在幾百年的輔佐時期“甲賀忍者”卻沒有以下犯上的現象出現——這也是“甲賀忍者”最重要的特徵。
從大破“鉤之陣”之後，甲賀五十三家中產生了指導者。但他們卻沒有自成一國，而是整個甲賀地方武士集團團結共進。之所以產生這種局面，一是因爲他們的實力都在伯仲之間，沒有絕對可以凌駕於他人之上者；另外兵力和財力都相對平均化，而且分家也不受本家統制，都是各自爲政，因此沒有構成獨立一國勢力的必要基礎。
在整個甲賀郡，有着將近三百座城池，這些城都是方形居館，連形狀也都幾乎一樣，絕大多數都坐落在視野良好、可以將周邊景物盡收眼底的丘陵頂部，每邊都是長約五十米的城郭，外面設有空壕。另外有些同一血緣的忍者，還會共同建築一座供逃跑時候落腳用的隱秘山中小城。
各個地方武士之間按血緣關係形成的集合，在那裡被叫作“同名中惣”，同時他們還加強了橫向聯繫，組織了名爲“甲賀郡中惣”的地方小領主聯合體。但這些小領主們並不是一個全員一致的統一聯盟，而是一個各自具有一定自主性的聯盟。這樣的體制客觀上形成了適合忍者成長的土壤。所以從此忍者走出了甲賀，開始在各地接洽適合他們完成的工作。
“伊賀忍者”和“甲賀忍者”師出同源且多有親戚關係，但因彼此的主君（僱主）多處於敵對關係，所以他們便不得不同室操戈。另一方面，爲了使“忍術”世代相傳，他們之間也不得不頻繁通婚，因此兩者又有脣亡齒寒的關係。忍者在以下三個時代最爲活躍：十一世紀末至十二世紀末的源平時代、十三世紀的南北朝時代、十四世紀中旬至十五世紀末的戰國時代。其中戰國時代也可以說是忍者“百花齊放，百家爭鳴”的時代。