Vagabond è un manga ambientato in Giappone nel XVII secolo, subito dopo la fine della battaglia di Sekigahara, che vide la vittoria di Tokugawa Ieyasu; esclusi alcuni flash-back e digressioni, la storia narrata procede dall'anno 1600 in poi, col racconto delle vicende incorse a varii personaggi, tra cui spiccano, come protagonisti, Musashi Miyamoto e Kojirō Sasaki, due formidabili kensai giapponesi realmente esistiti.
Non sono gli unici personaggi a trovare riscontro nella realtà, però, poiché ad essi possono aggiungersi, senza realizzare un elenco completo: il monaco Takuan, ovvero Soho Takuan; Ito Ittosai, altro spadaccino molto noto; Gonnosuke Musoh, esperto di arti marziali, e molti altri, compresi ovviamente anche Inei Hozoin ed i rappresentanti del clan Yagyu, come Sekishūsai Muneyoshi Yagyu.

Non mancano nell'opera i riferimenti storici, oltre che nella constestualizzazione storica e cronologica, anche nei discorsi e nelle battute di alcuni personaggi. Ad esempio, dopo esser entrato nel territorio della Yagyu, Musashi spiega a Jotaro come già dagli alberi che li circondavano, molto vecchi, si poteva intuire l'abilità non solo da spadaccino ma anche da politico del capo della famiglia Yagyu, in grado di non farsi coinvolgere nei conflitti che da decenni affliggevano quella parte del Giappone. In un'altra occasione è Seijuro ad affermare che è ormai passato il tempo del dominio della scuola Yoshioka, e che è iniziato il periodo degli Yagyu.