「三十六計」一詞最早可以追溯到《南齊書·王敬則傳》提到的「三十六策」：「敬則曰：『檀公三十六策，走是上計。汝父子唯應急走耳。』」檀公，指南朝宋時名將檀道濟，「走為上計」指檀道濟伐魏不利，糧草被焚，宋軍乏食，主動退兵之事。他把計謀全用在「走」上面，包括「唱籌量沙」和「空城計」（都是裝腔作勢而得以撤退），而有「走為上計」的說法。但此處的「三十六計」不像是書名，《南齊書》和《南史》亦均無記載這一書名。[1]
宋代惠洪《冷齋夜話》有「三十六計，走為上計」一語；元朝以後，此語多見於小說戲曲之中，例如元關漢卿《竇娥冤·第二折》：「常言道的好，三十六計，走為上計，喜得我是孤身，又無家小連累，不若收拾了細軟行李，打個包兒，悄悄的躲到別處，另做營生，豈不乾淨。」明《水滸傳》第二回：「娘道：我兒，三十六著，走為上著，只恐沒處走。」清李玉《牛頭山》第七出：「皇爺不要著急，三十六著走為上著。」
根據《易經》，六和八是陰的成數，而六更是陰數之極；三十六本為虛數，是陰數之極的平方，因此三十六應該只是虛數，表示計謀極多[1]。今天的《三十六計》確實有三十六條計策，可能只是附會這一典故。
散文家秦牧在1947年2月11日、12日的《華商報》上發表文章《流氓經》，稱「三十六計」一詞在「綫裝書中極難稽考，但普通人有這麼一說」。[2]可見「三十六計」一詞由來已遠古，但作為書名是20世紀的事情。