徐渭作为有名的书画家军事家，他的才华让人赞叹。但虚伪为人桀骜又善采集，因此也就流传下来好多典故。
豪宕不羁
胡宗宪对他更为倚重，对他放任的性格，也格外优容。陶望龄《徐文长传》记载说：徐渭常常与朋友在市井饮酒，总督府有急事找他不到，便深夜开着大门等待。有人报告胡宗宪，说徐秀才正喝得大醉，放声叫嚷，胡宗宪反而加以称赞。当时胡宗宪权重威严，文武将吏参见时都不敢抬头，而徐渭戴着破旧的黑头巾，穿一身白布衣，直闯入门，纵谈天下事，旁若无人。
徐渭平素生活狂放，不惧权势，前来求画者，须值徐渭经济匮乏时，这时若有上门求画者投以金帛，顷刻即能得之；若赶在他囊中未缺钱时，就是给的再多，也难得一画。正如他自撰的《题墨葡萄诗》所言：
半生落魄已成翁，独立书斋啸晚风。
笔底明珠无处卖，闲抛闲掷野藤中。
立斩健儿
胡宗宪很看重徐渭，一切奏疏、公文等，都请他代作。 徐渭对自己的才能谋略看得很高，喜欢出奇谋妙计，谈论行军打仗的形势策略大多得其要领。凡是胡宗宪所行的诱降汪直、徐海等盗寇的计谋，都和他慎密商议，然后付诸实行。
徐渭曾在一座酒楼上喝酒，有几名军士也在楼下喝酒，酒后不肯付钱。徐渭暗中写短函迅速告诉胡宗宪，胡宗宪立即下令将几人绑进衙门，一齐斩首，全军都极其震骇。
《徐长文传》记载：尝饮一酒楼，有数健儿亦饮其下，不肯留钱。文长密以数字驰公，公立命缚健儿至麾下，皆斩之，一军股栗。
猜妒致祸
据冯梦龙所著《情史类略》记载：徐渭担任胡宗宪的幕僚时，曾出游至杭州某寺，不被此寺的僧人礼遇。徐渭心中记恨，在一夜睡在歌妓家时，窃取她的一只睡鞋，欺骗胡宗宪说这只鞋子得自某寺的僧房。胡宗宪大怒，不再细查，直接下令捉拿此寺的两三位僧人，在辕门将其斩首。
徐渭为人猜妒，在妻子死后续弦，又颇为嫌弃。之后再娶了一位美丽的妻子。一天，徐渭刚从外回家，突然听到房内传出嬉笑声。他隔窗斜视，发现一位二十多岁的英俊僧人将妻子抱在腿上，二人抱在一起嬉闹。徐渭非常生气，取来刀杖，想要杀死此僧。等他进房时，僧人却不见了。徐渭质问妻子，妻子也说不知道。十日后，徐渭又一次发现僧人与妻子竟然在白日同寝。徐渭怒不可遏，大声呼喊，直取灯檠刺死了妻子。他因此被下狱，直到后来才被朋友救出。
徐渭出狱后，一天闲居时，突然悟道英俊僧人的出现是自己以前报复杭州僧人的报应。徐渭感伤妻子死于非命，于是自赋《述梦诗》：“伯劳打始开，燕子留不住。今夕梦中来，何似当初不飞去。怜羁雌，嗤恶侣。两意茫茫坠晚烟，门外鸟啼泪如雨。”自此至死，再不娶妻。