据《旧唐书》记载，李白在安史之乱中，怀着平乱的志愿，曾为永王李璘的幕僚。后因璘败牵累，被判长期流放夜郎，可是中途却遇赦东还。很多人根据这一记载，便断明李白未到过夜郎。不过也有人不同意，认为李白确是到过夜郎的。
首先，唐代夜郎县在今日贵州省的石阡县境内。根据明代万历年间的《贵州通志》卷17石阡府沿革记载，石阡是古代先秦时期禹贡荆梁的后裔，战国的时候属于楚国的管辖区域。秦时为黔中的郡地，汉时夜郎县又为牂牁的郡地，东晋、宋以及南齐都分牂牁置于夜郎郡。到了唐初，有思、黔二州地。唐武德二年（619年）以信安、义泉及绥陽三县并置都牢、洋川二县，把夜郎改名为义州。
武德四年，以思州之宁夷县置夷州义泉郡，即今府治。五年，更义州为智州。贞观元年（627年），废郡这个称号，省夜郎、神泉、丰乐等，改名以明陽、高富、思义等诸名隶属婺州。之后，又三番五次更改夜郎之名。根据同一文献史料的记载，石阡县名曾经多次变更，汉时名为夜郎，隋时名为明陽，唐时又多次更名，分别为义泉、夷州、义陽、义州、智州，元时才正名为石阡。由此可探察，唐代时候的夜郎县是在今石阡县的西南部，可确定无疑。
其次，李白流寓在今石阡县。也是根据明万历《贵州通志》卷17有关石阡府的记载，说唐代的李白流放夜郎时，曾经路过此地。《方舆胜览》中载有蔡宽夫诗话，云：“太白之从永王璘颇疑之。”还载有李白自己的诗赋一首，道：“半夜水军来，半夜满族旗。空名适自误，迫胁上楼船。从赐五百金，弃之若浮烟。辞官不授赏，翻谪夜郎边。”根据这些记载，应该来说李白确实曾到过夜郎，而且还遗有寓所。
在石阡这个地方，还遗留有明代修建的太白祠，《方舆胜览》中有如下记载：“原与诸葛祠共名二贤祠，隆庆五年（1574年），提学秦淦另建。”同时还建有李白楼等纪念性的建筑物，虽然这些建筑始建于何时已经不可考，但是却与李白流放夜郎的寓所，前后呼应，一并成为李白到过石阡的历史物证。
其三，有李白流放夜郎途中，及在夜郎所作的诗篇为佐证。根据明万历年间的《贵州通志》卷24《艺文志》有关诗类的记载，李白在流放夜郎途中，有《永华寺纪寄浔陽郡官》诗云：“朝别凌烟楼，瞑投永华寺。贤豪满行舟，宾散予独醉。愿结九江流，添成万行泪。写意寄卢岳，何当来此地。天命有所悬，安得苦愁思。”
又有李白赠给王昌龄的诗以及另一首《流夜郎题葵叶》云：“悊君能卫足，叹我远移根。白日如分照，还归守故园。”从这些诗篇中也可看出，这些都是李白在流放夜郎途中的所思所想，他历经从“朝别凌烟楼”到“瞑投永华寺”，他“过五溪”，进入乌江，然后到了夜郎的西边。到了夜郎，并以葵叶为题，发出了“叹我远移根”的感慨，以及“还归守故园”的期盼。
这些个诗句不仅明确点出了李白确实去过凌烟、永华寺以及乌江等这些地方，同时也点明了《流夜郎题葵叶》这首诗的确作于夜郎。而世人所熟悉的“朝辞白帝彩云间，千里江陵一日还；两岸猿声啼不住，轻舟已过万重山”这一佳作，便是李白在遇赦东还的旅途中内心的真实写照。从这些诗作的字里行间中，不难看出诗人李白在流放夜郎途中与东还江陵的旅途中有着两种截然不同的心态。前者是悲愁交加，思念故人，后者则是彩云满天，顺水轻舟，千里江陵，指日可还。
根据以上的种种考定，可认定诗人李白曾经到过夜郎。其滞留时间应该是在“杨花落尽子规啼”的陽春三月到葵花“悊君能卫足”的五六月间，大约经历了两三月。
还有人认为李白不但到过夜郎，而且时间长达3年。周春元先生在《李白流放夜郎考》中考证了李白的三首诗，认为李白的《窜夜郎于乌江留别宗十六璟》中的“乌江”其实就是今贵州的乌江。既然李白到了乌江，那么他到过夜郎应该是没有问题的。李白还有《流夜郎半道承恩放还》诗，提到的“半道”从时间意义上理解，应是到达夜郎后才遇赦返还。
李白在多首诗中写到了夜郎流放，常有“三年”、“三载”的记述，如“三载夜郎还，于兹炼金骨”，当是他在夜郎生活了3年，并且还在锻炼身体的明证。在明清方志记载中，有一些李白流放夜郎的遗迹，如遵义府有怀白堂，桐梓县新站镇有太白楼，夜郎乡有太白坟，这些都可说明李白到达了夜郎贬所。
可是，宋代曾巩在《李太白集后序》中说：“至巫山，遇赦得释。”似乎认为李白还未到夜郎时忽然有赦传来，就掉头回来了。此后明清学者也有这类观点，其中清代学者王琦在他的《李太白年谱》中说李白并没有到达夜郎。
近人詹锳的《李太白诗文系年》以及郭沫若的《李白与杜甫》，还有郁贤皓《李白丛考》都持未至说，认为李白并没有到达夜郎，而是在去夜郎的路上便返回了家园。如郭沫若在考证李白《早发白帝城》的写作时说：“李白于至德二载流放夜郎，乾元二年因关内大旱，在途中即遇赦，因而特别兴奋，故写下了《早发白帝城》这一唐人绝句杰作。”
有人指出，今贵州境内的有关遗迹，均是明代以后的事，带有传说性质和纪念性质，这些只能说明李白的事迹深入人心，但与李白是否到过夜郎并没有因果关系。唐宋时期的乌江主要是指涪陵江、延江、巴江一带，贵州乌江之名从元明以后才有，因此并不能说诗中有乌江就到过夜郎。李白诗中爱用夸张手法，作品中的“三年”、“三载”之类的写法是虚数，不是确切数，从李白生平事迹来推断，不可能李白在这里住过三年。
李白还有一首《闻王昌龄入迁龙标遥有此寄》的诗云：“杨花落尽子规啼，闻道龙标过五溪。我寄愁心与明月，随君直到夜郎西。”主张李白到过夜郎者认为这是李白在夜郎时的作品，但反对者认为这是李白在流放夜郎以前创作的，从诗题上可知李白是在别的地方听说王昌龄降职后写好寄过去的。诗中“过五溪”和“夜郎西”仅是想像的大的地理方向，并不具体指什么地方。
从这些观点来看，李白是否到过夜郎按照现有资料是很难说得清楚的，要使对方信服还有难度。不过这样也好，留下的这个李白之谜使得诗人本身又平添了许多传奇色彩。促使人们对李白的敬仰更多了一份神秘与想像。