如果说在西北两个方向，秦始皇是以防御为主的话，那么在东南地区他就是以进攻为主了。东南沿海的广大地区，历来是越族人民生息的场所，越族是夏王朝的后裔，与周王朝也有过交往，是我国原住的古老民族之一。由于江南地区自然条件的影响，他们大多从事渔猎采集结合粗放农业的复合经济，处在原始社会末期，有很多分散的部落，号称百越。春秋末年，越王勾践曾异军突起，报复吴国，成为中原霸主。
进入战国时代，他们遭到楚国不断蚕食，最后被并吞。秦始皇灭楚国后，降服了越族的一些首领，建立了会稭郡和闽中郡。统一全国后，秦始皇便派尉屠雎，率领一支由流浪者、依附的农民和小商人组成的军队，大举进攻南越、西瓯。经过几年的苦战，又陆续派遣50万戍族与越族人民杂居，终于在秦始皇33年建立了南海郡、桂林郡、象郡三郡，这些地区从此并入入秦帝国版图之内。
为了确保岭南大军和50万戍卒的后勤，确保粮道。秦始皇命令监禄(秦国的一种官名)，负责转运粮饷。监禄继承，秦国兴修水利事业的优良传统和经验，经过精心勘察，巧妙的在长江水系和珠江水系的关键地段，即湘江和漓江的源头分水岭上，修建了著名的兴安灵渠。
这就是在向北流域的湘江上修筑“人字坝”，分出1/3的水量向西流入，十公里长的人工渠道，再利用灵河20公里的河道，汇入向南流的漓江。头十公里渠道是在分水岭上开凿，不仅工程巨大，而且落差大。十公里落差27米，不能行船，于是绞尽脑汁，创建了36座“斗门”，就是船闸，来调节水位，使船只顺利上下，可以通过了两大水系的分水岭，把华中和华南连接起来。
占领百越之地后，秦始皇马上采取了一系列统治措施，在这一地区设置南海郡(在今广东境内，郡治在番禺)、桂林郡(在今广西境内，郡治在桂平西南)、象郡(包括今广西南部、广东西南部，南达越南中部)等三郡，建立郡县等地方政权组织，把这个地区置于朝廷的直接管理之下。
同时命任嚣、赵佗等统率重兵镇守岭南。他还先后征发内地数十万人口，迁徙岭南各地，与当地越人杂处，垦荒成边，修筑了许多城池、关隘。为了打通南岭山脉的阻隔，便于物资流通、人员往来和军队调动，加强对这些地区的控制，秦始皇还命人在这些地区整修、拓宽道路，兴建了一批新道。
当时，在包括今四川、云南、贵州等西南地区，还生活着几十个少数民族，中原人称之为西南夷。自古以来，西南夷就与中原各部族有密切往来，殷周时期，这个地区的一些部族曾参与推翻殷商王朝的活动，并获得了西周王朝的封赏。战国时期，楚威王派兵“略巴、黔中以西”，兵至滇池一带，“肥饶数千里，以兵威定属楚。”
秦始皇统一六国以前，西南夷的一部分已经纳入秦国的版图。秦惠文王更元九年(公元前316年)，秦国先后灭亡蜀国、巴国，在这里设置郡县，并将统治势力扩张到今云南、贵州的部分地区。秦国最初对巴蜀地区采取縻政策，在设置巴郡、征收赋税的同时，改封蜀王子弟为“侯”，改封巴的统治者为“君长”，“蛮夷君长，世尚秦女”，并派蜀相代表朝廷统治巴蜀。
到秦始皇时，秦王朝进一步加强对西南夷的统治，秦始皇在这一带建立政权，设官置吏，修筑道路。这些道路比中原的驰道窄得多，所以又叫“五尺道”。这条道路沟通了四川、云南的交通，有利于加强各地的经济、文化交流，也便于朝廷强化对边疆的控制。