江充字次倩，赵国邯郸人也。充本名齐，有女弟善鼓琴歌舞，嫁之赵太子丹。齐得幸于敬肃王，为上客。久之，太子疑齐以己阴私告王，与齐忤，使吏逐捕齐，不得，收系其父兄，按验，皆弃市。齐遂绝迹亡，西人关，更名充。
——《汉书·江充传》
“余吾水之战”后，当得知匈奴人竟然能够调动十余万骑兵后，汉武帝意识到，在匈奴实力已经得到一定恢复，而汉朝战马不足的情况下，不应该继续贸然发动长途奔袭了。
更为重要的是，由于常年发动战争，百姓负担太重，再加上汉武帝好用酷吏，郡、国二千石官员也大多以残暴的手段治理地方，民间矛盾极为严重，甚至已经出现了百姓聚众攻击官府的情况，例如南阳郡的梅免、百政，楚地的段中、杜少，齐地的徐勃，燕地、赵地的坚卢、范主等。
这些人多者聚众数千，自立名号，进攻城邑、夺取武库兵器，释放死囚，捆缚侮辱郡守都尉，杀死二千石官吏，张贴檄文号召各郡县响应；少者亦拥众数百，平日里为匪为盗，抢劫村镇数之不尽。
在国内持续动荡的情况下，汉武帝只能选择与匈奴修好，将重心放在剿灭地方匪盗，稳定自身统治上来。而匈奴方面，实力虽然得到了一定程度恢复，且多次挫败汉朝的进攻，但也仅限于在漠北防守，却无力南下发动进攻，便也同意了与汉朝修好。双方关系再度缓和。
为了平定各地匪盗，汉武帝屡屡派御史中丞、丞相长史负责督促各地官府予以镇压，但始终难以禁绝，这种情况下，如果继续对匈奴发动大规模战争，势必造成民间持续动荡，对国家统治稳定极为不利。
为了督促各地加强对匪盗的围剿，防止进一步酿成巨祸，汉武帝派遣光禄大夫范昆、各部都尉以及原任九卿张德等人穿着绣衣、拿着符节，用虎符调动军队予以剿灭，这便是着名的“绣衣使者”，或称“绣衣御史”。
在派遣“绣衣使者”巡视各地的同时，汉武帝又制定“沈命法”，宣布说：“盗贼帮伙起事而官吏没有发觉，或者发觉后，逮捕的人数不够规定标准的，有关的二千石级官吏以下到小吏员都要处死。”
一时间，绣衣使者遍布各地，他们虽是临时指派的官员，但凭借汉武帝诏命，拥有先斩后奏之权，再加上此前多有酷吏因高举屠刀而受到重用的刺激，这些绣衣使者手段也极其简单粗暴。例如时任绣衣使者的暴胜之，在各路绣衣使者之中，尤以他处死的地方官员最多，凭借着出色的“工作业绩”，他不仅得以威震各州郡，更是多次受到汉武帝的褒奖，直到后来经渤海人隽不疑劝说才有所收敛。相反的，同为绣衣使者的济南人王贺，在驱捕魏郡盗匪之时，则因心善放过了很多人，结果被以不称职的罪名罢免。
有了暴胜之和王贺两个“正反典型”，各路绣衣使者那真是“干劲十足”，结果不仅搞得民间动荡不安，地方官员更是噤若寒蝉。
通过严厉的镇压，各地匪盗规模和数量都有所减少，但由于没能从根本上化解矛盾，以致在朝廷清剿力度有所减弱后，便又有匪盗重新聚众而起。
由于匪盗始终剿之不尽，各级官吏担心因为不能完成任务而被杀，以至于各级官吏此后即使发现盗贼也不敢告发，而上级官员即使发现属下瞒报，为了不被连累，非但不予以惩治，反而帮着下属隐瞒，甚至直接下令不许下级官员告发。结果，各地为匪为盗者日益增多，官员之间相互设法隐瞒，朝廷统治日益危险。
为了缓解国内矛盾，汉武帝于太始元年（前96年）强令各郡国富豪和有权势之人迁居茂陵，同年六月又大赦天下。太始二年（前95年），在御史大夫杜周去世后，汉武帝任命此前督查地方有功的暴胜之为御史大夫，进一步加强对刺史的管制，完善监察体系，确保各级官吏能够尽职尽责，维护朝廷的稳定。此前曾劝谏暴胜之的隽不疑，经其举荐也被提拔为了青州刺史。
常年巡视地方的汉武帝，对于地方官员的弊政多有了解，对于地方官员和监察官员的官官相护，也多有察觉。在汉武帝看来，天子出巡，地方官员极力遮掩的情况下，都能被自己发现这么多问题，那么在自己看不见的地方，又该有多少龌龊之事。
为了真正了解各地民情，汉武帝在完善刺史监察制度的同时，对于那些直接听命于自己的绣衣使者也更为倚重，这些使者除了奉命督办具体事务外，更是成为了汉武帝的“眼睛”。
因此，这一时期，通过担任绣衣使者而获得重用提拔的官员极多，就在曾任绣衣使者的暴胜之升任御史大夫的次年，另一位曾任绣衣使者的官员，也因工作出色得以升任水衡都尉，他就是出身赵地的江充。
江充乃是赵国邯郸人，本名江齐，颇为通晓医术。其妹因善歌舞鼓琴，得以嫁给了赵国太子刘丹，江齐于是借此成为了赵王刘彭祖的门客。
这赵太子刘丹极为好色无耻，玩弄女人达到了变态的地步，甚至连自己的同胞姐妹都不放过。后来，赵王刘彭祖知道了太子的丑事，多次对其予以训斥，结果太子刘丹非但没有悔改，反而怀疑是江齐向自己的父亲告密，为此迁怒于江齐，两人因此交恶。
后来，赵王发现太子毫无悔改之心，对其的训斥和惩处越来越严厉，刘丹则将这些全都归咎于江齐。刘丹越想越气，为了教训一番“多管闲事”的江齐，刘丹派人前去将其抓回来，打算好好教训一番。
然而，等到刘丹的人跑到江齐家，然而江充根本不在家，寻访无果之下，只好将他的父兄抓了回去。得知江充逃走，刘丹更是恼怒，一怒之下便将江齐父兄给杀了。
得知消息的江充，为了给父兄报仇，连夜逃出赵国来到长安，改名为江充后，向朝廷告发刘丹与同胞姐姐及父王嫔妃有奸乱，并与郡国豪猾狼狈为奸，恣意危害等事。汉武帝看过奏章后大怒，下令包围了赵王宫，收捕赵太子丹，移入魏郡诏底狱严惩，最终判处死罪。
刘彭祖为了救儿子一命，便上书称，“江充是个受缉捕而逃的小臣，如今耍弄奸诈，让圣上气恼，不过是为了借助陛下的威严以报私怨罢了。我愿意精选赵国的勇猛之士，从军抗击匈奴，为朝廷效力，以此赎刘丹之罪。”
赵王刘彭祖乃是汉武帝的异母兄，见赵王态度如此诚恳，汉武帝便赦免了赵太子刘丹的死罪，不过却也废除了他的太子之位。
事后，汉武帝在犬台宫召见江充，江充请求以平常的穿戴叩见，经汉武帝同意后，江充便身着织丝禅衣，服饰颇有些妇人意味，丝帽上鸟羽作缨，走动时摇冠飞缨，配合上他那魁梧的身材，看起来颇为奇怪，以至于汉武帝也是啧啧称奇，对身边侍者说，“燕赵真是多奇士啊”。汉武帝与江充对答一番后，见其多有独到见解，因而十分高兴。
江充请求出使匈奴，汉武帝便任命其为谒者随同出使，归来后便被任命为了绣衣使者，奉命督察皇亲国戚、天子近臣中的违背体制、奢侈不法行为。
江充与其他绣衣使者一样，受到暴胜之等人深受重用的刺激，办起事来那是一个勤恳认真，平日里检举参劾毫无避讳，管你是皇亲国戚还是勋亲重臣，凡有违法事迹，皆在弹劾之列，汉武帝因此认为他忠正直率。
太始三年（前94年），汉武帝第六子刘弗陵出生。汉武帝在位虽然已经四十多年，后宫嫔妃也不算少，然而皇子却并不算多，对于年过六旬的汉武帝来说，老来得子的他本就对刘弗陵的出生极为高兴，更何况刘弗陵还是怀孕十四个月所生。
得知刘弗陵出生后，汉武帝便欣喜的说道，“听说当年尧是十四个月才出生的，如今这个孩子也是如此”。为此甚至将刘弗陵生母赵氏所居住的钩弋宫宫门，改为了尧母门。
在汉武帝看来，自己此举不过是因为孩子的出生而高兴罢了，但在大臣们看来，汉武帝此举可就意味深长了。
要知道，汉武帝与太子刘据的关系可并不算多么融洽。当时，汉武帝时常出巡，刘据因此常常奉命监国，然而在治国观念上，父子两人却大相径庭，汉武帝虽然采纳董仲舒的建议“独尊儒术”，但在施政具体过程中却是王道与霸道杂治，甚至霸道还要远甚于王道，所用官吏也多时严苛残酷的酷吏；太子刘据则不同，因为从小接受儒家思想的教育，自小性格仁慈宽厚，因此理政时更加注重王道仁治，故此在监国时，曾多次对一些他认为处罚过重之事进行平反。
刘据此举固然深得百姓之心，但朝中大臣却并不这么想，尤其是那些执法大臣，他们认为太子这么做，完全违背了汉武帝治国的理念。彼时就连深居后宫的卫皇后的觉察到了其中的不妥，多次劝告刘据应该注意顺从汉武帝的意思，不应该擅自做主而宽赦罪人。
汉武帝对于刘据的以仁治国，实际上并不反对，毕竟汉武帝也意识到，如果一味推行严刑峻法，于国家而言并不是什么好事，自己之所以这么做，乃是现实需要罢了，待到天下平定，势必要以王道为主，只有这样才能保证天下的长治久安，否则便会如同秦国的下场一样。正因如此，每次出巡归来，当太子刘据将一些重要事项向汉武帝禀报时，即便其中有些不符合自己的治国理念，汉武帝也都全部照准。
可是，汉武帝虽然支持太子，但朝中百官却不这么想，由于汉武帝长期用法严厉，朝中官员大多都是支持严刑峻法之人，正所谓“一朝天子一朝臣”，一旦太子刘据即位，由于治国理念的不同，自己势必再难受到重用，为了自己的前途着想，他们自然就站在了太子的对立面。
于是，朝中官员就此分为两派，其中为人宽厚、主张仁治者多依附于太子，而主张用法严苛、酷吏出身者则反对太子，甚至结党诋毁。
大将军卫青在世时，这些大臣还有所顾忌，不敢有太过出格的举动，然而随着卫青于元封五年（前106年）去世，太子失去外戚的庇护，这些人可就无所顾忌了，因为担心太子即位后对自己不利，于是开始结党对抗太子。
在这种局面下，汉武帝改钩弋宫宫门为尧母门一事，在这些反太子的大臣们看来，可就有些意味深长了，不少人都在暗中猜测，汉武帝是不是更加喜爱少子，有改立刘弗陵为储君的想法？出于这种想法，不少大臣开始在汉武帝面前进谗言，攻讦太子刘据。
不止宫外官员经常在汉武帝面前进谗言，就连宫内的黄门侍郎苏文等人，也经常诋毁太子。苏文经常和小黄门常融、王弼等人在暗中搜集太子的过失，然后再添油加醋的向汉武帝禀告。卫皇后听说后，恨得咬牙切齿，让太子禀明皇上杀死苏文等人，然而太子刘据却认为，如果贸然行事反而会引起汉武帝的猜忌，劝慰卫皇后说，“只要我不做错事，又何必怕苏文等人！皇上圣明，不会相信邪恶谗言，用不着忧虑。”
一次，太子进宫谒见皇后，很久以后才从宫中出来，黄焖苏文于是便向汉武帝报告说，“太子调戏宫女”。不过，汉武帝却并未因此事怪罪太子，反而在事后将太子宫中的宫女增加到了两百人。
又有一次，汉武帝感到身体有些不舒服，派常融去召太子，常融回来后却对汉武帝说，“太子面带喜色。”汉武帝因此有些发怒，等到太子到来，汉武帝观其神色，见他脸上有泪痕，却强装有说有笑，汉武帝感到很奇怪，再暗中查问，才得知事情真相，于是将常融处死。
此后，宫中诬陷太子事件才有所减少，不过苏文等人虽然不敢在公然造谣诬陷，但却仍在私底下搜集各种罪证。如此情形下，不仅太子刘据自己每日小心谨慎，就连卫皇后都整日小心防备，远避嫌疑，生怕因为自己牵连到刘据。
然而，人非圣贤孰能无过，太子刘据难免会有一些把柄落入有心人眼中。
一次，太子刘据派遣使者前往甘泉宫向汉武帝问安，江充恰好也在甘泉宫，他见太子的使者坐着马车，在皇帝专用的驰道上行走，便将其逮捕问罪。
太子听说后，派人向江充求情说，“我并非爱惜车马，实在是不愿让皇上知道后，认为我平时没有管教左右，希望江先生宽恕！”
然而，身为酷吏的江充本就站在太子的对立面，如今好不容易拿到太子的把柄，岂会轻易放手，因而对于太子刘据的求情毫不理睬，径直上奏汉武帝，江充与太子由此生怨。