场雄与王氏家族的关系并不一般。扬雄在京师任官，王根是荐拔者。《汉书》卷八十七下《扬雄传下》：“初雄年四十余自蜀来至，游京师，大司马车骑将军王音奇其文雅，召以为门下史，荐雄待诏。岁余，奏《羽猎赋》，除为郎，给事黄门，与王莽、刘歆并。”此段记载有误。王音死于永始二年(前15)，扬雄38岁之时。所以，“王音”与“年四十余”两者之间必有一误。致误之原因主要有3说，第一认为四乃三之误，主张此说的有周寿昌、钱大昕等人；第二种说法是王音为王根之误，此说较为普通；第三种说法是王音为王商之误。我主张王音为王根之误。明确了扬雄为王根所荐，便会对扬雄与李寻的关系、扬雄在哀帝年间疏离政治的原因等问题有更深切的理解。
我们知道，扬雄在上四大赋不久就开始疏离政治。他提出放弃三年的俸禄，肆心广意读书观览。这实际上是一种变相的引退，其时应在元延三年（前10）上《长杨赋》之后。为什么会在讽谏事业刚有成就是即有引退之表示呢？这可能与王根的去世有关。汉儒进谏号称刚直无畏，实际上，在大胆的进谏背后，都有强大的政治靠山在作保护。如谷永的几封进谏，其直言不讳令人叹服，但实际上是王氏家族在后面为他撑腰，所以他才能一再地躲过灾难。绥和元年（前8），王根去世，扬雄在政治上失去了引荐者，对皇帝的讽谏没有了政治上的保护，这才使得扬雄开始埋头于学术，开始一种边缘化的生活。
哀帝时期，扬雄曾经与李寻联手阻止朱博为相。《汉书》卷二十七中之下《五行志》中之下：“哀帝建平二年四月乙亥朔，御史中丞朱博为相，少府赵玄为御史大夫。临延登受策，有大声如钟鸣，殿中郎吏陛者皆闻焉。上以问黄门侍郎扬雄、李寻。寻对曰：‘鼓妖，听失之象也。朱博为人强毅多权谋，宜将不宜相，恐有凶恶亟疾之怒。’八月，博、玄坐为奸谋，博自杀，玄减死论。”扬雄为什么会和李寻合作，原因很简单，李寻与扬雄一样，同是王根荐举而为黄门侍郎的。《汉书》卷七十五《李寻传》载：“帝舅曲阳侯王根为大司马票骑将军，厚遇寻。是时多灾异根辅政，数虚己问寻……根于是荐寻。哀帝初即位，召寻待诏黄门”。所以扬雄与李寻既是同僚，又是同门，在政治上基本属一个派系。朱博属于酷吏型人物，《汉书》卷八十三《朱博传》说他是：“博本武吏，不更文法……文理聪明殊不及薛宣，而多武谲，纲络张设，少爱利，敢诛杀。”靠苛察和诡谲升至大位，对儒生抱极端的轻视态度，据《朱博传》载：“博尤不爱儒生，所至郡辄罢去议曹，曰：‘岂可复置谋曹邪！’文学儒吏时有奏记称说云云，博见谓曰：‘如太守汉吏，奉三尺律令以从事耳，亡奈生所言圣人道何也！且持此道归，尧舜君出，为陈说之。’”但扬雄反对朱博的原因，据我看还不完全是儒生对酷吏那种天然的厌恶与敌视，更主要的是，朱博在政治上乃是一个投机者。朱博原是靠王氏家族成员的举荐而一路迁升的。王凤举荐他为博阳令，又与红阳侯王立相善。朱博无子，王莽还特意买了一个侍婢送给他。但在哀帝年间王氏家族短暂失势之后，朱博又很快投靠了丁、傅集团，与孔乡侯傅晏交结，肆意打击共持正议的傅喜、孔光、师丹等人。当时，为了是否给傅太后、丁姬上尊号一事，王莽、师丹、傅喜与丁、傅集团有着极为剧烈的冲突。哀帝在重臣的阻力与祖母的压力之下依违连岁，久不能决，但最终还是依顺了傅太后。首先将王莽清退，再免师丹以警告傅喜。然傅喜终不顺从，于是，朱博与傅晏连结，共谋成尊号事数燕见奏封事，谮毁傅喜及孔光，使得哀帝最终策免傅喜与孔光，准备让朱博代为相。所以，朱博此人乃是王氏家族的叛徒。李寻与扬雄联手谏阻朱博为相，应该视为是王氏家族意见的表达。
但扬雄不是王莽的直系亲信，王根去世后，扬雄应该说属于王氏派系的外围。他与王莽曾为同事，元延二年（前11）除为郎时，“与王莽、刘歆并”。曾为同事并不能说明问题，扬雄与董贤在哀帝之初也曾为同事，显然两人关系并不融洽，不过以后的史实表明王莽至少对扬雄的学问人品较为了解。成、哀、平三世，扬雄做了二十年的黄门侍郎，王莽篡汉的第一年也就是始建国元年（9）即擢拔扬雄为中散大夫，这一擢拔据班固说是因为“耆老久次”，但仔细分析一下即可知道，黄门侍郎这一官职在西汉时乃比四百石秩，而中散大夫乃比二千石秩，如果不是成帝年间西汉官品取消了八百石秩，扬雄就不仅是连跳六级，而是升了八级。这种越级升迁在正常情况下非常罕见，这说明王莽对扬雄非常重视，扬雄说“数蒙渥恩，拔擢伦比”绝非虚语。从客观上说，扬雄是王莽篡汉的既得利益者。二年之后，也就是始建国三年（１１），发生了投阁事件。此事通常都被当作是扬雄受王莽迫害的证据。我们引录《汉书》本传中的原文：“莽诛丰父子，投 四裔，辞所连及，便收不请。时雄校书天禄阁上，治狱使者来，欲收雄，雄恐不能自免，乃从阁上自投下，几死。莽闻之曰：‘雄素不与事，何故在此？’间请问其故，乃刘 尝从雄学作奇字，雄不知情，有诏勿问。然京师为之语曰：‘惟寂寞，自投阁，爰清静，作符命。’雄以病免，复以为大夫。”[7]从班固的叙述中我们可以看出，首先，逮捕扬雄并没有请示王莽，所以，王莽对扬雄的被捕感到非常惊讶。第二，王莽对扬雄疏离政治的学究式为人非常了解，第三，王莽飞快地将扬雄解脱了出来，这表明王莽对扬雄相当信任，并不因为其学生不遵嘱言符命而对扬雄也另眼相看。又过了二年，始建国五年（１３），元后薨，“莽诏大夫扬雄作诔”，这就不但是了解了，更是高度信任及赏识的表示。