一(yi)九(jiu)四九(jiu)年(nian)秋，开国大典的礼炮声中，北(bei)京城里一片欢腾，清查特(te)务的工(gong)作也在紧张地进行(hang)。土(tu)刀唐胡同里，刚刚接管了旧(jiu)警察局的年轻派出所所长肖大力正忙着(zhe)维持(chi)群(qun)众游行的秩序，偶遇一个(ge)熟知(zhi)兵器的教(jiao)书匠冯静(jing)波(bo)，这引起了他的怀疑。为了查清冯静波的身份，肖(xiao)大力搬进了土刀胡(hu)同十(shi)五号院(yuan)，与(yu)冯静波做了街(jie)坊。冯的真实身份确实是国民(min)党的潜伏特务，代号"5182"。恶霸四阎王为他发了委(wei)任状，接(jie)受"白眼镜(jing)"的命令。深(shen)夜，"白眼镜(jing)"前来交待任务，冯的特务生(sheng)涯从(cong)此拉开了(le)序幕。"白(bai)眼镜"为冯送电(dian)台时被(bei)肖大力等人击(ji)成重(chong)伤，临死前只说出5182几个(ge)字(zi)。肖大力认为冯(feng)有(you)重大嫌疑，让他注意四阎王的行踪，借此对冯旁敲侧(ce)击。曾在妓院做(zuo)使唤丫头的大眉子参加了夜校扫盲班(ban)，她爱慕冯老(lao)师的才华，常(chang)主动为他做家务(wu)。冯为了(le)掩护(hu)自己的身份(fen)，请大力保媒(mei)娶(qu)大(da)眉(mei)子为妻。大力找(zhao)大眉子谈心，拐弯(wan)抹角说(shuo)冯是特务(wu)，可(ke)大眉子自(zi)觉出身下贱，婚事全凭(ping)大(da)力做主。
　　肖(xiao)大力偶(ou)然听到从(cong)冯家传(chuan)出用作联(lian)络(luo)暗号的乐曲，便也买(mai)了一台短波收音机，煞费苦(ku)心地进行研究，吃饭睡觉都不忘琢磨(mo)那首名为《展览会(hui)上的图画》的曲子，在大家眼里(li)他似乎是着了魔(mo)。冯从大力的妻子(zi)刘(liu)亚琴(qin)那(na)里听(ting)说(shuo)此事，不禁暗暗心惊，深知自己(ji)处境艰难，只(zhi)得(de)不动声色(se)地(di)应(ying)付这一切(qie)。他假称(cheng)挖(wa)出一夜壶金子，将活动经费充了公，被评(ping)为抗美援朝积极分子。满腹经纶的冯静波(bo)邂逅了校(xiao)长(zhang)的女(nv)儿徐小妤，两人一见如故。小妤仰(yang)慕冯的才华，冯也倾心于(yu)美丽又(you)有知识的(de)小妤。二人荡舟湖上，面对小妤炽热的目光，冯在欢乐之余也深(shen)感痛苦，心情沉痛地说自己是(shi)负罪之人(ren)，准备(bei)自首，但(dan)在大(da)力面前却欲言(yan)又止。晚上，冯突然不见了踪迹，大力紧张地认为他是畏罪(zui)潜逃。敏感的亚琴直(zhi)奔小妤的宿舍，正好撞(zhuang)见这对偷情的恋人。东窗(chuang)事(shi)发，冯家乱成一团。大眉子不(bu)依不饶(rao)，要跟那(na)个破(po)坏她家庭的女人(ren)"撞头"。冯终于鼓起勇(yong)气提出和她离婚，不料受到大力(li)等(deng)人的指责(ze)与阻(zu)挠。校长(zhang)更以开除作(zuo)威胁，不(bu)许他离婚。气愤的大力把冯反(fan)锁在厕所里，让他好好反省历(li)史问题。静(jing)波与小妤迫于压力(li)，只得黯(an)然(ran)分手。
　　冯静波在(zai)学校(xiao)从(cong)未有过激言行，是(shi)个人(ren)人(ren)称赞的好老师(shi)，大力挑不出他的毛病，无可奈何。街道组(zu)织大(da)家(jia)学(xue)习宪法(fa)，请冯为众人讲解。冯对镇压反革命的条(tiao)文心有(you)余悸(ji)。特务身(shen)份的重压使冯隐忍(ren)地(di)生(sheng)活着，这竟(jing)使他在历(li)次运动中躲(duo)过(guo)了劫难(nan)，并且由(you)于他(ta)为人和善，处处助人(ren)，竟被评为区(qu)劳(lao)模(mo)。而坚信冯是特务的(de)肖(xiao)大力却被(bei)诬以"特务(wu)"的罪名送进了劳改(gai)农(nong)场，亚琴自杀(sha)身亡。大(da)眉子(zi)意外地发(fa)现冯的委(wei)任状(zhuang)，偷(tou)偷地烧掉了。
　　四(si)十年过去了，肖大力重(chong)又穿上了警服，他依(yi)旧执迷不悔(hui)地监(jian)视(shi)着冯的一举一动。此时的冯已由一位(wei)好老师(shi)变成好(hao)校长，他确(que)实(shi)感到坦荡做人(ren)的快感，同时也更感到自己心(xin)底那块石(shi)头的沉(chen)重(chong)。肖大(da)力的儿子新桅和冯静波(bo)的(de)女儿抗美青梅竹马，却因(yin)父辈的恩(en)怨无法走到(dao)一起。昔日给冯发(fa)委任状的四(si)阎王已成了海外合作项目的投资(zi)者(zhe)，这令冯(feng)惊讶(ya)不解。肖大力的铮(zheng)铮铁(tie)骨(gu)令冯自(zi)惭形秽(hui)，也(ye)正是(shi)肖大力的(de)所(suo)作所为，让冯了解了共(gong)产党。冯(feng)终(zhong)于幡然(ran)悔悟，给大(da)力(li)写(xie)了自(zi)首信，请他(ta)宽(kuan)恕"昨天的敌人"，并在女儿的搀扶下(xia)走进了公安部(bu)的大门。