根据侦讯日本战犯的工作需要，1952年6月，山西省成立了“日本战争犯罪分子罪行调查联合办公室”(以下简称“联合办公室”)。同年7月至10月间，该联合办公室先后接收了由人民解放军华北军区培训团、中华人民共和国公安部、华北行政委员会公安局、天津市公安局、山西省公安厅等单位解送的136名日本战犯。他们在日本战败投降时的军衔和职务，分别是校级军官2名，尉级军官38名，下士和士兵25名，行政官吏27名，特务、警察、宪兵30名，企业管理者 14名。在这136名日本战犯中，于日本投降后又加入蒋介石、阎锡山集团，并参与反共战争者有132名。其中，军事人员98名，特务间谍14名，其他人员 20名。他们所在蒋、阎军队中的军衔和职务，分别是少将7名，校级军官80名，尉级军官16名，特务、医生、技师等29名。在这132名日本战犯中，有7 名在关押期间因病死亡，故实际关押在太原战犯管理所的日本战犯共129名。他们之中有原日本关东军高级参谋、山西产业株式会社社长、西北实业公司总顾问、曾制造“皇姑屯事件”并炸死张作霖的河本大作，有杀害中国抗日女英雄赵一曼的凶手大野泰治，有曾将340名中国被俘人员作为“活人靶”以训练日军刺杀的教官住冈义一，有在日本投降后，积极组织、策划日军“残留”山西的城野宏。(有关部分战犯的资料可以参考本站太原道之百年浮华)

　　早在新中国成立之初的1951年，周恩来总理就指出，要使日本战犯认罪服法，就必须掌握他们的罪行，做好侦讯工作。遵照这一指示，1952年6月，山西省“联合办公室”迅速通知全省各地、市调查组及重点县的调查机构，选调人员，利用多种形式，开展对日本战犯罪行的调查取证工作。这项工作从1952年6月开始，到 1956年5月结束。侦讯人员在全省各有关单位的大力支持和数十万群众的共同参与下，共取得日本战犯罪行证据材料18418件。经反复核对，认定可以作为直接证据材料的有4532件，其中包括受害人和被害人亲属的控诉书1706件、当地居民的证明和检举材料618件、战犯同僚和部下的证明材料487件、有关笔录298件、有关档案410件、书报23份、罪行照片137件、勋章和奖状6件、物证127件、其他材料720件。可以作为间接证据材料的有 10920件，其中包括控诉和检举材料6489件、证明材料439件、调查报告1892件、其他材料2100件。从这些材料中，可以看出关押在太原战犯管理所的日本战犯当年在中国，尤其是在山西所犯罪行：残杀中国人14251名，伤害中国人1969名，逮捕并拷打中国人10173名，奴役中国人 12233674名；烧毁房屋1078处共19264间、寺庙4座、村庄4个、粮食2672510斤；破坏房屋192处共993间、寺庙43座；掠夺牲畜 11236头、粮食431778479斤、煤炭5334583000斤、棉花489800斤，以及大量金、银、铜、铁等物资。

　　这些日本战犯当年在中国，尤其是在山西作恶多端，罪行累累，他们在被关押之初，普遍存在着畏罪怕死的恐惧心理。在他们看来，战犯管理所查清他们的全部犯罪事实之日，就是他们被处决之时。因此，他们所采取的态度是无论侦讯人员如何审讯，也绝不供述自己所犯罪行。在这种思想的作用下，他们在被关押之初，不是老老实实地交代问题，认罪服法，而是想方设法地对自己所犯罪行进行隐瞒和抵赖，企图蒙混过关，逃避惩罚。例如，作为军事犯罪分子，他们一般只讲战斗杀人的罪行，而不讲平时杀人的罪行；只讲难于取证的罪行，不讲易于取证的罪行，甚至故意扩大难于取证的罪行，缩小易于取证的罪行，以混淆视听，干扰侦讯工作。作为行政犯罪分子，他们在过去多半肩负顾问或参事之责，其任务是在幕后为日军或阎军出谋划策，从事阴谋活动，故其所作所为，鲜为人知。因此，他们能瞒就瞒，能推就推，以致故意编造次要罪行，以假乱真，转移侦讯人员的视线。作为特务、警察、宪兵犯罪分子，他们自信其行踪诡秘，罪证难取，加之由其多年职业习惯所养成的狡猾成性，诡计多端，故其只讲公开罪行，不讲暗中罪行，只讲别人罪行，不讲自己罪行，或明明作恶，却假装不知。当然，除上述之外，这些日本战犯还曾采用过其他种种对抗或干扰侦讯工作的手段或伎俩，诸如有的隐瞒职务，以转移追查目标；有的借口不在犯罪现场，以推卸责任；有的缩短自己在华时间，以逃避罪责；有的故意将名字写错，以混淆是非等。由此可见，怎样改造这些日本战犯，使他们端正态度，认罪服法，重新做人，是摆在太原战犯管理所全体管教人员面前的一项严肃而又艰巨的政治任务。