1940年8月14日，林怀部找领导请5天假，没请成，两人大吵一架。领导让他卸枪滚蛋。林怀部伸手拔枪，所有人都以为他真要交枪走人，不料下一秒，他对着老领导张啸林抬手就是一枪，子弹正中张啸林面门，张啸林当场毙命。
枪声在张公馆的客厅里炸开，震得吊灯上的玻璃坠子哗啦啦响。张啸林的身子往后一仰，连人带椅子翻倒在地，血从面门那个窟窿里往外冒，淌得又快又急，没一会儿就洇湿了地砖缝。旁边站着的几个保镖全愣住了，手还按在腰上，眼睛瞪得溜圆，脑子里一片空白。他们跟了张啸林这么多年，见过砍人，见过绑票，见过跟日本人拍桌子，就是没见过有人敢在张公馆里对张啸林开枪，更没见过开枪的人还是张啸林最信任的贴身保镖林怀部。
林怀部没跑。他把枪口往下压了压，枪管还冒着青烟，脸上一点表情都没有，就像刚才只是随手摔了个茶杯。他往后退了一步，把枪扔在地上，然后抬起双手，意思是我不抵抗。这时候客厅里才有人反应过来，有人喊“抓住他”，有人扑过去看张啸林还有没有气，乱成一锅粥。林怀部被两个保镖摁在地上，脸贴着冰凉的地砖，鼻子里全是血腥味和火药味混在一起的味道。他没挣扎，也没喊冤，就那么趴着，眼睛看着张啸林倒下的方向，嘴角动了一下，说不清是笑还是什么。
张公馆外面很快响起汽车刹车声和杂乱的脚步声，日本宪兵队和伪警察都来了。张啸林是日本人扶起来的伪浙江省长，他这一死，半个上海滩都得抖三抖。林怀部被拖起来的时候，胳膊已经被拧得脱了臼，他疼得额头冒汗，但硬是一声没吭。一个日本军官走过来，用生硬的中国话问他为什么杀人，林怀部抬起头，说了一句让在场所有人都记住的话：“他让我卸枪滚蛋，我枪还没卸，先把他送了。”
这话传出去以后，上海滩上说什么的都有。有人说林怀部是军统的人，有人说他是青帮内部争权，还有人说他就是被逼急了的一条疯狗。但不管怎么说，张啸林死了，死在自己保镖手里，死得干脆利落，连句遗言都没留下。第二天报纸上登了号外，标题写得含糊，只说是“张省长遇刺身亡”，具体细节一个字没提。租界里的茶楼酒馆里，老百姓私下议论，有人拍桌子说杀得好，汉奸就该这个下场，也有人摇头说林怀部太傻，搭上自己一条命不值。
林怀部被关进日本宪兵队的地牢里，审了三天三夜。日本人想从他嘴里掏出幕后主使，老虎凳、辣椒水、电刑都用上了，林怀部昏过去又醒过来，醒过来又昏过去，翻来覆去就一句话：“他让我滚，我咽不下这口气。”日本人查来查去，查不出他跟军统中统有什么联系，最后只能定性为“私怨杀人”。但这个案子太大，怎么判日本人说了不算，得看南京伪政府的脸色。汪精卫那边派人来问话，林怀部还是那副死猪不怕开水烫的样子，问急了就闭眼装死。
张啸林的葬礼办得风光，日本人给了个“忠勇”的谥号，送葬的队伍从张公馆一直排到墓地，花圈堆得像小山。但老百姓私下里都说，这汉奸死得好，死得解气。林怀部在牢里关了几个月，忽然有一天被提出来，说是要转移。他戴着手铐脚镣上了囚车，车开到半路，押车的两个伪军忽然停车下去抽烟，车门没锁。林怀部愣了几秒，拖着镣铐跳下车，钻进弄堂里七拐八拐，等伪军抽完烟回来，人已经没影了。
后来有人说在苏北见过他，有人说他去了重庆，还有人说他就留在上海，隐姓埋名拉黄包车。不管哪种说法是真的，林怀部这个名字在上海滩算是留下来了。老百姓提起他，都说那是个狠人，被领导骂一句就敢开枪，而且一枪就要命。至于张啸林，死得再风光也是汉奸，墓碑上刻再多字也盖不住那股子卖国求荣的味。再后来抗战胜利了，张啸林的坟被人刨了，尸骨扔在乱葬岗，连个收尸的人都没有。而林怀部当年扔在张公馆地上的那把枪，被一个厨子偷偷捡走，卖给了收废铁的，换了两块大洋，买了三斤猪肉，一家人吃了顿饱饭。