在复城，教书的梁先生备受尊敬。梁先生独身且憔悴，但言谈渊博，学识渊深，热心助人。每逢有人办喜事或悲事，梁先生总能操办婚事或者写祭文。自从日本人占领了复城之后，梁先生便不再从事教书的工作了。
某一天，梁文启带着两名日本军人来到梁先生家中。梁文启是日本军宪兵队司令部的干部，但与梁先生的兄弟关系却疏远。两名日本军人进门时梁先生没有起身迎接，也没表现出拒绝的意思。梁先生只是点点头，坐在那里专心地玩围棋。
其中一名日本人坐下后自言自语，梁文启对他说：“大哥，觉得你对太太的工作不满意。”尽管梁文启心里明白其实不需要翻译，因为梁先生的日语水平并不差，但他还是强调了一番。梁先生淡然地扫了梁文启一眼，继续专心玩棋，说道：“你通知大太太，我不适合，况且我也身体欠佳。”
年长的日本人表情突然变得十分惊讶，他盯着梁先生手中的围棋，连连称奇，放下手中的棋子，轻声问道：“你你的我的手谈的活动？”梁先生没有想到对方居然有一定的汉语基础，而且对围棋产生了兴趣。于是，他答道：“手谈？可以，我很乐意陪你下一盘。”
梁先生拿出了围棋棋盘并把装着黑棋子的盒子推到对方面前，表示“请你先下”。两名日本士兵一高一矮，你一手，我一手，游戏进行得飞快。周围的旁观者面无表情，不敢走动，只是随意地环顾四周和下棋。他们一共下了130多手。
当梁先生再次犹豫后将一枚白棋子放在棋盘之外，并宣布：“我认输了。”这名年长的日本士兵很高兴，起身拿起几颗棋子，舞动着他们，说：“明天再谈谈？”梁先生回答：“好的，明天再谈谈，反正也没什么事做。”
第二天，这名日本士兵一个人按照约定来到梁先生家中，他们再次下了三盘棋，梁先生赢了两盘，输了一盘，他感到心情舒畅，终于找回了之前的信心。这名日本士兵看起来沉默寡言的样子，在离开时竟然说：“明天再来吧。”于是，梁先生和这名日本士兵连续下了五天，共下了12盘，胜负互有。然后是最后一次，一个阴雨天，日本士兵坚定地坐下来，用手势表示：“这是我们最后一次的手谈。”梁先生不明白对方的话意味着什么，但他也没打算深究，只是点了点头。日本士兵再一次表示：“我赢了，你的棋子都归我。”梁先生也许觉得这不公平，便回应道：“那我赢了之后，你会给我什么？”这可能是日本士兵未曾思考过的问题，稍微愣了一下。
梁先生看到日本士兵紧皱的眉头，沉默片刻后，以平静的语气说道：“军刀！”这让两人都感到有些恐慌，日本士兵立刻站了起来，似乎要拿出刀来。梁先生突然有些后悔，为什么要引发这样的争端呢？尽管他赢了这盘棋，但他又能指望赢得对方的刀吗？
意料之外的是，日本士兵镇定了下来，他并没有拔刀，只是回复道：“好的，我先下。”此后，他们展开了一场长达五个小时的殊死搏斗。梁先生感到疲惫不堪，眩晕欲倒，几乎失去了全盘优势。在这场疲战中，他错失了几个好局面。最终，他只能看着日本士兵把棋子一枚一枚收入囊中，然后溜走了。在梁先生的幻觉中，日本士兵满意地离开了。梁先生感到非常沉重，大声说道：“你得留下这些棋子！”但日本士兵已经离开了。
三天后，一个奇怪的事件在城里激起了轩然大波，许多人受到了连锁影响。名叫川琦的日本军官在自己住所内死去。在深夜里，梁先生拿出了棋子，仔细端详，感觉里面似乎有很多不可思议的秘密。他默默地坐了好久好久。