三月初三是黃粱夢呂祖廟大會，當初盧生一枕黃粱，傳聞極廣，所以廟會人也特別多。有個名叫吳禮的無賴也在這裡閑逛，他一會搶人傢一條雞腿，一會偷人傢一個蘋果，知道他的人，見瞭他都遠遠地躲著他。
吳禮轉來轉去，忽然看見一個白發老人和一個青年書生在下棋，吳禮擠上前看瞭一會，發現這兩個人的棋藝極差，於是就在一邊罵罵咧咧地給這個支一招，給那個支一招。白發老人不高興瞭對吳禮說：“你要下得好，咱倆來一盤？”吳禮輕蔑地說：“你這麼一大把年紀瞭，就這兩下子還要跟我下？”老人說：“我若輸瞭，給你一千兩，你輸瞭呢？”吳禮想也不想：“隨你處置。”吳禮想這一千兩我拿定瞭，萬一輸瞭，我一走瞭之，你奈我何？吳禮十步之內就輸瞭，正要拔腿開溜，被老人喝住：“輸瞭為何就走？”吳禮理也不理，隻見老人嘴裡冒出一口白霧，青年書生將白霧點在瞭吳禮的頭頂上。吳禮就像頂著千斤巨石，一下撲倒在地。
等吳禮慢慢醒來，人們發現他比原來矮瞭三分，“吳禮矮三分”。就在這個廟會上傳開瞭。再說那一老一少，原來就是呂祖和盧生，吳禮倒楣今天耍無賴，耍到他們頭上瞭。
傳來傳去，“吳禮矮三分”，傳成瞭“無理矮三分”。意思是：若沒有真理，人也會顯得矮點。