中午吃飯不要當做是約談, 當成是和朋友一起吃飯. 主管也是人, 也是需要朋友的....
談話的內容也不是在公事上打轉, 如果主管一定要談公事, 就直說吧. 請他要談公司在平時上班時談, 不要找你出來吃飯時談.

至於下班, 時間到了就走人吧. 如果工作進度是合理並無 delay 的, 沒道理不能走.