根据《印花税暂行条例》及其实施细则的规定，下列凭证免缴印花税：1.已缴纳印花税的凭证的副本或者抄本；2.财产所有人将财产赠给政府、社会福利单位、学校所立的书据；3.国家指定的收购部门与村民委员会、农民个人书立的农副产品收购合同；4.无息、贴息贷款合同；5.外国政府或者国际金融组织向我国政府及国家金融机构提供优惠贷款所书立的合同。你公司向银行借的是贴息贷款，符合免税规定，因此不用缴纳印花税。