如果是行政机关的违法行为没有法定依据的或者是违法法定的程序的，都是可以撤回行政处罚的。政府部门在对行政相对人作出行政处罚的时候，必须要按照国家的规定出具相应的行政处罚决定书，当然实践中也是允许撤销这个决定书的，但必须要满足一定的条件。

行政机关实施行政处罚，有下列情形之一的，由上级行政机关或者有关部门责令改正，可以对直接负责的主管人员和其他直接责任人员依法给予行政处分：

(一)没有法定的行政处罚依据的;

(二)擅自改变行政处罚种类、幅度的;

(三)违反法定的行政处罚程序的;

(四)违反关于委托处罚的规定的。

在程序法上，可撤销的具体行政行为必须经过法定程序由国家有权机关作出撤销决定，才能否定其法律效力，有关当事人。其他国家机关和其他社会成员无权擅自否定具体行政行为的法律效力。法定程序是指行政复议、行政诉讼和行政监督程序。行政复议和行政诉讼是权利救济程序，必须经过当事人的申请和提起。行政复议机关以决定撤销违法的和明显不当的具体行政行为，法院可以撤销违法的具体行政行为，以此消除具体行政行为的法律效力。

超过行政复议的申请期限或者行政诉讼的提起期限，当事人就不能在权利救济程序种，对具体行政行为效力提出异议。行政监督是行政系统中的法制监督，包括行政主管机关内部的监督，上级行政机关对下级行政机关的监督。在监督制度的运行中如果发现具体行政行为违法，行政机关也可以主动地撤销违法的具体行政行为，成为具体行政行为的撤回。

在实体法上具体行政行为被撤销的效力可以溯及至该具体行政行为成立之日，根据法律规定的公共利益的需要或者当事人是否存在过错等情况也可以自撤销之日起失效，但是当事人在撤销决定作出之前一直要受到该具体行政行为的约束。

在处理后果上，具体行政行为因为被撤销而丧失或者不能取得法律效力后如果相关的义务已经履行或者已经执行，能够恢复原状的应当恢复原状，给当事人造成损失的应当由行政机关承担赔偿责任。

需要注意的是，对行政处罚决定书的撤销，其实也就是撤销作出的具体行政行为。此时要么实行政行为违法，要么是行政行为明显不当，否则的话是不允许进行撤销的。并且还需要注意，撤销之后就自始无效了。