小苏肉是苏轼（即苏东坡）的弟弟苏辙（字子由）发明的。因为苏辙在唐宋古文八大家（韩愈、柳宗元、欧阳修、苏洵、苏轼、苏辙、曾巩、王安石）和北宋的“三苏”（ 苏洵、苏轼、苏辙）中被称为“小苏”，故有此名。
话说北宋熙宁四年（公元1071）七月，苏轼携全家乘船出京（今河南开封），到陈州（今河南淮阳），与弟弟苏辙一家相聚，70多天后的九月初，兄弟二人离陈赴颍州（今安徽阜阳），一同看望致仕（退休）居颍的恩师欧阳修。欧阳修是苏轼、苏辙的恩师，他的第三个儿子与苏轼还是儿女亲家，两家关系非同一般。所以苏轼弟兄二人也不见外，在颍州一住就是20多天。当时的颍州，是吕公著任知州，还有许多著名的文人汇集在这里。所以苏轼兄弟除了在颍州西湖游玩，吟诗作赋，以文会友以外，有时间就研究烹饪艺术。
在中国历史上，苏东坡是文学家中著名的烹饪高手，他的拿手好菜就是非常有名、流传千古的“东坡肉”和“东坡肘子”。东坡肉是苏东坡被贬到黄州（今湖北黄冈）时发明的。黄州猪多肉贱，穷人吃得起，但不会做。东坡教当地百姓把肉略作加工入味，小火慢炖两三个时辰后食用（东坡肘子制法略同），肉酥味厚，在难得动物性脂肪的古代，的确是上好的美味。但是，黄州的猪大都是散养的，脂肪不多，适于这样制作；而颍州人口众多，喂猪不能散养，多用粮食、圈养，脂肪堆积特厚，所以虽然同样做法，颍州的猪肉就显得过于肥腻。再加上欧阳修自青年时代就患有消渴（糖尿病），对于油腻的东西不感兴趣，如果天天吃东坡肉、东坡肘子，再好的味道也不能容纳，慢慢的就不肯下箸了。而苏辙虽与哥哥最亲，文章志趣都非常一致，唯独饮食口味上与哥哥迥异其趣，对东坡肉之类浓香重味的菜肴也是敬而远之，每次吃起来也都是点到为止。
苏辙理解老师的心情，他也想和哥哥一样，为恩师做几个好菜。但颍州这里虽然鱼、蟹都极其肥美便宜（欧阳修的诗文中多次提到），但无法做出味道醇厚的菜肴。偏巧那一天爷儿仨酒兴上来，厨房里却只有一块五花肉，再按苏东坡的烹饪方法一是来不及，二是大家也都吃腻了。于是苏辙灵机一动，说：“我给恩师做一个别致的菜吧。”于是他把这块五花肉切成片儿，用盐稍腌，然后拌上小麦面，揉匀，入油锅炸至金黄色，捞出。于是，一大盘香喷喷的油炸肉上了桌。欧阳修、苏轼一尝，哎呀，又香又酥，味道好极了！于是大家风卷残云般把炸肉吃了个精光，一点都没有剩下。东坡说：“想不到子由还有这一手！这道美味，也该有个名字才是。”苏辙谦逊地说：“那就请恩师赐个名吧！”欧阳修略一思索，微笑道：“这个菜又香又酥，你又姓苏，难得尊姓与这菜的口味如此吻合，既然当代文人都称你为‘小苏’，干脆，咱们就叫他‘小苏肉’吧！”苏轼兄弟一听，拍案叫绝！苏辙连忙谢过欧公。从此“小苏肉”伴随着欧公赐的这个名字，流传至今。
因为小苏肉是在颍州（阜阳）发明的，所以，阜阳人（包括周边各县）几乎家家都会做这道菜，历经近千年而不衰。而在苏辙没有去过的地方，有的人连小苏肉这个名字都不知道，更不要说会做了。
后来，苏辙到过许多地方任职，都把小苏肉的制法带到当地。由于他在现在的河南省任职时间较多，尤其在京师（开封）任职时间最长，并且退休后定居在许州（今河南许昌），所以今豫东一带也都普遍会制作小苏肉。再后来，北宋灭亡，宋皇室偏安于杭州，许多达官贵族、皇室裔胄随之南迁，又把小苏肉的制法传到了江浙一带。
小苏肉既可以现炸现吃，也可以烩汤、作火锅主料。浙江人还发明了蒸制的吃法，就是把炸好的小苏肉加上冬笋、黄花等山珍略炒，兑少许水烧开，盛放碗中，隔水蒸透，即可食用。这种做法使素菜有了肉味，却一点也不腻人，还有一点爽滑的感觉，十分鲜香可口。
当然，苏辙的主要精力和贡献在文学方面，不在烹饪上，他也不会把发明小苏肉作为自己的功劳。但是，历史并没有忘记这位烹饪高手，所以至今在饮食业界，无论知不知道这个故事，人们在写这道菜名的时候，都会写成“小酥肉”，而不是写成“小苏肉”。