床上棕垫有小虫子可能是因为长时间不清洗和保养导致的，这些小虫子主要是一些害虫如螨虫、蚁虫等。以下是几种去除小虫子的方法：
1. 日晒：将床上棕垫取出来放在阳光下暴晒，直接暴晒即可。日晒有杀菌和消毒的效果，能够有效地消灭细菌和害虫。晒干后使用高压吸尘器彻底清洁一遍。
2. 冰冻：将床上棕垫放到冰箱冷冻室中，冰冻一夜，小虫子会被冻死。再将其取出，晒干后清洁一下即可。
3. 温水清洗：用40℃以上的温水将床上棕垫浸泡2小时以上，把害虫和细菌消灭掉，然后用洗衣机洗涤，并使用高压吸尘器吸干。
4. 杀虫剂：可以使用专门的床上用品杀虫剂喷洒在床垫表面，外壳和四周等易藏虫位置上，喷洒后密封几个小时，然后通风干燥。
需要注意的是，清洗床上棕垫时要使用中性的清洁剂或漂洗剂，避免使用酸碱性强的清洁剂。另外，为了预防小虫子和细菌滋生，可以在平时做好床上用品的勤换洗和定期清洗、消毒工作。