当大气中某处空气上升特别迅速，在高空遭遇冷空气时，水蒸气就会聚集凝结形成暴雨云。
云层中的水汽最终会以降水的形式落到地面。水汽在降落的过程中先是凝成雪花，接着化为雨滴。如果雨滴在下落的过程中又一次遭遇上升气流，雨滴便会被气流抬升、再度遇冷并越过冰点，凝结成一个小冰珠。冰珠还会与周遭的小冰珠相互结合形成冰球。当冰球增大到一定程度后由于重力原因再次下落，在这期间可能又会在空气扰流的卷挟下上下翻滚。
经历了如此这般的往复运动，冰雹又慢慢增大。当你切开一个刚成形还没来得及融化的冰雹时，就会发现冰雹内部有像树木年轮一般的圈层。由此也可以推断出这个冰雹在形成过程中被气流卷挟上升了多少次。
要形成直径达12厘米以上的冰雹，上升气流的速度需要达到每小时161千米以上。而空气扰流的范围越广、强度越高，所形成的冰雹体积也就越大。
冰雹的中间是雹胚，一般是个小冰粒，外面包裹着一层透明、一层不透明的冰层，好似夹心饼干一样。这种透明与不透明的交替层，可达4～5层，最大冰雹的直径超过10厘米。