H264な動画をdemux→muxしたいんだけど

AVI 
> mp4box.exe -raw 1 test.mp4
Extracting MPEG-4 AVC-H264 stream to h264

> mp4box.exe -add test_track1.h264 -fps 23.976 -new test_out.mp4
AVC-H264 import - frame size 1920 x 1080 at 23.9760 FPS
Import results: 34047 samples - Slices: 316 I 13547 P 20184 B - 1 SEI - 316 IDR
Saving 06.mp4: 0.500 secs Interleaving

例えばこんなことをして、たまにまともに再生できない mp4 ファイルができることがある。 m2ts を tsmuxer で demux してもたまに起こる。 mp4box のバージョンをかえたりするとうまく再生できるものが出来上がるんだけど、どういうことなんだろう？
何かオプションが抜けていたりするのかな…？ こないだの PMF のときといい、よくわからん。