При переписывании кода с MATLAB на Си, надо помнить самое главное правило:

В Си индексация массивов всегда начинается с нуля. А в MATLAB всегда начинается с единицы!

После исправления всех ошибок индексации сходство результатов достигает 5 и более значащих цифр.