Воспользуйтесь функцией tonumber. Такой код преобразует 16-ричное число в 10-чное:
val = tonumber(100, 16)
Подробное описание этой функции вы можете прочитать в справке (воспользуйтесь поиском).

Если вы занимаетесь поддержкой протокола, то мы можем дать специальную документацию по разработке протоколов (официально пока не опубликована) - обратитесь в техническую поддержку.