File UTF-8 con BOM

Verifica e pulizia di file con BOM

Si può riconoscere la presenza del BOM (Byte Order Mark)in un file con il comando

file file_con_bom.txt
file_con_bom.txt: UTF-8 Unicode (with BOM) text, with CRLF line terminators

In questo caso si può attuare una pulizia del creando un nuovo file

awk '{if(NR==1)sub(/^\xef\xbb\xbf/,"");print}' \
file_con_bom.txt > file_senza_bom.txt

o correggere direttamente il file

sed -i '1 s/^\xef\xbb\xbf//' file_con_bom.txt