如何在读取 CSV 文件时跳过“utf 8 中的无效字节序列”？

Question

我正在处理一个包含大量列和行的大型 CSV 文件（数以万计，因此几乎不可能逐个单元格地检查）。

文件中的某个地方可能出现了错误字符。如果出现错误（主要是标题中的错误），我尝试使用构造 begin - rescue 跳过当前处理的行，但它不起作用，脚本会在偶然发现字符时停止。

有没有办法忽略/跳过这个“坏”字符/符号？ 为了处理 CSV 文件，我使用的是SmartCSV。

编辑：一些代码

datas = SmarterCSV.process(file, {:col_sep => ';', :chunk_size => 100, :remove_empty_values => false, :remove_empty_hashes => false }) do |data|
  begin
    data.each do |d|
      user.something = d[:hobby]
      ...
      here is basically just saving data from the file to database tables
      ...
    end
  rescue => e
    logger.warn "Ooops, an error occurred while processing this record: #{e}" 
  end
end  

我也尝试将begin 结构放入data.each，但也无法避免这种情况。

这个问题的解决方案是对文件的每个元素/单元格进行编码，但每一行都有大约 70 个单元格......所以我正在努力寻找更好的解决方案，如果有的话。

EDIT2：在处理 CSV 的文件顶部添加 # encoding: UTF-8。 CSV 文件具有 us-ascii 字符集。

Answer 1

我遇到了类似的问题，在打开文件时提供编码解决了我的问题：

file = File.open(params[:file].tempfile, "r:bom|utf-8")
SmarterCSV.process(file, {chunk_size: 10000, col_sep: ";"}) do |chunk|
  # ...
end