Python中类似Excel的文本导入：自动解析固定宽度的列

Question

在 Excel 中，如果您导入空格分隔的文本，其中的列没有完美对齐并且数据可能会丢失，例如

  pH             pKa/Em  n(slope) 1000*chi2      vdw0  
CYS-I0014_        >14.0                          0.00  
LYS+I0013_       11.827     0.781     0.440      0.18

您可以选择将其视为固定宽度的列，并且 Excel 可以自动计算出列宽，通常会产生非常好的结果。 Python 中是否有一个库可以以类似的自动方式分解格式不佳的固定宽度文本？

编辑： 这就是 Excel 中固定宽度文本导入的样子。在第一步中，您只需选中“固定宽度”单选按钮，然后在第二步中 Excel 已经自动添加了分栏符。唯一不能正确执行此操作的情况是，在每一行的每个分栏符中至少没有一个空白字符重叠。

Answer 1

首先，Excel（2003，在家）不是很聪明。如果您的列 1000*chi2 包含空格，例如1000 * chi2，excel会猜错。

小例：如果你的数据最初是用制表符（不是空格）分隔的，并且使用多个制表符表示空列，那么，至少在 TCL 中，很容易按制表符内容分割每一行，我猜是微不足道的在 Python 中也是如此。

但我猜你的问题是他们只使用了空格字符。 我看到解决这个问题的最大线索是将文本粘贴到记事本中并选择固定大小的字体。一切都排列整齐，你可以用每行的字符数来衡量“长度”。

因此，如果您可以依赖输入的此功能，那么您可以使用“筛选”方法来自动识别分栏符的位置。当您在第一遍中咀嚼线条时，请注意沿线被非空白占据的“位置”，如果它曾经被非空白占据，则从列表中删除一个位置。当你走的时候，你会很快到达一组从未被非空白占据的位置。那么，这些就是您的列分隔符。在您的示例中，您的“筛子”最终会出现位置 10-16、23-24,32、42-47 永远不会被非空格占据（假设我可以数数）。 因此，该集合的补充是您的数据必须位于的列位置集合。 因此，对于每一行，每个非空白块都将恰好适合上面确定的一组位置（即补集）中的一个列。 我从来没有用 Python 编写过代码，所以附上了一个 TCL 脚本，它将使用筛子方法识别文本中的分栏符，并发出一个新的文本文件，其中的空格字符恰好被单个制表符替换 - 即. 10-16 被一个选项卡替换，23-24 被另一个选项卡替换，等等。 生成的文件是制表符分隔的，即平凡的情况。我承认我只是在你的小案例数据上尝试过，复制到一个名为 ex.txt 的文本文件中；输出到 ex_.txt。如果标题包含空格，我怀疑它也可能有问题。

希望这会有所帮助！

set fh [open ex.txt]
set contents [read $fh];#ok for small-to-medium files.
close $fh

#first pass
set occupied {}
set lines [split $contents \n];#split contents at line breaks.
foreach line $lines {
  set chrs [split $line {}];#split each line into chars.
  set pos 0
  foreach chr $chrs {
    if {$chr ne " "} {
      lappend occupied $pos
    }
    incr pos
  }
}

#drop out with long list of occupied "positions": sort to create
#our sieve.
set datacols [lsort -unique -integer $occupied]
puts "occupied: $datacols"

#identify column boundaries.
set colset {}
set start [lindex $datacols 0];#first occupied pos might be > 0??
foreach index $datacols {
  if {$start < $index} {
    set end $index;incr end -1
    lappend colset [list $start $end]
    puts "col break starts at $start, ends at $end";#some instro!
    set start $index
  }
  incr start
}

#Now convert input file to trivial case output file, replacing
#sieved space chars with tab characters.
set tesloc [lreverse $colset];#reverse the column list!
set fh [open ex_.txt w]
foreach line $lines {
  foreach ele $tesloc {
    set line [string replace $line [lindex $ele 0] [lindex $ele 1] "\t" ]
  }
  puts "newline is $line"
  puts $fh $line
}
close $fh