为什么我的 sklearn MDS（多维缩放）可视化看起来如此无信息（完美的圆形和圆形）？

Question

我已经使用随机森林计算了大约 1000 个数据点的邻近矩阵，但我使用 sklearn 的 MDS 可视化该矩阵的结果非常奇怪且难以推理。

我用来处理数据的代码如下：

data_url = "https://raw.githubusercontent.com/ychennay/ychennay.github.io/master/KAG_conversion_data.csv"

# read data into memory and drop columns
data_string = requests.get(data_url).content
conversions_df = pd.read_csv(StringIO(data_string.decode("utf-8"))
                            )

ad_ids = conversions_df["ad_id"].tolist()

conversions_df = pd.read_csv(StringIO(data_string.decode("utf-8"))
                            ).drop(columns=COLUMNS_TO_DROP)

conversions_df["bias"] = 1 # add a bias/intercept column

# define the target
y = conversions_df[TARGET]

# define features
X = conversions_df.loc[:, ~conversions_df.columns.isin(TARGET)]

# using dictionary convert columns into categorical data types
convert_dict = {'gender': "category",
                'interest':"category",
                "age": "category"}

conversions_df = conversions_df.astype(convert_dict)
dummified_data = pd.get_dummies(conversions_df, drop_first=True) # get dummy features for categorical variables

TARGET = ["Approved_Conversion"]
y = dummified_data[TARGET].values.reshape(-1)
X = dummified_data.loc[:, ~dummified_data.columns.isin(TARGET)]
conversions_df = conversions_df.astype(convert_dict)

在这个预处理之后，我通过我的RandomForestRegressor 运行它，试图将Approved_Conversions 预测为目标：

from sklearn.ensemble import RandomForestRegressor

B = 500
rf = RandomForestRegressor(n_estimators=B)
rf.fit(X, y)

final_positions = rf.apply(X)
proximity_matrix = np.zeros((len(X), len(X)))
# adapted implementation found here: h
# https://stackoverflow.com/questions/18703136/proximity-matrix-in-sklearn-ensemble-randomforestclassifier
for tree_idx in range(B):
    proximity_matrix += np.equal.outer(final_positions[:,tree_idx], 
                                       final_positions[:,tree_idx]).astype(float)
# divide by the # of estimators
proximity_matrix /= B

distance_matrix = 1 - proximity_matrix
distance_matrix = pd.DataFrame(distance_matrix, columns=ad_ids, index=ad_ids)

但是，当我绘制 MDS 可视化时，可视化是完美的圆形，并且信息量不是很大。我预计数据中有一些连贯的集群与最相似的数据点组相对应：

from sklearn.manifold import MDS
# from sklearn.decomposition import PCA
mds = MDS(n_components=2,dissimilarity='precomputed')
reduced_dimensions = mds.fit_transform(distance_matrix)

如果我尝试使用带有 proximity_matrix 的 MDS，它或多或少是相同的模式：

我不是最熟悉 MDS，但我无法解释为什么当大多数在线文章都建议使用它来可视化距离/相似度矩阵时，这个算法给我的结果最差。

我还验证了矩阵的实际结果是有意义的。例如，当我获得与特定 Facebook 广告最相似的广告（数据集是付费 Facebook 广告系列的表现）时，我得到的结果确实有意义（我输入的广告被突出显示，最相似的结果显示在下面） ：

谁能给我一些指示我可能做错了什么？如果我使用 PCA 减少维度，我会得到更“正常”的结果（至少该方差在两个主成分中都在扩展）：

Answer 1

我相信问题出在reduced_dimensions = mds.fit_transform(distance_matrix) 这一行@您正在拟合您的模型，然后转换结果，而不是缩放输入数据并拟合模型。

我认为以这种方式进行操作会导致它被操纵成正态分布，在多个变量的情况下会生成钟形曲线或椭圆形。如果您只是尝试 mds.fit(distance_matrix) 会发生什么？

道歉，因为这作为评论更有意义，我还不允许评论。