Как да се справим с SettingWithCopyWarning в Pandas?

Предупреждението SettingWithCopyWarning е създадено, за да сигнализира за потенциално объркващи "верижни" присвоявания, като например следното, което не винаги работи както се очаква, особено когато първата селекция връща копие. [вижте GH5390 и GH5597 за обсъждане.]

df[df['A'] > 2]['B'] = new_val  # new_val not set in df

Предупреждението предлага да се пренапише по следния начин:

df.loc[df['A'] > 2, 'B'] = new_val

Това обаче не отговаря на вашата употреба, която е еквивалентна на:

df = df[df['A'] > 2]
df['B'] = new_val

Макар да е ясно, че не се интересувате от това, че записите се връщат в оригиналния кадър (тъй като сте презаписали препратката към него), за съжаление този модел не може да бъде разграничен от първия пример за верижно присвояване, поради което предупреждението е (фалшиво положително). Потенциалът за фалшиви положителни резултати е разгледан в docs on indexing, ако искате да прочетете повече. Можете спокойно да деактивирате това ново предупреждение със следното задание.

pd.options.mode.chained_assignment = None  # default='warn'

По принцип целта на предупреждението SettingWithCopyWarning е да покаже на потребителите (и особено на новите потребители), че може би работят с копие, а не с оригинала, както си мислят. Съществуват фалшиви положителни резултати (т.е. ако знаете какво правите, всичко може да е добре). Една от възможностите е просто да се изключи предупреждението (по подразбиране предупреждение), както предлага @Garrett.

Има и друга възможност:

In [1]: df = DataFrame(np.random.randn(5, 2), columns=list('AB'))

In [2]: dfa = df.ix[:, [1, 0]]

In [3]: dfa.is_copy
Out[3]: True

In [4]: dfa['A'] /= 2
/usr/local/bin/ipython:1: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  #!/usr/local/bin/python

Можете да зададете флага is_copy на False, което на практика ще изключи проверката за този обект:

In [5]: dfa.is_copy = False

In [6]: dfa['A'] /= 2

Ако недвусмислено копирате, няма да има допълнително предупреждение:

In [7]: dfa = df.ix[:, [1, 0]].copy()

In [8]: dfa['A'] /= 2

Кодът, който ОП показва по-горе, макар да е легитимен и вероятно нещо, което и аз правя, технически е случай за това предупреждение, а не фалшиво положителен резултат. Друг начин да не се получи предупреждението е операцията за селекция да се извърши чрез reindex, напр.

quote_df = quote_df.reindex(columns=['STK', ...])

Или,

quote_df = quote_df.reindex(['STK', ...], axis=1)  # v.0.21

Предупреждение за копиране на рамка от данни на Pandas

Когато направите нещо подобно:

quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]

pandas.ix в този случай връща нова, самостоятелна рамка от данни.

Всички стойности, които решите да промените в тази рамка от данни, няма да променят оригиналната рамка от данни.

Това е, за което pandas се опитва да ви предупреди.

Защо .ix е лоша идея

Обектът .ix се опитва да прави повече от едно нещо и за всеки, който е чел нещо за чист код, това е силна миризма.

При тази рамка от данни:

df = pd.DataFrame({"a": [1,2,3,4], "b": [1,1,2,2]})

Две поведения:

dfcopy = df.ix[:,["a"]]
dfcopy.a.ix[0] = 2

Първо поведение: dfcopy вече е самостоятелна рамка от данни. Промяната му няма да промени df

df.ix[0, "a"] = 3

Поведение две: Това променя оригиналната рамка от данни.

Използвайте вместо това .loc

Разработчиците на pandas признаха, че обектът .ix е доста миризлив[спекулативно], и затова създадоха два нови обекта, които помагат при присъединяването и присвояването на данни. (Другият е .iloc)

.loc е по-бърз, тъй като не се опитва да създаде копие на данните.

Целта на .loc е да модифицира съществуващата рамка от данни на място, което е по-ефективно по отношение на паметта.

.loc е предсказуем, има едно поведение.

Решението

Това, което правите в примера с кода, е да заредите голям файл с много колони, след което да го модифицирате, за да бъде по-малък.

Функцията pd.read_csv може да ви помогне в много от тези неща, а също така да направи зареждането на файла много по-бързо.

Така че вместо да правите това

quote_df = pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
quote_df.rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]

Направете това

columns = ['STK', 'TPrice', 'TPCLOSE', 'TOpen', 'THigh', 'TLow', 'TVol', 'TAmt', 'TDate', 'TTime']
df = pd.read_csv(StringIO(str_of_all), sep=',', usecols=[0,3,2,1,4,5,8,9,30,31])
df.columns = columns

Това ще прочете само колоните, които ви интересуват, и ще ги наименува правилно. Няма нужда да използвате злия обект .ix, за да правите магически неща.