百度关键词排名优化_大同网站设计_福建键seo排名_营销软件网

dataframe读写数据操作

import pandas as pd# 准备数据(字典)
data = [[1, '张三', '1999-3-10', 18],[2, '李四', '2002-3-10', 15],[3, '王五', '1990-3-10', 33],[4, '隔壁老王', '1983-3-10', 40]
]df = pd.DataFrame(data, columns=['id', 'name', 'birthday', 'age'])
df

 写到csv文件中 ，路径在当前目录同级的output目录下，不需要索引，不需要标题，列与列的分隔符为‘*’，只显示id，name，birthday三列，并且为追加模式

df.to_csv('./output/student11.csv',index=False,
header=False,
sep='*',
columns=['id', 'name', 'birthday'],
mode='a')

读取csv文件 将第零列作为索引列，不需要标题，只显示一列，两行数据

pd.read_csv('./output/student11.csv',
index_col=0,
header=None,
usecols=[0],
nrows=2)

 写到excel文件中 不需要索引 需要标题

df.to_excel('./output/student11.xlsx',index=False,header=True)

读excel文件，索引为第零列，标题也是第零行，跳过一行

pd.read_excel('./output/student11.xlsx',index_col=0,header=0,skiprows=1)

 

pd.read_excel('./output/student12.xlsx',index_col=0)

 将数据写到mysql中 （可能出现中文乱码错误 创建库的时候 加上

create database test character set 'utf8';

）

建立连接 mysql数据库+pymysql子数据库 ://用户名：密码@ip地址：端口号/库名？编码

# 连接
from sqlalchemy import create_engineengine = create_engine('mysql+pymysql://root:123456@192.168.88.100:3306/test?charset=utf8')

 con是上面的连接  如果存在就替换 不需要索引

df.to_sql('student', con=engine, if_exists='replace', index=False)

 追加

from sqlalchemy import typesdtype = {'birthday':types.Date}df.to_sql('student_2', con=engine, if_exists='append', index=False, dtype=dtype)

从sql中读取数据

import pandas as pd
from sqlalchemy import create_engine
# 1 通过表读
conn = create_engine('mysql+pymysql://root:123456@192.168.88.100:3306/test?charset=utf8')# df = pd.read_sql("student_2", con=conn)
df = pd.read_sql_table("student_2", con=conn)df

 通过从mysql中读取 然后 查询表

#  sql 读取
import pandas as pd
from sqlalchemy import create_engine
# 1 通过表读
conn = create_engine('mysql+pymysql://root:123456@192.168.88.100:3306/test?charset=utf8')# df = pd.read_sql("select * from student_2 where age>30", con=conn)
df = pd.read_sql_query("select * from student_2 where age>30", con=conn)df

获取df子集

加载数据 获取前五行 （tail()获取后五行）

import pandas as pd# 加载数据 ../data/b_LJdata.csv
df = pd.read_csv('./data/b_LJdata.csv').head()
df

获取户型列

法一  ：df['户型']
法二  ：df.户型

 获取多列  （再包一层）

df[['户型','价格']]

 获取面积大于80的数据

df['面积']>80

list(df['面积']>80)

[False, False, True, True, False]

法一：df[[False, False, True, True, False]]

或者 

法二：df[df['面积']>80]

 通过切片获取数据

df[:5:3]   左闭右开  [start:end:step]

案例 ： 获取天通苑租房、望京租房、北苑租房 且朝向为东或南的房子信息

 

 最后用new_df再包一下

(new_df['区域']=='天通苑租房') | (new_df['区域']=='望京租房') | (new_df['区域']=='北苑租房')
或者

new_df['区域'].isin(['天通苑租房','望京租房','北苑租房']) 

(new_df['朝向']=='东') | (new_df['朝向']=='南')

或者

new_df['朝向'].isin(['东','南'])

((new_df['区域']=='天通苑租房') | (new_df['区域']=='望京租房') | (new_df['区域']=='北苑租房')) & ((new_df['朝向']=='东') | (new_df['朝向']=='南'))

或者 

new_df[new_df['区域'].isin(['天通苑租房','望京租房','北苑租房']) & new_df['朝向'].isin(['东','南'])]

#法一
new_df[
(  (new_df['区域']=='天通苑租房') | 
(new_df['区域']=='望京租房') | 
(new_df['区域']=='北苑租房')   ) 
& 
((new_df['朝向']=='东') | 
(new_df['朝向']=='南'))
]
# 法二
new_df[new_df['区域'].isin(['天通苑租房','望京租房','北苑租房']) 
& new_df['朝向'].isin(['东','南'])]

df方法

• loc通过行列名获取子集
• iloc通过行列下标获取子集
• query函数获取子集
• isin函数获取子集

 加载数据获取前十行

import pandas as pddf = pd.read_csv('./data/b_LJdata.csv')
df
new_df = df.head(10)
new_df

 

loc通过行列名获取子集

new_df[new_df.index == 2] #获取索引为2这行

new_df.loc[2] #series对象

new_df[new_df.index.isin([2,3,4])] 

new_df.loc[[2,3,4]]  #注意两个[]

new_df[['区域','地址','价格']] #获取多列

切片 

new_df.loc[:6:2]  左闭右闭

区别于

new_df[:6:2] 左闭右开

布尔值向量获取行数据

求面积大于85的房子的区域，户型和价格

new_df.loc[new_df['面积']>85, ['区域', '户型', '价格']]

等价于

new_df[new_df['面积']>85][['区域','户型','价格']]

new_df.loc[[1,3,5]] #根据位置 取第一第三第五行数据

new_df.loc[[1,3,5],['区域', '面积', '价格']]

new_df.loc[:,'区域':'价格':2]  逗号左边表示取几行逗号右边表示要几列

iloc通过行列下标获取子集

行下标获取一行

new_df.iloc[2]  与new_df.loc[2]相同

new_df[new_df.index==2]

获取某个

new_df.iloc[2,1]

'远见名苑'

获取多行数据

new_df.iloc[[2,3]] 同 new_df.loc[[2,3]] 同 new_df[new_df.index.isin([2,4])]

new_df.iloc[1:3:1] 左闭右开

new_df.iloc[:,1:3]  全部行，列从（索引）第一列到第三列 左闭右开 步长为一

new_df.iloc[[2,5,8],[0,2]]  同 new_df.loc[[2, 5, 8], ['区域', '户型']]

 或new_df[new_df.index.isin([2,5,8])][['区域','户型']]

isin函数获取子集

new_df.isin(['天通苑租房', '南', 50, 103])

原数据

new_df[new_df.isin(['天通苑租房', '南', 50, 103])] #再套一层

表示两个条件同时成立  满足区域 满足朝向

new_df[new_df['区域'].isin(["天通苑租房", "北苑租房", "望京租房"]) & new_df['朝向'].isin(["南", "东"])]

在上述条件下 求面积

new_df[new_df['区域'].isin(["天通苑租房", "北苑租房", "望京租房"]) & new_df['朝向'].isin(["南", "东"])]['面积']

或

new_df['面积'][new_df['区域'].isin(["天通苑租房", "北苑租房", "望京租房"]) & new_df['朝向'].isin(["南", "东"])]

 query函数获取子集

new_df.query('区域 in ("天通苑租房", "北苑租房", "望京租房") and 朝向 in ("南", "东")')

• 目标: 查询 区域是 北苑租房

new_df[new_df['区域']== '北苑租房']
new_df.loc[new_df['区域']== '北苑租房']
new_df.iloc[new_df.index[new_df['区域']=='北苑租房']]
new_df.query('区域=="北苑租房"')

• 目标: 查询 区域是 天通苑租房 北苑租房 小西天租房; 朝向是 南 东南

new_df[(new_df['区域'].isin(['天通苑租房', '北苑租房', '小西天租房'])) & (new_df['朝向'].isin(['南', '东南']))]

new_df.query('区域 in ("天通苑租房", "北苑租房", "小西天租房") and 朝向 in ("南", "东南")')

• 目标: 查询 区域是 天通苑租房 北苑租房 小西天租房; 朝向是 南 东南 对应 价格

new_df.query('区域 in ("天通苑租房", "北苑租房", "小西天租房") and 朝向 in ("南", "东南")')['价格']

new_df['价格'].to_frame()[(new_df['区域'].isin(['天通苑租房', '北苑租房', '小西天租房'])) & (new_df['朝向'].isin(['南', '东南']))]