abupy.CrawlBu package

Submodules

abupy.CrawlBu.ABuXqApi module

class abupy.CrawlBu.ABuXqApi.IndustryUrl(market, **kwargs)[源代码]

Bases: object

init_base_url()[源代码]
url
class abupy.CrawlBu.ABuXqApi.StockListUrl(market, **kwargs)[源代码]

Bases: abupy.CrawlBu.ABuXqApi.IndustryUrl

init_base_url()[源代码]
abupy.CrawlBu.ABuXqApi.test()[源代码]

abupy.CrawlBu.ABuXqConsts module

abupy.CrawlBu.ABuXqCrawl module

abupy.CrawlBu.ABuXqCrawl.crawl_stock_code(markets=('CN', 'HK', 'US'))[源代码]

从雪球获取市场股市代码 :param markets: 市场类型

abupy.CrawlBu.ABuXqCrawl.crawl_stock_info(markets)[源代码]

获取股票信息,例如,股市简介,行业,市值等信息 :param markets:

abupy.CrawlBu.ABuXqCrawl.ensure_symbol(symbol)[源代码]

保证本地的股市代码库纯在该symbol才能查看stock info A 股 sh、sz开头 + 6位数字 HK 股 5位数字 UK 股 英文代码 :param symbol: :return:

abupy.CrawlBu.ABuXqCrawl.hq_nav()[源代码]
返回:dict

一级菜单:类别,如。美股,港股,沪深,基金,债券等 二级菜单:如,行业分类,美股一览等 三级菜单:可能会有(,比如行业就需细分)

abupy.CrawlBu.ABuXqCrawl.query_symbol_info(symbol)[源代码]
abupy.CrawlBu.ABuXqCrawl.update_all(markets=('US', 'CN', 'HK'))[源代码]

abupy.CrawlBu.ABuXqCrawlImp module

class abupy.CrawlBu.ABuXqCrawlImp.BaseHQCrawlBrower(url)[源代码]

Bases: abupy.CrawlBu.ABuXqCrawlImp.BaseXQCrawlBrower

class abupy.CrawlBu.ABuXqCrawlImp.BaseXQCrawlBrower(base_url)[源代码]

Bases: abc.NewBase

使用chrome浏览器的自动化测试驱动接口,获取网页数据

content
crawl(*args, **kwargs)[源代码]

执行完任务是自动退出,避免占用资源,在多进程爬时会启动多个chrome实例 :param args: :param kwargs: :return: crawl_imp

get(url)[源代码]
class abupy.CrawlBu.ABuXqCrawlImp.NavHQCrawlBrower[源代码]

Bases: abupy.CrawlBu.ABuXqCrawlImp.BaseHQCrawlBrower

class abupy.CrawlBu.ABuXqCrawlImp.StockInfoListBrower(market, symbols)[源代码]

Bases: abupy.CrawlBu.ABuXqCrawlImp.BaseXQCrawlBrower

class abupy.CrawlBu.ABuXqCrawlImp.StockListCrawlBrower(url)[源代码]

Bases: abupy.CrawlBu.ABuXqCrawlImp.BaseHQCrawlBrower

abupy.CrawlBu.ABuXqFile module

abupy.CrawlBu.ABuXqFile.del_columns(df, columns)[源代码]
abupy.CrawlBu.ABuXqFile.drop_nuisance(df)[源代码]
abupy.CrawlBu.ABuXqFile.error_stock_info(market, symbol, error_info)[源代码]

抓取stock info 失败 保存到磁盘,以便,下次查看,由于多进程的原因,每个错占用一个空文件,避免多进程共享文件可能出错的问题 :param error_info: :param market: :param symbol: :return:

abupy.CrawlBu.ABuXqFile.exist_stock_info(market, symbol)[源代码]
abupy.CrawlBu.ABuXqFile.fix_xq_columns_name()[源代码]

雪球获取的数据的key都是中文,dataframe的columns不变与用中文

abupy.CrawlBu.ABuXqFile.map_cache_stock_info(market, symbol)[源代码]

临时存取 stock info :param market: :param symbol: :return:

abupy.CrawlBu.ABuXqFile.map_stock_list(market)[源代码]
abupy.CrawlBu.ABuXqFile.map_stock_list_rom(market)[源代码]
abupy.CrawlBu.ABuXqFile.merge_stock_info_to_stock_list(market=('US', 'HK', 'CN'))[源代码]
abupy.CrawlBu.ABuXqFile.query_a_stock(market, symbol)[源代码]
abupy.CrawlBu.ABuXqFile.read_all_error_stock_info_symbol()[源代码]
返回:返回抓取stock info失败的symbol列表
abupy.CrawlBu.ABuXqFile.read_stock_symbol_list(market)[源代码]
abupy.CrawlBu.ABuXqFile.read_stock_symbol_name(market, symbol)[源代码]
abupy.CrawlBu.ABuXqFile.save_cache_stock_info(stock_info, market, symbol)[源代码]

Module contents