update classify

周伟奇
Showing 2 changed files with 92 additions and 15 deletions
src/apps/doc/consts.py
src/apps/doc/ocr/wb.py
--- a/src/apps/doc/consts.py
View file @154cff1
+++ b/src/apps/doc/consts.py
View file @154cff1
@@ -11,7 +11,7 @@ DATE_FORMAT = ['%Y年%m月%d日', '%Y/%m/%d', '%Y-%m-%d', '%Y%m%d']
 FIXED_APPLICATION_ID_PREFIX = 'CH-S'
 DOC_SCHEME_LIST = ['ACCEPTANCE', 'SETTLEMENT', 'CONTRACT MANAGEMENT']
-DATA_SOURCE_LIST = ['POS', 'E-APP', 'ECONTRACT']
+DATA_SOURCE_LIST = ['POS', 'EAPP', 'ECONTRACT']
 HIL_PREFIX = 'HIL'
 AFC_PREFIX = 'AFC'
@@ -289,8 +289,14 @@ HEADERS_MAPPING.update(
 # ('记账日期', '记账时间', '金额', '余额', '交易名称', '附言', '对方账户名', '对方卡号/账号', '对方开户行', '核对结果', '借贷', '收入', '支出')
 # CLASSIFY_LIST = [
+#     # --------------普通打印：全格线---------------------------------
+#     # 中国银行：记账日期 记账时间 币别 金额 余额 交易名称 渠道 网点名称 附言 对方账户名 对方卡号/账号 对方开户行
 #     ('中国银行', (1, 2, 4, 5, 6, 9, 10, 11, 12, None, None, None, None)),        # 横版-表格-中国银行（不规则）
+#
+#     # 农业银行：交易日期 交易网点 存入 支出 余额 对方账号 对方名称 摘要 渠道 附言
 #     ('农业银行', (1, None, 3, 5, None, 8, 7, 6, None, None, None, None, None)),  # 横版-表格-农业银行-中国农业银行个人账户明细
+#
+#     # 北京银行：交易日期 业务摘要 收/支 发生额 余额 对方户名 对方账号 交易渠道
 #     ('北京银行', (1, None, 4, 5, None, 2, 6, 7, None, None, 3, None, None)),  # 横版-表格-北京银行
 #
 #     # 工商银行：交易日期 账号 储种 序号 币种 钞汇 摘要 地区 收入/支出金额 余额 [对方户名 对方账号] 渠道
@@ -301,15 +307,18 @@ HEADERS_MAPPING.update(
 #     ('建设银行', (None, None, None, None, None, 2, None, None, None, None, None, None, None)),
 #
 #     # 微信：交易单号 交易时间 交易类型 收/支/其他 交易方式 金额(元) 交易对方 商户单号
+#     ('微信', (2, None, 6, None, None, 3, 7, None, None, None, None, None, None)),
 #
 #     # 支付宝：流水号 时间 名称/备注 收入 支出 账户余额 资金渠道
+#     ('支付宝', (2, None, None, 6, None, 3, None, None, None, None, None, 4, 5)),
 #
-#     # -----------------
+#     # -----------------普通打印：部分格线--------------------------------
 #
 #     # 农业银行：交易日期 摘要/附言 交易金额 余额 交易地点/对方账号和户名
 #     ('农业银行', (1, None, 3, 4, None, 2, None, 5, None, None, None, None, None)),
 #
 #     # 农商行：交易日期 交易发生额 账户余额 对方账号 对方户名 摘要 备注
+#     ('农商行', (1, None, 2, 3, None, 6, 5, 4, None, None, None, None, None)),
 #
 #     # 中信银行：交易日期 交易摘要 收入金额 支出金额 账户余额 对方户名 对方账号 对方银行 交易流水号
 #     ('中信银行', (1, None, None, 5, None, 2, 6, 7, 8, None, None, 3, 4)),
@@ -317,39 +326,52 @@ HEADERS_MAPPING.update(
 #     # 平安电子账单：序号 交易日期 交易网点 摘要 借贷发生额(借:-贷:+) 账户余额
 #     ('平安电子账单', (2, None, 5, 6, None, 4, None, None, None, None, None, None, None)),
 #
-#     # -------------------------
+#     # -----------------普通打印：无格线-------------------------------------
 #
 #     # 招商银行：记账日期 货币 交易金额 联机余额 冲补账 交易摘要
+#     ('招商银行', (1, None, 3, 4, None, 6, None, None, None, None, None, None, None)),
 #
 #     # 邮储银行：交易日期、交易类型 交易币种     交易金额(元) 账户余额(元) [对手方户名 对手方账户 收支类型]  --> 竖版-无表格-邮储银行-账户对账单 含有对手方户名 对手方账户
 #     #         交易日期、交易类型 交易金额(元) 账户余额(元) 操作柜员                              --> 竖版-无表格-邮储银行 账户对账单
+#     ('邮储银行', (1, None, None, None, None, 2, None, None, None, None, None, None, None)),
 #
 #     # 工商银行电子版：交易日期 账号 储种 序号 币种 妙汇 摘要 地区 收入/支出金额 余额 [对方户名 对方账号] 渠道
+#     ('工商银行电子版', (1, None, 9, 10, None, 7, None, None, None, None, None, None, None)),
 #
 #     # 招商银行电子版：记账日期 货币 交易金额 联机余额 交易摘要 对手信息
+#     ('招商银行电子版', (1, None, 3, 4, None, 5, 6, None, None, None, None, None, None)),
 #
-#     # 民生银行：凭证类型 凭证号码 摘要信息 交易时间 交易金额 账户余额 现转标志 交易渠道 交易机构 对方户名 对方行名
+#     # 民生银行：凭证类型 凭证号码 摘要信息 交易时间 交易金额 账户余额 现转标志 交易渠道 交易机构 对方户名 对方行名  --> 横版-无表格-民生银行-中国民生银行个人账户对账单（客户卡号）
-#     #         凭证类型 凭证号码 交易时间 摘要 交易金额 账户余额 现转标志 交易渠道 交易机构 对方户名 对方行名
+#     #         凭证类型 凭证号码 交易时间   摘要  交易金额 账户余额 现转标志 交易渠道 交易机构 对方户名 对方行名     --> 横版-无表格-民生银行
+#     ('民生银行', (None, None, 5, 6, None, None, 7, None, 8, None, None, None, None)),
 #
 #     # 农业银行：交易日期 摘要/附言 交易金额 对方账号和户名
+#     ('农业银行', (1, None, 3, None, None, 2, None, 4, None, None, None, None, None)),
 #
 #     # 农业银行：交易日期 摘要/附言 交易金额 余额 交易地点/对方账号和户名
+#     ('农业银行', (1, None, 3, 4, None, 2, None, 5, None, None, None, None, None)),
 #
 #     # 农业银行：日期、时间、[日志号]、短摘要、交易金额、本次余额、交易网点、渠道、附言
+#     ('农业银行', (1, 2, None, None, None, None, None, None, None, None, None, None, None)),
 #
 #     # 交通银行：交易日期 记账日期、交易地点、交易类型、借贷状态、交易金额、余额
+#     ('交通银行', (1, None, 5, 6, None, 3, None, None, None, None, 4, None, None)),
 #
-#     # ===================================
 #
-#     # 建设银行：摘要、交易日期、交易金额、账户余额、商户/网点号及其名称、对方账号、对方户名
+#     # ================针式打印：有格线===================
-#     #         交易日期、摘要、币种、钞汇、交易金额、帐户余额、对方账号、对方帐户名称
 #
+#     # 建设银行：  摘要、交易日期、交易金额、账户余额、商户/网点号及其名称、对方账号、对方户名                    --> 竖版-表格-建设银行-中国建设银行活期账户明细清单
+#     #         交易日期、摘要、    币种、   钞汇、      交易金额、     帐户余额、对方账号、 对方帐户名称       --> 竖版-表格-建设银行-对私活期账户明细- (1)
+#     ('建设银行', (None, None, None, None, None, None, None, None, None, None, None, None, None)),
 #
-#     # ===================================
+#
+#     # ================针式打印：无格线===================
 #
 #     # 邮储银行：序号、交易日期、交易渠道、摘要、交易金额、账户余额、对方账号/卡号/汇票号、原子账号、交易机构名称
+#     ('邮储银行', (2, None, 5, 6, None, 4, None, 7, None, None, None, None, None)),
 #
 #     # 建设银行：序号 摘要 币别 钞汇 交易日期 交易金额 账户余额 交易地点附言 对方账号与户名
+#     ('建设银行', (5, None, 6, 7, None, 2, None, 9, None, None, None, None, None)),
 # ]
 # {
@@ -364,6 +386,7 @@ HEADERS_MAPPING.update(
 #     "8": "部分格线-竖版-中国农业银行分账户(窄页)",
 #     "9": "部分格线-竖版-平安电子账单"
 # }
 CLASSIFY_LIST = [
    ('农业银行', (1, None, 3, 5, None, 8, 7, 6, None, None, None, None, None)),
    ('中国银行', (1, 2, 4, 5, 6, 9, 10, 11, 12, None, None, None, None)),
@@ -377,3 +400,59 @@ CLASSIFY_LIST = [
    ('平安电子账单', (2, None, 5, 6, None, 4, None, None, None, None, None, None, None)),
 ]
+# {
+#     "0":"其他",
+#     "1":"普通打印-全表格-中国农业银行",
+#     "2":"普通打印-全表格-中国银行",
+#     "3":"普通打印-全表格-北京银行",
+#     "4":"普通打印-全表格-工商银行",
+#     "5":"普通打印-全表格-建设银行",
+#     "6":"普通打印-全表格-微信账单",
+#     "7":"普通打印-全表格-支付宝账单",
+#     "8":"普通打印-无格线-中国邮政储蓄银行",
+#     "9":"普通打印-无格线-交通银行",
+#     "10":"普通打印-无格线-农业银行整数",
+#     "11":"普通打印-无格线-农业银行银行活期扩张缩进",
+#     "12":"普通打印-无格线-招商银行",
+#     "13":"普通打印-无格线-招行电子账单",
+#     "14":"普通打印-无格线-民生银行",
+#     "15":"普通打印-部分格线-横版-中信银行",
+#     "16":"普通打印-部分格线-竖版-中国农业银行分账户窄页",
+#     "17":"普通打印-部分格线-竖版-农业银行",
+#     "18":"普通打印-部分格线-竖版-农业银行银行卡交易明细",
+#     "19":"普通打印-部分格线-竖版-平安电子账单",
+#     "20":"针式打印-全格线-建设银行",
+#     "21":"针式打印-部分格线-竖版-邮储银行账户交易",
+#     "22":"针式打印-部分格线-邮储银行一本通绿卡"
+# }
+# CLASSIFY_LIST = [
+#     ('其他', (None, None, None, None, None, None, None, None, None, None, None, None, None)),
+#     ('农业银行', (1, None, 3, 5, None, 8, 7, 6, None, None, None, None, None)),
+#     ('中国银行', (1, 2, 4, 5, 6, 9, 10, 11, 12, None, None, None, None)),
+#     ('北京银行', (1, None, 4, 5, None, 2, 6, 7, None, None, 3, None, None)),
+#     ('工商银行', (1, None, 9, 10, None, 7, None, None, None, None, None, None, None)),
+#     ('建设银行', (None, None, None, None, None, 2, None, None, None, None, None, None, None)),
+#     ('微信', (2, None, 6, None, None, 3, 7, None, None, None, None, None, None)),
+#     ('支付宝', (2, None, None, 6, None, 3, None, None, None, None, None, 4, 5)),
+#
+#     ('交通银行', (1, None, 5, 6, None, 3, None, None, None, None, 4, None, None)),
+#     ('农业银行', (1, None, 3, None, None, 2, None, 4, None, None, None, None, None)),
+#     ('农业银行', (1, 2, None, None, None, None, None, None, None, None, None, None, None)),
+#     ('招商银行', (1, None, 3, 4, None, 6, None, None, None, None, None, None, None)),
+#     ('招商银行电子版', (1, None, 3, 4, None, 5, 6, None, None, None, None, None, None)),
+#     ('民生银行', (None, None, 5, 6, None, None, 7, None, 8, None, None, None, None)),
+#
+#     ('中信银行', (1, None, None, 5, None, 2, 6, 7, 8, None, None, 3, 4)),
+#     ('农业银行', (1, None, 3, 4, None, 2, None, 5, None, None, None, None, None)),
+#     ('农业银行', (1, None, 3, 4, None, 2, None, 5, None, None, None, None, None)),
+#     ('农业银行', (1, None, 3, 4, None, 2, None, 5, None, None, None, None, None)),
+#     ('平安电子账单', (2, None, 5, 6, None, 4, None, None, None, None, None, None, None)),
+#
+#     ('建设银行', (None, None, None, None, None, None, None, None, None, None, None, None, None)),
+#     ('邮储银行', (2, None, 5, 6, None, 4, None, 7, None, None, None, None, None)),
+#     ('邮储银行', (2, None, 5, 6, None, 4, None, 7, None, None, None, None, None)),
+# ]
--- a/src/apps/doc/ocr/wb.py
View file @154cff1
+++ b/src/apps/doc/ocr/wb.py
View file @154cff1
@@ -38,7 +38,7 @@ class BSWorkbook(Workbook):
        for col in range(consts.FIXED_COL_AMOUNT + 1, ws.max_column + 1):
            header_value = ws.cell(1, col).value
            header_col = consts.HEADERS_MAPPING.get(header_value)
-            if header_col is not None:
+            if header_col is not None and header_col not in header_col_set:
                letter = get_column_letter(col)
                ws.move_range("{0}1:{0}{1}".format(letter, ws.max_row), cols=header_col - col)
                moved_col_set.add(col)
@@ -63,7 +63,7 @@ class BSWorkbook(Workbook):
        for header_col in range(1, consts.FIXED_COL_AMOUNT + 1):
            if header_col in header_col_set or header_col == consts.RESULT_HEADER_COL:
                continue
-            fix_col = consts.CLASSIFY_LIST[classify][1][header_col - 1]  # TODO 合并分类情况
+            fix_col = consts.CLASSIFY_LIST[classify][1][header_col - 1]
            if fix_col is None:
                continue
            fix_col = fix_col + consts.FIXED_COL_AMOUNT
@@ -250,7 +250,7 @@ class BSWorkbook(Workbook):
                # 3.4.余额转数值
                try:
                    try:
-                        if isinstance(amount_cell.value, str):
+                        if isinstance(amount_cell.value, str):  # TODO 可在转化数字失败后，再替换
                            amount_cell.value = amount_cell.value.translate(consts.TRANS)
                        amount_cell.value = locale.atof(amount_cell.value)
                    except Exception as e:
@@ -337,8 +337,6 @@ class BSWorkbook(Workbook):
                end_date = max(date_list) if end_date is None else end_date
            # 2.元信息提取表
-            bank_name = consts.CLASSIFY_LIST[summary['classify']][0]
-            base_sheet_name = '{0}_{1}'.format(bank_name, summary['role'])
            ms = self.build_meta_sheet(card,
                                       summary['classify'],
                                       summary['confidence'],
@@ -354,7 +352,7 @@ class BSWorkbook(Workbook):
                is_reverse = True
                for month_list in month_mapping.values():
                    month_list.sort(key=lambda x: x[-1], reverse=True)
-            self.build_month_sheet(base_sheet_name, month_mapping, ms, is_reverse)
+            self.build_month_sheet(card, month_mapping, ms, is_reverse)
            # 4.删除原表
            for sheet in summary['sheet']: