FlagEmbedding으로 BGE-M3 학습하기

def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.loss_history = []
        # Create loss file in output directory
        self.log_file = os.path.join(self.args.output_dir, "training_loss.json")

def _save(self, output_dir: Optional[str] = None, state_dict=None):
				# rest of the function 
				self._save_loss_log()


def compute_loss(self, model, inputs, return_outputs=False, **kwargs): 
        loss, outputs = super().compute_loss(model, inputs, return_outputs=True); 
        
        self.loss_history.append({
            "step": self.state.global_step, 
            "loss": loss.item(), 
        })
        
        if self.state.global_step % 100 == 0: 
            self._save_loss_log() 
        
        return (loss, outputs) if return_outputs else loss
    
def _save_loss_log(self):
    if self.is_world_process_zero():
        os.makedirs(os.path.dirname(self.log_file), exist_ok=True)
        with open(self.log_file, 'w') as f: 
            json.dump(self.loss_history, f, indent=2)

{"id": "101", "title": "", "text": "사업자등록증을 분실했을 경우, 관할 세무서 또는 홈택스를 통해 재발급 신청이 가능합니다."}
{"id": "102", "title": "", "text": "부가세 신고 중 잘못 입력한 경우, 신고 기한 내에 수정신고서를 제출하여 수정 가능합니다."}
{"id": "103", "title": "", "text": "퇴직금 계산 시 기본급, 상여금, 연차수당 등이 포함됩니다."}
{"id": "104", "title": "", "text": "외국인 근로자의 소득세 신고를 위해 여권, 비자, 급여 명세서가 필요합니다."}
{"id": "105", "title": "", "text": "정부 지원금 신청은 중소벤처기업부 사이트에서 신청서를 작성하고 관련 서류를 제출해야 합니다."}
{"id": "106", "title": "", "text": "대표자 변경 시 은행 계좌 변경을 위해 신분증, 사업자등록증, 변경 증명 서류가 필요합니다."}

{"id": "1", "text": "사업자등록증 분실 시 대처 방법은?"}
{"id": "2", "text": "부가세 신고 시 실수로 잘못 입력한 경우 수정할 수 있나요?"}
{"id": "3", "text": "퇴직금 계산 기준에 포함되는 항목은 무엇인가요?"}
{"id": "4", "text": "외국인 근로자 세금 신고 서류는 무엇이 필요한가요?"}

{"qid": "1", "docid": "101", "relevance": 1}
{"qid": "2", "docid": "102", "relevance": 1}
{"qid": "3", "docid": "103", "relevance": 1}
{"qid": "4", "docid": "104", "relevance": 1}

import json
import hashlib

def get_document_id(text):
    return "doc_" + hashlib.md5(text.encode('utf-8')).hexdigest()[:12]

def generate_files(data, output_path):
    corpus_entries = []
    query_entries = []
    qrel_entries = []
    seen_texts = set()
    
    for idx, item in enumerate(data, start=1):
        query_id = str(idx)
        
        # Add query entry
        query_entries.append({
            "id": query_id,
            "text": item["query"]
        })
        
        # Add positive document and relevance judgment
        pos_text = item["pos"][0]
        pos_doc_id = get_document_id(pos_text)
        if pos_text not in seen_texts:
            seen_texts.add(pos_text)
            corpus_entries.append({
                "id": pos_doc_id,
                "title": "",
                "text": pos_text
            })
        qrel_entries.append({
            "qid": query_id,
            "docid": pos_doc_id,
            "relevance": 1
        })
        
        # Add negative documents and relevance judgments
        for neg_text in item["neg"]:
            neg_doc_id = get_document_id(neg_text)
            if neg_text not in seen_texts:
                seen_texts.add(neg_text)
                corpus_entries.append({
                    "id": neg_doc_id,
                    "title": "",
                    "text": neg_text
                })
            qrel_entries.append({
                "qid": query_id,
                "docid": neg_doc_id,
                "relevance": 0
            })
    
    # corpus.jsonl
    with open(f"{output_path}/corpus.jsonl", "w", encoding="utf-8") as f:
        for entry in corpus_entries:
            f.write(json.dumps(entry, ensure_ascii=False) + "\n")
    
    # test_queries.jsonl
    with open(f"{output_path}/test_queries.jsonl", "w", encoding="utf-8") as f:
        for entry in query_entries:
            f.write(json.dumps(entry, ensure_ascii=False) + "\n")
    
    # test_qrels.jsonl
    with open(f"{output_path}/test_qrels.jsonl", "w", encoding="utf-8") as f:
        for entry in qrel_entries:
            f.write(json.dumps(entry, ensure_ascii=False) + "\n")

test_data = []
with open("toy_finetune_data_minedHN.jsonl", "r", encoding="utf-8") as f:
    for line in f:
        if line.strip():
            data = json.loads(line.strip())
            test_data.append(data)

output_path = "./output_path"
generate_files(test_data, output_path)

python -m FlagEmbedding.evaluation.custom \
    --eval_name your_data_name \
    --dataset_dir ./your_data_path \
    --splits test \
    --corpus_embd_save_dir ./your_data_name/corpus_embd \
    --output_dir ./your_data_name/search_results \
    --search_top_k 50 \  
    --cache_path ./cache/data \
    --overwrite True \
    --eval_output_method markdown \
    --eval_output_path ./your_data_name/eval_results.md \
    --eval_metrics ndcg_at_1 ndcg_at_3 ndcg_at_5 ndcg_at_10 recall_at_1 recall_at_3 recall_at_5 recall_at_10 \
    --embedder_name_or_path finetuned_bge-m3 \
    --embedder_model_class encoder-only-m3 \
    --devices cuda:1 \
    --cache_dir ./cache/model