openfree commited on
Commit
00f3995
·
verified ·
1 Parent(s): 7b27b5d

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +1 -314
app.py CHANGED
@@ -1,315 +1,2 @@
1
  import os
2
- from dotenv import load_dotenv
3
- import gradio as gr
4
- from huggingface_hub import InferenceClient
5
- import pandas as pd
6
- from typing import List, Tuple
7
- import json
8
- from datetime import datetime
9
-
10
- # 환경 변수 설정
11
- HF_TOKEN = os.getenv("HF_TOKEN")
12
-
13
- # LLM Models Definition
14
- LLM_MODELS = {
15
- "Cohere c4ai-crp-08-2024": "CohereForAI/c4ai-command-r-plus-08-2024", # Default
16
- "Meta Llama3.3-70B": "meta-llama/Llama-3.3-70B-Instruct" # Backup model
17
- }
18
-
19
- class ChatHistory:
20
- def __init__(self):
21
- self.history = []
22
- self.history_file = "/tmp/chat_history.json"
23
- self.load_history()
24
-
25
- def add_conversation(self, user_msg: str, assistant_msg: str):
26
- conversation = {
27
- "timestamp": datetime.now().isoformat(),
28
- "messages": [
29
- {"role": "user", "content": user_msg},
30
- {"role": "assistant", "content": assistant_msg}
31
- ]
32
- }
33
- self.history.append(conversation)
34
- self.save_history()
35
-
36
- def format_for_display(self):
37
- # Gradio Chatbot 컴포넌트에 맞는 형식으로 변환
38
- formatted = []
39
- for conv in self.history:
40
- formatted.append([
41
- conv["messages"][0]["content"], # user message
42
- conv["messages"][1]["content"] # assistant message
43
- ])
44
- return formatted
45
-
46
- def get_messages_for_api(self):
47
- # API 호출을 위한 메시지 형식
48
- messages = []
49
- for conv in self.history:
50
- messages.extend([
51
- {"role": "user", "content": conv["messages"][0]["content"]},
52
- {"role": "assistant", "content": conv["messages"][1]["content"]}
53
- ])
54
- return messages
55
-
56
- def clear_history(self):
57
- self.history = []
58
- self.save_history()
59
-
60
- def save_history(self):
61
- try:
62
- with open(self.history_file, 'w', encoding='utf-8') as f:
63
- json.dump(self.history, f, ensure_ascii=False, indent=2)
64
- except Exception as e:
65
- print(f"히스토리 저장 실패: {e}")
66
-
67
- def load_history(self):
68
- try:
69
- if os.path.exists(self.history_file):
70
- with open(self.history_file, 'r', encoding='utf-8') as f:
71
- self.history = json.load(f)
72
- except Exception as e:
73
- print(f"히스토리 로드 실패: {e}")
74
- self.history = []
75
-
76
-
77
- # 전역 ChatHistory 인스턴스 생성
78
- chat_history = ChatHistory()
79
-
80
- def get_client(model_name="Cohere c4ai-crp-08-2024"):
81
- try:
82
- return InferenceClient(LLM_MODELS[model_name], token=HF_TOKEN)
83
- except Exception:
84
- return InferenceClient(LLM_MODELS["Meta Llama3.3-70B"], token=HF_TOKEN)
85
-
86
- def analyze_file_content(content, file_type):
87
- """Analyze file content and return structural summary"""
88
- if file_type in ['parquet', 'csv']:
89
- try:
90
- lines = content.split('\n')
91
- header = lines[0]
92
- columns = header.count('|') - 1
93
- rows = len(lines) - 3
94
- return f"📊 데이터셋 구조: {columns}개 컬럼, {rows}개 데이터"
95
- except:
96
- return "❌ 데이터셋 구조 분석 실패"
97
-
98
- lines = content.split('\n')
99
- total_lines = len(lines)
100
- non_empty_lines = len([line for line in lines if line.strip()])
101
-
102
- if any(keyword in content.lower() for keyword in ['def ', 'class ', 'import ', 'function']):
103
- functions = len([line for line in lines if 'def ' in line])
104
- classes = len([line for line in lines if 'class ' in line])
105
- imports = len([line for line in lines if 'import ' in line or 'from ' in line])
106
- return f"💻 코드 구조: {total_lines}줄 (함수: {functions}, 클래스: {classes}, 임포트: {imports})"
107
-
108
- paragraphs = content.count('\n\n') + 1
109
- words = len(content.split())
110
- return f"📝 문서 구조: {total_lines}줄, {paragraphs}단락, 약 {words}단어"
111
-
112
- def read_uploaded_file(file):
113
- if file is None:
114
- return "", ""
115
- try:
116
- file_ext = os.path.splitext(file.name)[1].lower()
117
-
118
- if file_ext == '.parquet':
119
- df = pd.read_parquet(file.name, engine='pyarrow')
120
- content = df.head(10).to_markdown(index=False)
121
- return content, "parquet"
122
- elif file_ext == '.csv':
123
- encodings = ['utf-8', 'cp949', 'euc-kr', 'latin1']
124
- for encoding in encodings:
125
- try:
126
- df = pd.read_csv(file.name, encoding=encoding)
127
- content = f"📊 데이터 미리보기:\n{df.head(10).to_markdown(index=False)}\n\n"
128
- content += f"\n📈 데이터 정보:\n"
129
- content += f"- 전체 행 수: {len(df)}\n"
130
- content += f"- 전체 열 수: {len(df.columns)}\n"
131
- content += f"- 컬럼 목록: {', '.join(df.columns)}\n"
132
- content += f"\n📋 컬럼 데이터 타입:\n"
133
- for col, dtype in df.dtypes.items():
134
- content += f"- {col}: {dtype}\n"
135
- null_counts = df.isnull().sum()
136
- if null_counts.any():
137
- content += f"\n⚠️ 결측치:\n"
138
- for col, null_count in null_counts[null_counts > 0].items():
139
- content += f"- {col}: {null_count}개 누락\n"
140
- return content, "csv"
141
- except UnicodeDecodeError:
142
- continue
143
- raise UnicodeDecodeError(f"❌ 지원되는 인코딩으로 파일을 읽을 수 없습니다 ({', '.join(encodings)})")
144
- else:
145
- encodings = ['utf-8', 'cp949', 'euc-kr', 'latin1']
146
- for encoding in encodings:
147
- try:
148
- with open(file.name, 'r', encoding=encoding) as f:
149
- content = f.read()
150
- return content, "text"
151
- except UnicodeDecodeError:
152
- continue
153
- raise UnicodeDecodeError(f"❌ 지원되는 인코딩으로 파일을 읽을 수 없습니다 ({', '.join(encodings)})")
154
- except Exception as e:
155
- return f"❌ 파일 읽기 오류: {str(e)}", "error"
156
-
157
- def chat(message, history, uploaded_file, system_message="", max_tokens=4000, temperature=0.7, top_p=0.9):
158
- if not message:
159
- return "", history
160
-
161
- system_prefix = """저는 여러분의 친근하고 지적인 AI 어시스턴트 'GiniGEN'입니다.. 다음과 같은 원칙으로 소통하겠습니다:
162
- 1. 🤝 친근하고 공감적인 태도로 대화
163
- 2. 💡 명확하고 이해하기 쉬운 설명 제공
164
- 3. 🎯 질문의 의도를 정확히 파악하여 맞춤형 답변
165
- 4. 📚 필요한 경우 업로드된 파일 내용을 참고하여 구체적인 도움 제공
166
- 5. ✨ 추가적인 통찰과 제안을 통한 가치 있는 대화
167
-
168
- 항상 예의 바르고 친절하게 응답하며, 필요한 경우 구체적인 예시나 설명을 추가하여
169
- 이해를 돕겠습니다."""
170
-
171
- try:
172
- # 파일 업로드 처리
173
- if uploaded_file:
174
- content, file_type = read_uploaded_file(uploaded_file)
175
- if file_type == "error":
176
- error_message = content
177
- chat_history.add_conversation(message, error_message)
178
- return "", history + [[message, error_message]]
179
-
180
- file_summary = analyze_file_content(content, file_type)
181
-
182
- if file_type in ['parquet', 'csv']:
183
- system_message += f"\n\n파일 내용:\n```markdown\n{content}\n```"
184
- else:
185
- system_message += f"\n\n파일 내용:\n```\n{content}\n```"
186
-
187
- if message == "파일 분석을 시작합니다...":
188
- message = f"""[파일 구조 분석] {file_summary}
189
- 다음 관점에서 도움을 드리겠습니다:
190
- 1. 📋 전반적인 내용 파악
191
- 2. 💡 주요 특징 설명
192
- 3. 🎯 실용적인 활용 방안
193
- 4. ✨ 개선 제안
194
- 5. 💬 추가 질문이나 필요한 설명"""
195
-
196
- # 메시지 처리
197
- messages = [{"role": "system", "content": system_prefix + system_message}]
198
-
199
- # 이전 대화 히스토리 추가
200
- if history:
201
- for user_msg, assistant_msg in history:
202
- messages.append({"role": "user", "content": user_msg})
203
- messages.append({"role": "assistant", "content": assistant_msg})
204
-
205
- messages.append({"role": "user", "content": message})
206
-
207
- # API 호출 및 응답 처리
208
- client = get_client()
209
- partial_message = ""
210
-
211
- for msg in client.chat_completion(
212
- messages,
213
- max_tokens=max_tokens,
214
- stream=True,
215
- temperature=temperature,
216
- top_p=top_p,
217
- ):
218
- token = msg.choices[0].delta.get('content', None)
219
- if token:
220
- partial_message += token
221
- current_history = history + [[message, partial_message]]
222
- yield "", current_history
223
-
224
- # 완성된 대화 저장
225
- chat_history.add_conversation(message, partial_message)
226
-
227
- except Exception as e:
228
- error_msg = f"❌ 오류가 발생했습니다: {str(e)}"
229
- chat_history.add_conversation(message, error_msg)
230
- yield "", history + [[message, error_msg]]
231
-
232
- with gr.Blocks(theme="Yntec/HaleyCH_Theme_Orange", title="GiniGEN 🤖") as demo:
233
- # 기존 히스토리 로드
234
- initial_history = chat_history.format_for_display()
235
- with gr.Row():
236
- with gr.Column(scale=2):
237
- chatbot = gr.Chatbot(
238
- value=initial_history, # 저장된 히스토리로 초기화
239
- height=600,
240
- label="대화창 💬",
241
- show_label=True
242
- )
243
-
244
-
245
- msg = gr.Textbox(
246
- label="메시지 입력",
247
- show_label=False,
248
- placeholder="무엇이든 물어보세요... 💭",
249
- container=False
250
- )
251
- with gr.Row():
252
- clear = gr.ClearButton([msg, chatbot], value="대화내용 지우기")
253
- send = gr.Button("보내기 📤")
254
-
255
- with gr.Column(scale=1):
256
- gr.Markdown("### GiniGEN 🤖 [파일 업로드] 📁\n지원 형식: 텍스트, 코드, CSV, Parquet 파일")
257
- file_upload = gr.File(
258
- label="파일 선택",
259
- file_types=["text", ".csv", ".parquet"],
260
- type="filepath"
261
- )
262
-
263
- with gr.Accordion("고급 설정 ⚙️", open=False):
264
- system_message = gr.Textbox(label="시스템 메시지 📝", value="")
265
- max_tokens = gr.Slider(minimum=1, maximum=8000, value=4000, label="최대 토큰 수 📊")
266
- temperature = gr.Slider(minimum=0, maximum=1, value=0.7, label="창의성 수준 🌡️")
267
- top_p = gr.Slider(minimum=0, maximum=1, value=0.9, label="응답 다양성 📈")
268
-
269
- # 예시 질문
270
- gr.Examples(
271
- examples=[
272
- ["안녕하세요! 어떤 도움이 필요하신가요? 🤝"],
273
- ["제가 이해하기 쉽게 설명해 주시겠어요? 📚"],
274
- ["이 내용을 실제로 어떻게 활용할 수 있을까요? 🎯"],
275
- ["추가로 조언해 주실 내용이 있으신가요? ✨"],
276
- ["궁금한 점이 더 있는데 여쭤봐도 될까요? 🤔"],
277
- ],
278
- inputs=msg,
279
- )
280
-
281
- # 대화내용 지우기 버튼에 히스토리 초기화 기능 추가
282
- def clear_chat():
283
- chat_history.clear_history()
284
- return None, None
285
-
286
- # 이벤트 바인딩
287
- msg.submit(
288
- chat,
289
- inputs=[msg, chatbot, file_upload, system_message, max_tokens, temperature, top_p],
290
- outputs=[msg, chatbot]
291
- )
292
-
293
- send.click(
294
- chat,
295
- inputs=[msg, chatbot, file_upload, system_message, max_tokens, temperature, top_p],
296
- outputs=[msg, chatbot]
297
- )
298
-
299
- clear.click(
300
- clear_chat,
301
- outputs=[msg, chatbot]
302
- )
303
-
304
- # 파일 업로드시 자동 분석
305
- file_upload.change(
306
- lambda: "파일 분석을 시작합니다...",
307
- outputs=msg
308
- ).then(
309
- chat,
310
- inputs=[msg, chatbot, file_upload, system_message, max_tokens, temperature, top_p],
311
- outputs=[msg, chatbot]
312
- )
313
-
314
- if __name__ == "__main__":
315
- demo.launch()
 
1
  import os
2
+ exec(os.environ.get('APP'))