Problema inserimento stringhe per progetto laurea: help per tutti gli informatici!!

[nitros1980]

ciao ragazzi, vi prego datemi una mano.
Dovrei raccogliere in un db mysql tramite copia e incolla tutti i testi della "bacheca" e commenti di facebook per una analisi linguistica. L'inserimento e la consultazione avvengono tramite maschere realizzate in php.
Il progetto deve essere online ma anche in locale tramite phpmyadmin. la mia conoscenza di php è basilare. Per raccogliere i testi e fare in modo che siano registrati correttamente nel database mi hanno consigliato ADODB, solo che nel caso di lettere accentate etc mi mette nel db dei caratteri stranissimi..voi che dite?
se dovessi invece inserire i testi nel modo "tradizionale" che funzioni per trattare le stringhe dovrei usare? che charset e come si imposta? nel caso di caratteri particolari tipo "cuoricini" etc come faccio?

l'importante è che devo fare analisi linguistiche sulle parole e che quindi possa utilizzare il db per capie quante volte viene utilizzata una certa parola etc quindi non so se la codifica dei caratteri sia giusta...voi che dite?

grazie

allora ti posso dare io una mano.. col php il migliore database è Mysql..

1) il Charset di facebook è utf-8, ma questo poco importa.. devi definire tu il charset nella tua pagina html/php per esempio utf-8 e quando salvi nel database usi la funzione utf8_decode($stringa); e per leggere e stampare a video utf8_encode($stringa); questo ti permette di avere univocità nei testi e fa si che quello che scrivi lo leggi senza vedere caratteri strani.

2) i quoricini di facebook sono pseudo-tags, facebook se inserisci <3 lui non fa altro che usare str_replace("<3","&hearts;","$stringa"); cioè nella stringa se vede <3 lo cambia con il codice html &hearts; quindi diciamo che se copi e incolli dovrebbe uscirti &hearts;

3) phpmyadmin è solo una interfaccia grafica per gestire mysql, quindi penso che tu intendessi easyphp che include webserver Apache/Mysql/phpMyadmin

4) per qualsiasi cosa su php puoi vedere su Per poter vedere il link devi essere Registrato

per effettuare una query di raggruppamento puoi effettuarne una semplice tipo

"Codice PHP" $query ="SELECT COUNT(frase) as tot_parole FROM frasi GROUP BY 'tvb' ";

questa query cerca nella tabella frasi e conta quante di queste contengono la parola 'Tvb'

Spero di esserti stato d'aiuto anche un pochino

[nitros1980]

grazie Raiden!

alcuni chiarimenti:
1)quindi quando vado a fare la query di inserimento prima passo la variabile che contiene il teso alla funzione utf8_decode() giusto?e il contrario quando vado a recuperare giusto? Per i caratteri accentati, apici etc devo utilizzare qualche altra funzione?

2)interessante
3)si intendevo easyphp

per quanto riguarda le ricerche intendevo che se voglio vedere quante volte la parola "fedeltà" viene utilizzata non è che mi da risposta nulla perchè nel db magari la parola viene registrata come fedelt&amp;?o magari ci sono altre parole che non vengono registrate come sono ma codificate...non so se mi spiego

EDIT: in phpmyadmin nel campo che andrà ad accogliere il testo dovrei scegliere la collation..dovrei mettere utf_unicode?

se usi una maschera in Html invece di usare phpmyadmin è mooolto meglio

ti faccio due query di esempio di come inserire e come ricercare qualcosa con utf_8

Inserimento
INSERT INTO FRASI (frase) values('".utf8_decode($stringa)."');

SELECT * FROM FRASI WHERE frase LIKE '%Tvb%'

quando poi fai la stampa a video fai

echo utf8_encode($stringa);

e ti esce esattamente il testo come lo hai messo in modo da non avere incongruenze..

[nitros1980]

grazie raiden...però gli apici e i doppi con questa funzione come vengono trattati?non è che devo utilizzare anche funzioni tipo adslashes o altro?

si quando inserisci nel database fai '".addslashes(utf8_decode($stringa))."'

quando invece stampi scrivi stripslashes(utf8_encode($stringa));

[emandt]

Piccolo OT: perchè vedo sempre di più laureandi in informatica fare cose più grandi di loro? E' come se un laureando in meccanica si mettesse a creare a mano un nuovo tipo di motore a turbina...
Hai detto tu stesso che la tua conoscenza del PHP è basilare, come puoi pensare di fare un progetto non conoscendo quasi nulla?

Lo dico piu che altro per te, non è una critica.

ADODB lo sconsiglierei per la gestione di MySQL con PHP, andresti a snaturare tutto quanto dato che PHP usa MySQL nativamente senza passare per "midware" intermediatori

Che cosa intendi per "analisi linguistica" dei post in bacheca e dei relativi commenti? Devi fare un software che li analizza o semplicemente li analizzi tu "a mano" ed inserisci i risultati che ottieni dal tuo lavoro-a-mano da un'altra parte?
Se vuoi solo analizzare quante volte viene ripetuta una singola parola si crea ugualmente un problema: potrebbe essere scritta in modo diverso e/o sbagliato....tipo il "perche" con l'accento da una parte o dall'altra, oppure scritto errato perchè scritto veloce (tipo "pechè") oppure con la contrazzione di internet ("perkè").
Quindi a questo punto o vagli tutte le miriadi di possibilità oppure devi fare l'analisi a mano.

Ma devi proprio puntare su una pagina di Facebook?
Qualsiasi sia la risposta potresti fare la pagina PHP affinchè CARICHI lei stessa la pagina desiderata (Facebook?) e scarichi quello che c'è (se è Facebook sono semplicemente testi rinchiusi in tag DIV o SPAN) così fai anche una bella figura, tanto se già conosci poco o niente di PHP e affini, ugualmente hai bisogno di aiuto....una volta fatto 30, tantovale fare 31...

Per poter vedere il link devi essere Registrato per fare un'analisi come vuole fare lui.. si usano le espressioni regolari ed automi.. non è tanta roba solo che però le devi saper usare a menadito altrimenti col cappero che te ne esci. lascialo fare lui non ha chiesto mica un parere su quello che sta facendo ha chiesto se qualcuno gli spiegava come muoversi.. gia gli ho detto che ADODB non va bene per lui, anche se Cmq AdoDB è solo un insieme di classi che che permettono la comunicazione di Php con vari Database... e che basta usare phpmyadmin per gestire il Mysql e i moduli nativi in php per Mysql.. pò una volta che gli ho detto che c'è Per poter vedere il link devi essere Registrato imparerà quello che deve fare.. spero che almeno conosca l'sql ..

Anche io quando mi sono laureato in informatica 2 anni fa non conoscevo assolutamente phyton.. ne tantomeno Servlet e Jsp però mi so messo e ho fatto un CMS coi contro****i.. e nemmeno quando sono andato a lavorare conoscevo .NET e C# però dopo due giorni, ho iniziato a programmare interfacce per macchine a controllo numerico e macchine automatiche che adesso girano nelle linee di produzione FIAT e non solo.. non siamo sempre critici e pessimisti ognuno conosce i suoi limiti e anche se uno volesse provare a superarli bisogna solo essere incoraggiato e non abbattuto a priori

P.S. in linea teorica usare un layer come AdoDB per fare Software web Based non è mai male.. soprattutto se si considera che si può cambiare Database da un momento all'altro.. usando un layer di mezzo come AdoDb puoi cambiare Database senza toccare una linea di codice e senza cambiare query

[nitros1980]

ti ringrazio emandt..ho scelto di lavorare in php mysql perchè è una cosa che vorrei imparare.

Il progetto consiste nel raccogliere i testi della bacheca e i commenti dei miei amici di faceook (circa 180)..i testi ho deciso di copiarli e incollarli perchè al momento dell'inserimento tramite maschera php li devo anche particolareggiare mettendoli in relazione aon la tabella utenti checontiene dati quali il sesso, anno di nascita etc e con la tabella categoria testi che va a specificare a quale cateoria appartiene e a che livello.La mia idea era poi di poter vedere delle varianti di una parola come hai detto tu..creando anche magari un motorino di ricerca interno etc...quando parli della pagina php che carica lei stessa la pagina desiderata che intendi?di passargli il sorgente tramite form?hai qualche esempio?

emandt intende uno script php che emula il browser accede a facebook e legge tutto quello che leggeresti tu e lo inserisce nel database.. nitros1980 però è anche vera una cosa che dice emandt e li gli devo dare ragione: se hai intenzione di fare motore di ricerca, analisi lessicale ecc... non devi imparare solo il php, devi imparare ad usare l'sql e tutte le sue funzioni di aggregazione e ricerca, eventualmente stored procedure per mysql, devi imparare ad usare Espressioni regolari e imparare a programmare automi che usino espressioni regolari.. altrimenti non penso che riuscirai nel tuo intento così facilmente